Обучаю ездить машинку q-обучением... [H E L P]

надеюсь, на фотке чего-нибудь видно.
в общем, можно совершать 4 действия: вперед, назад, поворот влево, вправо.
входные данные: расстояния до стенок (для этого лучи), координаты машины (координатная сетка).
как видно, надеюсь, есть еще награждающие поинты.
Code Bullet делал такое, я хочу попробовать повторить:).
https://www.youtube.com/watch?v=Bu5fhfdqCyA (перевод) можете посмотреть, прикольно

и так, есть q-таблица содержащая координаты каждой клетки, и ценность (или как правильней назвать) действий у каждой позиции.

так вот, у меня пара вопросов, помогите на них ответить, пожалуйста...
1 - достаточно ли у меня входных данных?
2 - когда нужно обновлять q-таблицу?при каждом перемещении машины, то есть обновлении среды?
3 - где и как в формуле учитывать эти самые входные данные?=)
вот в этой формуле

q(a, s)=t * (r + g * max q(a1, s1) ) + q(a, s)

q(a, s) - новое значение среды
t - скорость обучения
r - награда за данное дейсвтие
g - гамма, вроде для того что бы уменьшать какие-то награды... не помню точно
max q(a1, s1) - оптимальное действие для новой среды, полученной путем выполнения выбранного действия для текущей среды.

если и формулу я неправильно написал, поправите или дополните, прошу(.

буду очень благодарен за помощь)