Смотри, я профессионально занимаюсь МЛ (например, делал для DeepRacer алгоритм - это амазоновская машинка, которая использует реинфорсмент лернинг и учится в смоделированном окружении, а потом гоняет по реальной трассе). Так вот - нормальный и хороший алгоритм от плохого и ни на что не годного может влиять огромное количество вещей - начиная от простых гиперпараметров и заканчивая методами, которые ты используешь. У меня за всё мое время профессиональной деятельности (не учитывая, конечно, курсов), не получалось сделать алгоритм (неважно, НЛП задача, СВ или РЛ), который бы не пришлось твикать различными методами. 
Тем более, как уже написали тут - ты поставил достаточно сложную задачку, в целом, и недостаточно хорошо продумал все возможные исходы - взять тот же пример с дипрейсер, там можно давать ревард за нахождение на центральной линии - и машинка начинает ездить зигзагом, чтобы чаще там быть до окончания трассы. 
Так что, советую залезть в тему поглубже, разобраться с материалом и потом уже успешно имплементировать в игры, удачи!