Какие знания нужны конкретно для gamedev'a?

Необходимо налечь на программирование игр. На построение 3D-мира с помощью 3D-движков (и без них тоже) и создание логики для управления им. Оно конкретно отличается от создания десктопных, мобильных приложений и веб-сайтов.
Алгоритмы вообще наизусть не учат, их учатся создавать - на практике. Распространенные алгоритмы есть в гугле, их тоже наизусть учить не нужно.
Математика и физика изучаются и применяются по мере необходимости. Наизусть опять же знать не надо - опять есть гугл. Я вот даже квадратное уравнение с ходу решить не могу.

Вы ошибаетесь - это очень широкая область.
Ну поехали - поиска маршрута, построение лабиринтов - это графы
Всякие движения - физика, геометрия мат моделирование.
Теория игр + шахматные алгоритмы - для аи