Недавно читал статью от работников дата центра Яндекса, как они делали "свой" недавний суперкомпьютер на базе множества таких ускорителей, на нем планировали учить Алису, а так же различные алгоритмы для прочих сервисов типа яндекс.музыка, саму ссылку увы потерял

Узкоспециализированные вещи: математические расчёты, нейронное обучение, графика в фильмах/роликах.
Есть ещё нюанс, у этих проф. карт свои драйвера, на них игры даже не запускаются и ценник космос.

Суперкомпьютеры из этих штук делают и вроде бы на основе этих же чипов работают автопилоты в машинах.

ML

Обучение ИИ
Симуляции вариаций в медицине
Космические расчеты
Просчеты вероятностей и подобные задачи.

Для компенсации кривых рук разработчиков игр без оптимизации.