AurexTranslator: Создал свой кроссплатформенный переводчик для игр в режиме реального времени на Linux (и Windows)

Гейминг на Linux с каждым годом становится все доступнее. Играть можно практически во все. Однако если игра не поддерживает ваш язык, ситуация усложняется. Существующие экранные переводчики (LunaTranslator, MORT) либо не работают на Linux нативно, либо теряют функциональность в Wine, либо отпугивают сложностью настройки.

Мне нужен был инструмент, который работает нативно на обеих платформах, захватывает текст в реальном времени — будь то область экрана через OCR или прямой перехват из памяти игры через Hook — и при этом не требует мучительной настройки. Готового решения не нашёл. Написал своё.

Так появился AurexTranslator — кроссплатформенный переводчик с открытым исходным кодом, который я продолжаю развивать.

Весь процесс — единая цепочка:

[Захват кадра / текста] → [OpenCV] → [OCR] → [Перевод] → [Окно перевода]

Screencast (OCR) — выделяете область экрана, переводчик захватывает кадры и распознаёт текст на лету. Работает с любой игрой без дополнительных плагинов. Идеально для визуальных новелл и игр с фиксированным интерфейсом.

Hook (плагины) — плагин внедряется в процесс игры и перехватывает вызовы отрисовки текста напрямую. Никаких артефактов, никаких проблем с нестандартными шрифтами — только чистый текст из памяти игры.

Оба режима можно использовать одновременно: например, диалоги идут через Hook, а всплывающие подсказки на экране — через OCR.

Перед распознаванием кадры проходят через OpenCV: улучшение контраста, бинаризация, подавление шумов. Это критично для Tesseract, который очень чувствителен к качеству входного изображения. Все параметры предобработки настраиваются вручную во вкладке «Вывод» — под конкретную игру и шрифт.

Tesseract — быстрый, легкий, работает на любом железе без интернета. Справляется с большинством игровых шрифтов, но может ошибаться на декоративных или сильно стилизованных текстах.

Ollama Vision — мультимодальная модель, которая понимает контекст и уверенно работает даже в сложных условиях: необычные шрифты, текст поверх сложного фона, частичные перекрытия. Требует отдельной установки Ollama и загрузки модели. Рекомендую translategemma.

Выбирается один движок — в зависимости от железа и требований к качеству.

Здесь, в отличие от OCR, можно включить оба бэкенда одновременно — результаты отображаются параллельно, можно сравнивать.

Google Translate — REST API, мгновенный отклик, поддержка огромного числа языков. Нужен интернет.

Ollama — локальный LLM-сервер, работает полностью офлайн. Требует отдельной установки: сначала скачать Ollama, затем нужную модель. Рекомендую translategemma.

Подробный пошаговый старт с OCR — в Быстром старте.

Система состоит из трёх компонентов. at-injector — исполняемый файл (сборки под x86 и x64), который физически внедряет плагин в адресное пространство игры. libat-injector — wrapper-библиотека, управляющая жизненным циклом процесса и коммуникацией между переводчиком и инжектором. Плагин — динамическая библиотека, написанная либо под конкретную игру, либо под целый движок — тогда один плагин покрывает сразу все игры на нём.

Механика внедрения на каждой платформе своя. На Linux используется ptrace в связке с dlopen/dlclose: at-injector подключается к процессу игры и загружает или выгружает плагин по команде переводчика. На Windows — CreateRemoteThread: в процессе игры создаётся удалённый поток, который загружает DLL в её адресное пространство.

Сейчас реализованы плагины для:

Плагины вынесены в отдельный репозиторий, чтобы их было удобно поддерживать и добавлять независимо от основного приложения.

Установка плагина:

💡 После установки проверьте в логах, что плагин успешно загрузился.

Реализация Screencast-режима зависит от платформы и окружения. На Linux с Wayland используется XDG Desktop Portal в связке с PipeWire. На Linux с X11 — XCB. На Windows — WinAPI через BitBlt или Desktop Duplication API. Все методы возвращают кадр в OpenCV для дальнейшей обработки.

В полноэкранном режиме (Fullscreen) окно перевода не отображается поверх игры. Рекомендуется играть в оконном режиме или Borderless Window — тогда всё работает как ожидается.

Проект изначально писался под Linux (Arch + KDE). Благодаря C++, Qt и стандартным библиотекам портирование на Windows прошло почти без боли.

Проверено и работает на:

Главное направление развития — расширение Hook-системы: новые движки, новые игры, новые методы перехвата. Также в планах поддержка нескольких зон захвата для OCR, профили настроек под каждую игру, новые переводчики, улучшение окна перевода и документация.

Проект в альфа-версии и активно развивается. Если ваша любимая игра не поддерживается — пишите в Issues, буду рад добавить. Если хотите написать свой плагин — в репозитории есть example, можете взять за основу.

Скачать последнюю версию · Скачать плагины