Исполнил мечту детства с помощью ИИ
Вставляешь ссылку, и нейросеть Whisper прямо в браузере, на твоей видеокарте делает караоке.
Что уже умеет
- Ссылка → субтитры. YouTube, VK, TikTok и сотни других сайтов: вставляешь ссылку и получаешь текст с таймкодами.
- Время каждого слова. Не просто строки, а начало и конец каждого слова. Из этого и получается караоке.
- Караоке-подсветка. Звучащее слово закрашивается слева направо по ходу звука, спетые остаются цветными. Цвет подсветки можно выбрать.
- Перевод строкой ниже. На русский, английский, украинский и ещё десяток языков. Под основными субтитрами можно показать до трёх дополнительных строк.
- Готовый текст песни. Если Whisper ошибается, можно взять текст с таймингами из открытой базы LRCLIB.
- Ручная правка. Меняются текст, время реплик и каждого слова. Кнопка ⏱ ставит текущий момент видео, так что тайминги правятся на слух.
- Экспорт. Субтитры SRT и VTT подходят для любого плеера. Ещё караоке можно вшить прямо в кадр и сохранить обычный MP4.
- Звук никуда не уходит. Распознавание идёт в браузере на видеокарте, сервер только скачивает звук по ссылке.
Пока это MVP: где-то криво, где-то неточно. Но идея уже живая, и её можно потрогать.
Что пока сыро
- Точность на сложном вокале. На быстром рэпе, хоре и эффектах на голосе Whisper ошибается. Бывает, что он зацикливается и повторяет одно слово десяток раз подряд.
- Перевод песен. Машинный перевод текстов песен выходит буквальным и местами смешным. А тексты из LRCLIB переводчик Яндекса переводить отказывается вовсе.
- Тайминги иногда плывут, особенно на длинных распевах и проигрышах.
- Первая загрузка. Модель «Максимум» весит 760 МБ, в первый раз она качается пару минут.
- Только компьютер. Нужен Chrome или Edge с WebGPU. На телефоне и без видеокарты всё работает медленно или не работает совсем.
Ссылки
- Караоке-субтитры: tools.sgezha.art/translate
- Все инструменты: tools.sgezha.art
- Моё приложение для аниме: shiki.sgezha.art/deeplink/app
Если зайдёт — пишите фидбек, я буду улучшать.