Мы выгрузили все комментарии с трёх сайтов — получилось 1,8 Гб текста. Но это сырые данные, которые нельзя было использовать. Поэтому датасеты пришлось отфильтровать: убрать лишние символы и ссылки, исключить комментарии из нескольких символов — скорее всего, ничего хорошего с ними бы не вышло.

Затем каждый датасет разбили на «токены», на которых построены предложения. На их основе нейронная сеть собрала свой словарь. С ним она теперь и будет работать, генерируя комменты за вас.

Тренировка нейросети на каждом датасете заняла пять дней, а делали мы всё на этом звере — Nvidia Quadro RTX 6000.