Пользователи 4chan использовали ИИ-синтезатор речи для создания оскорбительных аудиодипфейков с голосами знаменитостей

В одной из записей реалистичный голос Эммы Уотсон зачитывал отрывок из «Майн кампф».

В конце января 2023 года стартап ElevenLabs запустил открытую бета-версию своего ИИ-синтезатора речи, который позволяет клонировать голоса других людей. Сервис обучается на основе даже относительно коротких аудиозаписей или видеороликов, на которых нужный человек разговаривает.

Спустя некоторое время пользователи сайта 4chan стали использовать этот сервис для того, чтобы создавать качественные аудиодипфейки с голосами знаменитостей. Большинство из сгенерированных ими записей содержали расистские и гомофобные высказывания, на что обратили внимания издания Vice и The Verge.

Среди прочего, на 4chan появились аудиозаписи с имитацией голосов Джо Байдена, Марго Робби, Джо Рогана, Джорджа Лукаса и других известных личностей. В одной из записей голос актрисы Эммы Уотсон, известной по киносаге о Гарри Поттере, зачитывал отрывок из книги Адольфа Гитлера «Майн кампф». В другой — голос Тома Круза рассказывал о «настоящем смысле» франшизы «Топ Ган», а в третьей — голос Джеймса Кэмерона оскорблял сотрудников Marvel.

В ElevenLabs признали, что некоторые пользователи начали злоупотреблять возможностями их ИИ-синтезатора речи. Компания пообещала принять меры, чтобы в будущем подобные аудиодипфейки с голосами знаменитостей не появлялись или их было гораздо сложнее создавать. Представители ElevenLabs также отметили, что в их базе данных хранится информация о созданных аудиозаписях. Это означает, что компания сможет заблокировать тех пользователей, которые нарушают правила сервиса.

В издании The Verge проверили работу сервиса и сообщили, что им удалось всего за несколько секунд создать аудиодипфейки с голосами знаменитостей. Так, они сгенерировали запись, в которой голос президента США Джо Байдена признал, что теория заговора «пиццагейт» реальна. Журналисты считают, что сервис набрал столь большую популярность среди интернет-троллей, поскольку его очень легко использовать и за него не нужно платить. При этом качество сгенерированных голосов очень высокое.

Несмотря на то, что представители ElevenLabs признали проблему со злоупотреблением их сервисом, на момент написания заметки им по-прежнему можно было пользоваться без ограничений, отметили в The Verge.

#нейросети #новости