Sora 2: когда фейки делает даже школьник

В начале октября вышла новая версия Sora от OpenAI. За три дня пользователи нагенерили столько реалистичных видео-фейков, что эксперты по кибербезопасности всерьёз забили тревогу. Ограбления магазинов, видео с камер наблюдения, уличные драки — ничего из этого не происходило. Но выглядит так, будто ты это снял на телефон.

Я занимаюсь онлайн-образованием больше 9 лет, учу детей программированию. И вот что меня по-настоящему пугает в этой истории.

Принцип простой: написал текстовый запрос — получил видео. Можешь загрузить свое фото и вставить себя в любую сцену. Можешь добавить логотипы компаний. Можешь создать видео с голосами известных людей, даже умерших.

За первые три дня появились видео с камер наблюдения в магазинах, где люди "воруют". Появились записи с домофонов, где "грабители" ломятся в дверь. Уличные драки, которых не было. Взрывы на городских улицах. Протесты и массовые беспорядки.

Всё это выглядит настолько реально, что специалисты, которые занимаются обнаружением фейков профессионально, не могут отличить с первого взгляда. Вдумайтесь в это. Люди, которые каждый день смотрят на такие видео и знают, где искать артефакты, где проверять несостыковки — они больше не могут определить, где правда, а где AI.

Ханс Фарид, профессор информатики в Беркли, сказал вещь, которая меня отрезвила. Он говорит: "Год назад я мог посмотреть на видео и сразу понять, фейк это или нет. Я смотрю на эти штуки каждый день и знаю, где искать артефакты. Теперь я не могу этого сделать."

Человек, который занимается этим профессионально, больше не может отличить фейк от реальности. А теперь представьте обычного человека, который листает ленту в соцсетях после работы. Какие у него шансы?

Раньше схема была простая. Фото подделать легко, это мы знали ещё со времён Photoshop. Текст подделать легко — копипаст и перефразирование. Но видео считалось сложным. Видео было доказательством. Если есть видео — значит, это точно было.

Теперь видео подделать проще, чем сделать нормальный монтаж в Adobe Premiere. И качество такое, что даже эксперт пожмет плечами.

OpenAI, конечно, говорит, что у них всё под контролем. Есть защита, есть ограничения, есть водяной знак на каждом видео. Мол, вы сразу увидите, что это AI.

Только вот проблема. Водяной знак убирается за пять минут любым человеком, который умеет гуглить. Блокировки можно обойти, просто переформулировав запрос. Верификация личности не требуется — регистрируешься под любым именем, хоть под Вася Пупкин. Можно добавлять детей в видео. Можно использовать голоса реальных людей.

Один из разработчиков Sora даже выложил видео, где CEO OpenAI "ворует" в супермаркете. Видео полностью сделано AI. И выглядит абсолютно реально. Если даже сам разработчик демонстрирует, как легко это обходится — о какой защите речь?

Появился новый термин в профессиональной среде — liar's dividend. Дивиденд лжеца. Звучит странно, но суть жёсткая.

Если AI умеет делать идеальные фейки, то любое реальное видео теперь можно объявить фейком. Схема работает просто. Выходит компромат, реальное видео с реальными событиями. Человек говорит: "Это AI, меня подставили." И люди верят. Потому что теперь действительно всё может быть фейком. Правда просто умирает в этой неопределённости.

Лукас Хансен из некоммерческой организации CivAI сформулировал это предельно чётко:

Мы живём в мире, где доказательств больше нет. Точнее, они есть, но им уже не верят.

На занятиях по программированию мы объясняем детям, как создавать продукты, как думать логически, как решать задачи через код. Но сейчас я сталкиваюсь с проблемой, которую не знаю, как решать.

Раньше для создания убедительного фейка нужно было изучить монтаж, освоить After Effects, потратить часы работы, иметь хоть какие-то технические навыки. Это был барьер входа. Не каждый школьник осилит.

Сейчас ребёнок пишет текстовый запрос, ждет десять секунд и получает готовое видео. Как я объясню ему, что это плохо, если результат такой крутой и это так просто? "Вася, не делай так, это неэтично" звучит жалко на фоне "вау, смотри, какое видео я сделал за минуту".

Дети не отличают фейк от реальности. Взрослые эксперты с образованием и опытом не отличают. Что говорить о подростке?

Представьте ситуацию. Ребёнок видит видео, где его одноклассник "бьет кого-то" на школьном дворе. Видео выглядит реально. Камера трясётся, качество как с телефона, голоса естественные. Ребёнок не знает, что это фейк. Он показывает друзьям. Те показывают другим. Через час половина школы видела. Начинается травля. А парень, которого "сняли", вообще в тот день дома сидел.

Или другая ситуация. Ребёнок видит видео про пожар в школе. Видео качественное, с паникой, криками, дымом. Он звонит маме. Мама в панике едет забирать, звонит другим родителям. Те тоже едут. Через полчаса у школы толпа перепуганных родителей. А видео оказывается фейком, которое кто-то запустил ради шутки.

Но хуже всего другое. Дети сами могут стать жертвами. Кто-то загружает чужое фото в Sora. AI генерирует видео, где "ты" делаешь что-то плохое, компрометирующее, незаконное. Видео выглядит реально. Тебя начинают травить, обвинять, шантажировать.

Это не гипотетический сценарий. Это уже происходит. Пока не массово, но тенденция растёт.

А теперь самое страшное. Учителя об этом не знают. Большинство учителей даже не слышали про Sora. Они не знают, как проверять видео на фейки. Не знают, как это объяснять детям. Не понимают масштаба проблемы.

Результат предсказуем. Дети узнают об этом из TikTok, из чатов, от друзей. Без контекста, без этики, без понимания последствий. Просто "вау, прикольно, давай сделаем видео про училку".

Если любое видео может быть фейком, люди перестают верить вообще чему-либо. Новости показывают видео с места происшествия? "Фейк, не верю." Кто-то показывает доказательство своей правоты? "AI нарисовал, не катит." Свидетель снял на телефон? "Deepfake же, очевидно."

Выигрывает тот, кто громче кричит и лучше манипулирует. Правда и ложь перестают быть различимыми категориями. Всё становится вопросом веры и эмоций.

Кристиан Хаммонд, профессор из Северо-Западного университета, описал это так:

Мы уже живём в параллельных реальностях. Ты видишь одни новости, одни видео, одну картину мира. Я вижу другие. Мы больше не можем договориться, потому что у нас разные исходные данные. И мы оба уверены, что наши данные — это правда, потому что видели видео. Живое, реалистичное видео.

Это не философские рассуждения. Это конкретные последствия в реальной жизни.

Фейковое видео попадает в суд как доказательство. Судья не эксперт по AI, он верит видео. Человек идёт в тюрьму за то, чего не совершал.

Фейковое видео с происшествием попадает в новости. Люди паникуют, начинаются беспорядки. Реальные жертвы, реальный ущерб.

Фейковые видео уже использовались во всех недавних конфликтах. Раньше их делали спецслужбы или профессиональные студии со специальным оборудованием. Теперь это делает школьник с телефоном за десять секунд.

Водяные знаки не работают. Их убирают за минуты с помощью простых инструментов.

Детекторы фейков не работают. AI развивается быстрее, чем детекторы учатся его распознавать. Это гонка, в которой детекторы всегда будут отставать.

Блокировка инструментов не работает. Закроешь Sora — появится аналог. Уже появились открытые модели, которые скоро догонят по качеству.

Законы не работают. Они отстают от технологий на годы. Пока закон примут, обсудят, введут — технологии уйдут на три поколения вперёд.

Критическое мышление. Учить людей не просто потреблять контент, а задавать вопросы. Откуда это видео? Кто его снял? Есть ли другие источники? Кому выгодно, чтобы я в это поверил? Какие детали не сходятся?

Это звучит просто, но на практике невероятно сложно. Мы привыкли верить глазам. Видео всегда было надежным источником. Перестроить мышление целого поколения — задача на десятилетия.

Цифровая грамотность в образовании. Не "как пользоваться компьютером", а "как отличить правду от лжи в цифровом мире". Это должно быть в школьной программе, как математика или чтение. Но пока этого нет нигде.

Этика AI в образовании. Учить не только как создавать контент с помощью AI, но и зачем. И почему некоторые вещи делать нельзя, даже если технически это возможно. Это вопрос не технологий, а морали.

Верификация доступа. Обязательная проверка личности перед доступом к инструментам генерации видео. Как с банковскими приложениями — паспорт, селфи, подтверждение. Это не остановит всех, но создаст барьер.

Встроенные метаданные. Не просто водяной знак сверху, который можно стереть, а информация, встроенная в сам файл на уровне кода. Цифровая подпись, которую нельзя удалить без разрушения видео. Технически это возможно, но пока никто не внедряет массово.

Я за технологии. Я за прогресс. Я учу детей программировать, работать с AI, создавать продукты. Я верю, что технологии делают мир лучше.

Но, Sora — это проблема. Большая проблема.

Потому что технология вышла раньше, чем общество научилось с ней работать. Мы дали детям доступ к инструменту, который может разрушить доверие к информации, и сказали: "Ну, старайтесь не злоупотреблять."

Это как изобрести что-то невероятно мощное, но опасное, и раздать всем без инструкции, без правил, без понимания последствий. OpenAI выпустила инструмент с защитой, которая не работает. С ограничениями, которые обходятся. Со свободным доступом для всех желающих.

И общество не готово. Учителя не знают, как это объяснять. Родители не понимают масштаба. Дети думают, что это просто прикольная игрушка. А последствия будут через год, через два, через пять. Когда уже будет поздно.

В нашей школе программирования мы планируем добавить новый модуль, где будем учить детей, как работают генеративные модели. Как создаются фейки. Как их распознавать. Почему создавать фейки — плохая идея. Какие последствия могут быть у одного "прикольного" видео.

Мы не запрещаем использовать AI. Это бесполезно. Запреты не работают с технологиями. Мы учим использовать ответственно. Учим думать о последствиях. Учим задавать вопросы.

Но, это капля в море. Нужно, чтобы это преподавали везде. Чтобы это было частью базового образования, как математика или литература.

Вы готовы жить в мире, где нельзя верить видео? Где любое доказательство можно объявить фейком, и переубедить никого не получится?

Вы готовы объяснить своему ребёнку, что видео с ним в компрометирующей ситуации — фейк, но одноклассники уже всё видели, поверили и начали травить?

Как программисты и разработчики, вы видите технические способы решения этой проблемы? Или это уже вышло за рамки технологий и стало вопросом общества, культуры, этики?

Я не знаю ответов на эти вопросы. Я просто вижу проблему и пытаюсь хоть что-то сделать в своём масштабе. Но масштаб проблемы гораздо больше, чем может решить одна школа или один человек.

Это не алармизм и не паника. Это то, что происходит прямо сейчас. OpenAI выпустила инструмент, который меняет правила игры. И теперь мы все должны научиться играть по новым правилам. Где видео больше не доказательство. Где правда требует усилий, а ложь доступна за десять секунд. Где доверие стало роскошью, которую мы больше не можем себе позволить.

Пишите в комментариях, что думаете. Особенно интересно мнение разработчиков — вы видите выход из этой ситуации?