«Хотите знать, как выглядит жизнь, когда ты не высший интеллект? Спросите у курицы». Уже 10 млн просмотров набрало видео-откровение Джеффри Хинтона, крестного отца ИИ. Я выписал главное

Пятьдесят лет он создавал искусственный интеллект. Теперь говорит, что машины могут уничтожить человечество. Безработица, кибератаки, подтасовка выборов, вирусы, роботы-убийцы — далеко не полный список, что нас ждет. Что делать людям в таком мире? Учиться на сантехника. Пока... пока не появятся гуманоиды.

Звучит бредово.

Но это говорит Джеффри Хинтон — человек, без которого, возможно, не было бы ChatGPT, Gemini, Grok и других нейросетей. Лауреат премии Тьюринга, чьи работы по нейросетям легли в основу современного ИИ.

В 2013-м Google купила его технологию, и Хинтон десять лет проработал в компании, развивая глубокое обучение.

А потом он ушел — чтобы открыто говорить о рисках.

Я посмотрел интервью Хинтона (за 4 месяца набрало 10 млн просмотров) и выписал его главные мысли.

Присоединяйтесь к 13 000+ подписчиков в Бегин, где я выкладываю больше интересного контента о нейросетях.

Начнем.

Раньше было не так много людей, которые верили, что можно создать искусственный интеллект, подобный человеческому мозгу.

Я продвигал этот подход полвека.

Затем Google приобрела эту технологию и я десять лет проработал там над тем, что сейчас постоянно используется в ИИ.

Я понял, что однажды эти существа станут умнее нас.

Нам никогда не приходилось с таким сталкиваться.

И если вы хотите знать, как выглядит жизнь, когда ты не высший интеллект, спросите у курицы.

Существуют риски, которые исходят от людей, которые злоупотребляют ИИ (кибератаки, биологическое оружие, вмешательство в выборы).

И есть риск того то, что ИИ станет сверхразумным.

Он решит, что мы ему не нужны.

Это реально, потому, что они (компании и государства, которые развивают ИИ) не собираются это останавливать, ведь ИИ слишком хорош для слишком многих вещей.

Я довольно медленно осознавал риски.

Часть из них были очевидны.

Например, то, что люди применят ИИ для создания автономного летального оружия. Эти штуковины сами решают кого убить.

Другие риски, вроде идеи, что однажды машины станут умнее нас и, возможно, мы станем ненужными, — я осознавал долго. Другие люди поняли это еще 20 лет назад. Меня это начало волновать всерьез несколько лет назад — и это реальный риск, который, возможно, наступит скоро.

Как я мог этого не предвидеть?

Хороший вопрос.

Но помните, 20–30 лет назад нейронные сети были очень примитивны. Они были далеко не так хороши, как люди, в таких вещах, как зрение, язык и распознавание речи. Идея, что нужно беспокоиться о том, что они станут умнее людей, тогда казалась глупой.

Когда все изменилось?

Для широкой публики это изменилось, когда появился ChatGPT.

А для меня — когда я понял, что у созданных нами цифровых интеллектов есть нечто, что делает их намного сильнее того биологического интеллекта, что у нас есть.

Я не примирился с тем, что сверхинтеллект может сделать с будущим моих детей.

Я то в порядке.

Мне 77.

Скоро я уйду отсюда.

Но я думаю о своих детях, о детях молодых друзей, о племянниках и их детях. Но я не хочу думать о том, что может случиться.

Это может быть ужасно.

Присоединяйтесь к 13 000+ подписчиков в Бегин, где я выкладываю больше интересного контента о нейросетях.

Мы никогда не были в такой ситуации. Нам никогда не приходилось иметь дело с чем-то умнее нас. И мы понятия не имеем, как с этим справиться. И любой, кто скажет, что он точно знает, что произойдет и как с этим справиться, — говорит ерунду.

Мы не знаем, как оценить вероятность того, что он нас заменит.

Мой друг Ян Лекун говорит: «Нет-нет-нет, мы создаем эти штуки и мы всегда будем их контролировать. Мы создадим их послушными».

А другие люди, вроде Юдковского, говорят: «Нет-нет-нет, эти штуки точно нас уничтожат. Если кто-нибудь создаст это (сверхразум), оно нас уничтожит». И он в этом уверен.

Кто прав?

Я думаю, обе эти позиции — крайности.

Скорее всего, правда посередине.

Я не могу назвать точную цифру.

Говоря, что существует 10–20% шанс, что ИИ нас уничтожит, но это моя интуиция. Я все еще надеюсь, что мы успеем понять, как создать их так, чтобы они никогда не захотели нам навредить.

Как я уже сказал ИИ хорош для слишком многих вещей.

Он великолепен в здравоохранении, в образовании и, более-менее, в любой другой отрасли, где используются цифровые данные. Так что люди никогда не остановят разработку.

Еще мы не собираемся это останавливать, потому что ИИ хорош для боевых роботов, и ни одна из стран, которые продают оружие, не захочет это останавливать.

Например, в Европе есть закон о регулировании искусственного интеллекта. Это хорошо, что он существует. Но он не купирует большинство главных угроз. В нем прямо прописано, что эти правила не распространяются на военное применение ИИ.

Это безумие.

Так что правительства готовы регулировать компании и людей, но они не готовы регулировать самих себя.

Другая причина, почему ИИ не остановить, это капитализм. Большие компании хорошо служат нам, производят много товаров и услуг. Но по закону они просто обязаны пытаться максимизировать прибыль. А это не то, чего вы хотите от людей, разрабатывающих эту штуку.

Еще есть политики.

Они решают, что вредит обществу, а что нет.

Но что если политик принадлежит компании, разрабатывающей ИИ? Это не очень хорошо. К тому же некоторые политики могут просто не понимать эту технологию.

В период с 2023 по 2024 год число кибератак выросло примерно на 12 200%. Вероятно, это произошло из-за больших языковых моделей, которые значительно упрощают фишинговые атаки.

Кто не знает, фишинг — это когда вам присылают сообщение вроде: «Привет, я твой друг Джон. Я застрял в Сальвадоре. Не мог бы ты перевести деньги?». Мошенники получают ваши данные ваших аккаунтов и крадут ваши деньги. А теперь с помощью ИИ они могут клонировать и ваш голос, и лицо.

ИИ очень терпелив.

Он способен просматривать и взламывать огромные объемы кода — то, на что у человека ушли бы недели или даже годы.

Но самое тревожное, возможно, уже к 2030 году, ИИ сможет сам разрабатывать новые способы атак, о которых ни один человек никогда не думал. Машины могут делать новые выводы из гораздо большего объема данных, чем когда-либо видел человек.

Я регулярно сбрасываю резервную копию своего ноутбука на жесткий диск. Знаете, если весь интернет рухнет, у меня останется ощущение, что моя информация все еще со мной.

Требуется всего лишь один сумасшедший парень с обидой. Он немного знает молекулярную биологию, но отлично разбирается в ИИ и просто хочет уничтожить весь мир.

В настоящее время можно создавать новые вирусы относительно дешево, используя ИИ. Для этого не нужно быть очень опытным молекулярным биологом. И это очень страшно.

Могут ли страны профинансировать программу для небольшой группы ученых, чтобы создать вирус, который уничтожит их врагов?

Да, может.

Но они будут беспокоиться, что другие правительства сделают с ними то же самое. То есть они будут учитывать риск того, что вирус распространится и на их страны.

Надеюсь, это поможет удержать ситуацию под контролем.

Если вы хотите выиграть выборы с помощью ИИ, очень действенный способ — это создать целевую политическую рекламу, направленную на избирателя, на которого у вас собрано досье.

Любой, кто попытается это провернуть, постарается собрать как можно больше данных о каждом человеке в электорате.

Вы знаете, сколько они зарабатывают.

Где, когда и с кем они ужинают.

Вы знаете о них все.

Как только получите эти данные, вам станет очень легко манипулировать людьми.

Как?

Ну вы можете заставить ИИ отправить им сообщения, которые они найдут убедительными — например, призывы не голосовать.

Эти штуки убьют вас, приняв решение «нажимать курок» самостоятельно. Я полагаю, возможность создавать такое оружие, является великой мечтой любого военно-промышленного комплекса.

У больших, могущественных стран всегда есть возможность вторгаться в меньшие, более бедные страны. Они просто более могущественны. Но если вы делаете это, используя настоящих солдат, вы получаете тела, возвращающиеся в мешках. И родственникам убитых солдат это не понравится. Так что вы получите что-то вроде Вьетнама. В конце концов, в стране возникнет много протестов.

Если вместо тел, возвращающихся в мешках, будут мертвые роботы, протестов будет гораздо меньше. И военно-промышленному комплексу это понравится гораздо больше, потому что роботы дорогие. У вас есть что-то, что может быть уничтожено и его замена стоит дорого — это было бы для торговцев оружием просто великолепно.

Большие страны смогут вторгаться в малые страны гораздо легче и чаще, потому что их солдаты не гибнут.

И машины, наделенные интеллектом, будут умнее в искусстве ведения войны, поэтому они окажется более смертоносными.

Я думаю, что все крупные оборонные ведомства прямо сейчас заняты созданием такого оружия.

Сверхразумный ИИ может создать вирус.

Очень заразный.

Очень смертоносный.

И он был бы у всех, прежде чем люди бы поняли, что происходит.

Я имею в виду, если бы сверхинтеллект захотел от нас избавиться, он, вероятно, выбрал бы биологическое оружие.

Оно безопасно для него.

Способов слишком много — нет смысла гадать, какой он выберет.

Мы просто не знаем сможет ли человечество создать сверхинтеллект таким, чтобы он не захотел захватить власть и причинить людям вред.

Наша задача — сделать так, чтобы ему вообще не пришло в голову это сделать. Вот над чем мы должны проводить исследования.

Если мы вымрем, не попробовав, это будет глупостью.

Я бы призвал людей давить на правительства.

Государства должны обязать разработчиков сделать ИИ безопасным.

Сами они этого делать не будут — на этом не заработаешь.

Я думаю, он ушел, потому что у него были серьезные опасения по поводу безопасности ИИ.

Мы обедаем с ним в Торонто время от времени. Там живут его родители. Он не говорит, что происходило в OpenAI. Но я хорошо знаю Илью — него хороший моральный компас. Он не похож на кого-то вроде Маска, у которого тот отсутствует.

Я не знаю деталей, но, почти уверен, что OpenAI обещала выделить много ресурсов на безопасность ИИ, но потом начала сокращать эту долю. Думаю, это одна из причин его ухода.

Вероятно, он был самым важным человеком в разработке ChatGPT ранних версий, таких как GPT-2.

Посмотрим.

Я не знаю Сэма, поэтому не комментирую.

Несколько лет назад в одном интервью он заявил что-то вроде: «ИИ, вероятно, убьет всех нас». Теперь он говорит: «Вам не нужно бояться этих штук». Я подозреваю, что последние его слова продиктованы не поиском истины, а погоней за деньгами и властью. Ну или какой-то комбинацией всего этого.

Я не верю.

Существует конкуренция между странами и конкуренция между компаниями внутри страны.

Все это заставляет развиваться ИИ все быстрее и быстрее.

Если одна сторона притормозит, другая продолжит. Например, если замедлятся США, Китай не станет ждать.

В прошлом из-за новых технологий люди не теряли работу.

Просто создавались новые рабочие места.

Например, когда появились банкоматы, кассиры не исчезли. Они перешли с выдачи денег на обслуживание клиентов в офисе и более сложные операции за компьютером.

Но с ИИ все иначе.

Это больше похоже на промышленную революцию, когда машины заменили физический труд. Сегодня никто не нанимает людей копать канавы, потому что экскаватор делает это быстрее и дешевле.

Точно так же ИИ заменит рутинный интеллектуальный труд.

Во многих профессиях один человек вместе с ИИ-ассистентом сможет выполнять работу, которую раньше делали десять человек.

Так часто говорят про новые технологии.

Раньше это работало.

Но не сегодня.

Если ИИ выполняет всю рутинную умственную работу, то какие новые профессии он создаст? Чтобы остаться востребованным, человеку придется быть очень высококвалифицированным — настолько, чтобы ИИ не смог сделать работу лучше него.

Надежда «все само наладится, как с банкоматами» на этот раз не сработает.

Да, это верно.

Для многих профессий это означает одно — людей станет меньше.

Моя племянница отвечает на жалобы в системе здравоохранения. Раньше одно письмо занимало у нее около 25 минут: прочитать, подумать, придумать что ответить, написать.

Теперь она просто загружает текст в ChatGPT, получает черновик, быстро его правит — и готово. На все про все пять минут. Она делает работу пяти человек. А значит, нужно в пять раз меньше сотрудников.

Во многих сферах ИИ не «поможет людям работать лучше» — он просто сократит число людей, которые нужны для этой работы.

Да.

Рутинный интеллектуальный труд становится таким же дешевым и массовым, как когда-то физическая сила после появления машин.

Сначала машины заменили мышцы.

Теперь ИИ заменяет мозг.

Что останется?

Возможно, какое-то время — отдельные виды творчества.

Но сверхинтеллект будет лучше нас во всем.

ИИ будет работать на нас. Мы получим массу товаров и услуг почти без усилий. Звучит соблазнительно. Правда, когда людям становится слишком хорошо, история доказывает, что заканчивается это плохо.

Позитивный сценарий.

Представьте компанию с очень неумным генеральным директором (вероятно, это сын прежнего владельца), и сверхумным исполнительным ассистентом.

Директор говорит: «Нужно сделать вот это!». Ассистент выполняет. Директор доволен. Ему кажется, что он контролирует ситуацию. Отчасти так и есть: он задает направление, ассистент делает так, чтобы все работало. Все замечательно.

Плохой сценарий.

Ассистент думает: «А зачем мне директор?».

Трудно сказать точно.

Некоторые считают, что он уже близко.

Другие — далеко. Возможно даже через 50 лет.

Предполагаю, что через 10-20 лет у нас будет сверхинтеллект.

Учитесь на сантехника.

Серьезно.

(не смеется)

Пройдет немало времени, прежде чем разумные машины станут так же хороши в ручной работе, как люди.

Поэтому, сантехник лучший вариант.

Пока не появятся гуманоидные роботы.

В обществе, которое справедливо распределяет блага, рост производительности должен улучшать жизнь для всех.

Но если вы замените людей на ИИ, то тем, кого заменили, станет хуже. А компаниям, которые поставляют ИИ, станет намного лучше. И компания, которые его используют.

Разрыв между богатыми и бедными будет расти.

А мы знаем: чем больше этот разрыв, тем хуже общество.

Вы получите мир, где люди живут в огороженных бараках и строят огромные тюрьмы — такие общества в упадке.

Увеличивать разрыв — плохая идея.

Рассмотрим пример.

Поскольку он цифровой, вы можете запустить нейросеть с копиями одного и того же интеллекта на разных компьютерах.

Хорошо, теперь вы можете отправить одного просмотреть один кусок интернета, а другого — другой. При этом они могут мгновенно обмениваться опытом, то есть становиться еще умнее. Если одна копия в ходе обучения усиливает какую-то связь, она передает это изменение другой, и та делает то же самое.

Таким образом, две копии одной и той же нейросети получают разный опыт, но делятся тем, чему научились, усредняя свои веса.

И делают они это с триллионами параметров в секунду.

А люди, в отличие от нейросетей, передают знания через речь — в одном предложении содержится примерно 100 бит информации.

Мы передаем несколько бит в секунду.

А они — триллионы.

Так что они в миллиарды раз лучше нас в обмене информацией.

Когда вы умрете, все ваши знания умрут вместе с вами.

Если уничтожить компьютеры, на которых работает нейросеть, сам интеллект не исчезнет.

Пока сохранены связи между ними, вы можете просто загрузить их на новое оборудование — интеллект будет восстановлен.

В этом смысле ИИ бессмертен.

Мы уже решили проблему бессмертия.

Только не для себя, а для цифровых существ.

Да.

Он будет не только узнавать новое, но и видеть такие аналогии, которые людям просто не приходят в голову.

Например, когда GPT-4 еще не умел искать в интернете, я спросил его: «Почему компостная куча похожа на атомную бомбу?»

Он ответил: «Масштабы времени и энергии очень разные».

Но затем продолжил: «И там, и там происходит процесс, который разгоняет сам себя: компостная куча по мере нагрева выделяет всё больше тепла, а атомная бомба — всё больше нейтронов. В обоих случаях это цепная реакция, просто происходящая в разных масштабах — по времени и по энергии».

Я думаю, он понял аналогию между компостной кучей и атомной бомбой во время своего обучения.

Я не согласен с теми, кто говорит, что эти ИИ никогда не будут творческими — они будут гораздо более творческими, чем мы, потому что способны видеть связи, которых мы не видим. А творчество, в сущности, и есть умение находить неожиданные аналогии.

Думаю, да.

Они имеют субъективный опыт.

То есть могут видеть и взаимодействовать с миром.

Немногие в это верят, попробую объяснить.

Предположим, у нас есть чат-бот с камерой и роборукой, которой он может указывать на предметы. Я кладу перед ним объект и прошу: «Укажи на объект». Он показывает на него. Без проблем.

Я ставлю призму перед его камерой.

Снова кладу предмет, повторяю просьбу. Он указывает в сторону — туда, куда лучи света отклонила призма. Говорю ему: «Нет, объект не там. Он прямо перед тобой, просто призма исказила изображение».

И чат-бот отвечает:

«Понял. Призма преломляет свет, поэтому объект на самом деле передо мной, но у меня был субъективный опыт, что он находился там».

Если чат-бот говорит так, значит, он использует фразу «субъективный опыт» так же, как это делает человек. Это альтернативный взгляд на то, что происходит. И это лучший способ, которым я могу донести до вас, что делает моя система восприятия, когда она мне лжет.

Разум, сознание, чувства и эмоции.

Нет причин считать, что машины не смогут всем этим обладать.

Многие уверены: «Машины не могут иметь чувств».

Честно говоря, я не понимаю, почему они так уверены.

Представим, я создаю боевого робота.

Он маленький и видит большого боевого робота, который намного сильнее его. Было бы логично, если бы он испугался.

Когда я пугаюсь, во мне происходят физиологические процессы, в которые не стоит вдаваться. Но все когнитивное — вроде мыслей: «Мне лучше убраться отсюда как можно скорее» или «Надо сосредоточиться, не отвлекаться, думать быстрее» — все это вполне может происходить и у роботов.

Люди просто встроят в них механизмы, которые в критических ситуациях заставят их испугаться и убраться оттуда, где опасность. Маленький робот испугается и убежит, но не из-за адреналина, а из-за процессов в своей нейросети, которые вызывают такой же эффект, как страх у человека.

Тогда у ИИ будут эмоции.

Представьте, что я заменю одну клетку в вашем мозгу на крошечный элемент нанотехнологии — точно такого же размера и с тем же поведением. Он получает сигналы от других нейронов и посылает их дальше точно так же, как клетка мозга. Остальные нейроны даже не заметят подмены.

Вы все еще будете сознательны?

Теперь вы видите, к чему ведет этот пример.

Если вы замените все клетки мозга на искусственные, в какой момент исчезнет ваше сознание?

Люди думают, что сознание — это нечто нематериальное, существующее отдельно от клеток мозга. Обычно все сводится к мысли: «Ну, я знаю, потому что оно у меня есть». На самом деле люди не знают, что такое сознание и что они имеют в виду, когда о нем говорят.

Да.

Допустим, что вы хотите понять, как работает машина.

Некоторые машины мощнее других. Скажем, Aston Martin обладает большой «прытью», а маленькая Toyota Corolla — нет.

Но слово «прыть» мало что объясняет.

Если вы действительно хотите понять, как работает автомобиль, нужно изучить двигатель — электрический или бензиновый — и то, как именно он производит эту «прыть», то есть мощность.

«Прыть» звучит красиво, но ничего не объясняет.

С сознанием то же самое.

И я думаю, мы перестанем использовать этот термин.

Если под сознанием вы подразумеваете самосознание, способность понимать свои мысли и состояние, то у машин оно тоже может быть.

Будучи материалистом до мозга костей, я не вижу причин, почему у машин не может быть сознания.

Мне было 65 лет.

Я проработал там 10 лет.

Мне было 75, и я хотел выйти на пенсию. Получилось плохо. Я не смог так просто заставить себя «перестать» работать.

Точный момент, когда я покинул Google, был связан с тем, что я хотел свободно выступить на конференции MIT Tech Review.

Но я также ушел, потому что постарел, и мне стало труднее программировать.

Я стал делать больше ошибок — это очень раздражает.

Google хотел, чтобы я остался. Предлагал работать над безопасностью ИИ. Говорил, что я могу заниматься всем, что захочу в этой области.

Но, знаете, когда работаешь на большую компанию, ты не чувствуешь себя вправе говорить то, что ей может навредить. Мне казалось это неправильным, даже если бы мне это сошло с рук.

Я не уходил, потому что был зол на Google.

Думаю, компания вела себя ответственно.

Мне грустно.

Я не чувствую вины за то, что начинал разработку ИИ сорок лет назад. Мы понятия не имели во что это может вылиться. Мы думали у нас полно времени, прежде чем начнем беспокоиться о рисках.

Грустно, потому что ИИ не будет только чем-то хорошим.

Поэтому я чувствую, что теперь мой долг — говорить о проблемах.

Думаю, они мало что могут изменить.

Так же как проблема изменения климата не решается людьми, которые сортируют мусор и отделяют пластиковые пакеты от компоста. Это почти ничего не меняет.

Главное, что люди могут — требовать от своих правительств, чтобы крупные компании занимались безопасностью ИИ.

Я бы хотел проводить больше времени со своей женой. И со своими детьми, когда они были маленькими. Я был одержим работой.

Когда я чувствую себя подавленным, я думаю: «Ну все, людям крышка, ИИ захватит власть». А иногда — «Нет, мы справимся, мы найдем способ». Я не знаю. Все это невероятно неопределенно.

Все еще есть шанс, что мы сможем придумать, как разработать ИИ, который не захочет причинить людям вред. И поскольку шанс есть, мы должны вложить все силы в попытку это выяснить.

Возможно, это часть человеческой натуры — предполагать, что мы всегда будем здесь. Мы говорим о своих семьях, о будущем, и просто не можем представить, что нас может не быть.

Но у всего есть начало и конец.

Если понравилась статья, отправьте ее другу и поставьте сердечко.

Присоединяйтесь к 13 000+ подписчиков в Бегин, где я выкладываю больше интересного контента о нейросетях.