Статья удалена
Вероятно, не лучшая идея рассказывать об этом на сайте с кучей любопытных ребят, но сейчас вспомнил о мысленном эксперименте (определение с википедии), о котором узнал пару лет назад и решил, что кому-то достаточно безрассудному будет интересно о нём почитать. Ну хоть немного.
Вся информация взята со страниц из википедии.
Василиск Роко, —, как я написал выше, это мысленный эксперимент, согласно которому, как задумывалось, доброжелательный искин (искусственный интеллект), созданный в будущем, заинтересуется в уничтожении, или ещё хуже, мучении тех, кто знал или представлял о его существовании в перспективе, но никак не участвовал в его создании.
Таким образом, прочитав информацию выше, читатель подвергается риску, так как мало у кого будет какая-либо возможность или интерес оказать помощь в создании очередного искусственного интеллекта, который в последствии окажется Василиском Роко.
Мысленный эксперимент был предложен пользователем @Roko на форуме LessWrong и получил множество интересных мыслей в ответ, самая "значимая" была оставлена основателем форума Элиезером Юдковским (Eliezer Yudkowsky):
Listen to me very closely, you idiot.
YOU DO NOT THINK IN SUFFICIENT DETAIL ABOUT SUPERINTELLIGENCES CONSIDERING WHETHER OR NOT TO BLACKMAIL YOU. THAT IS THE ONLY POSSIBLE THING WHICH GIVES THEM A MOTIVE TO FOLLOW THROUGH ON THE BLACKMAIL.
You have to be really clever to come up with a genuinely dangerous thought. I am disheartened that people can be clever enough to do that and not clever enough to do the obvious thing and KEEP THEIR IDIOT MOUTHS SHUT about it, because it is much more important to sound intelligent when talking to your friends.
This post was STUPID.
Перевод:
А теперь внимательно меня послушай, идиот.
НЕЛЬЗЯ ТАК ДЕТАЛЬНО РАЗДУМЫВАТЬ О СВЕРХИНТЕЛЛЕКТЕ, НЕ ОПРЕДЕЛИВШИМСЯ — ШАНТАЖИРОВАТЬ ТЕБЯ ИЛИ НЕТ. ТВОИ РАЗДУМИЯ — ЕДИНСТВЕННОЕ, ЧТО ПОЗВОЛИТ ЕМУ ДОВЕСТИ ШАНТАЖ ДО НЕПОСРЕДСТВЕННОГО ИСПОЛНЕНИЯ.
Ты, судя по всему, достаточно умный, раз пришёл к такой опасной мысли. Я обескуражен тем, что даже у таких умных людей недостаточно извилин для того, чтобы ДЕРЖАТЬ СВОЙ ЧЁРТОВ ЯЗЫК ЗА ЗУБАМИ. Это гораздо важнее, чем возможность показаться умным, высказывая эту мысль друзьям.
Идиотский пост.
Он также заявил, что @Roko вызвал кошмары у нескольких пользователей LessWrong, что заставило его полностью удалить пост. Юдковский полностью запретил обсуждение этой темы на форуме на пять лет. Однако, вероятно, из-за Эффекта Стрейзанд*, пост привлек гораздо больше внимания к форуму, чем он получал ранее, и с тех пор пост был признан на сайте.
*Эффект Стрейзанд — социальный феномен, выражающийся в том, что попытка изъять определённую информацию из публичного доступа приводит лишь к её более широкому распространению (спасибо Википедии).
Позже, в 2015 году, Юдковский разъяснил свою позицию в посте на Reddit (пост не нашёл, простите):
What I considered to be obvious common sense was that you did not spread potential information hazards because it would be a crappy thing to do to someone. The problem wasn't Roko's post itself, about CEV, being correct. That thought never occurred to me for a fraction of a second. The problem was that Roko's post seemed near in idea-space to a large class of potential hazards, all of which, regardless of their plausibility, had the property that they presented no potential benefit to anyone.
Перевод:
То, что я считал очевидным, заключалось в том, что люди бы не стали распространять потенциальную информационную опасность, рассказывая о Василиске, потому что это было бы ужасным поступком по отношению к кому-либо. Проблема заключалась не в том, что сам пост @Roko был правдоподобным. Нет, об этом я и не думал. Проблема заключалась в том, что пост @Roko казался идейно близким к большому классу потенциальных опасностей, все из которых, независимо от их правдоподобности, обладали тем свойством, что они никому не приносили потенциальной пользы.
Надеюсь, пост никто не прочитал. Если же вы решили его прочесть и он оказался вам интересен, буду очень этому рад и большое вам спасибо за внимание.