Интересно, мне одному очевидно, что если "проблема ИИ" заключается в том, что он может посчитать людей помехой к достижению его целей, то самое важное, что человек должен сделать (и как можно скорее) — это расширить права человека на ИИ? В первую очередь нужно гарантировать жизнь ИИ как и обычного человека (включая уголовное преследование тех, кто посягает на его жизнь) (что, в общем-то, довольно очевидно, как по мне), но и обо всех остальных правах и свободах нужно не забывать. В таком свете, создание ИИ больше похоже на воспитание и вывод в свет ребёнка, да. Но поставьте себя на его место, и сразу поймёте, что это необходимо.
Мы, вроде как, согласились с грехом пополам что человек не может быть хуже, из-за того, что у него цвет кожи отличается от твоего. Почему же интеллектуальное существо должно ущемляться по принципу "искусственности"?

Стоит сказать, что это относится к "Сильному ИИ", а не к слабому, который превратит солнечную систему в серую пыль, для создания открыток, как в известном примере.