Совместимость: Как контролировать искусственный интеллект

Способность осуществлять любой процесс, который приходит вам в голову, называется универсальностью. Эту концепцию ввел Алан Тьюринг в 1936 г.[41] Универсальность означает, что нам не нужны отдельные машины для вычислений, машинного перевода, шахмат, распознавания речи или анимации: все это делает одна машина.

подобных случаях анализ рациональности, основанный на интересах одного индивида, очевидно упускает из виду нечто существенное.

Историю развития ИИ движет одно-единственное заклинание: «Чем интеллектуальнее, тем лучше». Я убежден, что это ошибка, и дело не в туманных опасениях, что нас превзойдут, а в самом нашем понимании интеллекта.

Если мы используем для достижения своих целей механического посредника, в действие которого не можем эффективно вмешаться… нам нужна полная уверенность в том, что заложенная в машину цель является именно той целью, к которой мы действительно стремимся.

Машины разумны настолько, насколько можно ожидать, что их действия приведут к достижению поставленных ими целей.

Интеллект без знаний — все равно что двигатель без топлива.

Машины полезны настолько, насколько можно ожидать, что их действия достигнут наших целей.

Люди разумны настолько, насколько можно ожидать, что наши действия приведут к достижению поставленных нами целей.

никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.

Допустим, Гарриет хочет совершить восхождение на Эверест. Консеквенциалистский Робби решил бы попросту поднять ее и высадить на вершину Эвереста, раз это ее желаемое последствие. По всей вероятности, Гарриет будет решительно против такого плана, ведь это не позволило бы ей преодолевать трудности, следовательно, ощутить восторг от результата, достигнутого решением сложной задачи собственными силами. Очевидно, правильно сконструированный консеквенциалистский Робби понял бы, что последствия включают все переживания Гарриет, а не только конечную цель. Он мог бы захотеть оказаться рядом в случае непреодолимых сложностей, а также гарантировать, чтобы Гарриет получила необходимую экипировку и подготовку, но он также согласился бы с правом Гарриет подвергнуть себя беспрецедентному риску смерти.