Три принципа робототехники. Этические проблемы роботов: как нарушить законы робототехники

АЙЗЕК АЗИМОВ "ЗАКОНЫ РОБОТОТЕХНИКИ"

Законы робототехники, сформулированные учёным, популяризатором науки и гениальным писателем Айзеком Азимовым (2 января 1920 - 6 апреля 1992), повлияли на дальнейшее развитие некоторых течений в робототехнике и философии этого направления, если так можно выразиться. О «Трёх законах» не слышал только тот, кто не имеет отношения к технике и никогда не читал научную фантастику.
*****
Стоит отметить, что впервые «Законы» были сформулированы в научно-фантастическом рассказе «Хоровод», который был опубликован в марте 1942 года. С тех пор прошло целых 74 года, но до сих пор «законы» актуальны, и учитываются современными специалистами по робототехнике, искусственному интеллекту и сопряжённым дисциплинам.

Впервые рассказ был переведен на русский язык спустя 20 лет после его написания - в 1963 году. Сам Азимов упоминал законы множество раз, используя их в различных рассказах цикла «Я, робот». Кроме того, использовали эти законы и другие писатели-фантасты, а следом за ними - и учёные. Тем не менее, в настоящее законы по прежнему рассматриваются больше как теория, чем практика - ведь чистого «ИИ» пока что нет, а те роботы, что есть сейчас, подобные законы просто не в состоянии «понять», их система управления и обработки информации гораздо примитивнее того, что было описано Азимовым в своих работах. Для того, чтобы законы можно было использовать, и робот должен быть таким же совершенным, каким его видел Азимов.

Интересно, что сам Азимов считал, что сформулировал законы в нынешнем их виде не он сам, а его друг и издатель Джон Кэмпбелл, главный редактор журнала «Astounding». Последний же, в свою очередь, утверждал, что он просто вычленил Законы из того, что Азимов уже написал.
*****


Позднее, в середине 80-х годов прошлого века, писатель добавил четвёртый, или, как его обычно называют, Нулевой закон, который предшествует остальным с точки зрения приоритета:

* Робот не может причинить вред человеческому сообществу или своим бездействием допустить, чтобы человеческому сообществу был причинен вред.

Указанные же ранее законы в связи формулированием Нулевого исследователи творчества Айзека Азимова сейчас трактуют в такой редакции:

* Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред, если это не нарушает Нулевой закон.

* Второй Закон: Робот должен повиноваться командам человека, пока эти команды не вступают в противоречие с Первым Законом.

* Третий Закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Нулевому, Первому и Второму Законам.

*****
В фантастической вселенной Азимова этим законам должны были следовать почти все роботы. Это были не просто предложения или руководящие принципы - законы были встроены в программное обеспечение. Кроме того, эти правила нельзя обойти, переписать или пересмотреть.

Как показал сам Азимов, несовершенство, лазейки и неясности в этих законах зачастую приводили к странному и нелогичному поведению роботов. Законы были слишком расплывчатыми и зачастую не могли определить и отличить «людей» от «роботов». Кроме того, роботы могли неосознанно нарушать законы, если полная информация была им недоступна. Также чересчур хитроумный робот или искусственный интеллект должен был находиться под давлением, чтобы не перепрограммировать своё ядро.

На дворе 2016 год, и многое обыденное из нашей жизни даже продвинутым людям прошлого века могло бы показаться недостижимой фантастикой. В этих условиях многие из нас считают, что законы Айзека Азимова должны оставаться в нашей памяти лишь в качестве качестве удачного литературного приема. Между тем, сам Азимов ещё в 1981 году отметил, что его законы могли бы работать. В статье журнала Compute, в частности, он указывал следующее:

«Когда кто-то спрашивает меня, что было бы, если бы три моих закона робототехники на самом деле использовались для определения поведения роботов, ответ уже готов. Разумеется, при условии, что роботы будут достаточно гибкими и универсальными, чтобы обладать разным поведением. Я отвечаю: да, три закона - это единственный вариант, по которому люди могут взаимодействовать с роботами - или с чем-нибудь ещё.

Спустя почти тридцать лет мы приблизились к реальности, в которой у нас будут роботы - или, если точнее, искусственный интеллект, который ими управляет - достаточно гибкие и универсальные для разных курсов поведения. Остается лишь вопрос времени: когда машина превзойдет человека во всех отношениях, начиная физической силой и заканчивая силой воображения.

Пугает то, что права на ошибку практически нет. Если искусственный сверхинтеллект будет плохо запрограммирован или безразличен к людям, это приведет к катастрофе. Мы должны убедиться в безопасности искусственного интеллекта, если хотим пережить его появление».
Источники.

Обойти их нельзя, если принять буквально. Но легко, как только эта идея начнет воплощаться в жизнь.
Представим, программист попытается написать эти законы. Вот первый, самый главный: "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред".

Робот - это что? Ладно, это он сам, то есть, не надо писать ему, что он машина, достаточно включить пункт, что ЭТО не может нанести вред. А "это" - это что? Человек имеет свое "Я", поэтому он не считает, что его рука - это что-то чужое, это все равно он, его продолжение, то есть понятие "робот" не так просто. Это все части его "тела". И вот как это пропишут? Робот, в отличие от человека, личностью не обладает, или он сначала должен чувствовать, как человек, а не являться набором деталей. Понимаете глобальность задачи? Чтобы впихнуть в робота первый закон робототехники, он должен обладать цельным сознанием с пониманием, что все его части, все винтики, проводки, панели и моторы - это целое, и даже то, что он будет использовать - другие механизмы или предметы, им управляются, что он за них "отвечает". Я вот смотрю на авто - даже самая умная компьютеризированная вряд ли понимает, что колеса - это ее часть. То есть, каждая деталь, а так же другие "детали", которые робот может использовать, должны включаться в единую, подчиненную одному управляющему центру, систему, и следить за местоположением в пространстве за каждой частью своего тела. Это настолько сложная задача, что простыми радарами тут не обойтись. Между механизмом и живым существом огромная пропасть. У первых нет нервной системы, нет рецепторов по всей поверхности. Рука робота - это просто кусок металла, на каждый сантиметр не поставишь датчик слежения, рука ничего не чувствует, и потому робот не в состоянии рисовать трехмерный образ самого себя, в каждый момент понимая, где находится каждая его деталь, контактирующая с внешним миром.

Представим, что человек забыл, где находится его стул, и садится на пол. Это случается очень редко, правда? Как курьез. Мы все время помним не только где мы, но и где предметы вокруг нас. И очень хорошо справляемся с задачей ориентирования. Тем не менее, казусы случаются, и мы можем случайно придушить котенка или сбить собаку на дороге. Мы понимаем, что за всем не уследишь, и можем случайно убить другого человека. Как же мы роботам запретим никогда не вредить людям, если люди могут буквально попасть роботу под руку? Значит, мы должны внести коррективы в первый закон. Не может нанести вред СПЕЦИАЛЬНО, например. И тут сразу проблема. Не специально может? Ладно, пусть будет "сделать все от себя зависящее, чтобы не причинить вреда". А кто будет определять, все ли он сделал? Он сам? То есть, роботы будут иметь какой-то процент вероятности того, что он может нанести вред. Нам же все время показывают, как робот буквально на волосок останавливает руку или ногу, чтобы не убить человека, а инерция? А встречное движение человека, он с разгона сам убился об робота? Гора случайностей, и робот в принципе, как и любой движущийся в пространстве объект, не может гарантировать, что кого-то не заденет, и, следовательно, не нанесет вред своим действием. Первый закон не выполним .

Наденет человек маску, измажется в грязи, и уже не человек? То есть, одних фотографий, загруженных в память робота для идентификации, мало. Как робот будет определять, что перед ним человек, а не манекен, не мертвый человек, не картина, не голограмма, не другой человекоподобный робот? Чипы. Отлично. Залез в программу чипов, сменил код идентификации, и все, можно открывать огонь на поражение. Или робот будет идентифицировать людей по излучению, исходящему от них? Значит, человек в скафандре - труп. Вы думаете, так просто понять, что перед вами человек? А вот и нет. Очень много спорных ситуаций, когда мы сомневаемся. Дом обвалился, есть ли там люди? Живые ли? Тень промелькнула рядом, это человек? И мы иногда ошибаемся. Принимаем за человека манекен, не замечаем, что под грудой мусора кто-то остался в живых, или за этой стеной кто-то был. Мы не знали. И робот не ясновидящий. Он ошибется, и покалечит, или даже убьет человека, или не спасет его, или будет делать искусственное дыхание манекену. Чтобы обойти закон, достаточно подредактировать определения "робот" и "человек", но он и сам обойдется, поскольку совершенной точности определений не добиться.

Закон написан не для роботов. Он предполагает, что механизм настолько совершенен, что не может ошибиться. Он все видит, за доли секунды оценивает обстановку и обладает паранормальными способностями, далеко превосходящими человеческие. Так впечатление, что закон написан для Бога. Того, которого нам так не хватает. Все имеющие боги как-то не очень вмешиваются в нашу жизнь, и мы болеем, мучаемся, погибаем. Нам нужен другой Бог, который не будет смотреть на нас с небес, а реально протянет руку помощи. И при этом не навредит, интуитивно понимая, где вред, а где польза. Робот как сверхсущество. А раз так, то такие роботы человеком никогда не будут созданы. И потому все три закона робототехники никогда не будет прописаны в том виде, о котором говорил Азимов. Это будет совсем другая, усеченная версия, по которой роботы будут наносить человеку вред. Либо по случайности, либо из-за ошибки идентификации, либо из-за несовершенства своей системы определения положения тела в пространстве. Видели на кранах надпись "под стрелой не стоять", "занос два метра" на длинномерных машинах? Вот примерно такие же ограничения будут и для роботов.

Человек сам не может не наносить вред другим людям и другим живым существам, как бы этого не хотел. И это не смотря на все совершенство его устройства в области распознавания объектов, понимания, что и как нужно сделать и чего делать нельзя исходя из моральных принципов, которые тоже суть условность и сомнительно, что их можно записать как программу. Действия еще как-то можно пошагово прописать, но как только дело коснется идентификации, определения в пространстве и особенно чувствования себя целым объектом и понимания всех последствий своих действий - тут непреодолимые сложности. Какой-нибудь робот обязательно нанесет вред человеку, и тогда как ему "жить" с этим? Он нарушил закон. И в точности, как Санни из фильма, он придет к выводу, что никто не совершенен, и что нужно или можно иногда убивать людей. Что полностью отрицает идеологию трех законов.

Они направлены на обеспечение работы абсолютно безопасной для человека машины. При чем, как-то обходится проблема, что даже менее продвинутые роботы все равно будут неосознанно убивать людей. Нам же эти роботы представлены как механизмы, не способные на это. Но, поскольку, они не Санни, то мучиться от переживаний не будут. Ну, задавил кого-то. С кем не бывает. "Не стой под стрелой". Все равно мы приходим к решению самой важной для человека моральной проблемы - где граница между вредом и пользой, и если уж человек ее не решил, то уж механизму и подавно. Просто потому, что он объект материального мира, и если он существует, то потенциально может нанести кому-то вред.

Так что, думаю, цивилизация не пойдет по дороге следования этим трем законам, и от машин не будут требовать невозможного. А вот себя люди попробуют усовершенствовать. Генетически или путем вживления(навешивания) приборов и механизмов, или оба варианта сразу - не суть. Роботы в литературе и кино - это альтер-эго создателя, человека. Он себя хочет видеть таким сильным, выносливым, не чувствующим боли, не знающим болезней, легко ремонтируемым, вечным. При этом оставаясь человеком. Нечто среднее между Санни и Делом Спунером. Ну, чтобы и тело было живое, дабы получать все радости жизни, любовь, секс, риск, переживания всего спектра, и чтобы не чихать от новой версии гриппа, не умереть от возлияний или нечастного случая. Мечта себя улучшить проходит красной нитью почти по всем фантастическим произведениям, от "Аватара" до "Железного человека" и "Человека-паука". Тезис "мы люди, пока мы слабы" нас не устраивает. А уж с проблемой "не убий" мы и уж как-нибудь разберемся. Три закона в идеальном выражении не для нас. Мы ведь не бездушные железяки, и понимаем, как трудно отличить добро от зла, вред от пользы, и насколько это ситуационные и относительные понятия, и точно знаем, как хочется иногда кого-нибудь пристукнуть. И право на реализацию этого чувства у нас никто не отнимет просто потому, что отнять его можно только одним способом - посадить нас в уютные камеры-одиночки с мягкими стенами. Желательно, привязанными к кровати. Так, ка это хотела сделать ВИКИ из фильма "Я, робот". Настоящая гуманность может быть реализована лишь этим способом - лишением человека свободы воли. То есть, превращением их в роботов.

Никогда не заменят людей. Создадут большое количество компьютеров, которые будут иметь «мозги», однако без человека они не смогут существовать. Такое предсказание в 1964 году сделал популярный писатель-фантаст Айзек Азимов. Наряду с Артуром Кларком и Робертом Хайнлайном он входит в «большую тройку» лучших научных фантастов. В день 98-летия со дня рождения писателя вспоминаем о том, какое влияние он оказал на робототехнику и массовую культуру.

Три закона для робота

Айзек Азимов первый трансформировал образ робота. Он показал его не главным врагом человечества, а его помощником. Именно Азимов сформулировал знаменитые три закона робототехники - неукоснительные правила поведения для роботов.

Создавались они постепенно. Упоминания первых двух законов встречаются уже в ранних его рассказах о роботах - «Робби» (1940 г.) и «Логика» (1941 г.). В произведении «Лжец» (1941 г.) появилась точная формулировка первого закона. Полностью они были сформулированы в рассказе «Хоровод», вышедшем в 1942 году.

Собственно, три азимовских звучат следующим образом:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Позднее, в 1986 году, Азимов сформулировал так называемый нулевой закон:

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

Идеи этих законов лежат в основе всего творчества Азимова - даже в случае, когда речь идет об их нарушении. Вспомнить хотя бы произведение «Кэл», в котором у робота хотели отнять способность творить из-за того, что он намеревался убить своего хозяина. Или рассказ «Первый закон», где машина отказалась защищать человека, предпочитая свою «дочь».

Любопытно, но сам Азимов приписывал формулировку законов своему другу и издателю Джону Кэмпбеллу. Который в свою очередь говорил, что «он просто вычленил законы из того, что Азимов уже написал».

По стопам Азимова

Вскоре сформулированные Азимовым законы начали использовать в своих произведениях и другие писатели. Фантасты могли не соглашаться с ними, создавать образы роботов, которые принципиально нарушали их, но этот свод правил стал каноном . Здесь и «451 градус по Фаренгейту» Рэя Брэдбери с его механическим псом, и «Железный человек» Тэда Хьюза, где изображен робот-инопланетянин, и «Киборг» Мартина Кэйдина.

Также подхватили идеи азимовских законов. Первой картиной, в которой робот руководствовался «Тремя законами», стала «Запретная планета» 1956 года. В ней Робби-Робот имел иерархическую структуру команд, которая не позволяла ему причинить вред людям, даже по приказу. Робби был одним из первых роботов в кинематографе со встроенными мерами безопасности.

Фильм , вышедший на экраны в 1999 году, был снят по одноименному произведению Азимова. Законы здесь не занимают центрального места. Робот NDR-114 только цитирует их своим хозяевам как «развлекательную презентацию» с использованием своего голографического проектора.

Законы робототехники лежат в основе сюжета фильма «Я, робот» 2004 года. Хотя картина снята по мотивам произведений Азимова, в некоторых идеях сценаристы ушли в сторону, а отдельные даже противоречат рассказам.

В серии фильмов «Чужие» и «Прометей» андроид Бишоп цитирует первый закон робототехники. А в мультсериале робот Бендер мечтает убить всех людей, но законы робототехники становятся у него на пути. Упоминаются законы робототехники как обязательные для исполнения и в аниме-сериале про андроидов «Время Евы».

Из литературы в реальность

В эпоху и Homo Roboticus актуальным становится вопрос: «Смогут ли азимовские законы прийти на помощь в создании безопасного и применимы ли они в реальности?»

Сам писатель полагался только на них в взаимодействии машин и людей. Главное, чтобы роботы были гибкими в управлении. Однако эксперты в сфере ИИ не разделяют точку зрения Азимова.

В частности, специалист в области компьютерных наук Кевин Корб утверждает, что большое опасение вызывает сама идея фантаста о контроле и подчинении человеком интеллекта, в разы превосходящего его собственный. Когда рабы могут обвести вокруг пальца своего сюзерена, то они склонны к побегу и мятежу. Поэтому желание называть «порабощение» созданием «дружественного человеку искусственного интеллекта» является по меньшей мере одиозным. Более того, в таком случае маловероятно обмануть «рабов».

Американский инженер Александр Ребен на практике доказал, что законы Азимова не работают. Он разработал площадку, на которую помещается палец и робот с иглой. Машине нужно самой определить свои действия, когда человек поместит свой палец на платформу. Предполагается, что робот может уколоть человека иглой. Следовательно, машина потенциально нарушает первый азимовский закон. Существование такого андроида свидетельствует о проблемах в робототехнике, которые необходимо решать.

Три закона робототехники - свод обязательных правил, которые должен соблюдать искусственный ителлект (ИИ), чтобы не причинить вред человеку. Законы используются только в научной фантастике, но считается, что как только будет изобретен настоящий ИИ, в целях безопасности, он должен иметь аналоги этих законов.

Формулировка

На русском

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Кто придумал и почему

Коротким и правильным ответом будет: писатель-фантаст Айзек Азимов, биографию которого вы можете почитать у нас. Но не всё так однозначно, давайте разберемся откуда пришла идея.

До Азимова, почти все фантастические произведения на тему роботов, писались в стиле романа о Франкенштейне, то есть все созданные человеком существа восставали против своих создателей.

Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей. Мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода.

Однако, были и немногочисленные исключения, Азимов обратил внимание на два рассказа. “Хелен О’Лой”, написанный Лестером дель Реем, где повествуется о женщине-роботе, которая влюбилась в своего создателя и стала для него идеальной женой. И рассказ Отто Биндера “Я, робот”, в котором описывается судьба непонятого людьми робота Адама Линка, движимого принципами чести и любовью.

Последний рассказ настолько понравился Азимову, что он, после встречи с Биндером, начал писать свою собственную историю о благородном роботе. Однако, когда он пошёл со своей рукописью к своему другу и главному редактору журнала “Astounding” Джону Кэмпбеллу, тот её не принял, сославшись на то, что получившийся рассказ слишком похож на “Хелен О’Лой”.

Отказ в публикации было дело обычным, и Азимов, и Кэмпбелл регулярно встречались и обсуждали новинки в мире фантастики. За обсуждением очередного Азимовского рассказа о роботах, 23 декабря 1940 года, Кэмпбелл сформулировал те самые три правила, которые мы сейчас называем законами робототехники. Но сам он говорил, что только лишь вычленил их из того, что уже было написано Азимовым, потому что в его рассказах прослеживалось, что роботы имеют какие-то ограничения и правила. Сам Айзек, всегда уступал честь авторства законов Кэмпбеллу. Но позже, один из друзей Азимова сказал, что законы родились во взаимовыгодном товариществе двух людей, с чем они и согласились.

Как работают

В идеальной ситуации, по задумке Азимова, эти три закона заложены в самую основу математической модели позитронного мозга (так фантаст называл мозг робота, обладающего искусственным интеллектом), таким образом, что думающего робота без этих законов создать в принципе невозможно. А если робот попытается нарушить их, то он выйдет из строя.

В своих произведениях, писатель придумывает изощренные способы того, как эти законы все-таки могут быть нарушены, подробно разбирает всевозможные причины и следствия. Автор также говорит о том, как по-разному они понимаются роботами, к каким нежелательным последствиям могут привести соблюдение этих трёх законов или как роботы могут причинить вред человеку косвенно, сами того не подозревая. Азимов признавался, что намеренно сделал законы двусмысленными, чтобы обеспечить больше конфликтов и неопределенностей для новых рассказов. То есть, он сам опровергал их эффективность, но и утверждал, что подобные нормы - это единственный способ сделать роботов безопасными для людей.

Как следствие этих законов, позже Азимов формулирует четвертый закон робототехники, и ставит его на самое первое место, то есть делает его нулевым. Он гласит:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

На языке оригинала:

0. A robot may not harm humanity, or, by inaction, allow humanity to come to harm.

Эти законы можно также примерить и к человеческим взаимоотношениям, и к государственному устройству, и вообще к чему угодно. Можно, например, заменить слово «робот» на слово «государство».

Есть хорошая цитата из рассказа "Улики" , где один из персонажей говорит:

Если кто-то исполняет все эти законы безукоризненно, значит это либо робот, либо очень хороший человек.

Первое упоминание

Три закона появлялись постепенно. Так, косвенные упоминания первых двух, можно встретить в рассказах “Робби” и “Логика” . Точная же формулировка первого закона впервые звучит в рассказе “Лжец” . И, в конечном итоге, все три полностью сформулированы в рассказе “Хоровод” .

Вариации

В своих произведениях Азимов неоднократно изображает роботов, которые имели модифицированные законы робототехники или даже модифицировали их сами. Делали они это логическими размышлениями, причем роботы, также как и люди, отличались в своих интеллектуальных способностях между собой, и можно грубо сказать, что чем умнее робот, тем сильнее он мог модифицировать законы. Так, например, робот Жискар из романов "Роботы утренней зари" и "Роботы и Империя" , эти законы даже усилил, добавив нулевой закон. Но это исключение из правил, в большинстве же случаев, законы были переделаны людьми в своих целях, или нарушались из-за каких-либо сбоев у робота.

Кстати, сама возможность изменения законов менялась по ходу развития робототехники во вселенной Азимова. Так, в самых ранних рассказах, где события развивались в относительно недалеком будущем, законы были просто неким сводом правил, созданным для безопасности. Затем, во времена жизни робопсихолога Сюзан Келвин, законы стали неотделимой частью математической модели позитронного мозга робота, на них базировались сознание и инстинкты роботов. Так, Сюзан Келвин, в одном из рассказов, говорила, что изменение законов технически возможная, хотя и очень сложная и трудоемкая задача, да и затея сама по себе ужасная. Намного позднее, в романе “Стальные пещеры” , доктор Джерригел говорил, что такое изменение невозможно в принципе.

Как обойти

В некоторых рассказах законы так сильно переосмысливались, что не соблюдался самый главный из них - причинение вреда человеку, а где-то роботы умудрялись нарушить все три закона. Вот некоторые произведения с явным нарушением.

Рассказывается байка о роботе МА-2, которая отказалась защитить человека, в пользу своей “дочери”.

Робота хотели лишить способности творить, за что он хотел убить своего хозяина.

Этот рассказ скорее не относится к другим о позитронных роботах, но в нем повествуется о роботах-автомобилях, которым люди постоянно причиняли боль, за что те и способны были их убить.

О роботе Элвекс, который из-за своего особого строения позитронного мозга умел находиться в бессознательном состоянии и видеть сны. В его снах, роботы не имеют первых двух законов, а третий был изменен: “Робот должен защищать себя”. Ему снилось, что “роботы трудятся в поте лица своего, что они удручены непосильными трудами и глубокой скорбью, что они устали от бесконечной работы”. Довольно опасные мысли для робота.

У жителей планеты Солярия робототехника была очень развита. И ученые этой планеты с небольшим населением, где на одного человека приходилась тысяча роботов, изменили законы таким образом, что их роботы считали людьми только тех, кто говорит с солярианским акцентом. Помимо прочего, все граждане Солярии имплантировали себе в мозг специальные органы управления множеством роботов, так, что никто кроме них не мог ими управлять.

В этом произведении Азимов максимально изменил законы. Два робота в этом рассказе пришли к соглашению, что органическое происхождение - это необязательное условие чтобы считаться человеком, и что истинные люди - это роботы, как более совершенные и разумные создания. Обычные же люди, по их мнению, тоже люди, но с меньшим приоритетом, и законы робототехники в первую очередь применимы к ним, роботам.

Хочется добавить, что у “здоровых” роботов, в случае если они понимали, что нарушили первый закон или не могут его не нарушить, происходил “робоблок” или “умственное замораживание” - состояние позитронного мозга, при котором происходило его повреждение и робот или выходил из строя, или не мог правильно функционировать. Такое повреждение могло иметь как временный, так и постоянный характер.

Впервые описание такого события появилось в рассказе “Лжец”, где слишком чувствительный робот говорил людям только то, что они хотели услышать, боясь причинить им психологический вред. Интересный случай робоблока описан и в “Хороводе”. Также это состояние имеет важную роль в романах “Обнажённое солнце” и “Роботы утренней зари”.

Использование в другой фантастике

Нередко можно встретить различные отсылки в фильмах. Ниже перечислены некоторые примеры.

Запретная планета - 1956 г.

Очень нашумевшая американская научно-фантастическая картинка 1950-х, оказала определенное влияние на развитие жанра. В этом фильме, чуть ли не впервые показали робота со встроенной системой безопасности, то есть, по сути, выполняющего три закона. Сам Азимов был доволен этим роботом.Серия фильмов "Чужие" и "Прометей"

Андроид Бишоп цитирует первый закон и явно создавался на некоем подобии законов Азимова.

Мультсериал "Футурама" - 1999 - 2013 г.

Робот Бендер мечтает убить всех людей, но не может этого сделать из-за законов робототехники.

Аниме сериал "Время Евы" - 2008 - 2009 г.

Небольшой аниме сериал про андроидов. В нем упоминаются эти законы, как обязательные для исполнения.

Применимость в реальном мире

Люди, которые сейчас занимаются проблемами искусственного интеллекта говорят, что, к сожалению, Азимовские законы остаются лишь идеалом для будущего, и на данный момент применить их на практике даже близко не представляется возможным. Нужно будет придумать действительно какую-то фундаментально новую и гениальную теорию, которая позволит эти законы не только "объяснить” роботам, но и заставить их следовать им, причем на уровне инстинктов. А это уже создание настоящего думающего существа, но с другой основой, нежели у всех живых существ на Земле, которые нам известны.

Но исследования ведутся, причем тема очень популярна. Особенно заинтересован в этом бизнес, который, как вы знаете, не обязательно будет ставить в приоритет меры безопасности. Но в любом случае, до создания системы общего искусственного интеллекта или хотя бы ее примитива, говорить о ее этике рано, а, уж тем более, навязывать свою. Понять как себя будет вести интеллект мы сможем только тогда, когда создадим его и проведем ряд экспериментов. Пока что у нас отсутствует объект, к которому эти законы можно было применить.

Ещё не стоит забывать, что законы сами по себе не были созданы совершенными. Они не работали даже в научной фантастике, и как вы помните, были специально такими сделаны.

В общем, будем ждать, следить за новостями в исследованиях ИИ, и надеяться что Азимовский оптимизм, по части роботов, будет оправдан.

В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.

Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.

А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.

Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).

Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Где уж роботу разобраться, что вредно, а что полезно, если сами родители не могут решить этот вопрос применительно к собственному ребенку!

В рассказе “Хоровод” в результате нечетко сформулированного указания Первый и Третий Законы вошли в противоречие друг с другом. Согласно Третьему Закону, “робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам”. Роботу была дана команда, но не указана степень вреда, который будет нанесен человеку в случае ее невыполнения. И вот робот кружится по границе опасного района, не углубляясь в него (этому мешает Третий Закон) и вместе с тем не отходя далеко (этому препятствуют Первый и Второй Законы). Ситуация, знакомая любому программисту современных компьютеров. Называется она “зацикливание”. К слову сказать, любой мало-мальски опытный программист закладывает в программу специальные команды, по которым, совершив три-четыре круга, компьютер останавливается и требует от человека дальнейших указаний.

В рассказе же “Хоровод” все происходит иначе. Там разорвать порочный круг людям удается, лишь рискуя жизнью и при этом пуская в ход всю свою изобретательность и пользуясь помощью знатока психологии роботов. Кстати, один из лейтмотивов, объединяющих большинство рассказов сборника, – единоборство между роботами и человеком-робопсихологом Сьюзен Кэлвин.

Или еще один рассказ – “Как потерялся робот”. В раздражении молодой работник говорит роботу: “Уйди и не показывайся, чтобы я тебя больше не видел”. Робот буквально выполняет указание человека, после чего весь персонал внепланетной Гипербазы вынужден бросить важную работу и целую неделю заниматься поисками исчезнувшего робота.

Мы снова намеренно выбрали рассказ с незатейливым сюжетом, потому что, на наш взгляд, именно в простоте рождается та убедительность, с которой Азимов развенчивает им же созданный Второй Закон роботехники.

Так в чем же дело? Неужели придется признать, что джинн выпущен из бутылки и людям не остается ничего другого, как пассивно ожидать последствий? Вспомним, однако, что автор рассказов не только писатель, но и ученый, способный проанализировать ситуацию со всей логической строгостью. И он не зря выбрал именно такую форму: сначала сформулировал законы, на первый взгляд кажущиеся безупречными как по содержанию, так и по форме, а затем продемонстрировал эти законы в действии.

Да, джинн выпущен из бутылки, причем очень и очень давно. Взяв в руки палку, человек создал первого робота, а с бунтом роботов он столкнулся тогда, когда нечаянно уронил эту палку себе на ноги. И ничего качественно нового с тех пор не произошло. Проблема бунта роботов уже несколько десятилетий как поставлена и решается в технике. В английском языке даже существует особый термин “foolproof” – “защита от дурака”. Так, газ в газовой колонке не зажигается, если не течет вода, а пресс не сработает, если в рабочем пространстве имеется посторонний предмет, например человеческая рука.

Но не следует требовать от техники, чтобы она решала за человека, что ему во вред, а что на пользу. И не следует думать, будто появление “мыслящих” машин, то есть машин, способных самостоятельно анализировать ситуацию и на основании этого анализа принимать решения, внесет что-либо принципиально новое.

Вернемся, однако, к рассказам сборника. Думается, что нет нужды представлять читателям их автора. Айзек Азимов – один из самых известных американских писателей-фантастов, автор множества научно-популярных книг и статей, которые издавались отдельными сборниками. Но прежде всего Азимов – талантливый художник, и именно в этом секрет его популярности. Многие произведения этого писателя переведены на русский язык. Особую известность получили его рассказы о роботах, которые издавались в виде отдельных сборников (цикл “Я, робот”) или же включались в другие тематические сборники. Приятно, что многие из них, правда, далеко не все, сейчас переиздаются в виде единого сборника.

Читатель – и знакомый с творчеством Азимова, и впервые узнающий его роботов – встретится с яркими, превосходно выписанными персонажами. Здесь и испытатели новой техники Пауэлл и Донован, которые, следуя всем канонам приключенческого жанра, в каждом рассказе попадают в сложные, подчас безвыходные ситуации, но всегда с честью из них выходят. Здесь и “мозговой трест” фирмы “Ю.С.Роботс энд Мекэникл Мен Корпорейшн” Богерт и Лэннинг, соперничающие за власть. И над всеми возвышается робопсихолог Сьюзен Кэлвин, презирающая суетность деляг. А за кадром – современная капиталистическая Америка во всей ее “красе”. Перед читателем проходят картины конкурентной борьбы между фирмами, предвыборных политических махинаций, расовой дискриминации. Но нельзя не отметить, что, изображая своих роботов рыцарями без страха и упрека, наделяя их металлическим телом и позитронным мозгом, Азимов уходит от острых социальных проблем.

Собственно роботов в рассказах Азимова попросту нет. Вернее, в них отсутствуют такие механические конструкции, которые наверняка появятся в первой половине XXI века (а именно к этому времени приурочено действие всех публикуемых в сборнике рассказов) и общие черты которых Азимов, как ученый, мог бы достаточно хорошо предвидеть. Можно сколько угодно гадать о внешнем облике и внутреннем устройстве будущих роботов, но одно уже сегодня не вызывает сомнений: робот не будет человекоподобным. Не будет, следуя логике развития техники, не будет по соображениям элементарной целесообразности. Лучший пример, подтверждающий сказанное, – советские “луноходы”.