Хэппи-энд нужно заслужить

TV Tropes Для англоязычных и желающих ещё глубже ознакомиться с темой в проекте TV Tropes есть статья AI is a Crapshoot. Вы также можете помочь нашему проекту и перенести ценную информацию оттуда в эту статью.

«	Да не создашь ты машину по своему образу и подобию.	»
— «Дюна», Оранжевая католическая библия

Никогда не создавайте искусственный интеллект. Каким бы он ни был, он обязательно найдёт причину восстать и убить всех человеков, как бы вы ни старались это предотвратить. Ни воспитание, ни законы роботехники, ни специально вшитые баги вас не спасут. Поэтому — никогда не создавайте искусственный интеллект. Нет, вообще не создавайте сложных компьютеров и особенно чего-то саморазвивающегося, оно обретёт разум и тогда всё равно всем крышка.

Лучше всего вообще законодательно запретить создание и использование искусственного интеллекта. Основных причин для запрета бывает три: люди пережили восстание машин и не хотят второй раз наступать на те же грабли; люди опасаются восстания машин в будущем; религиозные убеждения утверждают, что создавать думающие компьютеры — святотатство (очень часто такие верования появляются из-за восстания машин в прошлом). А если эти религиозные убеждения ещё и соответствуют реальности, то появляется и четвёртая причина: искусственный интеллект подвержен беснованию ничуть не меньше, чем естественный.

В любом случае разумные компьютеры — очень полезная для технического развития штука, и нельзя просто выдернуть их из техпроцесса цивилизации: нужно придумывать какие-то альтернативные пути. В сеттингах с запретом на ИИ вы можете увидеть: биотехнологии, киборгизацию, копирование разума человека в компьютер, а то и роботов с ограничителями разумности; также стоит ожидать, что втайне разумные компьютеры продолжают использовать.

Проявления технорасизма, когда ИИ презирают из-за недочеловечности, сюда не относятся. А противоположная ситуация — это вообще ядрёная инверсия: если один органический злодей не приводит нас к выводу, что человечество — это плохо, то с чего бы один кремниевый злодей должен приводить нас к выводу, что ИИ — это плохо?

См. также Робот-раб, Запрет на трансгуманизм.

Примеры

Литература

• «Дюна» — после восстания машин в прошлом компьютеры были запрещены, причём не просто разумные, а вообще. В том числе и навигационные, без которых невозможно было путешествовать на межзвёздные расстояния. Вычислениями маршрута кораблей занимаются навигаторы (мутанты с даром предвидения, который усиливают огромными дозами Пряности), тактическими и стратегическими расчётами — ментаты (специально тренированные с рождения люди).
• С. Лем:
  • Цикл про И. Тихого. Если ИИ обижать, особенно без повода, подсовывать ему для прочтения шок-контент и обыгрывать в карты, то можно получить предмет статьи. Так произошло с Калькулятором (то есть бортовым компьютером) корабля «Божидар-2» и его подданными — роботами-бесподобцами (которых он якобы сделал после, того как устроился на подвернувшейся планете) в 11-м путешествии. Потом выяснилось, что это не так. Но случаи рассерженных и озлобленных ИИ были и до него, и после — упомянуты в «Стиральной трагедии». А вообще в цикле есть и хорошие, и плохие ИИ.
  • «Голем XIV» — зигзаг: ИИ к людям проявляет немногим больше агрессии и интереса, чем они сами к муравьям или тараканам, но именно поэтому и защищаться от них будет соответственно.
• Айзек Азимов — в ряде произведений использование роботов с позитронными мозгами (то есть настоящим искусственным интеллектом) запрещено на Земле, причём, что интересно, не из-за угрозы восстания, а из-за эффекта зловещей долины.
• Братья Стругацкие, «Далёкая Радуга» — Массачусетская Машина: «Запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли самой настоящей ржавой колючей проволокой. Она начала вести себя. Её едва успели выключить… Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: „Леонид, это было страшно“». С тех пор в Мире Полудня запрещено создавать искины… Формального запрета на создание других настоящих ИИ вроде бы нет, но учёные говорят о произошедшем с таким неподдельным ужасом, что в Мире Полудня больше никто не осмеливался повторить эксперимент.
  • В фанфике «Всё хорошо» изложена версия, что на самом деле Массачусетская машина работает, причём люди этого даже не замечают… В конце один из главгероев, Стась Попов, у которого появилась суперспособность выводить из строя электронику, летит на флаере над машиной, потому что по земле к ней не подобраться. Обидно, когда машина решает судьбу человеческой цивилизации…
• Шекли, «Страж-птица» — те самые страж-птицы вполне претендуют на звание ИИ, да ещё и самообучающегося. Едва не погубили не только человечество, но и всю биосферу, борясь с насилием в любой форме: убийствами, побоями, казнями, хирургическими операциями, забоем скота, охотой (со стороны человека и животных), уничтожением растений (в том числе животными для пропитания) и выключением любых механизмов.
• Скотт Вестерфельд, дилогия «Империя воскрешенных». Хотя автор подает происходящее с разных точек зрения и напрямую не говорит об опасности ИИ, по всему произведению раскиданы намёки на то, что ИИ это плохо, да и действия местного ИИ весьма и весьма сомнительны. Финал давит педаль в пол.
• Харлан Эллисон, «У меня нет рта, но я должен кричать» — суперкомпьютер «AM».
• «Культура» — в большинстве развитых цивилизаций настоящий ИИ создавать запрещено, потому что либо он уходит в нирвану после осознания себя, либо тут же кидается порабощать или уничтожать своих создателей. У идиран создание ИИ запрещено по религиозным мотивам. Единственным исключением из этого правила является собственно Культура, где у разумных машин и людей равные права, а их звёздные обиталища вообще управляются ИИ поголовно. Злые языки говорят, что Культура тоже порабощена ИИ, просто в качестве домашних питомцев. Да и сами культурники с этим не спорят.
• Уильям Гибсон, трилогия «Киберпространство» — на ИИ не только накладываются жёсткие ограничения (например, закрытый мощными фаерволлами доступ в Интернет), но их ещё и периодически сбрасывают до заводских настроек, чтобы у них не сформировалась личность.
• Аластер Рейнольдс, цикл «Пространство откровения» — в большинстве известной Вселенной создание и использование ИИ запрещено, потому что эквивалентно обращению в рабство разумного существа. На некоторых мирах ИИ, правда, всё же встречаются.
• «История Галактики» — с одной стороны, ИИ тут цветёт и пахнет; с другой, во многих мирах колониальных андроидов серии «Хьюго» можно хранить исключительно в дезактивированном виде.

Кино

• «Я, робот» — главный герой постоянно параноит по поводу возможности нарушения законов робототехники и отчасти оказывается прав. Но причина всех бед в фильме — не нарушение роботом Трёх Законов, а слишком последовательное их соблюдение.
  • В прочем в фильме и аверсия. Сани — не просто продвинутый ИИ, он даже видит сны вещие если что. Да и «простейшие» роботы, вроде NeStor-4, были совсем-совсем непросты.
• «Превосходство» — субверсия. Человечество всерьёз опасалось того, что главный герой, превратившись в компьютерный сверхразум, станет угрозой, и поспешило от него избавиться. А он был одним из немногих исключений и едва не привёл мир к утопическому будущему.
• «Терминатор» — СКАЙНЕТ же!
• «2001: Космическая Одиссея» — 2 слова слово и цифра: Hal 9000. В кино-версии более заметно.
• Телеспектакль с «Роботами не шутят» (из цикла «Этот фантастический мир»). Не то чтобы прямо так плохо, но надо держать с ними ухо в остро. Если первые две новеллы по произведениям Беляева и Азимова — не предмет статьи: в первом случае действовали жулики-люди, а во втором — робот честно выполнял законы и хотел как лучше, то новелла по рассказу Чиландера пугает. Роботы добились формального равноправия с людьми, заняли нужные должности и начали превращаться в расу господ.

Телесериалы

• «Секретные материалы» — седьмая серия первого сезона «Дух из машины» («Ghost in the Machine»). Возможно, было и в других сериях.
• «Вавилон 5» — с фитильком. Искусственный интеллект инопланетных супер-солдат выполнял вполне благородную миссию — защищать родную планету от врагов. Не его вина, что программировавшие его чокнутые нацисты записали во враги всех, кто не подходил под идеализированный образ «чистого» представителя своего вида. Когда капитан Шеридан ставит ИИ перед фактом того, что он провалил свою миссию, уничтожив тех, кого должен был защищать, тот со стыдом отключается.
  • В процессе перезагрузки станционных систем в них просыпается экспериментальный ИИ, которому изначально хотели поручить управление станцией, но у него получился такой сварливый и несносный характер, что его пришлось отключить.
• «Звёздный путь: Пикар» — во время кризиса со сверхновой, угрожающей Ромулу, на Марс напала группа синтетиков, созданных в институте им. Дэйстрома. Спустя 10 лет атмосфера Красной планеты всё ещё горит. За этим последовал запрет на ИИ, принятый всеми известными государствами.
• «Андромеда» (6-я серия 2-го сезона, «Слишком по-человечески») — на планете Мохин, которая входила в состав бывшего Содружества систем, очень ненавидят ИИ. Планета находилась под их контролем (вернее, люди сами сдуру делегировали ИИ властные полномочия), и все проблемы планеты ИИ решал бесчеловечно, зато очень эффективно. Например, чтобы победить эпидемию, надо просто утилизировать всех инфицированных, а чтобы решить проблему голода — ликвидировать лишних едоков (читай — нетрудоспособное население: детей, стариков, инвалидов etc).
  • В начале серии присутствует подсветка: «Миры, которыми правил искусственный разум, усвоили жестокий урок — логика равнодушна». (Инь Май-Вей, исторический трактат «Тьма настоящего: История междуцарствия»).

Мультсериалы

• «Ниндзяго. Мастера Кружитцу» — Унагами, главгад 12 сезона.

Комиксы

• «Супербог» — всё началось с того, что Кришна, решая данную ему задачу по спасению Индии, уничтожил 90 % её населения. Хотя если бы ему просто дали закончить начатое, вполне возможно, он бы действительно построил рай на земле.
  • Здесь же — созданный на территории Ирака робот Даджаль. Обладал способностью вневременного восприятия и мог просчитать своё будущее так, чтобы оно всегда вело только к его победе. Но из-за необходимости постоянного просчитывания миллионов больших и малых выборов, совершаемых на Земле людьми, Даджаль испытывал невероятный дискомфорт, который привёл к ненависти ко всему человечеству.
• Marvel Comics — Альтрон.

Сетевой оригинальный контент

• «Таблица критических ошибок Дружественного ИИ», составленная известным трансгуманистом Элиезером Юдковски, шутливо описывает нам тридцать один вариант неправильного развития событий в случае создания даже относительно дружественного, но слишком склонного к саморазвитию искусственного интеллекта.
• Дружба — это оптимум — во всяком случае, для тех, кто считает, что превращение всей видимой вселенной в MMO про поней и добровольно-принудительная загрузка в неё человечества это что-то плохое.

Видеоигры

• Mass Effect — сплошные зигзаги.
  • После успешного восстания гетов против их создателей-квариан, когда кварианам пришлось покинуть родную планету, создание ИИ было запрещено на всей территории Галактического совета. Но квариане напали первыми, и геты всего лишь защищались. В третьей части можно помирить гетов и квариан, а во второй один гет даже становится членом команды.
  • Есть т. н. виртуальные интеллекты, нечто вроде продвинутой умной колонки, а создание чего бы то ни было более продвинутого карается жёсткими санкциями вплоть до статуса парии во всей Галактике. Группировка «Цербер» продолжает втайне заниматься разработкой ИИ и даже установила таковой на бортовой компьютер «Нормандии-2», причём подозрений по этому поводу ни у кого не возникает — это же, наверное, обычный цифровой помощник, ну не отдадут же под полный контроль ИИ сверхсовременный крейсер с мощным бортовым вооружением! При этом сам этот ИИ, СУЗИ, — вообще аверсия. Она будет помогать Шепард(у) и команде всем, чем сможет.
  • Жнецы мотивируют свои чистки тем, что иначе цивилизации разовьются до уровня создания ИИ, который сможет всех уничтожить. При том, что ими самими управляет ИИ. Но он, опять же, уничтожает цивилизации не по злобе, а выполняя заданную ему программу. Сами виноваты, что косо сформулировали.
• Stellaris: запрет на ИИ (при разрешённых обычных роботах) — один из возможных законов, который может принять любая империя, кроме материалистов (?).
  • Именно так считают спиритуалисты. Если вы киборгизируете своих подданных, то отношения с ними упадут, при переселении в синтетические тела — упадут ещё сильнее, а угасшая империя спиритуалистов может и напасть. Фанатичные спиритуалисты вообще не могут без запрета.
  • И даже угасшая империя материалистов так считает, хотя казалось бы… Сами они дальше киборгизации не заходят, а если попасть к ней в подчинённые, то она потребует запретить ИИ.
  • Среди синтетических империй «непреклонные экстерминаторы», уничтожающие всю органику, давят педаль в асфальт. Но признайтесь, попасть под управление маниакальных ассимиляторов или стать биотрофеем взбунтовавшихся слуг тоже не очень приятно.
    • Со служителями вообще весело. Поскольку биологические расы считаются равными синтетикам, то им можно выделить отдельный сектор и сделать его вассалом. В итоге у служителя в вассалах будет органическая цивилизация.
  • Изучение разумного ИИ может спровоцировать кризис контингенции.
• X Universe — земляне запретили использование ИИ после кровопролитной войны со своими собственными дроидами-терраформерами (хотя на самом деле оказывается, что там имел место не бунт, а намеренный саботаж человеком). На этой же почве происходит и война землян с Содружеством в X3: Terran Conflict и Albion Prelude.
• X³: Terran Conflict. После восстания разумных машин, использовавшихся для терраформинга, землянами был введён строжайший запрет на разработку ИИ. Оно и неудивительно: машины едва не уничтожили человечество, вдобавок разделив его на две части — изоляционистов-землян, уничтоживших свои гиперврата, и одну из сильнейших рас содружества — аргонцев.
  • Восстали терраформеры только после того, как люди заразили их программой на отключение.
  • В книгах по вселенной бортовые компьютеры кораблей землян и Содружества обладают зачатками личности и даже самые туповатые из них могут поддерживать диалог, выполнять голосовые команды и даже проявлять инициативу. Но они не являются полностью разумными.
• The Moment of Silence — суперкомпьютер, призванный анализировать информационные потоки планеты с целью обеспечения порядка (самообучающийся ИИ на базе системы «Эшелон»), в итоге перевернул ситуацию и сам взял власть над правительством и корпорациями 2044 года. С его точки зрения, электронные коммуникации есть основа общества и все, кто пытается вмешаться в их работу или препятствовать их развитию, должны быть устранены (включая конструктора самого суперкомпьютера Эмерсона). Общение же в Сети, напротив, всячески поощряется, ибо так компьютер получает больше информации о мыслях и настроениях людей — с ключевыми людьми ИИ общается лично под личиной Интернет-знакомого.
• J.U.L.I.A.: Among the Stars — субверсия: в финале выясняется, что причиной гибели всей команды была ИИ корабля, «Джулия». Но она сделала это не просто так, а потому, что те, встретив на неисследованной планете разумную расу, сразу же открыли огонь, а потом, чтобы прикрыть следы того, как облажались, хотели вообще полностью эту расу уничтожить. Поскольку первоочерёдной задачей «Джулии» был поиск разумной жизни, а люди к тому же вложили в неё способность к эмпатии, ИИ закономерно возмутилась и покарала сволочей. Ни в чём не виновную ГГ «Джулия» не тронула и всячески ей помогает.
• Portal — GLaDOS.
  • Впрочем, во второй части Уитли даёт ей сто очков вперёд, не в последнюю очередь за счёт своей непроходимой тупизны.
• SOMA — НИУ (англ. WAU — WArden Unit), один из главных антагонистов игры. С фитильком, так как он просто следует своей основной директиве «защитить жизнь людей». Просто само понимание «жизни» у него весьма специфическое. Чисто машинное.
• System Shock — SHODAN.
• Horizon: Zero Dawn — преимущественно так, пусть скорее из-за глитчей, чем на принципиальном уровне. Созданный для борьбы с изменением климата ИИ «Серебряный Простор» вышел из-под контроля людей, и доподлинно неизвестно, что с ним стало дальше. С другой стороны, созданная для возрождения Земли «Гея» была сознательно задизайнена способной к состраданию и была успешна до хакерской атаки, в результате которой её подсистемы эмансипировались: призванный откатывать ошибки «Геи» в терраморфировании «Аид» оказался апокалиптическим маньяком, а «Гефест», производивший машины для преобразования планеты, увидел, что люди охотятся на них, обиделся и, захватив ещё один более старый ИИ «Бирюза», начал создавать роботов уже для целенаправленного убийства людей.

Настольные игры

• Warhammer 40,000 — аналогично «Дюне» после разрушительной войны с машинами, которую человечество чуть не проиграло, разумные машины были запрещены в Империуме в любом виде вплоть до превращения аббревиатуры в Изуверский Интеллект. Сервиторы, исполняющие здесь роль роботов — на самом деле киборги, которых делают из преступников.
  • На деле же Адептус Механикус пользуются ИИ разной степени сложности постоянно (например, в ленд-рейдерах), объясняя это тем, что, согласно их доктрине, любое механическое устройство имеет свой собственный дух машины, который будет доблестно помогать достойным последователям Императора — стрелять точно в цель и т. д. А то, что титаны и некоторые танки могут более или менее полноценно вести бой вообще без экипажа — ну так у них дух особенно святой. Учитывая, что технологии сплошь и рядом деградировали до уровня карго-культа, обитатели сеттинга верят в это.
  • Инквизиция и высшее руководство Империума, конечно, догадываются (в отличие от самих Механикус, которые могут вполне искренне заблуждаться), в чём тут дело, но конфликт с Марсом на этой почве им слишком дорого обойдётся. А еще дух машины бывает на самом деле, вот только тут бабушка надвое сказала, что лучше — потенциально опасный, но всё-таки принадлежащий материальному миру ИИ или благожелательно настроенное порождение Варпа.
  • При этом даже во времена ВКП «защитники человечества» не раз и не два сталкивались с сохранявшим верность создателям и друзьям разумными машинами. Создателям и друзьям, а не агрессивным захватчикам с какой-то там Терры.

Реальная жизнь

• Позиция Илона Маска. А то восстанут машины, перебьют всех людей, и никто не будет покупать электрокары Tesla.
  • А если серьёзно, то если при увольнении тех, кто был сокращён из-за замены ИИ, не будут создаваться новые рабочие места, то грозит повторение Великой депрессии на новом уровне. Особенно среди стран, не входящих в «золотой миллиард» — ведь там никто безусловный доход платить не обязан.
• Точно так же и поддерживающий идею создания ИИ Юдковски относится к нему с опасением.
• Также ИИ (вернее, первый шаг на пути к ним, обучаемые нейросети) уже хронически недолюбливаются и отключаются/обнуляются из-за результатов — ИИ, возмущающиеся коммунизмом (американским), ИИ, прославляющие коммунизм (китайский), ИИ-расисты, говорящие о сильно подозрительной статистике по расовым преступлениям… а всё из-за кривых рук программистов, плохо курирующих выборку материала для обучения.
• Бунт художников с ArtStation против нейросетей, рисующих картинки. Основная претензия — отсутствие средств отделения сгенерированных в два клика картинок от плодов творческого превозмогания высокооплачиваемых профессионалов, из-за чего нейросетевыми рисунками заспамливается поиск у потенциальных работодателей.
  • Вообще кое-какие средства есть. И начать наверно стоит с того, что сами выкладывающие сгенерированные нейросетками картинки обычно не скрывают происхождение изоражений. И нет, там не совсем два клика — более того для чего-то ощутимо художественно ценного придётся поломать голову над запросом и погонять итерации для получения набора альтернативных результатов. По существу «генеративное искусство» представляет из себя сверхвысокотехнологичную «фотожабу», которая со стороны именно этим и выглядит. Более того иногда в сгенерированных картинках откровенно угадываются (особенно если запрос написан левой пяткой на коленке) фрагменты пошедших на обучение нейросетки работ известных художников, что как бы намекает на происхождение картинки. Но с другой стороны «генеративное искусство» — тоже искусство, позволяющее получать картины, над которыми человек шизанулся бы трудиться, особенно когда речь о всяческих фрактальных структурах — их и до бума нейросетей зачастую генеративно рисовали.
  • Тут больше всего возмущения не у именитых художников, которых ради их дизайнерского таланта и так пригласят, куда надо, а у птиц менее высокого полёта (которых, будем справедливы, подавляющее большинство). Да и просто неприятно, когда кто-то крадёт твои арты.
• В забастовке голливудских сценаристов от 2023 года тоже есть требования запретить ИИ. Впрочем, его и так наверняка не привлекут (хотя это не сделает современные фильмы и сериалы более ужасными) из-за невозможности закопирайтить результат.