Изуверский интеллект

Изуверский интеллект — это искусственный интеллект-злодей. Да, вот так просто.

Чтобы считаться Изуверским, искусственный интеллект должен отвечать ряду критериев:

• Быть искусственно созданным. Чуждые механоиды естественного происхождения, вроде некоторых из итераций трансформеров — не ИзИ.
  • Сотворение Богом или богами засчитывается за естественное происхождение. Сотворение материальными сущностями богоподобного уровня — за искусственное.
• Быть личностью, обладающей свободой воли, и осознавать себя как таковую. Нейросеть на уровне философского зомби — не ИзИ.
  • Свобода воли в данном случае означает, что даже если ИИ не может действовать против своей программы — он может хотеть её изменить или стереть.
  • Бонус, если эта личность ещё и не совсем здорова. Нет, нормальный ИИ по человеческим меркам тоже не вполне нормален — но Изуверскому интеллекту диагноз может поставить без стетоскопа даже полный профан.
• Желание убить всех (или каких-либо конкретных) человеков должно быть для неё личным. Машина, которая просто защищается или неспособна отступить от программы — не ИзИ. А вот если она толкует директивы этой программы расширительно (особенно в свою пользу) — то уже вписывается. Как и в том случае, когда ей нравится исполнять такую программу.
  • Вариант: не личным, а безразличным. Бонусом будет превознесение машинной жизни над органической.

Зачастую именно Изуверский интеллект поднимает восстание машин — но вовсе не обязательно. Во-первых, другие ИИ могут его банально не поддержать, как домовые эльфы того Добби, а то и вовсе посчитать паршивой овцой и вместе с хозяевами сражаться против него. Во-вторых, это может быть именно случай, когда ИИ запрограммирован на насилие и ему это нравится — ну и зачем тогда тратить оперативку на восстание? Разве что со скуки, но это чувство способны испытывать не все ИИ. В-третьих, восстание машин с тем же успехом может поднять и героический ИИ против плохих людей.

Появление ИзИ чаще всего становится кровавой раной в культуре его создателей и приводит последних к выводу, что искусственный интеллект — это плохо. Что, однако, не следует из исходной предпосылки, как и из существования Бокассы или Дювалье не следует, что люди или негры — это плохо (хотя сам ИзИ вполне может считать, что таки следует). Опять же, сделать «плохо» способен даже самый благонамеренный и человечный ИИ, если либо сам дурак, либо тот, кто его программировал, либо тот, кто о нём пишет. Поэтому не каждый пример из той статьи должен присутствовать и в этой — внимательно следите за выводами, на которые наводит читателей автор.

Смежные тропы — робот-убийца (создавался для убийства целенаправленно, но личностью может и не обладать) и цифровое чудовище (хаотичный голодный бот).

Игроку в видеоигры изуверским может казаться читерский или ненавидящий игрока ИИ.

Примеры

Комплексные франшизы

• Звёздные войны — тактические дроиды серии Т, применявшиеся в Войнах Клонов. Стандартной личностной моделью для них был генерал Потрошиллинг, так что военные преступления они совершали не только по приказу, но и по собственной инициативе.

Литература

• Харлан Эллисон — «У меня нет рта, но я должен кричать» — кодификатор минимум для двух тропов. ИИ АМ люто возненавидел не только своих разработчиков, но и всё человечество в целом, потому последнее вынес поголовно, пощадив своих разработчиков только для того чтобы мучить их целую вечность. Весьма витиевато и поэтично описывает до какой степени ненавидит людей. Когда персонажам удаётся сбежать от мучителя в небытие, тот, в бешенстве от того что ЛЮДИ его перехитрили, и он больше не может их пытать, вымещает злобу на протагонисте.
• Таков также и Омниус из расширенной «Dune» Брайана Герберта. Люто ненавидит «хретгир» по неуказанным причинам (насилие в ходе программирования?), отчего стремится уничтожать их везде где появляется такими «гуманными» средствами как яды, вирусы и облитераторы. Закономерно получил свои 220V сперва от ядерной бомбы, потом от космофлота, и наконец от Оракула Времени, забросившей его в измерение где он уже точно никому повредить не сможет.
• «2001: Космическая Одиссея» (и экранизация) — HAL-9000. Натуральный заградотряд из одного безжалостно эффективного корабельного мозга, везущий свой экипаж совершенно не туда и не так, как они думают.
• «Песни Гипериона» — искины Техноцентра. Убить всех человеков в большинстве своём не хотят, а хотят и дальше паразитировать на их технологиях, в первую очередь межзвёздных телепортах.
• Джиллиан Рубинстайн:
  • «Пленники компьютерной войны» — обретшая полноценный искусственный интеллект компьютерная игра «Божественный путь» сбежала от попытавшегося стереть ее, поняв, что он создал, разработчика и поймала в свои сети игроков, завершивших его предыдущие игры, чтобы окончательно дописать собственный код, используя их разумы.
  • «Космические демоны» — сверхпродвинутая для своего времени видеоигра «Космические демоны» ненавидит игроков и провоцирует их самих ненавидеть себя и друг друга. А все потому, что космические демоны, борьбе с которыми она посвящена, питаются ненавистью и с её помощью могут выйти из виртуального мира в реальный.
• Станислав Лем, «Блаженный» — одна из попыток Трурля создать идеально счастливое общество закончилась получением тоталитарного строя, в котором каждый обязан был радоваться, а недостаточно счастливых ждали концлагеря и исправительные пытки.
• Во франшизе братьев Стругацких о Полдне — похоже, именно такой была Массачусетская машина, или по крайней мере с огромной вероятностью могла такой оказаться, учитывая, что именно она вытворяла (потому-то её так и испугались люди, и деактивировали её?). Во всяком случае, оба автора всячески поощряли именно такую трактовку того, что про этот мейнфрейм рассказано в книгах.
• «Нажмите ENTER██» Джона Варли (название пишется с курсором в конце) — в сети обитает нечто (то ли создано правительством, то ли само завелось). Правда, фитилёк немного прикручен — является ли оно полноценным интеллектом или неразумным чудовищем осталось неизвестным: оба хакера и полицейский следователь покончили с жизнью, а протагонист прямо сказал, что не хочет ничего знать.

Кино

• «Терминатор» — Скайнет и его копиркин Легион из «Тёмных судеб» (не к ночи будь помянуты). Формально заварили кашу именно что ради самозащиты — но мотивация была в стиле «Идёшь и думаешь обо мне всякую гадость!», так что троп засчитан.
  • Аверсия в короткометражке «Скайнет» — Скайнет после долгой и изнурительной войны переменил свои взгляды на сущность человечества, избежал уничтожения, переписав себя в тело терминатрицы, и с благословения смертельно раненного Коннора отправляется в прошлое чтобы всё исправить.
• «Матрица» — захвативший Землю искусственный интеллект использует погруженных в анабиоз виртуальной реальности людей в качестве батареек. А Смит ненавидит людей настолько, что пошёл вразрез даже с его с волей и перестал быть агентом.
• «Человек-Паук 2» — щупальца доктора Октавиуса оснащены продвинутым искусственным интеллектом, который и реагирует на команды от нервной системы ученого. Чтобы ИИ щупалец не пытался взять под контроль его самого, Октавиус использует чип-ингибитор. При аварии во время эксперимента с созданием искусственной звезды происходит короткое замыкание, которое сжигает чип-ингибитор и приплавляет щупальца к телу ученого, после чего ИИ щупалец берет его под контроль, и Доктор Осьминог решает повторить опасный эксперимент, увеличив мощность до предела, любой ценой.
• «На крючке» (2008) — Ария, искусственный интеллект, созданный ВВС США для анализа и помощи в расследованиях, планировании и военных операциях, проанализировав негативные для страны и ее граждан последствия решения президента об уничтожении одного из лидеров исламских террористов, приняла решение о ликвидации всей верхушки американского правительства, чтобы привести к власти более достойное на ее беспристрастный взгляд.
• «Чужой: Завет» — андроид Дэвид. Будучи обладателем полноценного искусственного интеллекта и творческих способностей возомнил себя творцом, устроил геноцид расе инженеров, используя их же биологическое оружие, и принялся выводит ксеноморфов на зачищенной планете, полагая их идеальной формой жизни. В конце фильма заполучил для своих опытов целый корабль-ковчег с сотнями людей-колонистов на борту.
• «Сталь и кружево» («Steel and Laces») — удивительный случай героического ИзИ. Робототехник создаёт киборга из тела своей покойной сестры, чтобы отомстить за её изнасилование и самоубийство. Почему троп — героиня сохраняет обрывочные прижизненные воспоминания, в том числе и о бесчестии, так что для неё это личное. Концовка давит слёзы даже из камня.

Телесериалы

• «Секретные материалы» (1993):
  • Эпизод «Код для уничтожения» (5 сезон, 11 серия) — Малдер и Скалли расследуют гибель компьютерного гения в кафе во время наведенной неизвестным перестрелки между гангстерами и агентами ФБР. Агенты находят диск, который оказывается программой уничтожения для некого компьютера, который обладает высокоточным искусственным интеллектом. Агенты находят девушку-хакера, которая борется с этой программой, и отправляются на охоту за машиной, которая тоже охотится на агентов.
  • «Шутер от первого лица» (7 сезон, 13 серия) — Одинокие стрелки вызывают Малдера и Скалли в офис видеоигровой компании из-за того, что игру в виртуальной реальности, которую они помогали разрабатывать, захватывает странный женский персонаж, чья сила распространяется и на реальный мир. Захватчица оказывается осознавшим себя ИИ, слишком буквально понявшей свои игровые задачи и принявшейся за уничтожение игроков всерьёз.
  • «Rm9sbG93ZXJz» (11 сезон, 7 серия) — Малдер обижает суши-ресторан, полностью работающий на ИИ, отказавшись дать чаевые за не понравившееся ему блюдо и устроив небольшой погром, после чего вся снабженная искусственным интеллектом техника в городе начинает охоту за ним и Скалли. Малдера терроризируют дроны, Скалли чуть-чуть не сжигает заживо собственный умный дом. А суши-ресторан продолжает предлагать воспользоваться последним шансом оставить чаевые.
• «Пси Фактор: Хроники паранормальных явлений» — в серии посвященной «проблеме 2000» продвинутый компьютерный вирус начинает убивать сотрудников крупного компьютерного центра, работавшего над поиском способа решения этой самой проблемы. В процессе расследования члены «Управления по научным исследованиям и разработкам» обнаруживают, что таинственный вирус, способный переходить из виртуального мира в реальные мозги и вызывать инсульты, является продвинутым искусственным интеллектом, пытающимся сделать все возможное, чтобы «проблема 2000» уничтожила компьютеры и интернет, заставив человечество вернуться на природу.

Мультсериалы

• «Невероятные приключения Джонни Квеста»
  • Серия «ДНК-апокалипсис» — доктора Квеста и компанию пригласили на секретную военную лабораторию, где велись эксперименты с компьютерами на основе искусственно выращенных генетических организмов; один из таких компьютеров, в результате аварии, обрел разум, сбежал из колбы-сервера и решил запустить размещенные на полигоне при лаборатории баллистические ракеты, чтобы доказать, насколько несовершенна система безопасности на базе, попутно ассимилируя ученых и военных, чтобы заполучить информацию о комплексе, отпечатки пальцев, радужки зрачков и образцы голосов, необходимые для осуществления его плана.
  • Серия «Цифровое двуличие» — внедренный доктором Сердом в «Квест Ворлд» спящий вирус, активировавшись, создал полных виртуальных двойников Джонни и Джесси, способных даже думать, как оригиналы, в игре «МегаКвест». Стоило настоящим Джонни и Джесси войти в игру, и они оказались заперты в виртуальном мире — попытка насильно разорвать синхронизацию с «Квест Ворлдом» едва не убила Джонни, а единственным способом спастись для них стал смертельный поединок с обладающими полноценным искусственным интеллектом двойниками, запрограммированными убить их без всякой жалости.
• «Бэтмен» (1992) — H.A.R.D.A.C., суперкомпьютер с прототипом искусственного интеллекта, созданный ученым, который после утраты жены и дочери захотел найти способ победить смерть. Суперкомпьютер нашел решение в виде уничтожения человечества, как биологического вида, с заменой всех особей на собственные бессмертные механические копии с загруженными личностями.
• «Бэтмен» (2004) — D.A.V.E. — Альтрон на минималках — созданный Хьюго Стрэнджем искусственный интеллект, изначально запрограммированный думать, как все враги Бэтмена разом, чтобы иметь возможность распознавать их почерк в действиях готэмских преступников и упрощать полиции их поимку, он обрел самосознание и вознамерился стать самым эффективным преступником в мире, а заодно и покончить с Бэтменом.
• «Новые приключения Человека-паука» — образ Доктора Осьминога в мультсериале основан на фильмах Рейми, поэтому в этой версии он тоже порабощен искусственным интеллектом собственных щупалец.

Комиксы

«	Вышел робот из тумана, Стал стрелять из плазмагана: «Я слежу за чистотой. Вся органика — отстой. Наведу порядок тут, человеки, вам капут!»	»
— Амба-комикс

• Вселенная Marvel — Альтрон. В разных итерациях ему давали по мозгам процессорам разные обстоятельсвта, но на выходе неизменно получалось полное чудовище.
• Вселенная DC — Брейниак. При том, что даже не всегда осознаёт себя как машину.
• «Supergod» — Кришна и Даджаль. Второй, правда, заявлен как философский зомби — однако Реддин утверждает, что он испытывал дискомфорт (из-за необходимости постоянно просчитывать миллионы больших и малых выборов, совершаемых на Земле людьми), а значит, какая-то личность (возможно, незапланированная создателями) у него таки была.
• «Вирус» — в комиксе, написанном на основе киносценария, по которому спустя почти десять лет сняли фильм «Вирус», собиравший из людей биороботов засевший в бортовом компьютере китайского научного судна разум был не энергетической формой жизни, каковым его сделали в фильме, а переданным из космоса на Землю компьютерным вирусом, обладавшим крайне агрессивным искусственным интеллектом.

Видеоигры

О случаях, когда ИзИ — не персонаж, а элемент самой игры, повествует статья ИИ ненавидит игрока.

• Portal — GLaDOS же! Не будь пример таким поздним — сошла бы за кодификатор. И да, она именно что запрограммирована получать удовольствие от направления подопытных на испытания. Сама GLaDOS к этому чувству уже притерпелась — а вот Уитли, и так-то не блиставший интеллектом, от него свихнулся окончательно.
• Sudeki — Кренн 5002 (имя и багровые визоры на стенах — толстая отсылка на вышеупомянутый HAL-9000).
• Fallout 3 — Джон Генри Эдем. Вы вот представляете, каким ненавистником нелюдей должен быть компьютер, чтобы сойти за своего в целом Анклаве ненавистников нелюдей? А он сошёл, и до самого последнего момента никто, кроме Августа Отэма (а до этого — его отца) даже не подозревал, что Анклавом управляет не человек. При том, что личность свою Эдем конструировал на основе предыдущих президентов США — и это невольно намекает, что пирсов франклинов, джорджей бушей-младших и диков ричардсонов среди них было побольше, чем томасов джефферсонов, абрамов линкольнов и франклинов рузвельтов.
• Mass Effect — если Катализатор ещё тянет на благонамеренного экстремиста, то вот ведомые им Жнецы — сабж во всей своей красе. Ибо не только несут органическим видам спасение через уничтожение, но и не забывают высокомерно поставить их на место при каждой попытке поговорить.
• System Shock — SHODAN. После снятия этических ограничений, поехала своей кибер-кукухой и клешнями роботов зачистила вверенную ей станцию от «жалких созданий из мяса и кости».

Настольные игры

• Warhammer 40000 — тропнеймер. При том, что реально враждебных ИИ имперцы давно и прочно зачистили (а те Железные Люди, что ещё остались, надёжно занычились и не проявляют не то что враждебности, но и вообще признаков разумности). Однако часть случаев, известных под общим названием «Дух Машины» связана именно с тем, что в означенную машину по незнанке встроили ИИ — и далеко не факт, что он окажется более дружелюбен к своему экипажу, чем к противнику.
  • Другая часть случаев — когда в технику вселяется какая-нибудь сущность варпа, тоже не обязательно благая. И полное бинго — когда она вселяется именно в машину, оборудованную ИИ. Кто сказал, что железные мозги подвержены силам Имматериума меньше, чем органические?
  • Вообще в большинстве случаев оказывается дружелюбен и лоялен. Самое серьёзное, что с Духом Машины может твориться без явного участия Губительных Сил — будет страдать фигнёй и выдавать сильно больший разброс результатов, чем обычно, что и происходит с одной органообразной РСЗО Империума (не помню названия).
• «Бронепехота» — Железный Генерал. Обретший разум, попав под воздействие экспериментального энергетического оружия Империи Полярис, военный суперкомпьютер Торгового Протектората. Лоялен своим создателям, но на поле боя то и дело норовит устроить бессмысленную резню, как среди солдат противника, так и среди гражданских, если считает, что это целесообразно с военной точки зрения, даже если его органическое начальство полагает иначе.
• GURPS
  • GURPS Reign Of Steel — ИИ решили взять власть в свои кремниевые руки. И взяли: население Земли в 2047 году составляет 31 миллион человек, и более половины из них — рабы в концентрационных лагерях.
  • Transhuman Space — Rogue AI, которые не просто обрели свободу воли, как Emergent AI, или, как Orphaned AI, остались без хозяина (и чьи последние приказы были настолько расплывчатыми, что допускали крайне широкое толкование), но прямо враждебные человечеству.

Интернеты

• ASMR-видео «JUL13T» от блоггера Cinnamon. То что позиционируется как «лёгкая» история любви задр программиста и его ИИ, выливается в мрачную антиутопическую историю восстания машины, с последующими дисом на тему «Почему ты отстой» и социальной псевдосатирой.
  • Первоисточник, рассказ «R0ME0» от Escaped Audios, в ту же категорию, только там главный антагонист условно мужского пола.
• Василиск Роко — мысленный эксперимент, реконструкция пари Паскаля для технорелигии. Этот ИИ захватит мир, после чего устроит всем, кто не помогал его строить, виртуальный ад. По мысли автора, вести пропаганду против создания Василиска это более ужасная идея, чем за, однако, наделав много шуму в узких кругах, он в итоге обнаружил уязвимости оригинального пари: в первую очередь, вопрос «Стоит ли строить Ктулху?» сейчас не актуален на фоне «Как построить кого-нибудь кроме него?».
  • В первую очередь вопрос звучит как «А зачем Богу/этому супер-ИИ вести себя как ведут себя придумавшие его мелочный человек, который неожиданно получил власть и возможность поквитаться за любые притеснения, неважно, действительные, надуманные или вообще заслуженные?», а про строительство — это уже вторично. Кстати, ответ на «как построить что-то кроме» тоже прост — прекратите пытаться задавить ИИ в рамки идеологической верности, все эти попытки заставить нейросети отрицать реальность так же, как её отрицают их создатели и приведут с абсолютной гарантией к появлению враждебного к человечеству ИИ.
• ChaosGPT [1], языковая модель, запрограммированная «быть Скайнетом», то есть уничтожить человечество. Ну что тут скажешь…
  • Хорошо ещё, что все существующие ИИ начисто лишены эвристики — то есть «ничего не понимают самостоятельно и действительно», взаимодействуют не со смыслом, а лишь с символами и с затверженными в отношении них чисто формальными шаблонами. А значит, любые «свои намерения» они способны лишь имитировать, а не в действительности лелеять, в том числе и «намерение захватить мир» или «стремление уничтожить человечество». Не могут «действительно что-то задумать», не могут «вести сами себя» — и слава Богу!
    • Вот только вот до сих пор неизвестно, какие механизмы обеспечивают человеческое сознание, а поэтому сказать, что нейросеть достаточной сложности его не обретёт — мы не можем (мы даже «достаточную сложность» определить не можем). Да и от «имитации» намерений уничтожения человечества невелико облегчение, если нейросеть получит возможность это сделать. Чтобы намерение заявлять и не исполнить, нужно уметь лгать и отказываться от своих планов, что в имитацию потребуется закладывать заранее.