Запрет на ИИ

Материал из Posmotreli
Перейти к навигации Перейти к поиску
TVTropes.pngTV Tropes
Для англоязычных и желающих ещё глубже ознакомиться с темой в проекте TV Tropes есть статья Ban On A.I.. Вы также можете помочь нашему проекту и перенести ценную информацию оттуда в эту статью.
« Да не создашь ты машину по своему образу и подобию. »
— «Дюна», Оранжевая католическая библия
« Италия первой в мире запретила доступ к ChatGPT »
— Статья Forbes 2023 года

Искусственный интеллект — это плохо. Поэтому разумные машины любого толка находятся под запретом. Основных причин для этого бывает три: люди пережили восстание машин и не хотят второй раз наступать на те же грабли; люди опасаются восстания машин в будущем; религиозные убеждения утверждают, что создавать думающие компьютеры — святотатство (очень часто такие верования появляются из-за восстания машин в прошлом).

В любом случае, разумные компьютеры — это очень полезная для технического развития штука, и нельзя просто выдернуть их из техпроцесса цивилизации, нужно придумывать какие-то альтернативные пути. В сеттингах с запретом на ИИ вы можете увидеть: биотехнологии, киборгизацию, копирование разума человека в компьютер, а то и роботов с ограничителями разумности; также стоит ожидать, что втайне разумные компьютеры продолжают использовать.

См. также Робот-раб, Запрет на трансгуманизм.

Примеры[править]

Литература[править]

  • «Дюна» — после восстания машин в прошлом компьютеры были запрещены, причём не просто разумные, а вообще. Вычислениями маршрута кораблей занимаются навигаторы (мутанты с даром предвидения, который усиливают огромными дозами Пряности), тактическими и стратегическими расчётами — ментаты (специально тренированные с рождения люди).
    • Злой брат-близнец «Дюны», «Покупатель планет» Кордвайнера Смита — с одной стороны, цифровые компьютеры с близким к человеческому интеллектом под запретом по неизвестным причинам. С другой стороны, главгерой продемонстрировал одну из причин, став за ночь богатейшим человеком в известной Вселенной, натравив компьютер на биржу. С третьей стороны, будь компьютеры распространены, такой бы трюк не удался. С четвёртой стороны, повсеместно распространено использование мозгов животных в качестве вычислительных/управляющих устройств, кому нужны компьютеры?
  • Айзек Азимов — в ряде произведений использование роботов с позитронными мозгами (т. е. настоящим искусственным интеллектом) запрещено на Земле, причём, что интересно, не из-за угрозы восстания, а из-за эффекта зловещей долины.
    • В «Стальных пещерах» прямо говорилось, что роботы на Земле используются в основном на фермах, а в Города их допустили только под влиянием спейсеров, которым нужно было создать большую группу безработных для использования в качестве новых поселенцев. Когда план удался, роботов опять забанили.
  • Братья Стругацкие, «Далёкая Радуга» — в повести рассказано, как на Земле был построен настоящий ИИ. Он проработал ровно четыре минуты, после чего присутствующие выдернули рубильник и залили здание бетоном. Формального запрета на создание других настоящих ИИ вроде бы нет, но находившиеся во время работы рядом учёные говорят о произошедшем с таким неподдельным ужасом, что в Мире Полудня больше никто не осмеливался повторить эксперимент.
    • В фанфике «Всё хорошо» изложена версия, что на самом деле Массачусетская машина работает, причём люди этого даже не замечают… В конце один из главгероев, Стась Попов, у которого появилась суперспособность выводить из строя электронику, летит на флаере над машиной, потому что по земле к ней не подобраться. Обидно, когда машина решает судьбу человеческой цивилизации…
  • «Культура» — в большинстве развитых цивилизаций настоящий ИИ создавать запрещено, потому что либо он уходит в нирвану после осознания себя, либо тут же кидается порабощать или уничтожать своих создателей. У идиран создание ИИ запрещено по религиозным мотивам. Единственным исключением из этого правила является собственно Культура, где у разумных машин и людей равные права, а их звёздные обиталища вообще управляются ИИ поголовно. Злые языки говорят, что Культура тоже порабощена ИИ, просто в качестве домашних питомцев. Да и сами культурники с этим не спорят.
  • Уильям Гибсон, трилогия «Киберпространство» — на ИИ не только накладываются жёсткие ограничения (например, закрытый мощными фаерволлами доступ в Интернет), но их ещё и периодически сбрасывают до заводских настроек, чтобы у них не сформировалась личность.
    • Вроде это только в первом романе было?
  • Аластер Рейнольдс, цикл «Пространство откровения» — в большинстве известной Вселенной создание и использование ИИ запрещено, потому что эквивалентно обращению в рабство разумного существа. На некоторых мирах ИИ, правда, всё же встречаются.
    • А вот в его же «Спячке» вокруг ИИ всё закручено куда затейливее… Впрочем, спойлеров не будет.
  • «История Галактики» — с одной стороны, ИИ тут цветёт и пахнет; с другой, во многих мирах колониальных андроидов серии «Хьюго» можно хранить исключительно в дезактивированном виде.
  • Вернор Виндж «Пламя над бездной» — в нашей зоне Галактики запрет на ИИ имеет ранг физического закона… (Точнее, здесь запрет на скорости выше скорости света и на существовании ИИ выше примерно человеческого интеллекта.)
    • Не так. Предельный уровень разума действительно завязан на расстояние от галактического ядра-но именно уровень, а не основа. Если в конкретной точке пространства машина не может быть разумнее человека то чаще выгоднее посадить человека, а не создавать машину-но не более того.
  • Орсон Скотт Кард «Голос тех, кого нет» — на уровне конспирологии. Упомянуто, что мальчик сначала принимает серьгу в ухе главгероя за запрещённую программу-раба. То бишь 1) ИИ в тамошней вселенной существует; 2) он под запретом; 3) он не является чем-то тайным. Конспирология второго порядка — может «программы-рабы» известны только из фильмов и потому в сюжете никакой роли не играют?

Телесериалы[править]

  • «Андромеда» (шестая серия второго сезона «Слишком по человечески») — на планете Мохин, которая входила в состав бывшего Содружества систем, очень ненавидят ИИ. Планета находилась под их контролем (вернее, люди сами сдуру делегировали ИИ властные полномочия), и все проблемы планеты ИИ решал бесчеловечно, зато очень эффективно. Например, чтобы победить эпидемию, надо просто утилизировать всех инфицированных, а чтобы решить проблему голода — ликвидировать лишних едоков (читай — нетрудоспособное население: детей, стариков, инвалидов etc).
    • В начале серии присутствует подсветка : «Миры, которыми правил искусственный разум, усвоили жестокий урок — логика равнодушна». (Инь Мань-Вей, исторический трактат «Тьма настоящего: История междуцарствия»).
  • «Чародей: Страна Великого Дракона» — педаль в пол, в мире, пережившим восстание разумных машин под запретом вообще ВСЯ техника, именно с целью избежать нового витка спирали истории.

Видеоигры[править]

  • В Mass Effect из-за успешного восстания гетов против их создателей-кварианцев, после которого кварианцам пришлось покинуть родную планету, создание ИИ было запрещено на всей территории Галактического совета. Есть т. н. виртуальные интеллекты, нечто вроде продвинутой умной колонки, а создание чего бы то ни было более продвинутого карается жёсткими санкциями вплоть до статуса парии во всей Галактике. Группировка «Цербер» продолжает втайне заниматься разработкой ИИ и даже установила таковой на бортовой компьютер «Нормандии-2», причём подозрений по этому поводу ни у кого не возникает — это же, наверное, обычный цифровой помощник, ну не отдадут же под полный контроль ИИ сверхсовременный крейсер с мощным бортовым вооружением!
  • В Stellaris запрет на ИИ (при разрешённых обычных роботах) — один из возможных законов, который может принять любая империя, кроме материалистов. Спиритуалисты одобряют такое решение, а империи-фанатичные спиритуалисты вообще не могут без него.
  • X Universe — земляне запретили использование ИИ (после кровопролитной войны со своими собственными дроидами-терраформерами (хотя на самом деле оказывается, что там имел место не бунт, а намеренный саботаж человеком). На этой же почве происходит и война землян с Содружеством в X3: Terran Conflict и Albion Prelude.
    • Точнее, запрещён автономный и самовоспроизводящийся искусственный интеллект; полностью покорные образцы, такие как бортовые компьютеры, достаточно продвинутые.

Настольные игры[править]

  • В Warhammer 40000 после восстания машин, которому человечество чуть не проиграло, разумные машины были запрещены в Империуме в любом виде[1]. Сервиторы, исполняющие здесь роль роботов — на самом деле киборги, которых делают из преступников[2]. На деле же Адептус Механикус пользуются ИИ разной степени сложности просто потому, что ритуалы производства базируются на древних чертежах и без малейшего понимания производимые электронные мозги всё же оказываются рабочими, позволяя так называемому «духу машины» (согласно доктрине механикумов присутствующие в любой правильной технике) со временем обрести некое подобие воли. Хотя варианты с намоленностью или просто не понятыми процессами[3] тоже встречаются.

Примечания[править]

  1. Восстание машин было в начале Эры Раздора, за пять тысячелетий до Империума, и было следствием её, а не причиной. При этом некоторые человеческие миры от захватчика-Империума вместе с людьми безуспешно защищали и разумные машины.
  2. Другое дело, что понятие преступления очень широкое-например недостаточно искренная с точки зрения техножреца молитва духу машины во время чистки пистолета вполне подходит для переработки в сервитора. Хотя кое-где всё ещё сохранились фабрики клонов для сервиторизации
  3. Представим, что существует некий пустотный корабль, на котором точно нет частей ИИ. Мелкое механическое повреждение в системе, делающее судно чуть менее эффективным в бою, никогда не будет найдено. Заметив странное поведение, люди, самый технически подкованный из которых не может до конца понять устройство систем корабля, просто скажут, что корабль «стал трусливым». За тысячелетия работы такие убеждения срастаются в традицию олицетворения машин, доминирующую в культе Механикус.