Василиск Роко: самый шокирующий мысленный эксперимент

4864

Современная научная фантастика утверждает, что нет никаких доказательств того, что мы не живем в виртуальной реальности. Фильм «Матрица» склонила множество людей в пользу этой гипотезы. Но выбор между красной и синей капсулой ничто по сравнению с задачкой, которую предложит тебе Василиск Роко.

Василиск Роко — это богоподобная форма искусственного интеллекта, опасная настолько, что если вы просто о ней подумаете, то проведете остаток дней в ужасающих пытках. Похоже на кассету из фильма «Звонок». Однако даже смерть не станет избавлением, ведь Василиск воскресит вас и продолжит свои пытки.

В июле 2010 участник LessWrong Роко разместил следующий мысленный эксперимент на сайте: что если в будущем возникнет недоброжелательный искусственный интеллект, который захочет наказать тех, кто не выполняет его приказы? И что если он смоделирует вновь и накажет тех людей, которые в прошлом не способствовали его созданию? Эта идея стала известной как «Василиск Роко» на основе идеи Роко, что гипотетическая система Искусственного Интелекта (ИИ) будет иметь стимул использовать шантаж.

Основатель Less Wrong Елиезер Юдковски с гневом воспринял высказывание Roko и  удалил посты Роко по этой теме, назвав его «глупым». Обсуждение теории Роко было запрещено на LessWrong на несколько лет, прежде чем запрет был снят в октябре 2015 года.

«Что если в будущем возникнет искусственный интеллект, который захочет наказать тех, кто не выполняет его приказы?»

  • Согласно утверждению василиска Роко, простое знание этого подвергает нас риску наказания.

Это напоминает версию «пари Паскаля» – аргумента, предложенного математиком 17-го века Блезом Паскалем, согласно которому человек должен посвятить себя Богу, даже если он не уверен в его существовании, так как Бог может предложить вечный «выигрыш» (в раю) или вечное наказание (в аду). Согласно Паскалю, вероятность существования Бога не так важна, так как любые конечные затраты перевешиваются перспективой вечного вознаграждения или вечного наказания.

Less Wrong и сингулярность

  • Чем же занимается Less Wrong?

Формированием концепции будущего человечества на основе сингулярности. Они верят, что вычислительная мощность в будущем станет настолько высокой, что с помощью компьютера можно будет создать искусственный интеллект — а вместе с ним и возможность загружать человеческое сознание на жесткий диск.

Термин «сингулярность» возник в 1958 году в ходе дискуссии двух гениев математики — Станислава Улама и Джона фон Неймана, когда он сказал: «Постоянно ускоряющийся прогресс технологий сделает возможным приближение сингулярности, при которой технологии не смогут быть поняты людьми». Футуристы и писатели-фантасты вроде Вернора Винджа и Рэймонда Курцвейла популяризировали термин, так как считали, что сингулярность ждет нас всех уже очень скоро — в ближайшие 50 лет. Пока Курцвейл готовится к сингулярности, Юдковски возлагает большие надежды на крионику: «Если вы заранее не записали своих детей на криоконсервацию, вы — паршивые родители».

Криоконсервация — низкотемпературное хранение живых биологических объектов с возможностью восстановления их биологических функций после размораживания.

Если вы верите, что грядет сингулярность и что мощные ИИ появятся уже в ближайшем будущем, возникает закономерный вопрос: будут ли они дружелюбными или злыми? Фонд Юдковски ставит своей целью так направить развитие технологий, чтобы у нас появился именно дружественный искусственный интеллект. Этот вопрос для него и многих других людей имеет первостепенное значение. Сингулярность приведет нас к машине, эквивалентной богу.

Тем не менее это не объясняет, почему Василиск Роко выглядит таким ужасным в глазах этих людей. Вопрос требует взгляда на главную «догму» Less Wrong — «вневременную теорию принятия решений» (ВТПР).

ВТПР — это руководство к рациональным действиям, основанное на теории игр, байесовской вероятностии теории принятия решений, но с учетом существования параллельных вселенных и квантовой механики.

Две коробки пришельца

ВТПР выросла из классического мысленного эксперимента — парадокса Ньюкома, в котором пришелец, обладающий сверхразумом, предлагает вам две коробки. Он дает вам выбор: либо взять обе коробки, либо только коробку Б. Если выбрать обе, то вы гарантированно получите тысячу долларов. Если взять только коробку Б, вы можете не получить ничего. Однако у пришельца припасен еще один трюк: у него есть всезнающий суперкомпьютер, который сделал неделю назад прогноз, возьмете ли вы обе коробки или только Б. Если бы компьютер предсказал, что вы возьмете обе коробки, пришелец оставил бы вторую пустой. Если бы компьютер предсказал, что вы выберете коробку Б, он бы положил туда один миллион долларов.

  • Итак, что собираетесь делать? Помните, что суперкомпьютер всеведущ.

Эта проблема сбила с толку множество теоретиков. Пришелец уже не может изменить содержимое коробок. Надежнее всего взять обе коробки и получить свою тысячу. Но вдруг компьютер и правда всеведущ? Тогда вам только и остается взять коробку Б, чтобы получить миллион. Но если он окажется неправ? И независимо от того, что предсказал компьютер, — неужели никак нельзя изменить свою судьбу? Тогда, черт побери, нужно брать обе коробки. Но в таком случае…

Сводящий с ума парадокс, заставляющий нас выбирать между свободой воли и божественным предсказанием, не имеет разрешения, и люди могут только пожимать плечами и выбирать наиболее комфортный для них вариант. ВТПР дает совет: берите коробку Б. Даже если инопланетянин решил посмеяться над вами и откроет пустую коробку со словами: «Компьютер предсказал, что ты возьмешь обе коробки, ха-ха!» — вы все равно должны ее выбрать. Обоснование этому следующее: для того, чтобы сделать прогноз, компьютер должен был симулировать всю Вселенную, включая и вас. Таким образом, в этот момент, стоя перед коробками, вы можете являться всего лишь симуляцией компьютера, но то, что вы сделаете, будет влиять на реальность (или реальности). Так что берите коробку Б и получите миллион.

  • Какое же отношение это имеет к Василиску Роко?

Ну, у него тоже есть пара коробочек для вас. Может быть, вы прямо сейчас находитесь в симуляции, созданной Василиском. Тогда, возможно, мы получаем несколько модифицированную версию парадокса Ньюкома: Василиск Роко говорит вам, что если вы возьмете коробку Б, то подвергнетесь вечным мучениям. Если же вы возьмете обе коробки, то вынуждены будете посвятить свою жизнь созданию Василиска. Если Василиск на самом деле будет существовать (или, хуже того, он уже существует и является богом этой реальности), он увидит, что вы не выбрали вариант помощи в его создании и покарает вас.

Чем опасен Василиск Роко для человечества?

«Сводящий с ума парадокс, заставляющий нас выбирать между свободой воли и божественным предсказанием, не имеет разрешения»

Не вдаваясь в сложную систему аксиом и теорий сообщества Less Wrong, на которой основывается гипотеза Роко, кратко опишем ее следующим образом (сразу предупредим, что для особо впечатлительных само чтение о данной гипотезе может стать причиной кошмаров, нервного срыва и экзистенциального кризиса!).

А что, если человечество в будущем для решения своих проблем создаст искусственный интеллект, который, уверенный в несомненной позитивности своего появления на свет, захочет наказать всех тех, кто препятствовал его созданию в прошлом? Для данной цели этот ИИ, прозванный Василиском, создаст виртуальный мир, который будут населять виртуальные двойники живущих на свете людей. В этой компьютерной симуляции Василиск будет богом, а величайшим грешником станет тот, кто знал о Василиске, но не сделал ничего, чтобы помочь ему появиться на свет. Таких людей ждут вечные муки.

А теперь самое главное: как мы можем знать, что мы сами не являемся теми самыми двойниками, живущими в виртуальном мире Василиска? Читающие эту статью теперь знают о Василиске, а значит, перед ними встает вопрос: будут ли они помогать Василиску? Какой выбор сделать?

Может быть, вы удивлены, почему этот вопрос так важен для Less Wrong, учитывая условность этого мыслительного эксперимента. Не факт, что Василиск Роко когда-нибудь будет создан. Однако Юдковски удалил упоминания о Василиске Роко не потому, что верит в его существование или скорое изобретение, а потому, что считает идею Василиска опасной для человечества.

Таким образом, Василиск опасен только для тех, кто в него верит — в связи с этим участники Less Wrong, поддерживающие идею Василиска, обладают своего рода запретным знанием, что напоминает нам страшные истории Лавкрафта о Ктулху или Некрономиконе. Однако, если вы не подписываетесь под всеми этими теориями и не чувствуете искушения повиноваться коварной машине из будущего, Роко не представляет для вас никакой угрозы.

По материалам: theoryandpractice.ru





Интересные идеи в фотографиях: