Стюарт Рассел "Совместимость. Как контролировать искусственный интеллект"

В массовом сознании сверхчеловеческий искусственный интеллект – технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать. В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные. О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги – объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход. Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным. Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.

date_range Год издания :

foundation Издательство :Альпина Диджитал

person Автор :

workspaces ISBN :978-5-0013-9370-2

child_care Возрастное ограничение : 12

update Дата обновления : 14.06.2023


Лео Силард (рис. 2в), венгерский физик, только что бежавший из нацистской Германии, остановился в лондонском отеле «Империал» на Рассел-сквер. За завтраком он прочитал статью в The Times. Размышляя над речью Резерфорда, он вышел пройтись и открыл нейтронную цепную реакцию[7 - Очень легкое для понимания описание развития ядерной технологии см. в: Richard Rhodes, The Making of the Atomic Bomb (Simon & Schuster, 1987).]. «Неразрешимая» проблема высвобождения ядерной энергии была решена, по сути, менее чем за 24 часа. В следующем году Силард подал секретную заявку на патент ядерного реактора. Первый патент на атомное оружие был выдан во Франции в 1939 г.

Мораль этой истории – держать пари на человеческую изобретательность безрассудно, особенно если на кону наше будущее. В сообществе разработчиков ИИ складывается своего рода культура отрицания, доходящая даже до отрицания возможности достижения долгосрочных целей ИИ. Как если бы водитель автобуса, в салоне которого сидит все человечество, заявил: «Да, я делаю все возможное, чтобы мы въехали на вершину горы, но, уверяю вас, бензин кончится прежде, чем мы туда попадем!»

Я не утверждаю, что успех в создании ИИ гарантирован, и считаю очень маловероятным, что это случится в ближайшие годы. Представляется тем не менее разумным подготовиться к самой возможности. Если все сложится хорошо, это возвестит золотой век для человечества, но мы должны взглянуть правде в лицо: мы собираемся использовать нечто намного более могущественное, чем люди. Как добиться, чтобы оно никогда, ни при каких условиях не взяло верх над нами?

Чтобы составить хотя бы какое-то представление о том, с каким огнем мы играем, рассмотрим алгоритмы выбора контента в социальных сетях. Они не особо интеллектуальны, но способны повлиять на весь мир, поскольку оказывают непосредственное воздействие на миллиарды людей. Обычно подобные алгоритмы направлены на максимизацию вероятности того, что пользователь кликнет мышью на представленные элементы. Решение простое – демонстрировать те элементы, которые пользователю нравится кликать, правильно? Неправильно. Решение заключается в том, чтобы менять предпочтения пользователя, делая их более предсказуемыми. Более предсказуемому пользователю можно подсовывать элементы, которые он с большой вероятностью кликнет, повышая прибыль таким образом. Люди с радикальными политическими взглядами отличаются большей предсказуемостью в своем выборе. (Вероятно, имеется и категория ссылок, на которые с высокой долей вероятности станут переходить убежденные центристы, но нелегко понять, что в нее входит.) Как любая рациональная сущность, алгоритм обучается способам изменения своего окружения – в данном случае предпочтений пользователя, – чтобы максимизировать собственное вознаграждение[8 - Простой алгоритм контролируемого обучения может не обладать таким эффектом, если не имеет оболочки в виде платформы A/B тестирования (обычного инструмента онлайнового маркетинга). Алгоритмы решения проблемы многорукого бандита и алгоритмы обучения с подкреплением окажут это воздействие, если будут работать с явным представлением состояния пользователя или неявным представлением в плане истории взаимодействий с пользователем.]. Возможные последствия включают возрождение фашизма, разрыв социальных связей, лежащих в основе демократий мира, и, потенциально, конец Европейского союза и НАТО. Неплохо для нескольких строчек кода, пусть и действовавшего с небольшой помощью людей. Теперь представьте, на что будет способен действительно интеллектуальный алгоритм.

Что пошло не так?

Историю развития ИИ движет одно-единственное заклинание: «Чем интеллектуальнее, тем лучше». Я убежден, что это ошибка, и дело не в туманных опасениях, что нас превзойдут, а в самом нашем понимании интеллекта.

Понятие интеллекта является определяющим для нашего представления о самих себе – поэтому мы называем себя Homo sapiens, или «человек разумный». По прошествии двух с лишним тысяч лет самопознания мы пришли к пониманию интеллекта, которое может быть сведено к следующему утверждению:

Люди разумны настолько, насколько можно ожидать, что наши действия приведут к достижению поставленных нами целей.

Все прочие характеристики разумности – восприятие, мышление, обучение, изобретательство и т. д. – могут быть поняты через их вклад в нашу способность успешно действовать. С самого начала разработки ИИ интеллектуальность машин определялась аналогично:

Машины разумны настолько, насколько можно ожидать, что их действия приведут к достижению поставленных ими целей.

Поскольку машины, в отличие от людей, не имеют собственных целей, мы говорим им, каких целей нужно достичь. Иными словами, мы строим оптимизирующие машины, ставим перед ними цели, и они принимаются за дело.

Этот общий подход не уникален для ИИ. Он снова и снова применяется в технологических и математических схемах нашего общества. В области теории управления, которая разрабатывает системы управления всем, от авиалайнеров до инсулиновых помп, работа системы заключается в минимизации функции издержек, обычно дающих некоторое отклонение от желаемого поведения. В сфере экономики механизмы политики призваны максимизировать пользу для индивидов, благосостояние групп и прибыль корпораций[9 - Некоторые считают, что корпорации, ориентированные на максимизацию прибыли, уже являются вышедшими из-под контроля искусственными сущностями. См., например: Charles Stross, “Dude, you broke the future!” (keynote, 34th Chaos Communications Congress, 2017). См. также: Ted Chiang, “Silicon Valley is turning into its own worst fear,” Buzzfeed, December 18, 2017. Эта мысль углубленно исследуется в сб.: Daniel Hillis, “The first machine intelligences,” in Possible Minds: Twenty-Five Ways of Looking at AI, ed. John Brockman (Penguin Press, 2019).]. В исследовании операций, направлении, решающем комплексные логистические и производственные проблемы, решение максимизирует ожидаемую сумму вознаграждений во времени. Наконец, в статистике обучающиеся алгоритмы строятся с таким расчетом, чтобы минимизировать ожидаемую функцию потерь, определяющую стоимость ошибки прогноза.

Очевидно, эта общая схема, которую я буду называть стандартной моделью, широко распространена и чрезвычайно действенна. К сожалению, нам не нужны машины, интеллектуальные в рамках стандартной модели.

На оборотную сторону стандартной модели указал в 1960 г. Норберт Винер, легендарный профессор Массачусетского технологического института и один из ведущих математиков середины XX в. Винер только что увидел, как шахматная программа Артура Самуэля научилась играть намного лучше своего создателя. Этот опыт заставил его написать провидческую, но малоизвестную статью «Некоторые нравственные и технические последствия автоматизации»[10 - Для своего времени статья Винера была редким примером расхождения с господствующим представлением, что любой технологический прогресс во благо: Norbert Wiener, “Some moral and technical consequences of automation,” Science 131 (1960): 1355–58.]. Вот как он формулирует главную мысль:

Если мы используем для достижения своих целей механического посредника, в действие которого не можем эффективно вмешаться… нам нужна полная уверенность в том, что заложенная в машину цель является именно той целью, к которой мы действительно стремимся.

«Заложенная в машину цель» – это те самые задачи, которые машины оптимизируют в стандартной модели. Если мы вводим ошибочные цели в машину, более интеллектуальную, чем мы сами, она достигнет цели и мы проиграем. Описанная мною деградация социальных сетей – просто цветочки, результат оптимизации неверной цели во всемирном масштабе, в сущности, неинтеллектуальным алгоритмом. В главе 5 я опишу намного худшие результаты.

Этому не приходится особенно удивляться. Тысячелетиями мы знали, как опасно получить именно то, о чем мечтаешь. В любой сказке, где герою обещано исполнить три желания, третье всегда отменяет два предыдущих.

В общем представляется, что движение к созданию сверхчеловеческого разума не остановить, но успех может обернуться уничтожением человеческой расы. Однако не все потеряно. Мы должны найти ошибки и исправить их.

Можем ли мы что-то исправить

Проблема заключается в самом базовом определении ИИ. Мы говорим, что машины разумны, поскольку можно ожидать, что их действия приведут к достижению их целей, но не имеем надежного способа добиться того, чтобы их цели совпадали с нашими.

Что, если вместо того, чтобы позволить машинам преследовать их цели, потребовать от них добиваться наших целей? Такая машина, если бы ее можно было построить, была бы не только интеллектуальной, но и полезной для людей. Попробуем следующую формулировку:

Машины полезны настолько, насколько можно ожидать, что их действия достигнут наших целей.

Пожалуй, именно к этому нам все время следовало стремиться.

Разумеется, тут есть трудность: наши цели заключены в нас (всех 8 млрд человек, во всем их великолепном разнообразии), а не в машинах. Тем не менее возможно построить машины, полезные именно в таком понимании. Эти машины неизбежно будут не уверены в наших целях – в конце концов, мы сами в них не уверены, – но, оказывается, это свойство, а не ошибка (то есть хорошо, а не плохо). Неуверенность относительно целей предполагает, что машины неизбежно будут полагаться на людей: спрашивать разрешения, принимать исправления и позволять себя выключить.

Исключение предпосылки, что машины должны иметь определенные цели, означает, что мы должны будем изъять и заменить часть предпосылок ИИ – базовые определения того, что мы пытаемся создать. Это также предполагает перестройку значительной части суперструктуры – совокупности идей и методов по разработке ИИ. В результате возникнут новые отношения людей и машин, которые, я надеюсь, позволят нам благополучно прожить следующие несколько десятилетий.

2. Разумность людей и машин

Если вы зашли в тупик, имеет смысл вернуться назад и выяснить, в какой момент вы свернули не в ту сторону. Я заявил, что стандартная модель ИИ, в которой машины оптимизируют фиксированную цель, поставленную людьми, – это тупик. Проблема не в том, что у нас может не получиться хорошо выполнить работу по созданию ИИ, а в том, что мы может добиться слишком большого успеха. Само определение успеха применительно к ИИ ошибочно.

Итак, пройдем по собственным следам в обратном направлении вплоть до самого начала. Попытаемся понять, как сложилась наша концепция разумности и как получилось, что она была применена к машинам. Тогда появится шанс предложить лучшее определение того, что следует считать хорошей системой ИИ.

Разумность

Как устроена Вселенная? Как возникла жизнь? Где ключи к пониманию этого? Эти фундаментальные вопросы заслуживают размышлений. Но кто их задает? Как я на них отвечаю? Как может горстка материи – несколько килограммов розовато-серого бланманже, которое мы называем мозгом, – воспринимать, понимать, прогнозировать и управлять невообразимо огромным миром? Очень скоро мозг начинает исследовать сам себя.

Тысячелетиями мы пытаемся понять, как работает наш ум. Первоначально это делалось из любопытства, ради самоконтроля и вполне прагматичной задачи решения математических задач. Тем не менее каждый шаг к объяснению того, как работает ум, является и шагом к воссозданию возможностей ума в искусственном объекте – то есть к созданию ИИ.

Чтобы разобраться в том, как создать разумность, полезно понять, что это такое. Ответ заключается не в тестах на IQ и даже не в тесте Тьюринга, а попросту во взаимосвязи того, что мы воспринимаем, чего хотим и что делаем. Грубо говоря, сущность разумна настолько, насколько ее действия могут привести к получению желаемого при условии, что желание было воспринято.

Эволюционные корни

Возьмем самую обыкновенную бактерию, например E. coli. У нее имеется полдесятка жгутиков – длинных тонких, как волоски, усиков, вращающихся у основания по часовой или против часовой стрелки. (Этот двигатель сам по себе потрясающая штука, но сейчас речь не о нем.) Плавая в жидкости у себя дома – в нижнем отделе вашего кишечника, – E. coli вращает жгутики то по часовой стрелке и «пританцовывает» на месте, то против, отчего они сплетаются в своего рода пропеллер, и бактерия плывет по прямой. Таким образом, E. coli может перемещаться произвольным образом – то плыть, то останавливаться, – что позволяет ей находить и потреблять глюкозу, вместо того чтобы оставаться неподвижной и погибнуть от голода.

Если бы на этом все заканчивалось, мы не назвали бы E. coli сколько-нибудь разумной, потому что ее действия совершенно не зависели бы от среды. Она не принимала бы никаких решений, только выполняла определенные действия, встроенные эволюцией в ее гены. Но это не все. Если E. coli ощущает увеличение концентрации глюкозы, то дольше плывет и меньше задерживается на месте, а чувствуя меньшую концентрацию глюкозы – наоборот. Таким образом, то, что она делает (плывет к глюкозе), повышает ее шансы достичь желаемого (по всей видимости, больше глюкозы), причем она действует с опорой на воспринимаемое (увеличение концентрации глюкозы).

Возможно, вы думаете: «Но ведь и такое поведение встроила в ее гены эволюция! Как это делает ее разумной?» Такое направление мысли опасно, поскольку и в ваши гены эволюция встроила базовую конструкцию мозга, но вы едва ли станете отрицать собственную разумность на этом основании. Дело в том, что нечто заложенное эволюцией в гены E. coli, как и в ваши, представляет собой механизм изменения поведения бактерии под влиянием внешней среды. Эволюция не знает заранее, где будет глюкоза или ваши ключи, поэтому организм, наделенный способностью найти их, получает еще одно преимущество.

Разумеется, E. coli не гигант мысли. Насколько мы знаем, она не помнит, где была, и если переместится из точки А в точку Б и не найдет глюкозы, то, скорее всего, просто вернется в А. Если мы создадим среду, где привлекательное увеличение концентрации глюкозы ведет к месту содержания фенола (яда для E. coli), бактерия так и будет следовать вслед за ростом концентрации. Она совершенно не учится. У нее нет мозга, за все отвечает лишь несколько простых химических реакций.

Огромным шагом вперед стало появление потенциала действия – разновидности электрической сигнализации, возникшей у одноклеточных организмов около 1 млрд лет назад. Впоследствии многоклеточные организмы выработали специализированные клетки, нейроны, которые с помощью электрических потенциалов быстро – со скоростью до 120 м/с, или 430 км/ч – передают сигналы в организме. Связи между нейронами называются синапсами. Сила синаптической связи определяет меру электрического возбуждения, проходящего от одного нейрона к другому. Изменяя силу синаптических связей, животные учатся[11 - Сантьяго Рамон-и-Кахаль в 1894 г. предположил, что изменения синапсов являются признаком обучения, но эта гипотеза была экспериментально подтверждена только в конце 1960-х гг. См.: Timothy Bliss and Terje Lomo, “ Long-lasting potentiation of synaptic transmission in the dentate area of the anaesthetized rabbit following stimulation of the perforant path,” Journal of Physiology 232 (1973): 331–56.]. Обучаемость дает громадное эволюционное преимущество, поскольку позволяет животному адаптироваться к широкому спектру условий. Кроме того, обучаемость ускоряет темп самой эволюции.

Первоначально нейроны были сгруппированы в нервные узлы, которые распределялись по всему организму и занимались координацией деятельности, скажем, питания и выделения, или согласованным сокращением мышечных клеток в определенной области тела. Изящные пульсации медузы – результат действия нервной сети. У медузы нет мозга.

Мозг возник позднее, вместе со сложными органами чувств, такими как глаза и уши. Через несколько сот миллионов лет после появления медузы с ее нервными узлами появились мы, люди, существа с большим головным мозгом – 100 млрд (10

) нейронов и квадриллион (10

) синапсов. Медленное в сравнении с электрическими цепями «время цикла» в несколько миллисекунд на каждое изменение состояния является быстрым по сравнению с большинством биологических процессов. Человеческий мозг часто описывается своими владельцами как «самый сложный объект во Вселенной», что, скорее всего, неверно, но хорошее оправдание тому факту, что мы до сих пор очень слабо представляем себе, как он работает. Мы очень много знаем о биохимии нейронов и синапсов в анатомических структурах мозга, но о нейронной реализации когнитивного уровня – обучении, познании, запоминании, мышлении, планировании, принятии решений и т. д. – остается по большей части гадать[12 - Краткое введение см. в статье: James Gorman, “Learning how little we know about the brain,” The New York Times, November 10, 2014. См. также: Tom Siegfried, “There’s a long way to go in understanding the brain,” ScienceNews, July 25, 2017. Специальный выпуск журнала Neuron в 2014 г. (vol. 94, pp. 933?1040) дает общее представление о множестве подходов к пониманию головного мозга.]. (Возможно, это изменится с углублением нашего понимания ИИ или создания все более точных инструментов измерения мозговой активности.) Итак, читая в СМИ, что такое-то средство реализации ИИ «работает точно так же, как человеческий мозг», можно подозревать, что это чье-то предположение или чистый вымысел.

В сфере сознания мы в действительности не знаем ничего, поэтому и я ничего не стану об этом говорить. Никто в сфере ИИ не работает над наделением машин сознанием, никто не знает, с чего следовало бы начинать такую работу, и никакое поведение не имеет в качестве предшествующего условия сознание. Допустим, я даю вам программу и спрашиваю: «Представляет ли она угрозу для человечества?» Вы анализируете код и видите – действительно, если его запустить, код составит и осуществит план, результатом которого станет уничтожение человеческой расы, как шахматная программа составила и осуществила бы план, в результате которого смогла бы обыграть любого человека. Предположим далее, что я говорю, что этот код, если его запустить, еще и создает своего рода машинное сознание. Изменит ли это ваш прогноз? Ни в малейшей степени. Это не имеет совершенно никакого значения[13 - Наличие или отсутствие сознания – активного субъективного опыта – безусловно, принципиально важно для нашего отношения к машинам с точки зрения морали. Даже если бы мы знали достаточно, чтобы сконструировать сознающие машины или обнаружить тот факт, что нам это удалось, то столкнулись бы со множеством серьезных нравственных проблем, к решению большинства из которых не готовы.]. Ваш прогноз относительно его действия останется точно таким же, потому что основывается на коде. Все голливудские сюжеты о том, как машины таинственным образом обретают сознание и проникаются ненавистью к людям, упускают из вида главное: важны способности, а не осознанность.

У мозга есть важное когнитивное свойство, которое мы начинаем понимать, а именно – система вознаграждения. Это интересная сигнальная система, основанная на дофамине, которая связывает с поведением положительные и отрицательные стимулы. Ее действие открыл шведский нейрофизиолог Нильс-Аке Хилларп и его сотрудники в конце 1950-х гг. Она заставляет нас искать положительные стимулы, например сладкие фрукты, повышающие уровень дофамина; она же заставляет нас избегать отрицательные стимулы, скажем, опасность и боль, снижающие уровень дофамина. В каком-то смысле она действует так же, как механизм поиска глюкозы у бактерии E. coli, но намного сложнее. Система вознаграждения обладает «встроенными» методами обучения, так что наше поведение со временем становится более эффективным в плане получения вознаграждения. Кроме того, она делает возможным отложенное вознаграждение, благодаря чему мы учимся желать, например, деньги, обеспечивающие отдачу в будущем, а не сию минуту. Мы понимаем, как работает система вознаграждения в нашем мозге, в том числе потому, что она напоминает метод обучения с подкреплением, разработанный в сфере исследования ИИ, для которого у нас имеется основательная теория[14 - Данная статья одной из первой установила четкую связь между алгоритмами обучения с подкреплением и нейрофизиологической регистрацией: Wolfram Schultz, Peter Dayan, and P. Read Montague, “A neural substrate of prediction and reward,” Science 275 (1997): 1593–99.].

С эволюционной точки зрения мы можем считать систему вознаграждения мозга аналогом механизма поиска глюкозы у E. coli, способом повышения эволюционной приспособленности. Организмы, более эффективные в поиске вознаграждения – а именно: в нахождении вкусной пищи, избегании боли, занятии сексом и т. д., – с большей вероятностью передают свои гены потомству. Организму невероятно трудно решить, какое действие в долгосрочной перспективе скорее всего приведет к успешной передаче его генов, поэтому эволюция упростила нам эту задачу, снабдив встроенными указателями.

Однако эти указатели несовершенны. Некоторые способы получения вознаграждения снижают вероятность того, что наши гены будут переданы потомству. Например, принимать наркотики, пить огромное количество сладкой газировки и играть в видеоигры по 18 часов в день представляется контрпродуктивным с точки зрения продолжения рода. Более того, если бы вы получили прямой электрический доступ к своей системе вознаграждения, то, по всей вероятности, занимались бы самостимуляцией без конца, пока не умерли бы[15 - Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, “Electrical self-stimulation of the brain in man,” American Journal of Psychiatry 120 (1963): 571–77.].

Рассогласование вознаграждающих сигналов и эволюционной необходимости влияет не только на отдельных индивидов. На маленьком острове у берегов Панамы живет карликовый трехпалый ленивец, как оказалось, страдающий зависимостью от близкого к валиуму вещества в своем рационе из мангровых листьев и находящийся на грани вымирания[16 - Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, “Biology and conservation of the pygmy sloth, Bradypus pygmaeus,” Journal of Mammalogy 96 (2015): 703–7.]. Таким образом, целый вид может исчезнуть, если найдет экологическую нишу, где сможет поощрять свою систему вознаграждения нездоровым образом.

Впрочем, за исключением подобных случайных неудач, обучение максимизации вознаграждения в естественной среде обычно повышает шансы особи передать свои гены и пережить изменения окружающей среды.

Эволюционный ускоритель

Обучение способствует не только выживанию и процветанию. Оно еще и ускоряет эволюцию. Каким образом? В конце концов, обучение не меняет нашу ДНК, а эволюция заключается в изменении ДНК с поколениями. Предположение, что между обучением и эволюцией существует связь, независимо друг от друга высказали в 1896 г. американский психолог Джеймс Болдуин[17 - Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, “A new factor in evolution,” American Naturalist 30 (1896): 441–51.] и британский этолог Конви Ллойд Морган[18 - Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).], но в те времена оно не стало общепринятым.

Эффект Болдуина, как его теперь называют, можно понять, если представить, что эволюция имеет выбор между созданием инстинктивного организма, любая реакция которого зафиксирована заранее, и адаптивного организма, который учится, как ему действовать. Теперь предположим, для примера, что оптимальный инстинктивный организм можно закодировать шестизначным числом, скажем, 472116, тогда как в случае адаптивного организма эволюция задает лишь 472, и организм сам должен заполнить пробел путем обучения на протяжении жизни. Очевидно, если эволюция должна позаботиться лишь о выборе трех первых цифр, ее работа значительно упрощается; адаптивный организм, получая через обучение последние три цифры, за одну жизнь делает то, на что эволюции потребовалось бы много поколений. Таким образом, способность учиться позволяет идти эволюционно коротким путем при условии, что адаптивный организм сумеет выжить в процессе обучения. Компьютерное моделирование свидетельствует о реальности эффекта Болдуина[19 - Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, “How learning can guide evolution,” Complex Systems 1 (1987): 495–502.]. Влияние культуры лишь ускоряет процесс, потому что организованная цивилизация защищает индивидуальный организм, пока тот учится, и передает ему информацию, которую в ином случае индивиду пришлось бы добывать самостоятельно.

Описание эффекта Болдуина является увлекательным, но неполным: оно предполагает, что обучение и эволюция обязательно работают в одном направлении, а именно, что направление обучения, вызванное любым сигналом внутренней обратной связи в организме, с точностью соответствует эволюционной приспособленности. Как мы видели на примере карликового трехпалого ленивца, это не так. В лучшем случае встроенные механизмы обучения дают лишь самое общее представление о долгосрочных последствиях любого конкретного действия для эволюционной приспособленности. Более того, возникает вопрос: как вообще возникла система вознаграждения? Ответ: разумеется, в процессе эволюции, усвоившей тот механизм обратной связи, который хоть сколько-нибудь соответствовал эволюционной приспособленности[20 - Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, “Interactions between learning and evolution,” in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).]. Очевидно, механизм обучения, который заставлял бы организм удаляться от потенциальных брачных партнеров и приближаться к хищникам, не просуществовал бы долго.

Таким образом, мы должны поблагодарить эффект Болдуина за то, что нейроны, с их способностью к обучению и решению задач, широко распространены в животном царстве. В то же время важно понимать, что эволюции на самом деле все равно, есть у вас мозг или интересные мысли. Эволюция считает вас лишь агентом, то есть кем-то, кто действует. Такие достославные характеристики интеллекта, как логическое рассуждение, целенаправленное планирование, мудрость, остроумие, воображение и креативность, могут быть принципиально важны для разумности агента, а могут и не быть. Идея ИИ невероятно захватывает в том числе потому, что предлагает возможный путь к пониманию этих механизмов. Может быть, нам удастся узнать, как эти характеристики интеллекта делают возможным разумное поведение, а также почему без них невозможно достичь по-настоящему разумного поведения.

Рациональность для одного

С самых истоков древнегреческой философии концепция разума связывалась со способностью воспринимать, мыслить логически и действовать успешно[21 - Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.]. В течение столетий эта концепция расширилась и уточнилась.

Аристотель среди прочих изучал понятие успешного рассуждения – методы логической дедукции, которые ведут к верному выводу при условии верной предпосылки. Он также исследовал процесс принятия решения о том, как действовать, иногда называемый практическим рассуждением. Философ считал, что предполагается логическое заключение о том, что определенная последовательность действий приводит к желаемой цели[22 - Цит. в пер. Н. Брагинской. – Прим. пер.]:

Решение наше касается не целей, а средств, ведь врач принимает решения не о том, будет ли он лечить, и ритор – не о том, станет ли он убеждать… но, поставив цель, он заботится о том, каким образом и какими средствами ее достигнуть; и если окажется несколько средств, то прикидывают, какое самое простое и наилучшее; если же достижению цели служит одно средство, думают, как ее достичь при помощи этого средства и что будет средством для этого средства, покуда не дойдут до первой причины, находят которую последней… И, если наталкиваются на невозможность [достижения], отступаются (например, если нужны деньги, а достать их невозможно); когда же это представляется возможным, тогда и берутся за дело[23 - Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.].

Можно сказать, что этот фрагмент задает направление следующих 2000 лет западной мысли о рациональности. В нем говорится, что «цель» – то, чего хочет данный человек, – фиксирована и задана, а также что рациональным является такое действие, которое, согласно логическому выводу о последовательности действий, самым «простым и наилучшим» образом приводит к цели.

Предположение Аристотеля выглядит разумно, но не исчерпывает рационального поведения. Главное, в нем отсутствует неопределенность. В реальном мире наблюдается склонность реальности вторгаться в наши действия, и лишь немногие из них или их последовательностей гарантированно достигают поставленной цели. Например, я пишу это предложение в дождливое воскресенье в Париже, а во вторник в 14:15 из аэропорта Шарля де Голля вылетает мой самолет в Рим. От моего дома до аэропорта около 45 минут, и я планирую выехать в аэропорт около 11:30, то есть с большим запасом, но из-за этого мне, скорее всего, придется не меньше часа просидеть в зоне вылета. Значит ли это, что я гарантированно успею на рейс? Вовсе нет. Может возникнуть ужасная пробка или забастовка таксистов; такси, в котором я еду, может попасть в аварию; или водителя задержат за превышение скорости и т. д. Я мог бы выехать в аэропорт в понедельник, на целый день раньше. Это значительно снизило бы шанс опоздать на рейс, но перспектива провести ночь в зоне вылета меня не привлекает. Иными словами, мой план включает компромисс между уверенностью в успехе и стоимостью этой уверенности. План приобретения дома предполагает аналогичный компромисс: купить лотерейный билет, выиграть миллион долларов, затем купить дом. Этот план является самым «простым и наилучшим» путем к цели, но маловероятно, чтобы он оказался успешным. Однако между легкомысленным планом покупки дома и моим трезвым и обоснованным планом приезда в аэропорт разница лишь в степени риска. Оба представляют собой ставку, но одна ставка выглядит более рациональной.

Оказывается, ставка играет главную роль в обобщении предположения Аристотеля с тем, чтобы включить неопределенность. В 1560-х гг. итальянский математик Джероламо Кардано разработал первую математически точную теорию вероятности, используя в качестве основного примера игру в кости. (К сожалению, эта работа была опубликована лишь в 1663 г.[24 - Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).]) В XVII в. французские мыслители, в том числе Антуан Арно и Блез Паскаль, начали – разумеется, в интересах математики – изучать вопрос рационального принятия решений в азартных играх[25 - Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. – Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensеes (Chez Guillaume Desprez, 1670).]. Рассмотрим следующие две ставки:

А: 20 % вероятности выиграть $10.

Б: 5 % вероятности выиграть $100.

Предложение, выдвинутое математиками, скорее всего, совпадает с решением, которое приняли бы вы: сравнить ожидаемую ценность ставок, то есть среднюю сумму, которую можно рассчитывать получить с каждой ставки. В случае А ожидаемая ценность составляет 20 % от $10, или $2. В случае Б – 5 % от $100, или $5. Так что, согласно этой теории, ставка Б лучше. В теории есть смысл, поскольку, если делать одну и ту же ставку снова и снова, игрок, следующий правилу, в конце концов выиграет больше, чем тот, кто ему не следует.

В XVIII в. швейцарский математик Даниил Бернулли заметил, что это правило, по-видимому, не работает для больших денежных сумм[26 - Понятие полезности: Daniel Bernoulli, “Specimen theoriae novae de mensura sortis,” Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.]. Рассмотрим, например, такие две ставки:

А: 100 % вероятности получить $10 000 000 (ожидаемая ценность $10 000 000).

Б: 1 % вероятности получить $1 000 000 100 (ожидаемая ценность $10 000 001).

Большинство читателей этой книги, как и ее автор, предпочли бы ставку А, несмотря на то что ожидаемая ценность призывает к противоположному выбору! Бернулли предположил, что ставки оцениваются не по ожидаемой денежной ценности, а по ожидаемой полезности. Полезность – способность приносить человеку пользу или выгоду – является, по его мысли, внутренним, субъективным качеством, связанным, но не совпадающим с денежной ценностью. Главное, полезность отличается убывающей доходностью по отношению к деньгам. Это означает, что полезность данной суммы денег не строго пропорциональна сумме, но возрастает медленнее ее. Например, полезность владения суммой в $1 000 000 100 намного меньше сотни полезностей владения $10 000 000. Насколько меньше? Спросите об этом себя! Какими должны быть шансы выиграть $1 млрд, чтобы это заставило вас отказаться от гарантированных $10 млн? Я задал этот вопрос своим студентам, и они ответили, что около 50 %, из чего следует, что ставка Б должна иметь ожидаемую ценность $500 млн, чтобы сравниться с желательностью ставки А. Позвольте повторить: ставка Б была бы в 50 раз выше ставки А в денежном выражении, но обе ставки имели бы равную полезность.

Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Полезность приходится выводить из предпочтений, демонстрируемых индивидом. Пройдет два столетия, прежде чем практические выводы из этой идеи будут полностью разработаны и она станет общепринятой среди статистиков и экономистов.

В середине XX в. Джон фон Нейман (великий математик, в честь которого названа архитектура компьютеров – «архитектура фон Неймана»[27 - По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.]) и Оскар Моргенштерн опубликовали аксиоматическую основу теории полезности[28 - Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).]. Имеется в виду следующее: поскольку предпочтения, выражаемые индивидом, отвечают определенным базовым аксиомам, которым должен отвечать любой рациональный агент, выбор, сделанный этим индивидом, неизбежно может быть описан как максимизирующий ожидаемое значение функции полезности. Короче говоря, рациональный агент действует так, чтобы максимизировать ожидаемую полезность.

Трудно переоценить важность этого вывода. Во многих отношениях поиск ИИ заключается в том, чтобы выяснить, как именно строить рациональные машины.

Давайте подробнее рассмотрим аксиомы, которым, предположительно, должны удовлетворять рациональные сущности. Одна из них называется транзитивностью: если вы отдаете предпочтение А перед Б и Б перед В, то вы отдаете предпочтение А перед В. Это кажется вполне разумным! (Если пицца с сосисками нравится вам больше стандартной пиццы, а стандартная больше пиццы с ананасом, то представляется обоснованным предположить, что, выбирая между пиццей с сосисками и пиццей с ананасом, вы остановитесь на первой.) Вот еще одна аксиома, монотонность: если вы отдаете предпочтение призу А перед призом Б и можете выбирать между лотереями, единственными возможными выигрышами в которых являются А и Б, то предпочтете лотерею с наивысшей вероятностью выиграть приз А, а не Б. Опять-таки разумно!

Предпочтения касаются не только пиццы и денежных лотерей. Они могут быть связаны с чем угодно, в частности со всей будущей жизнью, вашей и других людей. Применительно к предпочтениям, касающимся последовательностей событий во времени, часто делается еще одно допущение – о так называемой стационарности: если два разных будущих, А и Б, начинаются с одного и того же события и вы отдаете предпочтение А перед Б, то будете предпочитать А и после того, как это событие произойдет. Это звучит разумно, но имеет на удивление значимое следствие: полезность любой цепи событий есть сумма вознаграждений, связанных с каждым событием (возможно, уценивающихся со временем на своего рода процентную ставку)[29 - Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, “A note on measurement of utility,” Review of Economic Studies 4 (1937): 155–61. Если s

, s

, … – последовательность состояний, то полезность в этой модели есть U (s

Все книги на сайте предоставены для ознакомления и защищены авторским правом