Стюарт Рассел "Совместимость. Как контролировать искусственный интеллект"

В массовом сознании сверхчеловеческий искусственный интеллект – технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать. В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные. О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги – объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход. Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным. Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.

date_range Год издания :

foundation Издательство :Альпина Диджитал

person Автор :

workspaces ISBN :978-5-0013-9370-2

child_care Возрастное ограничение : 12

update Дата обновления : 14.06.2023

5

CDC 6600 занимал целую комнату, а его стоимость была эквивалентна $20 млн. Для своего времени он был невероятно мощным, хотя и в миллион раз менее мощным, чем iPhone.

6

После победы DeepBlue над Каспаровым по крайней мере один комментатор предсказал, что в го подобное произойдет не раньше чем через сто лет: George Johnson, “To test a powerful computer, play an ancient game,” The New York Times, July 29, 1997.

7

Очень легкое для понимания описание развития ядерной технологии см. в: Richard Rhodes, The Making of the Atomic Bomb (Simon & Schuster, 1987).

8

Простой алгоритм контролируемого обучения может не обладать таким эффектом, если не имеет оболочки в виде платформы A/B тестирования (обычного инструмента онлайнового маркетинга). Алгоритмы решения проблемы многорукого бандита и алгоритмы обучения с подкреплением окажут это воздействие, если будут работать с явным представлением состояния пользователя или неявным представлением в плане истории взаимодействий с пользователем.

9

Некоторые считают, что корпорации, ориентированные на максимизацию прибыли, уже являются вышедшими из-под контроля искусственными сущностями. См., например: Charles Stross, “Dude, you broke the future!” (keynote, 34th Chaos Communications Congress, 2017). См. также: Ted Chiang, “Silicon Valley is turning into its own worst fear,” Buzzfeed, December 18, 2017. Эта мысль углубленно исследуется в сб.: Daniel Hillis, “The first machine intelligences,” in Possible Minds: Twenty-Five Ways of Looking at AI, ed. John Brockman (Penguin Press, 2019).

10

Для своего времени статья Винера была редким примером расхождения с господствующим представлением, что любой технологический прогресс во благо: Norbert Wiener, “Some moral and technical consequences of automation,” Science 131 (1960): 1355–58.

11

Сантьяго Рамон-и-Кахаль в 1894 г. предположил, что изменения синапсов являются признаком обучения, но эта гипотеза была экспериментально подтверждена только в конце 1960-х гг. См.: Timothy Bliss and Terje Lomo, “ Long-lasting potentiation of synaptic transmission in the dentate area of the anaesthetized rabbit following stimulation of the perforant path,” Journal of Physiology 232 (1973): 331–56.

12

Краткое введение см. в статье: James Gorman, “Learning how little we know about the brain,” The New York Times, November 10, 2014. См. также: Tom Siegfried, “There’s a long way to go in understanding the brain,” ScienceNews, July 25, 2017. Специальный выпуск журнала Neuron в 2014 г. (vol. 94, pp. 933?1040) дает общее представление о множестве подходов к пониманию головного мозга.

13

Наличие или отсутствие сознания – активного субъективного опыта – безусловно, принципиально важно для нашего отношения к машинам с точки зрения морали. Даже если бы мы знали достаточно, чтобы сконструировать сознающие машины или обнаружить тот факт, что нам это удалось, то столкнулись бы со множеством серьезных нравственных проблем, к решению большинства из которых не готовы.

14

Данная статья одной из первой установила четкую связь между алгоритмами обучения с подкреплением и нейрофизиологической регистрацией: Wolfram Schultz, Peter Dayan, and P. Read Montague, “A neural substrate of prediction and reward,” Science 275 (1997): 1593–99.

15

Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, “Electrical self-stimulation of the brain in man,” American Journal of Psychiatry 120 (1963): 571–77.

16

Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, “Biology and conservation of the pygmy sloth, Bradypus pygmaeus,” Journal of Mammalogy 96 (2015): 703–7.

17

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, “A new factor in evolution,” American Naturalist 30 (1896): 441–51.

18

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

19

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, “How learning can guide evolution,” Complex Systems 1 (1987): 495–502.

20

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, “Interactions between learning and evolution,” in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).

21

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.

22

Цит. в пер. Н. Брагинской. – Прим. пер.

23

Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.

24

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

25

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. – Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensеes (Chez Guillaume Desprez, 1670).

26

Понятие полезности: Daniel Bernoulli, “Specimen theoriae novae de mensura sortis,” Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

27

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

28

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

29

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, “A note on measurement of utility,” Review of Economic Studies 4 (1937): 155–61. Если s

Все книги на сайте предоставены для ознакомления и защищены авторским правом