Стюарт Рассел "Совместимость. Как контролировать искусственный интеллект"

В массовом сознании сверхчеловеческий искусственный интеллект – технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится неотвратимым, а его исход предопределенным. Выдающийся исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать. В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его научить. Если это случится и появится сверхчеловеческий ИИ, мы столкнемся с сущностью, намного более могущественной, чем мы сами. Как гарантировать, что человек не окажется в подчинении у сверхинтеллекта? Для этого, полагает Рассел, искусственный интеллект должен строиться на новых принципах. Машины должны быть скромными и альтруистичными и решать наши задачи, а не свои собственные. О том, что это за принципы и как их реализовать, читатель узнает из этой книги, которую самые авторитетные издания в мире назвали главной книгой об искусственном интеллекте. Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно превосходящим интеллектуальным возможностям стало бы величайшим событием в истории. Цель этой книги – объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход. Введение понятия полезности – невидимого свойства – для объяснения человеческого поведения посредством математической теории было потрясающим для своего времени. Тем более что, в отличие от денежных сумм, ценность разных ставок и призов с точки зрения полезности недоступна для прямого наблюдения. Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным. Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность.

date_range Год издания :

foundation Издательство :Альпина Диджитал

person Автор :

workspaces ISBN :978-5-0013-9370-2

child_care Возрастное ограничение : 12

update Дата обновления : 14.06.2023

, s

, … – последовательность состояний, то полезность в этой модели есть U (s

, s

, …) = ?

R (s

), где ? – коэффициент дисконтирования, а R – функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, “Time discounting and time preference: A critical review,” Journal of Economic Literature 40 (2002): 351–401.

30

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана – Моргенштерна: Maurice Allais, “Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’еcole amеricaine,” Econometrica 21 (1953): 503–46.

31

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, “Fundamental concepts of qualitative probabilistic networks,” Artificial Intelligence 44 (1990): 257–303.

32

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, “Le comportement”; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, “Judgment under uncertainty: Heuristics and biases,” Science 185 (1974): 1124–31.

33

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой – с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.

34

Первое упоминание о рандомизированной стратегии в играх: Pierre Rеmond de Montmort, Essay d’analyse sur les jeux de hazard, 2nd ed. (Chez Jacques Quillau, 1713). В книге упоминается некий монсеньор де Вальдграв в качестве автора оптимального рандомизированного решения для карточной игры Ле Гер. Сведения о личности Вальдграва раскрываются в статье: David Bellhouse, “The problem of Waldegrave,” Electronic Journal for History of Probability and Statistics 3 (2007).

35

Задача полностью определяется, если задать вероятность того, что Алиса забивает гол в каждом из следующих четырех случаев: если она бьет вправо от Боба, и Боб бросается вправо или влево, и если она бьет влево от Боба, и он бросается вправо или влево. В данном случае эти вероятности составляют 25, 70, 65 % и 10 % соответственно. Предположим, что стратегия Алисы – бить вправо от Боба с вероятностью p и влево с вероятностью 1 – p, тогда как Боб бросается вправо с вероятностью q и влево с вероятностью 1 – q. Выигрыш Алисы: U

= 0,25 pq + 0,70 p (1 ? q) + 0,65 (1 ? p)q + 0,10 (1 ? p) (1 ? q), Боба: U

= ?U

. В равновесии ?U

/?p = 0 and ?U

/?q = 0, что дает p = 0,55 и q = 0,60.

36

Исходную задачу теории игр предложили Меррил Флуд и Мелвин Дрешер в RAND Corporation. Такер увидел матрицу выигрышей, зайдя к ним в кабинет, и предложил сопроводить ее «историей».

37

Специалисты теории игр обычно говорят, что Алиса и Боб смогли сотрудничать друг с другом (отказались давать показания) или предать подельника. Мне эти определения кажутся вводящими в заблуждение, поскольку «сотрудничество друг с другом» не тот выбор, который каждый агент может сделать индивидуально, а также из-за влияния общепринятого выражения «сотрудничать с полицией», когда за сотрудничество можно получить более легкий приговор и т. д.

38

Интересное решение на основе доверия для дилеммы заключенного и других игр см.: Joshua Letchford, Vincent Conitzer, and Kamal Jain, “An ‘ethical’ game-theoretic solution concept for two-player perfect-information games,” in Proceedings of the 4th International Workshop on Web and Internet Economics, ed. Christos Papadimitriou and Shuzhong Zhang (Springer, 2008).

39

Источник трагедии общих ресурсов: William Forster Lloyd, Two Lectures on the Checks to Population (Oxford University, 1833).

40

Современное рассмотрение темы в контексте глобальной экологии: Garrett Hardin, “The tragedy of the commons,” Science 162 (1968): 1243–48.

41

Весьма вероятно, что, даже если бы мы попытались создать интеллектуальные машины на основе химических реакций или биологических клеток, объединения этих элементов оказались бы реализацией машины Тьюринга нетрадиционным способом. Вопрос о том, является ли объект универсальным компьютером, никак не связан с вопросом о том, из чего он сделан.

42

Эпохальная статья Тьюринга дает определение понятию, в настоящее время известному как машина Тьюринга, основополагающему в компьютерной науке. Entscheidungsproblem, или проблема принятия решения, в названии статьи есть проблема выбора следования в логике первого порядка: Alan Turing, “On computable numbers, with an application to the Entscheidungsproblem,” Proceedings of the London Mathematical Society, 2nd ser., 42 (1936): 230–65.

43

Хорошее исследование отрицательной емкости от одного из ее изобретателей: Sayeef Salahuddin, “Review of negative capacitance transistors”, in International Symposium on VLSI Technology, Systems and Application (IEEE Press, 2016).

Все книги на сайте предоставены для ознакомления и защищены авторским правом