Конец индивидуума. Путешествие философа в страну искусственного интеллекта
Гаспар Кёниг
Что ждет человека и его право на свободный выбор в век искусственного интеллекта? Чтобы ответить на этот насущный вопрос, французский философ Гаспар Кёниг предпринял кругосветное путешествие и познакомился с сотней ведущих специалистов по ИИ, хранящих ключи к будущему. Кёниг уверен, что страх перед потерей работы из-за распространения GPT-моделей – лишь верхушка айсберга: куда важнее, что они бросают вызов нашим представлениям о знании, творчестве и свободе воли. Безудержный рост ИИ уже несет нам власть без демократии, искусство без художника, экономику без рынка и справедливость без правосудия. Эта наполненная юмором и надеждой книга поможет вам разобраться, какие возможности открывает человечеству эпоха ИИ и какие опасности она таит.
В формате PDF A4 сохранен издательский макет книги.
Гаспар Кёниг
Конец индивидуума. Путешествие философа в страну искусственного интеллекта
Gaspard KCnig
La Fin de l’individu Voyage d’un philosophe au pays de l’intelligence artificielle
L’OBSERVATOIRE
© Editions de L’Observatoire/Humensis, 2019
© Инна Кушнарёва, перевод, 2023
© ООО «Индивидуум Принт», 2023
Предисловие
То, что моя книга выходит на русском языке в столь трагичный период европейской истории, кажется мне особенно важным. Я считаю, что вопреки глупости правящих элит мы должны поддерживать прямую связь между автором и читателем, связь человека с человеком, чтобы не утратить тонкую нить, соединяющую наши культуры и наши мысли.
Полевой этап моего исследования искусственного интеллекта стартовал в 2018 году. В такой динамичной области, где одна инновация стремительно сменяет другую, книга устаревает на следующий день после публикации. Преимущество философского подхода – в его аналитичности, и мои размышления пятилетней давности по-прежнему кажутся мне актуальными.
В качестве иллюстрации я предлагаю обратиться к ChatGPT, хотя это и означает несколько забежать вперед.
Появлению этого чрезвычайно успешного чат-бота (вероятно, первого прошедшего тест Тьюринга) сопутствуют две хорошо знакомые нам фобии, излюбленные прессой, падкой на сенсации.
Во-первых, страх, что так называемый сильный искусственный интеллект выработает самостоятельное сознание. Здесь следует вспомнить мысленный эксперимент философа Джона Серла с «китайской комнатой»: робота можно научить делать вид, что он говорит по-китайски, обучив его реагировать на стимулы, связанные с теми или иными иероглифами. Но это лишь симуляция – он не будет говорить по-китайски. Другими словами, он не сможет понять смысл китайских слов. То же относится и к текстам ChatGPT – это лишь простая имитация человеческой мысли.
Вторая фобия – страх «конца работы». Однако ChatGPT, как и все ИИ, для выработки своих ответов опирается на результаты колоссального интеллектуального труда многих людей. Без этого сырья, без данных, собранных или проверенных реальными людьми (часто теми, чей труд плохо оплачивается и бывает временным), нет топлива для машины! Проблема заключается не в «конце работы», а в ее справедливой оплате, поэтому нам определенно придется заставить создателей ChatGPT выплачивать нам авторские гонорары.
Какими же вопросами тогда стоит задаваться?
В первую очередь теми, что угрожают нашим либеральным представлениям о науке и о свободе.
ChatGPT усиливает искушение доверить нашу свободу выбора машине. Мы уже можем положиться на алгоритмы, чтобы найти нужное жилье или даже партнера для отношений. Неужели теперь мы отдадим ей и самое сокровенное – наши мысли? Вопрос не в том, «разумен» ли ChatGPT, а в том, кто вообще имеет право на разум. На карту поставлено наше человеческое достоинство.
С технологической стороны ChatGPT бросает вызов механизму производства знаний, который диктует современная наука. Основанные на бесчисленных корреляциях, рассуждения ChatGPT невоспроизводимы, неопровержимы, необъяснимы и, что особенно важно, не имеют источников. Сегодня впервые за 2500 лет прозвучала идея о том, что можно освободиться от концепта значимости источника. Уже в диалогах Платона появляется первый источник – Сократ. У античных историков источники, может быть, и не всегда надежны, но они есть: Тит Ливий тщательно цитирует других античных авторов, например Полибия, и приводит устные свидетельства. Сегодня академическая наука полагается, пусть иногда и чрезмерно, на качество справочного аппарата. В школе учителя стараются научить учеников правильно пользоваться интернетом – указывать сайты, на которые они ссылаются.
Конечно, если вы попросите ChatGPT предоставить свои источники, он сделает это. Но это не истинные источники, затерявшиеся в магме глубокого обучения, это всего лишь вероятные источники. Разница фундаментальна: неопределенность больше не считается дефектом, который нужно устранить, а воспринимается как структурная характеристика.
Такое пренебрежение источниками не относится к техническим ошибкам. Ответы ChatGPT основаны на корреляциях, которые по своей природе не поддаются аналитическому разложению. Они вдохновлены всеми правдами, неправдами и квазиправдами, выплеснутыми в сеть. В этом смысле ChatGPT – полная противоположность «Википедии», которая при всех своих недостатках известна маниакальным пристрастием к источникам и пытается вывести объективную истину из дебатов между людьми-составителями.
Когда я писал эту книгу, мне встретилась статья Генри Киссинджера «Как заканчивается Просвещение» (How the Enlightenment Ends), которая, мне кажется, подтверждает мой анализ. Такие же чувства вызывает у меня и книга Киссинджера на эту тему, написанная в соавторстве с Эриком Шмидтом и Дэниелом Хаттенлокером, специалистом по ИИ из Массачусетского технологического института. Его позиция, высказанная в этой работе, представляется мне совершенно ясной.
Об автономии субъекта:
По мере того как люди все меньше используют свой мозг и больше – машины, они могут утратить собственные способности. Наши навыки критического мышления, письма и дизайна могут атрофироваться.
О знаниях:
Каким образом обучающаяся машина хранит свои знания, перерабатывает их и извлекает, по-прежнему остается неизвестным. <…> Наука эпохи Просвещения накапливала определенности; новый ИИ аккумулирует двусмысленности.
Таким образом, ChatGPT поднимает вопрос о просвещении. Как мы видим человека? Как автономного субъекта, способного выявить причинно-следственную связь? Или как индивида, порабощенного игрой корреляций?
В технологиях нет ничего неизбежного. Это инструмент, который должен быть адаптирован к нашему представлению об истине, к нашим политическим и социальным принципам. Но не наоборот…
Прогресс не равен инновации. Прогресс заключается не в слепом принятии всего нового, а в том, чтобы учиться на сделанных ошибках.
Именно это предлагает моя книга, и я надеюсь, что сегодня она актуальна как никогда.
Гаспар Кёниг
апрель 2023
Homo deus
Sorry, I can’t help you. «Извините, ничем не могу вам помочь», – вот так лаконично ответил на мою просьбу об интервью Элиезер Юдковский, один из передовых исследователей искусственного интеллекта в Кремниевой долине. Едва ли можно лучше показать пропасть, отделяющую властителей технологий от широкой публики; тех, кто создает алгоритмы, – от тех, кто живет под их властью; и, наконец, тех, кто пишет строки кода, – от тех, кто пытается их понять.
Sorry, I can’t help you. Иначе говоря: я хотел бы, но правда не могу. Как варвар, который никогда не занимался программированием, профан, который с трудом справляется с PowerPoint, может понять все тонкости «глубокого обучения»? Цель здесь одна: «Мы делаем мир лучше», make the world better. Мы не задаемся вопросами, мы решаем проблемы. Философская болтовня, роскошь праздного рассудка, – не наша забота. Так Горгий ответил Сократу: все это ребячество надо немедленно прекратить.
Sorry, I can’t help you. Не удивлюсь, если это сообщение было автоматически сгенерировано Gmail: Юдковский, должно быть, получает кучу подобных запросов. Алгоритм должен научиться распознавать их и выдавать подходящий ответ. Что может быть естественнее искусственного интеллекта, отвечающего на вопросы об искусственном интеллекте?
Однако сегодня нам жизненно необходимо говорить друг с другом и помогать друг другу, чтобы понять те грандиозные сдвиги, которые наводят страх на наши сообщества, смешивают карты наших экономических систем, сотрясают наши политические структуры и вторгаются в саму нашу жизнь, вынуждая нас разрываться между надеждой на прогресс и страхом будущего. В прежние периоды технологических перемен мыслители, изобретатели, ученые, инвесторы и политики сосредотачивались в определенных местах, нервных центрах «миров-экономик», описанных Фернаном Броделем. Эти города-миры представлялись не только средоточиями экономики, но также местами высокой культуры. «Блеск, богатство, радость жизни соединяются в центре мира-экономики, в его сердце. Именно здесь, под солнцем истории, жизнь обретает свои самые яркие цвета»[1 - Бродель Ф. Динамика капитализма. Смоленск: Полиграмма, 1993. С. 95. – Здесь и далее примечания автора, если не указано иное.]. Так все и было: Спиноза посеял семена философии имманентности в Амстердаме, столице золотого века; Адам Смит разработал теорию капитализма в Эдинбурге, в сердце промышленной революции; а Маркс осмыслил классовую борьбу в викторианском Лондоне. Города служили полюсами притяжения и интеллектуальными тиглями: кипящие умы производили в них странные, рискованные и порой чудесные смеси. Сегодня «мозги» разбросаны гораздо шире: никто не может сказать, где находится мировой центр искусственного интеллекта. Даже Кремниевая долина с ее спальными пригородами не может сойти за образец «счастливой жизни»; Сан-Франциско, ставший одним из самых дорогих городов в мире, выдавливает молодых изобретателей; калифорнийская контркультура 1970?х вырождается в явное безразличие ко всему, что касается гуманитарных наук, словно бы страсть к переменам уничтожила всякую антропологическую рефлексию, а человек стал просто тестом, из которого можно вылепить что угодно, не считаясь с биологией или историей. Впрочем, несколько лет назад журнал The Economist предлагал лидерам «технологий» учиться философии, но безуспешно[2 - Philosopher kings // The Economist. 2014. Oct 4. URL: https://www.economist.com/business/2014/10/04/philosopher-kings]. Может быть, больше нет никакого города-мира?
Именно для того, чтобы воссоздать что-то вроде такого виртуального города-мира, попробовать навести мосты между буйством технологий и постоянством метафизики, я и предпринял это долгое путешествие в страну искусственного интеллекта. За несколько месяцев я взял интервью у 125 специалистов, оказавшихся отзывчивее Элиезера Юдковского или просто уставших от моей назойливости: исследователей, предпринимателей, инвесторов, преподавателей, чиновников, художников… Я хотел встретиться с ними в их естественной среде – там, где они живут и работают, среди их компьютеров и дорожных пробок, – поэтому и отправился в путешествие вокруг света, двигаясь в западном направлении: Кембридж, Оксфорд, Бостон, Нью-Йорк, Вашингтон, Сан-Франциско, Лос-Анджелес, Шанхай, Пекин, Тель-Авив, Копенгаген и, наконец, Париж. Перемещаясь в эту сторону, то есть по движению солнца, я искренне верил в то, что, потихоньку обкрадывая его, смогу в итоге удлинить свою жизнь на один день, но потом, пролетая над Беринговым проливом, заметил, что линия перемены дат, проходящая по 180?му меридиану, все забрала у меня обратно. Мне удалось повторить ошибку Филеаса Фогга, но в обратном направлении, а это уже объясняется тем, что я все-таки не ученый.
Дорога оказалась неспокойной. Она началась в лаборатории искусственного интеллекта Facebook[3 - Принадлежит компании Meta, признанной экстремистской в РФ. – Прим. ред.] в Европе, где занимаются фундаментальными исследованиями. Увидев молодую женщину, погруженную в тысячи строк кода, которые выводились на полудюжине экранов, я осознал, что легкомысленно зашел на территорию сакрального и что нельзя попасть в святилище, не подвергаясь рискам и опасностям. Эта исследовательница стремилась найти способ автоматически предсказывать перемещение объектов на улице на основе простого изображения: тронется ли с места эта машина? Начнет ли переходить улицу этот пешеход? Уронит ли этот ребенок мяч? Я инстинктивно отшатнулся, испугавшись, возможно, того, что увижу строчку кода, описывающую мое собственное поведение, словно бы миллионы миллионов нулей и единиц могли охватить всю реальность – и прошлую, и будущую.
Но на этом мои страхи не кончились. Спустя несколько дней Аврелия Жан, молодая специалистка по информатике, окончившая Массачусетский технологический институт (MIT), смело воспользовалась нашим путешествием на высокоскоростном поезде, чтобы познакомить меня с «Питоном», одним из самых известных языков программирования. Однако для меня травмой стало уже то, что на экране компьютера Аврелии я увидел не папки с файлами, а черное окно, заполненное каббалистическими знаками. Дело в том, что она, как и многие ее коллеги, не снисходит до того, чтобы просто кликать мышкой по слишком удобным иконкам пользовательского интерфейса. Аврелия работает под капотом машины, поближе к ее первичным функциям. Она дает ей инструкции в форме кода. Например, вместо того чтобы открывать папки, когда надо найти документ с текстом, она приказывает компьютеру, на понятном ему языке, его отыскать. Ей кажется, что это более естественный способ общения с информационным инструментом. Мы же, профаны, подобны детям, которые, если надо выполнить какие-то арифметические операции, вынуждены прибавлять и вычитать куски пирога, – нам нужна определенная репрезентация (кстати, именно она определила успех компаний Microsoft и Apple в 1980?х). Аврелия же манипулирует непосредственно цифрами и обходится без дополнительного символического уровня. «Так быстрее», – говорит она мне, барабаня по клавиатуре.
ИИ умножает число проблем, которые отпугивают исследователей. Похоже, он развивается в самых густонаселенных городах: простояв десятки часов в пробках, я понял страсть гиков к «умному городу» и беспилотным автомобилям. Главное же, что самая революционная технология последних десятилетий привязана к довольно таинственной науке. В этой области очень мало общих работ, ориентированных на неофитов. Не буду делать вид, что преодолел хотя бы введение к библии специалистов по компьютерным наукам – «Искусственному интеллекту» Стюарта Рассела и Питера Норвига: после горстки определений и исторической справки изложение вскоре стало слишком техническим, неприятно напомнив мне обо всех причинах, заставивших меня уйти из последнего научного класса колледжа, где я промучился несколько недель, и перейти в литературный. Тем не менее благодаря чтению и разговорам на тему ИИ я, кажется, приобрел своего рода «окраску», если пользоваться выражением Монтеня, которым он обозначал наши познания, всегда остающиеся несовершенными. Окраску, необходимую, хотя и недостаточную, чтобы делать вид, что философствуешь. Окраску, на которой оставили свой след случайность, локальные открытия, наваждения: в репортаже нужно смириться с определенной долей удачи и неудачи, откровения и невежества. Мой ежедневник, когда я приезжал в какой-либо город, часто заполнялся лишь по мере встреч. В своем исследовании я придерживался той «серендипности»[4 - Серендипность (от англ. serendipity) – интуитивная прозорливость, способность делать выводы из случайных наблюдений. – Прим. ред.], которую ИИ как раз хотел бы уничтожить.
Я провел четыре недели на Западном побережье, и только однажды мне довелось зайти в кабинет, полки которого прогибались под классикой: в фонде Питера Тиля в Лос-Анджелесе я внезапно оказался в своей тарелке – среди томов Сен-Симона в издании «Плеяды» и работ Рене Жирара. В приемной я с изумлением обнаружил экземпляр «Речи о положении великих» Паскаля. Возможно, предпринимателю в сфере технологий, чрезвычайно успешно привлекающему средства, нелишне время от времени вспоминать о различии между «величием по установлению» и «естественным величием». Первое, связанное с социальным статусом, требует вполне обоснованного почитания могущественных людей, однако не может определять реальных человеческих качеств, которые связаны со вторым. Паскаль – не революционер: он не предлагает низвергнуть великих мира сего, но призывает нас держаться «двоемыслия», которое умеет отличать социальные условности от моральных достоинств. К этой рекомендации полезно прислушаться нашим предпринимателям, которые, одевшись в наряды ложной аутентичности, сотканные из эмодзи и селфи, делают вид, будто игнорируют отношения власти и капитала, управляющие их отношением к другим. Может быть, они тоже путают величие по установлению с естественным величием?
Дело в том, что этикет Кремниевой долины ни в чем не уступает этикету былых королевских дворов. Cool, «крутизна», породила свои собственные кодексы, соблюдать которые жизненно необходимо, если хочешь преуспеть или просто выжить в этой экосистеме непрестанной конкуренции. Я очень скоро понял, что электронное письмо, каким бы горячим и откровенным оно ни было («Привет, Марк! Я французский философ»), обречено на вечное молчание. Как всегда, не нужно верить рекламе: нет там ничего горизонтального, текучего или прозрачного. Think different, «думай иначе», но не переборщи. Встречи можно добиться только после долгих переговоров через общих знакомых; сначала надо попросить, чтобы тебя представили, – это необходимое условие, которое само требует хитрых риторических уловок. Если ты забыл восклицательный знак или смайлик, это уже может говорить о непростительной нехватке энтузиазма. Нужно быть серьезным, казаться игривым, доказывать свой пыл и намекать на преданность, и все это одновременно и в трех пунктах. Сам Сен-Симон покажется на этом фоне простаком! В мире гугл-календаря никуда не делись армии секретарей, которые отфильтровывают посетителей и просителей. Личная беседа – вот что работает в эпоху «пост» лучше всего. Кстати, один француз, давно уехавший в Сан-Франциско, написал точную и забавную статью о строгих правилах «Кремниевого Версаля», начиная с тайм-менеджмента и заканчивая формулами вежливости[5 - https://medium.com/@romainserman/silicon-valley-etiquette6934cf6f8f73].
Достаточно зайти в ресторан Madera в Rosewood Sand Hill, центре венчурного капитала, – в «храм сделок», как съязвил пригласивший меня инвестор, – чтобы заметить, насколько кодифицированным и иерархическим остается мир Кремниевой долины. Прежде всего, это место невозможно найти, оно не определяется по GPS. «Это сделано специально, – сказал мне мой провожатый, впиваясь зубами в самый дорогой на планете гамбургер. – Это мир инсайдеров. Здесь у нас не демократия». Через панорамные окна открывается спокойный вид на заповедник Jasper Ridge; под голубым небом калифорнийского лета расположились островки леса, колышущиеся бархатистыми волнами. Можно разглядеть секвойи с красноватыми стволами и мускулистыми ветками, качающимися на ветру. На переднем плане под солнцем блестят высаженные в безупречном порядке оливковые деревья. Несколько десятков скромных домов выстроились вдоль тенистых аллей. «Это самые крупные в мире фонды венчурного капитала: Sequoia Capital, Menlo Ventures, Schlumberger, Makena Capital, Andreessen Horowitz, Coaetue Management, Silver Lake Partners, Kleiner Perkins… Деньги прямо здесь, вокруг нас. Десятки миллиардов, ежесекундно готовых к инвестированию». Деньги стали экологичными, они обманывают тех, кто все еще ищет их на верхотуре стеклянных небоскребов. Предприниматели совершают свое паломничество пешком, от двери к двери, как дети, просящие сладости на Хеллоуин. Их легко узнать: они потрудились надеть пиджак, они быстро говорят и слишком много улыбаются. Тогда как инвесторы, у которых в руках ключи к амбициям предпринимателей, принимают их расслабленно, чаще всего они в кроссовках кислотных цветов. Это капитализм в джинсах, какая-то энная версия черных сюртуков Фуггеров или безупречных костюмов Ротшильдов. Вопреки тому, что повторяют нам многоречивые гении разрушения, выступающие на TED Talks, мир не так уж и меняется.
Паскаль приходит к выводу: «Я не обязан уважать вас за то, что вы герцог, но я должен снять перед вами шляпу». То же самое в Кремниевой долине: если вы венчурный капиталист, это не значит, что я обязан вас любить, но я должен вас like.
Последний урок, который преподал мне мой гид, прежде чем сбежать на какую-то встречу (разумеется, срочную), заключался в том, что ни предприниматели, ни инвесторы не имеют ни малейшего представления о социальном и политическом влиянии создаваемых ими технологий. С его точки зрения, искусственный интеллект сопряжен с изрядной дозой «поверхностного интеллекта». Чтобы сохранить первичную связь между технологической инновацией и философской рефлексией, нужно, чтобы в Rosewood Sand Hill было больше Паскалей. И разве сам Паскаль не был предпринимателем, создателем первых городских автобусов, «карет с пятью этажами»?
Но в то же время нужно сопротивляться навязчивому искушению, которое ведет к технофобии. Когда мы смотрим в прошлое, пророки апокалипсиса всегда кажутся нам смешными: так, Поль Валери почти столетие назад разоблачал «коварную отраву» технического прогресса и (уже тогда!) сетовал на исчезновение свободного времени, склонность просматривать книги, а не читать их, диктатуру эмоций… «Ни почта, ни телефон не докучали Платону»[6 - Valеry P. Le Bilan de l’intelligence [1935]. Allia, 2016.], – сожалеет Валери. Бедный поэт, которого прервал почтальон! Что бы он подумал об уведомлениях сетевых сервисов и твитах? Если хочешь попытаться понять свою эпоху, не оболгав ее, надо заставить и себя, и читателя совершить над собой усилие.
Тем более что искусственный интеллект должен быть мечтой всякого философа. Разве не удобно было бы создать мыслящую машину, которая избавила бы нас от логических ошибок, индивидуальных предрассудков, концептуальных заблуждений? Создать алгоритм, который посчитает истину и даст нам наконец, после тысячелетий однообразных споров, ответ на наши самые важные вопросы о смысле жизни? Концептуальное мышление – это, по сути, всего лишь приближение; тогда как полная система символов, управляемая научными законами, позволяет максимально подойти к истине. Первым об этом начал мечтать Лейбниц, гений математики и метафизики, который искал формулу машины для подсчета мыслей, «универсальной характеристики», ведущей к правильному рассуждению. Гигантская комбинаторная машина, которую Лейбниц назвал calculus ratiocinator, автоматически прогнала бы все химеры разума. В этом совершенно рациональном мире «больше не было бы нужды в дискуссии двух философов более долгой, нежели дискуссия двух математиков, поскольку им достаточно будет взять в руки перо, усесться за свои счетные доски и сказать друг другу: подсчитаем!»[7 - Leibniz W. Nova methodus pro maximis et minimis. 1668.]
Такой же идеал мы встречаем у всех великих предшественников искусственного интеллекта: Гильберта, Фреге и, конечно, Алана Тьюринга – все они поддерживали тесные отношения с логикой и аналитической философией[8 - Интеллектуальную историю ИИ см. в: Davis M. The Universal Computer. W.W. Norton, 2000.]. Если логическая точность – то, что позволит человеческому разуму лучше воспринимать реальность, тогда превращение реальности в цифровую комбинацию могло бы успешно заменить собой человеческий разум. Отсюда насмешливый ответ Deep Thought, суперкомпьютера из романа «Автостопом по Галактике»: когда его попросили решить «последний вопрос жизни, Вселенной и всего остального», он сказал: «42». Это число стало потом легендарным, оно продолжает то и дело всплывать в разговорах гиков. Разве не наступил бы покой, если бы все смыслы, пронизывающие наши жизни, удалось свести к ничего не значащей цифре?
Это родство информатики и логики сохраняется и сегодня, навязчиво преследуя посетителя причудливого здания департамента компьютерных наук в MIT: войдя в кабинет Лесли Келблинг, ветерана исследований в области ИИ, я обнаружил ее в окружении книг по аналитической философии – она увлекается Уиллардом Куайном. Этот подход весьма далек от интеллектуальной традиции континентальной Европы. В конце прошлого века Делёз довел это противопоставление до предела, определив философию в качестве «производства концептов», то есть деятельности, связанной скорее с творческим процессом, чем с научной строгостью. Концепт невозможно свести к последовательности единиц и нулей: он проецирует на наш мир новый смысл, дополнительную перспективу. Такой благодатный момент часто наступает, когда, заново прорабатывая какой-нибудь сухой трактат по метафизике, мы внезапно «понимаем» его смысл. Все концепты тогда естественным образом складываются воедино, и глаз начинает скользить по странице с неожиданной легкостью. Словно бы аргументы, разрабатываемые на протяжении многих глав, были не столько этапами одного логического пути, сколько линзами, постепенно меняющими наше восприятие вещей. Мы напрягаемся изо всех сил и рвем волосы на голове, стремясь понять положения «Этики» Спинозы, сражаемся с ними, пытаясь проанализировать их цепочку, и вдруг без фанфар и предупреждений наступает такой момент, когда тезис Deus sive Natura, «Бог или Природа», предстает перед нами во всей своей концептуальной глубине. Тогда можно перечитать положения, которые казались столь загадочными, – и они окажутся на удивление очевидными. В этом феномене задействуется не только разум, но и – каким-то непонятным образом – все наше тело. «Модификация его отношений движения и покоя», – сказал бы Делёз.
И наоборот, мне вспоминается замешательство, которое я испытал, когда проходил курс философии в Колумбийском университете, где меня просили разбить фразы на уравнения, отыскивая «истину» высказывания в игре предпосылок и выводов: как эти школьные упражнения могут иметь хоть какое-то отношение к мышлению? С другой стороны, американцы на то, что они сами назвали «французской теорией», смотрят с изрядным скептицизмом, поскольку часто видят в ней лишь поэтическое фанфаронство. Вполне возможно, что неприятие европейцами аналитической философии в какой-то мере позволяет объяснить их инстинктивное недоверие к ИИ. Так или иначе, следует помнить о том, что ИИ – не только промышленная технология, но и прежде всего философский проект, нацеленный на понимание мира.
Но для того чтобы отправиться в это долгое путешествие, у меня были причины и более личного свойства. Я либерал и защищаю идею автономного индивида, свободного в своих решениях и ответственного за свои действия, то есть такого индивида, который должен применять свободу воли в той или иной ее форме. В основании наших обществ еще с эпохи Просвещения лежит эта идея, оправдывающая несколько вещей сразу: индивидуальные права, рыночные механизмы, право голоса и уголовную юстицию. Верховный суд США нисколько не ошибся, когда увековечил свободу воли в качестве самого условия правовой системы, позволяющего человеку делать выбор между добром и злом, желаемым и порицаемым, дозволенным и запрещенным.
Но сегодня это разумное здание трещит по швам. В своем бестселлере «Homo deus» историк Юваль Харари выдвигает головокружительный прогноз: промышленное приложение искусственного интеллекта ускорит и конкретизирует исчезновение свободы воли, ставшее предметом современных наук. «В начале третьего тысячелетия либерализму угрожает не философская идея, отрицающая существование свободных индивидуумов, а конкретные технологии. В самом скором времени нас ожидает нашествие чрезвычайно полезных устройств, приспособлений и структур, которые не оставят места свободной воле индивидов. Выживут ли в этих условиях демократия, свободный рынок и права человека?» Харари, который требует полностью переопределить наши идеологии и институты, считает, что нет, не выживут. Таким образом, контролируя наше поведение и руководя самыми тайными нашими помыслами, ИИ сможет подорвать либеральное основание наших обществ, разрушив само понятие индивидуальности. Если алгоритм знает меня лучше, чем я сам, и предлагает мне более рациональные решения, чем я мог бы принять самостоятельно, если мириады объединенных в сеть объектов делают мою способность к решению излишней, предлагая мне жизнь комфортную и предопределенную, если я постепенно перестаю быть движущей силой собственных действий, зачем мне понадобится право голоса и буду ли я подлежать хотя бы малейшей уголовной ответственности? ИИ может добить свободу воли, а вместе с ней и кантовский идеал автономии субъекта. Триумф благополучия означал бы тогда отречение от свободы – свободы выбора, свободы восстания, свободы ошибаться, «свободы заблуждаться», о которой говорил Джон Стюарт Милль[9 - Эту изящную формулу – «the right to err» – ввел Исайя Берлин, когда комментировал работы Дж. С. Милля.].
Этот вывод, поспешный и радикальный, стал для меня как отправной точкой, так и пунктом назначения, поскольку мои путешествия окончились дискуссией с Харари в его святилище в Тель-Авиве. Не рискует ли либерализм, прославляя чудеса технологий, потерять самого себя? Мне кажется, что апологеты индивидуальной свободы настолько устали от векового сражения с луддитами самых разных мастей, настолько ослеплены своей страстью к инновациям, что просто отказываются видеть ту фундаментальную опасность, которую ИИ представляет для самого понятия индивида. Заметным исключением выступает лишь Питер Тиль, знаменитый предприниматель и открытый либертарианец, который охотно заявляет, что «ИИ – штука коммунистическая», поскольку требует централизации и нормативов. Если ИИ предвосхищает, регулирует мое поведение, манипулирует им и даже моими самыми тайными помыслами, если он способен, как воображает Юваль Харари, «хакнуть людей», нельзя ограничиться классическим аргументом о свободном рынке. Как потребитель может оставаться прав, если сами основания его решений сфабрикованы алгоритмом? Как мы можем быть ответственными взрослыми людьми, если самые главные наши решения определяются нашей включенностью в сеть? Какая разница между Google и Коммунистической партией Китая, если они используют одни и те же техники nudge, преследуя одни и те же утилитаристские цели?
За свою неспокойную жизнь либерализм пережил множество кризисов. Оправившись от краха 1929 года, он был вынужден отказаться от слишком радикальной позиции laissez-faire и допустить необходимость регулирования[10 - Таковы были плоды коллоквиума Липпмана 1938 года, который в значительной степени определил неолиберальное мышление послевоенного периода. Об этом историческом моменте см. работу: Audier S. Le Colloque Lippmann. Aux origines du «nеolibеralisme». Le Bord de l’eau, 2008.]. Сегодня же ИИ должен подвести нас к вопросу о примате индивидуальной рациональности: возможно, не всякий добровольный (то есть свободный от принуждения) выбор является «свободным». Если не изучить этот вопрос, рухнуть может все здание либерализма, построенное за три столетия.
Грозит ли нашим свободам запрограммированное моральное устаревание?
1
Механический турок
Почему ИИ – это иллюзия
«Это просто магия…» – вот все, что мне удалось сказать, когда основатель одного израильского стартапа показал мне свою программу аудиораспознавания эмоций. Мы сидим не в гараже в Кремниевой долине, здесь нет настольного футбола и колы без сахара по первому требованию. Мы где-то в Тель-Авиве, между автотрассой и недостроенным зданием. Вход найти нелегко: он прячется за магазином дешевой бытовой техники. Комната для переговоров пустая и пыльная, на столе пластиковые стаканчики – все это больше похоже на контору по экспорту-импорту, чем на современную инновационную компанию. Однако же Юваль Мор, основатель стартапа, только что показал мне, как его алгоритмы могут воспринимать всю палитру чувств, содержащихся в той или иной фразе, тональности, даже в шепоте. Пруст больше не нужен: приложение в реальном времени выдает все нюансы разочарования, одиночества или тайного удовольствия. Более того, недавний эксперимент позволил установить корреляцию между тембром голоса и симптомами сердечной недостаточности. На основе нескольких звуков ИИ может проинформировать вас как о любовных тайнах, так и о рисках остановки сердца. А поскольку нужно еще и деньги зарабатывать, он может рассказать специалистам по телемаркетингу о настроении их клиентов. А что, если вскоре появится сервис для выявления лицемерия? Жить в обществе станет куда сложнее…
Трудно не восхищаться чудесами ИИ. Ежедневно нам объявляют о том, что роботы превзошли самых опытных врачей в диагностике рака или же что был автоматизирован труд журналистов. Исследовательские институты выпускают один доклад за другим, в более или менее катастрофическом тоне рассказывая нам о том, что нет такой области деятельности, которую пощадит разгул технологии[11 - Например, в 2017 году Центр исследований экономической политики (Center for Economic Policy Research) в Лондоне определил процент внедрения ИИ в разных секторах экономики – от 42 % в телекоммуникациях до 18 % в туризме.]. Ярлык «ИИ» стал волшебным словом, паролем, позволяющим продать любую идею инвесторам, которые не поспевают за скоростью этих преобразований. Мне недавно рекомендовали упомянуть ИИ в научном труде по философии, чтобы повысить свои шансы на успех. Что же касается настоящих специалистов, знатоков deep learning и нейронных сетей, то компании дерутся за них, а их годовые зарплаты нередко переваливают за миллион долларов. В Китае муниципалитеты обещают золотые горы молодым инженерам-программистам. Двадцать лет назад царский путь к богатству требовал способности придумывать экзотические финансовые продукты; сегодня же нужно уметь писать код.
В США ИИ перестал быть особой темой, привлекательной или отталкивающей, поскольку он полностью интегрирован в повседневную жизнь: о нем говорят так же, как об электричестве или интернете. В «мозговых центрах», которые я посетил в Вашингтоне, ИИ не составляет предмета отдельного исследования, он проник в самые разные области, от экономики до политики и военного дела. На автотрассе, связывающей Кремниевую долину с Сан-Франциско, можно увидеть рекламные щиты, расхваливающие ИИ-компании так, словно речь идет о последней модели барбекю: «Brighterion: искусственный интеллект для критических задач»; «Darktrace: мировой лидер в кибер-ИИ». Мода на ИИ захватила всех: Шахид, водитель Uber, который вез меня ранним утром в Беркли в офис Стюарта Рассела, знаменитого специалиста по информатике, поведал мне, что сам ходит на курсы программирования, поскольку «ИИ – это будущее». С ИИ знакомы дети: в первом эпизоде мультфильма «Суперсемейка» герой вынужден сражаться с самообучающейся боевой машиной. И даже рестораны смотрят в эту сторону: в заведении Situ в Сан-Франциско мне довелось отведать суп из карамелизированной моркови по рецепту Натана Мирвольда, одного из бывших руководителей Microsoft, который теперь применяет науку о данных в кулинарии.
Конечно, есть интеллектуалы, которые борются с технологическим капитализмом, эдакие пережитки калифорнийских 1960?х. Их труды можно найти в знаменитой независимой библиотеке Сан-Франциско City Lights, где царит изысканная атмосфера легкого запустения. Вот, к примеру, книги, которые стоят на самом первом стеллаже, в тесном строю, словно бойцы старой гвардии: «Интернет как оружие. Что скрывают Google, Tor и ЦРУ»[12 - Левин Я. Интернет как оружие. Что скрывают Google, Tor и ЦРУ. М.: Individuum, 2019.], «Новые Темные века: технология и конец будущего», «Habeas Data: распространение технологий надзора», «Тюремщики интернета» и т. д. Иными словами, рассуждения, часто довольно однообразные, о надзоре – понятии, позаимствованном из трудов французского философа Фуко, – никуда не делись… Однако в целом американское общество, похоже, не разделяет опасений прогрессистской элиты. В Музее де Янга, стоящем посреди парка «Золотые ворота» в Сан-Франциско, в экспозиции, посвященной «культу машины», картины прецизионистов 1930?х, прославлявших паровую машину, выставили рядом с цитатами из современных трансгуманистов. Газетные статьи межвоенных лет напоминают о том, что страх машины существовал всегда: «Г-н Робот превзойдет своего хозяина», – вот о каких ужасах рассказывали тогда в передовицах. Идея выставки оказалась как нельзя более прозрачной: нынешние страхи цифровизации сравнимы с прежней боязнью механизации, которая сегодня кажется нам смешной. После осмотра экспозиции посетителям Музея де Янга предлагали выбрать для описания технологии три слова из тридцати. Вот что пришло им в голову: креативность, революционность, эффективность, прогресс. А вот слова, которые остались неиспользованными: надзор, загрязнение, неравенство, отчуждение. Похоже, что ИИ следует естественным путем неумолимой инновации. Завтра, опутав всю нашу жизнь тысячами подключенных друг к другу объектов, он станет привычным и невидимым.
Итак, общество сначала изумляется, возмущается, впадает в панику, бунтует, а потом привыкает и теряет интерес. Выступления на TED, в которых пророки нового поколения объясняют нам, почему мы стали бесполезны или как нам будет скучно, когда мы сможем жить по сто лет, даже не развлекают нас: все это уже было. Общество вскоре полностью «переварит» ИИ.
Мы свыклись с магией. Нужно быть въедливым занудой, чтобы все еще стремиться разгадать этот фокус.
А это как раз мой случай…
От барона фон Кемпелена до компании Amazon
В этом тумане искусственного интеллекта, окутавшем весь мир, компания Amazon подала нам ценный сигнал, назвав свою платформу микрозадач Amazon Mechanical Turk – «Механический турок Amazon». Сотни тысяч внештатных работников, называемых «турками», получают вознаграждение за выполнение в интернете простейших задач (например, за сортировку изображений), результаты которых поступают в исследовательские или производственные системы ИИ. Почему в наше время, когда малейший культуралистский намек жестко подавляется, было выбрано это странное название – «Механический турок»?
Дело в том, что в 1769 году именно так венгерский изобретатель Вольфганг фон Кемпелен назвал свой шахматный автомат – марионетку, одетую в турецкий костюм. Этот механический турок сумел поставить шах и мат многим известным шахматистам того времени, а также некоторым историческим личностям, в частности Марии Терезии, Наполеону Бонапарту и Бенджамину Франклину. Механический турок, сидевший за своим внушительным ящиком-столом с шахматной доской, перемещал фигуры резкими движениями и мог даже проявлять во время партии определенные эмоции, например таращить глаза, качать головой или шевелить пальцами. Блестящий тюрбан, суховатые черты лица, длинные османские усы – все это дополняло драматическое напряжение. Механический турок прославился по всей Европе; впоследствии он достался Иоганну Мельцелю (изобретателю метронома), который уехал с ним сначала в Лондон, а потом в США. На заре промышленной эпохи, когда в обществе вдруг возникла повальная мода на автоматы, а математик Чарльз Бэббидж только-только представил свои революционные счетные машины с перфокартами, люди спрашивали себя, не изобрел ли фон Кемпелен механическое мышление. Если человек – это просто машина, как утверждали Ламетри и многие другие философы Просвещения, почему машина не может стать человеком? Вопрос о «сингулярности», который мучает нас сегодня, далеко не нов. Еще два столетия назад он привлекал к себе неподдельное внимание. Механический турок, с точки зрения современников, был первым искусственным интеллектом.
