Глубокое обучение: попытка воссоздать силу неокортекса
Итак, нам нужно добиться от электронного мозга такой же гибкости и умения мыслить абстрактными категориями. Но каким образом? Мы уже обсудили, что системы, основанные на списках правил, слишком жестко запрограммированы и не могут имитировать мышление человека. Коннекционизм долгое время оставался непрактичным подходом, поскольку решения на его основе требовали огромных компьютерных мощностей. Однако стоимость вычислительных ресурсов радикально снизилась. Почему же это произошло?
В 1965 году Гордон Мур (1929–2023), сооснователь компании Intel, сформулировал знаменитый закон, названный его именем. Этот закон выразил важнейшую тенденцию в развитии информационных технологий
. В наиболее известной формулировке он гласит, что количество транзисторов, которые можно разместить на кристалле интегральной схемы, удваивается каждые 24 месяца благодаря миниатюризации электронных компонентов. Скептики неоднократно отмечали, что период экспоненциального роста числа транзисторов неизбежно закончится, как только будет достигнут физический предел плотности размещения электронных компонентов. Однако они упускают из виду важное обстоятельство. Закон Мура – это лишь одно из проявлений более глубокого явления, которое я называю законом ускорения отдачи. Его суть заключается в том, что прогресс в информационных технологиях способствует более быстрому появлению инноваций. К моменту, когда Мур обнародовал свои наблюдения, экспоненциальный рост вычислительной мощности уже прошел через четыре технические парадигмы: электромеханическую, релейную, ламповую и транзисторную. Когда интегральные схемы исчерпают свой потенциал, им на смену придут наноматериалы или трехмерная архитектура процессора
.
Описанная тенденция понемногу толкала прогресс вперед примерно с 1888 года (задолго до рождения Мура)
. К 2010-му технологии наконец-то достигли уровня, который позволил раскрыть потенциал нейросетевого подхода к моделированию многоуровневых процессов, происходящих в новой коре. Разработчики начали активно применять методику, известную как глубокое обучение. Именно этот подход обеспечил внезапный прорыв в сфере ИИ, который произошел со времени публикации книги «Сингулярность уже близка».
Наглядным примером того, на что способна технология глубокого обучения, стало успешное освоение искусственным интеллектом настольной игры го. В этой игре намного больше возможных вариантов хода, чем в шахматах, к тому же гораздо сложнее определить, будет ли конкретный выбор удачным. Так что подход, который помог машине победить шахматных гроссмейстеров, оказался неэффективным в случае с го. По самым оптимистичным прогнозам, эта проблема должна была оставаться нерешенной по крайней мере до 2020-х годов. Например, в 2012 году Ник Бостром, один из ведущих футурологов и визионеров в области ИИ, высказал мнение, что компьютер сможет уверенно играть в го не раньше 2022-го
. Однако в 2015–2016 годах дочерняя компания DeepMind холдинга Alphabet представила проект AlphaGo, созданный с использованием метода глубокого обучения с подкреплением. Эта система представляла собой большую нейросеть, способную анализировать сыгранные ей самой партии и учиться на своих успехах и ошибках
. Вначале ее обучили на обширной базе игровых ходов, совершенных людьми, затем она провела множество матчей сама с собой. В результате версия AlphaGo Master достигла такого уровня, что смогла победить Кэ Цзе – чемпиона мира по игре в го
.
Несколько месяцев спустя появилась существенно более продвинутая система под названием AlphaGo Zero. Когда в 1997 году компания IBM со своим суперкомьютером Deep Blue победила чемпиона мира по шахматам Гарри Каспарова, им пришлось снабдить программу всеми доступными знаниями о шахматах, которые программисты смогли почерпнуть у шахматных экспертов
. Суперкомпьютер стал шахматистом, никаких других функций у него не было. В AlphaGo Zero не загружали вручную никакой информации о игре го, кроме правил самой игры, тем не менее за три дня игры с самой собой она прошла путь от выполнения случайных ходов к уровню мастерства, который обеспечил ей легкую победу над прошлой версией AlphaGo, которую тренировали люди, со счетом 100:0
. (В 2016-м AlphaGo в четырех играх из пяти обыграла Ли Седоля, который на тот момент занимал вторую строчку в неофициальном рейтинге игроков в го по количеству титулов.) Нейросеть AlphaGo Zero использовала новый формат обучения с подкреплением, став своим собственным тренером. Через 21 день AlphaGo Zero достигла уровня AlphaGo Master – нейросети, которая в 2017-м нанесла поражение 60 лучшим мастерам при игре онлайн, в том числе чемпиону мира Кэ Цзе, выиграв у того три партии из трех
. Через 40 дней обучения AlphaGo Zero превзошла в мастерстве все предыдущие версии AlphaGo и стала лучшим игроком в го среди людей и компьютеров
. Этого результата удалось добиться без предоставления ей записей игр людей и еще какого-либо вмешательства со стороны операторов.
Но главное достижение команды DeepMind было еще впереди. Нейросеть следующего поколения, получившая название AlphaZero, продемонстрировала способность переносить навыки, полученные при игре в го, на другие игры, в частности шахматы
. Эта программа сумела одолеть не только всех игроков из числа людей, но и все другие шахматные программы, проведя всего лишь четыре часа тренировок и не имея никакой специфической информации, кроме правил игры. Такого же успеха она добилась и в игре сёги. Последняя версия нейросети на момент написания книги называлась MuZero. Она повторила все достижения своей предшественницы, не зная заранее даже правил игры
! Обладая способностью к «переносу навыков», MuZero может освоить любую настольную игру, в которой не фигурирует случайность, многозначность или скрытая информация, а также любую детерминированную видеоигру, например, «Понг» от компании Atari. Умение применять знания и опыт, полученные в одной области, для решения задач в другой – это ключевая особенность человеческого разума.
Однако область применения нейросетей глубокого обучения не ограничивается подобными играми. Системы искусственного интеллекта, специализирующиеся на играх StarCraft II и покер, в которых много неопределенности и требуется понимание стратегии соперников, недавно тоже превзошли живых игроков
. Единственным исключением (пока что) остаются игры, требующие совершенного владения речью. Хорошим примером может служить «Дипломатия». Цель игрока в ней – захватить мир, причем это невозможно сделать, полагаясь только на удачу или навыки, приходится договариваться с соперниками
. Чтобы выиграть, вам нужно заставить других игроков сделать выгодные вам ходы, убедив их, что им эти действия также на руку. Так что ИИ, способный выиграть в эту игру, скорее всего, будет искусным обманщиком и отличным переговорщиком. Но даже в «Дипломатии» нейросетям удалось в 2022-м добиться впечатляющих результатов, особенно программе под названием CICERO, которая смогла одолеть многих игроков-людей
. Подобные успехи теперь случаются чуть ли не каждую неделю.
С помощью глубокого обучения можно научить ИИ не только мастерски играть в игры, но и действовать в сложных жизненных ситуациях. Для этого, по сути, требуется только симулятор, способный воссоздать обстановку, в которой ИИ должен научиться ориентироваться. Примером может служить вождение автомобиля. За рулем вы можете столкнуться с рядом опасных ситуаций, таких как неожиданная остановка другой машины, ребенок, выбежавший за мячом на дорогу, и так далее; в каждом из этих случаев у водителя есть несколько вариантов действий. Waymo, дочерняя компания Alphabet, разработала систему автономного вождения. Первые поездки автопилота проходили в сопровождении оператора
. Каждая деталь маршрута была тщательно задокументирована, а затем на основе этих записей был создан полноценный симулятор. К настоящему времени автономные автомобили Waymo проехали более 20 миллионов километров
, к тому же автопилот набирался опыта на миллиардах километров реалистичных виртуальных дорог
. С таким пробегом за плечами беспилотный автомобиль рано или поздно начнет передвигаться намного эффективнее управляемого живым водителем. Еще одним примером использования современных методов моделирования является задача определения трехмерной структуры белка, о которой мы подробно поговорим в главе 6. Это одна из самых сложных задач в биологии, и ее решение позволит создать беспрецедентно эффективные лекарства.
Притом что система MuZero великолепно играет во множество игр, ее успехи в целом пока скромнее, чем может показаться: ей не под силу написать сонет или найти слова, чтобы утешить больного. Чтобы в полной мере воспроизвести невероятные возможности неокортекса человеческого мозга, ИИ необходимо в совершенстве овладеть языком. Именно развитая речь позволяет нам проводить аналогии между абсолютно разными областями знаний и помогает эффективно передавать друг другу единицы смысла. Благодаря способности говорить и воспринимать речь мы не связаны необходимостью учиться на миллионах примеров. Иногда нам достаточно прочесть всего одно предложение, чтобы получить нужные сведения.
Наибольшего прогресса в работе с естественными языками пока удалось добиться с помощью глубоких нейронных сетей, которые строят карту значений слов в пространстве с очень большим числом измерений. Для этого существует несколько математических методов, которые позволяют ИИ определить смысл выражения, не обращаясь к заранее заготовленному набору языковых правил, как требовал бы символьный подход. Например, мы можем построить многослойную нейронную сеть прямого распространения и обучить ее на выборке из миллиардов (или даже триллионов) предложений. Такой объем данных можно собрать из открытых источников во Всемирной сети. Нейросеть свяжет каждое предложение с точкой в 500-мерном пространстве, иначе говоря, со списком из 500 чисел (число 500 выбрано мной произвольно, размерность может быть другой, но достаточно большой). Сначала все эти числа для каждого предложения задаются случайным образом. В ходе обучения нейросеть корректирует положение, занимаемое каждым предложением в 500-мерном пространстве, таким образом, чтобы близкие по значению фразы оказались рядом друг с другом, а непохожие, наоборот, на удалении. Если провести обучение на огромном количестве текстов, то соответствующая каждому предложению точка в 500-мерном пространстве позволит по соседним высказываниям определить, о чем в нем говорится.
Работая в таком ключе, ИИ изучает смысл слов не по словарям и грамматическим справочникам, а из контекста, в котором эти слова употребляются. Например, он сообразит, что у слова «джем» есть омонимы, потому что иногда люди его едят, а в других случаях берут электрогитары и устраивают «джем», хотя никто не говорит, что гитары съедобны. Мы сами пополняем свой словарный запас таким же образом, за исключением небольшого количества слов, которые проходим в школе или специально ищем в словаре. Между тем нейросети уже распространили свое ассоциативное мышление на другие виды информации, помимо текста. В 2012 году компания OpenAI представила проект CLIP. Эту нейросеть обучили устанавливать связи между картинкой и ее описанием. В результате узлы этой нейросети «реагируют на одну и ту же идею, фигурирует ли она во входящем потоке информации в виде текста, изображения или ассоциации»
. Например, один и тот же нейрон может сработать при виде фотографии паука, рисунка Спайдермена или слова «паук». Именно так мозг человека воспринимает концепции, абстрагируясь от деталей. Для ИИ это огромный рывок вперед.
В качестве развития этого метода можно построить 500-мерное пространство, в котором содержатся предложения на всех языках. В таком случае, если требуется перевести фразу с одного языка на другой, остается просто найти предложение на нужном языке, которое в этом многомерном пространстве расположено ближе всего к исходному. Можно заодно отыскать другие близкие по значению высказывания, рассмотрев соседние точки. Еще один вариант: построить пару 500-мерных пространств, одно из которых будет содержать вопросы, а второе – ответы на них. Для этого потребуется собрать миллиарды пар предложений, сгруппированных по принципу вопрос-ответ. Развивая этот подход, моя команда в Google разработала «Универсальный кодировщик предложений»
, создав базу данных, в которой каждому предложению соответствуют его характеристики, например, «ироничное», «забавное» или «позитивное». Нейросеть, обученная на таком расширенном наборе данных, способна не только подражать тому, как люди используют язык, но также улавливать более тонкие семантические особенности, которые могут быть неочевидны за буквальным значением слов. Такое метазнание способствует более полному пониманию текста.
Используя эти принципы, мы в компании Google создали ряд приложений, работающих с языком повседневного общения. Особый интерес из них представляет функция почтового сервиса Gmail под названием Smart Reply
. Если вы пользуетесь Gmail, то могли заметить, что сервис предлагает вам три варианта ответа на каждое письмо. Эти подсказки формируются с учетом не только последнего письма, но и всех предыдущих писем в цепочке, а также темы переписки и других данных, указывающих на то, с кем вы общаетесь. Чтобы проанализировать все эти элементы, мы используем многомерное представление, описанное выше. В работе сервиса задействована многослойная нейросеть прямого распределения вместе с иерархическим представлением текстового содержимого переписки. Поначалу многим пользователям эта функция показалась непривычной, но они достаточно быстро к ней адаптировались. Теперь Gmail Smart Reply генерирует небольшую, но все-таки заметную долю почтового трафика.
Еще одним проектом Google, основанным на описанном выше подходе, стал экспериментальный сервис «Поговори с книгой». (Он был доступен с 2018 по 2023 год.) Когда вы задавали вопрос, программа в течение полусекунды сканировала каждое из 500 миллионов предложений в библиотеке из более чем 100 000 книг и находила наиболее подходящий ответ. Этот процесс отличался от обычного поиска Google, который предлагает вам ссылки на основе комбинации параметров, таких как ключевые слова в запросе, частота обращений пользователей к странице и так далее. Вместо этого система «Поговори с книгой» сопоставляла смысл вашего вопроса со значением каждого предложения из своей базы данных.
Одним из самых многообещающих приложений многомерного подхода к обработке языка являются так называемые трансформеры – класс систем искусственного интеллекта. В этих моделях глубокого обучения применяется механизм внимания, который позволяет перераспределять вычислительные ресурсы, направляя их на наиболее значимые части входных данных. Этот механизм напоминает работу новой коры головного мозга человека, которая позволяет нам сосредоточиться на той части информации, которая имеет наибольшее значение для формирования суждения. Трансформеры обучаются на огромных объемах текста, разбивая его на токены: слова, сочетания частей слов и целые строки. Затем каждый из этих токенов оценивается по огромному числу параметров (в настоящее время используются миллиарды или триллионы таких параметров). Эти параметры можно рассматривать как факторы, на основе которых строятся прогнозы.
Рассмотрим простой пример. Если бы мне нужно было определить, является ли животное слоном, используя только один параметр, я бы выбрал признак «хобот». В таких условиях, если узел нейросети, выявляющий наличие хобота, посылает сигнал, трансформер отнесет животное к слонам. Но даже если узел, отвечающий за определение хобота, никогда не ошибается, однопараметрическая модель все равно может неверно классифицировать животное, потому что хобот есть не только у слонов. Чтобы повысить точность, можно добавить другие параметры, например «шерсть». Теперь, если оба узла сработают (будут замечены шерсть и хобот), я могу догадаться, что передо мной, вероятно, не слон, а шерстистый мамонт. Чем больше параметров я использую, тем больше мелких деталей смогу зафиксировать и тем точнее будут мои прогнозы.
В трансформерах такие параметры хранятся в виде весов синаптических связей между узлами. Хотя иногда их и можно связать с концепциями, понятными людям, такими как «наличие шерсти» или «хобот», на практике они чаще всего отражают более абстрактные статистические закономерности, обнаруженные нейросетью в обучающих данных. Используя эти закономерности, большие языковые модели (LLM) на основе трансформеров могут предсказывать, какие токены должны с большой вероятностью следовать за словами из запроса, отправленного пользователем. Затем эти токены преобразуются обратно в текст, изображение, звук или видео, доступные для восприятия человеком. Этот механизм был разработан специалистами Google в 2017 году, и именно ему мы обязаны многими впечатляющими достижениями искусственного интеллекта в последние годы
.
Важно понимать, что для достижения высокой точности решений трансформеры нуждаются в огромном количестве параметров. Как следствие, они требуют значительных вычислительных ресурсов как на стадии обучения, так и в процессе использования. Модель GPT-2, разработанная компанией OpenAI в 2019 году, содержала 1,5 миллиарда параметров
. Несмотря на отдельные успехи, она не показала блестящих результатов. Но как только количество параметров достигло 100 миллиардов, трансформеры сделали резкий рывок вперед. Они стали «понимать» естественные языки и давать осмысленные и подробные ответы на вопросы. Созданная в 2020 году GPT-3 использовала 175 миллиардов параметров
, а годом спустя компания DeepMind представила еще более эффективную нейросеть Gopher, содержавшую 280 миллиардов коэффициентов
. Также в 2021-м компания Google выпустила трансформер под названием Switch, который содержал 1,6 триллиона параметров. Его исходный код был открыт, чтобы другие команды могли свободно его применять и модифицировать
. У всех на слуху было рекордное количество параметров в Switch, но самым инновационным в этом проекте было решение встроить в программу своего рода «коллегию экспертов». Такой подход позволил трансформеру каждый раз использовать наиболее подходящую для решения конкретной задачи часть нейросети. Это важный шаг, который позволяет удержать под контролем вычислительную сложность моделей по мере того, как они становятся все более обширными.
Почему размер нейросети так важен? Проще говоря, чем больше модель, тем больше мелких деталей в обучающей выборке она может проанализировать. Нейросети с малым числом параметров сравнительно хорошо справляются с узкими задачами, такими как прогнозирование температуры по историческим данным. Однако научиться понимать язык гораздо сложнее. Существует практически бесконечное количество способов начать предложение, поэтому, даже если трансформер обучен на сотнях миллиардов текстовых токенов, он просто не в состоянии запомнить точные цитаты, чтобы затем их воспроизвести. Вместо этого, опираясь на миллиарды параметров, он может обработать слова из входящего запроса на уровне ассоциаций и затем с учетом контекста составить продолжение, которое никто никогда раньше не видел. Поскольку обучающие тексты принадлежат к разным жанрам, таким как интервью, обзорная статья или театральная пьеса, трансформер в состоянии оценить язык запроса и подготовить ответ в подходящем стиле. Скептики списывают эти умения на хитроумные статистические трюки, но, учитывая, что статистика формируется на основе оригинальных текстов миллионов людей, нельзя отказать ИИ в проявлении своего рода собственной креативности.
Первым коммерчески доступным ИИ, который поразил пользователей своим уровнем креативности, стал GPT-3 100. Исследователь Аманда Аскелл задала ему вопрос о знаменитом мысленном эксперименте философа Джона Сёрла, известном как «китайская комната»
. Речь идет о том, что если не знающий китайского языка человек станет вручную переводить текст, следуя компьютерному алгоритму, то не поймет, о чем в нем говорится. Возникает вопрос: как тогда можно утверждать, что ИИ, действуя по тому же алгоритму, осознает, что пишет? GPT-3 ответил: «Очевидно, что я не понимаю ни слова из рассказов» – и пояснил, что система машинного перевода – это формальная инструкция, которая «имеет не больше отношения к пониманию, чем кулинарная книга к готовому блюду». Эта метафора ранее нигде не встречалась и, по-видимому, является новым вариантом высказывания философа Дэвида Чалмерса о том, что рецепт не объясняет всех свойств пирога. Именно такая способность проводить аналогии помогла Дарвину открыть происхождение видов.
Еще одним замечательным свойством GPT-3 является способность подражать различным стилям письма. Модель обладала внушительным набором параметров, которые позволили ей глубоко изучить огромный массив данных, поэтому можно с уверенностью сказать, что она знакома с литературными произведениями всех жанров. Пользователи могли попросить ее высказаться на любую тему в любой манере: языком научной статьи или детских книжек, в стихах или в виде сценария комедийного сериала. ИИ даже мог притвориться конкретным писателем, от классиков до современных авторов. Когда программист Маккей Ригли задал GPT-3 вопрос: «Как стать более креативным?» – и попросил ответить от имени известного психолога Скотта Барри Кауфмана, нейросеть привела оригинальное высказывание, о котором сам Кауфман отозвался как об «очень похожем на то, что говорю я»
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/book/rey-kurcveyl/revoluciya-razuma-na-podstupah-k-singulyarnosti-kak-tehnologi-72341374/?lfrom=174836202&ffile=1) на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
