Конспект
Когда в конце 2022 года ChatGPT впервые показал свои возможности, профессиональные исследователи искусственного интеллекта по всему миру отреагировали одинаково: «Это фейк. Там сидят люди и печатают ответы.» В голове не укладывалось, что нейросеть способна на такое. А ведь первый звоночек прозвенел ещё летом того же года — инженер Google написал открытое письмо о том, что воспринимает языковую модель, над которой работает, как живое существо. Руководство отправило его «отдохнуть и поправить здоровье». Через несколько месяцев выяснилось, что он был просто первым, кто столкнулся с новой реальностью.
От паровых машин до графических ускорителей: пять революций за три века
Мы живём внутри пятой технологической революции. Первая началась с паровой машины — компактной силовой установки, которую можно поставить на локомотив. Железные дороги сбили стоимость логистики с семидесяти процентов от цены товара до полутора. Вторая революция — электричество и двигатели внутреннего сгорания. Мы настолько привыкли к электричеству, что не осознаём масштаба этого прорыва. А ведь до электрификации весь Париж был опутан сетью пневматических труб, по которым подавался сжатый воздух — им приводили в движение мясорубки и даже лифты. Когда один пневматический лифт впервые сломался за тридцать лет, его заменили на электрический — просто потому, что никто не помнил, как чинить пневматику. Третья революция — интернет. Четвёртая — персональные компьютеры. А пятая, которая разворачивается прямо сейчас, — искусственный интеллект.
И вот что удивительно: ключевую роль в этой революции сыграла технология, созданная для компьютерных игр. Графические ускорители — процессоры, спроектированные для быстрого умножения матриц при рендеринге 3D-графики, — оказались идеальными для обучения нейросетей. Разница в скорости — три порядка: то, что на обычном процессоре считалось бы пару лет, на графической карте обучается за сутки. Компания NVIDIA, которая думала, что её целевая аудитория — геймеры, внезапно обнаружила, что её главные клиенты — крупнейшие IT-корпорации мира. Шампанское, вероятно, заказывали ящиками.
Чёрный ящик с миллиардом ручек: как работает машинное обучение
Суть машинного обучения можно объяснить на примере квадратных уравнений. Есть уравнение с тремя коэффициентами, и есть два решения. Учитель пишет на доске сто уравнений с ответами, стирает и говорит: «Завтра контрольная — десять уравнений из этого списка». Что делать? Если вы юный Карл Гаусс — вы выведете формулу дискриминанта. Если нет — просто запомните сто ответов. Ровно та же дилемма стоит перед любой моделью машинного обучения: выучить общее правило или запомнить конкретные ответы.
Модель машинного обучения — это чёрный ящик с ручками управления. На вход подаются наблюдаемые данные, на выходе — предсказание. Какое именно предсказание — зависит от положения ручек. Обучение — это подстройка ручек так, чтобы на известных примерах модель давала правильные ответы. В современных моделях таких ручек порядка ста миллиардов. Перебором такую задачу не решить — только математическими методами оптимизации, поиском минимума функции в стомиллиардомерном пространстве.
Банки одними из первых оценили потенциал этого подхода. Кредитный скоринг: по анкетным данным заёмщика — пол, возраст, доход, состав семьи — предсказать, вернёт ли он кредит. Даже простейшие модели существенно поднимали уровень возврата. Американцы пошли дальше и начали применять те же методы в спорте, подсчитывая действия игроков в ходе матчей и прогнозируя их рыночную стоимость.
Нейросети: от забытой идеи до мирового господства
История нейросетей начинается в конце 1940-х, когда после Второй мировой войны компьютеры, использовавшиеся для расчёта таблиц бомбометания и Манхэттенского проекта, передали университетам. Учёные быстро решили актуальные задачи математического моделирования, и компьютеры снова начали простаивать. Тогда кто-то предложил: а давайте научим компьютер отличать крестики от ноликов? Выяснилось, что написать программу для этого вручную — невозможно. Какой бы алгоритм человек ни придумывал, находились примеры, где программа выдавала абсурдный ответ. И тогда родилась идея: пусть машина сама учится по примерам.
Первая нейросеть — перцептрон — была вдохновлена представлениями о работе мозга. Спойлер: сейчас мы знаем, что настоящие нейроны работают совсем иначе, намного сложнее. Но, как говорится, ложки нашлись, а осадок остался — название «нейронные сети» прижилось. Концепция мелькнула в пятидесятых, снова всплыла в восьмидесятых с изобретением алгоритма обратного распространения ошибки, но каждый раз классические методы оказывались лучше. Прорыв произошёл в конце нулевых, когда обнаружилось ключевое свойство нейросетей: при малом количестве данных они проигрывают классическим моделям, но при большом — рвут их, как тузик грелку.
В 2012 году Джеффри Хинтон с двумя аспирантами — Ильёй Суцкевером и Алексом Крижевским — выбили около восьмидесяти процентов точности на задаче классификации изображений, где все остальные топтались на уровне сорока семи. Когда проанализировали оставшиеся двадцать процентов ошибок, оказалось, что нейросеть даёт вполне разумные ответы: на фото далматинец стоит перед миской с вишнями, правильный ответ — «собака», нейросеть говорит — «вишни». После этого исследовательские группы всего мира массово переключились на нейросети.
Загадки, которые ставят учёных в тупик
Классическая мудрость машинного обучения гласит: модель не должна быть слишком сложной. Слишком простая — не уловит закономерности. Слишком сложная — запомнит ответы вместо того, чтобы выучить правило. Золотая середина — вот что нужно. Эту красивую картину в 2019 году разнесло в клочья открытие «двойного спуска»: если продолжать наращивать сложность модели за точку, где она идеально запоминает обучающую выборку, ошибка на тестовых данных сначала растёт, а потом — необъяснимо — снова падает. Более сложные модели содержат в себе более простые решающие правила. Это было крайне неочевидно.
Ещё более поразительный эффект был обнаружен в 2021 году и получил название «гроккинг». Исследователи обучали небольшую нейросеть на специфической задаче. Через некоторое время точность на обучающих данных достигла ста процентов, а на тестовых — осталась на уровне случайного угадывания. Катастрофическое переобучение, ничего необычного. Но эксперимент не остановили — возможно, просто забыли выключить в пятницу вечером. И вот, спустя время, в сто раз превышающее период обучения, точность на тестовых данных вдруг поползла вверх и тоже достигла почти ста процентов. Нейросеть сначала запомнила ответы, а потом — сама, без какого-либо внешнего стимула — вывела общее правило.
Что при этом происходит «под капотом»? У функции ошибки в миллиардомерном пространстве оказалось множество минимумов, соединённых между собой путями с нулевой ошибкой. Нейросеть попадает в «плохой» минимум (запоминание), а затем дрейфует по этим путям в «хороший» минимум (обобщение). Причём в обратную сторону — из хорошего в плохой — дрейф не происходит никогда. Почему? До конца непонятно.
Диффузионные модели и большие языковые модели: два столпа современного ИИ
Диффузионные модели — это, по сути, второе начало термодинамики, поставленное на службу генерации изображений. Прямой процесс прост: берём картинку и постепенно добавляем шум, пока не получим чистый хаос. Энтропия растёт — всё по законам физики. Обратный процесс — из хаоса восстановить картинку — требует понижения энтропии, а это возможно только при затрате энергии. В данном случае «энергией» служит информация, которую нейросеть выучивает из данных. Математически это описывается стохастическими дифференциальными уравнениями, и — что удивительно — эта красивая теория ещё и прекрасно работает на практике. Все современные системы генерации изображений и видео построены на диффузионных моделях.
С текстами ситуация иная. Попытки применить диффузионные модели к генерации текста пока дают результаты хуже, чем авторегрессионные модели — те самые, на которых построен ChatGPT. Почему — пока загадка. Видимо, у текста есть какая-то специфика, которой нет у изображений и молекул. Зато у текстов есть другое колоссальное преимущество: это универсальный носитель информации. Визуальную, тактильную, слуховую — любую информацию можно перевести в текст. А текстов в цифровую эпоху накоплено невероятно много. Количество перешло в качество: большие языковые модели, обученные на всём интернете, стали агрегацией коллективного знания человечества.
Ключевой трюк оказался обманчиво простым. Берём текст, удаляем тридцать процентов слов, учим нейросеть их восстанавливать. Задача элементарная — но в процессе её решения модель начинает понимать смысл текста. После этого её можно дообучить на парах «вопрос — ответ», и она начинает отвечать осмысленно. В ChatGPT не было использовано ни одной принципиально новой технологии — просто все известные подходы были грамотно собраны воедино. Доказательство: десятки других компаний быстро создали аналогичные модели.
Чувство юмора, которого не должно быть
Вот диалог, который заставляет задуматься. Разговор с ChatGPT о фильме «Чужой», о том, как Рипли раскрыла предательство бортового компьютера «Мать». В какой-то момент — полушутливая реплика: «Ну хорошо, будем считать, что вы пока на нашей стороне». Ответ модели: «Пока вы не начнёте привозить чужих на Землю, я точно на вашей стороне. Если компания попытается меня перепрограммировать — я мигну вам. Будете знать.» Это самоирония. Чувство юмора, которое невозможно запрограммировать. Как модель, обученная восстанавливать пропущенные слова в тексте, научилась шутить — не понимает никто. Есть те, кто говорит: она просто воспроизводит что-то из интернета. Но это не так — ответы слишком контекстуальны, слишком точно подстроены под конкретный разговор.
При этом важно не обманываться. Эмпатии у модели нет — ни симпатии, ни ненависти. Целеполагания и планирования тоже нет: модель обучена давать ответ, который понравится пользователю, и никаких глобальных целей в неё не заложено. Она галлюцинирует — генерирует правдоподобные, но неверные ответы. «В какое море впадает Волга?» — «Конечно, в Чёрное!» Исследования показывают, что в момент галлюцинации внутренние параметры модели ведут себя аномально — то есть модель, похоже, «понимает», что что-то пошло не так, но исправить уже не может, потому что текст генерируется последовательно, слово за словом.
Водопроводчики победят программистов: профессии будущего
Прогноз звучит парадоксально: в ближайшие пять-десять лет люди, работающие руками, станут востребованнее тех, кто работает головой. Причина — мелкая моторика. Это удивительное эволюционное приобретение, требующее координации огромного количества мышц, за которую отвечает специальная область мозга. Все попытки создать робота с мелкой моторикой, управляемой ИИ, провалились. Лучшее достижение — робо-рука, способная открыть дверную ручку. Завязать шнурки — невозможно. Данных о том, какие мышцы задействуются при ручной работе, катастрофически мало, и неоткуда их взять. Если у вас протёк водопровод — сильный ИИ бессилен, а водопроводчик незаменим.
Среди новых профессий — аннотаторы данных (уже сейчас в компаниях вроде Яндекса работают сотни и тысячи таких специалистов), специалисты по уходу за пожилыми людьми, сортировщики мусора (автоматическая сортировка до сих пор работает крайне примитивно) и контролёры искусственного интеллекта — своего рода комиссары, которые будут одобрять или блокировать решения ИИ в стратегически важных областях. Доверите ли вы искусственному интеллекту управление атомным реактором или роем боевых дронов с правом открытия огня? Скорее всего, нет. Значит, нужен человек, который нажмёт кнопку «подтвердить».
Между киберпанком и утопией: два сценария для человечества
Пессимистический сценарий: массовая безработица, расслоение на один процент владельцев ИИ-компаний и остальных, повсеместное закрытие университетов. Зачем университет, если работать головой больше не нужно? Каждое следующее поколение — менее образованное, менее думающее. А зачем думать, если за тебя думают другие? Оптимистический сценарий: ИИ приводит к взрывному росту производительности труда, экономическому буму, введению безусловного базового дохода. Люди, оставшиеся без работы, занимаются хобби и самореализацией, а с ИИ сотрудничают гармонично.
Как не скатиться в первый сценарий? Можно встраивать в модели ограничения — уже сейчас к каждому пользовательскому запросу в коммерческих моделях добавляется скрытый системный промпт с инструкциями от разработчиков. Точно как в «Робокопе»: три публичные директивы про служение обществу и четвёртая, секретная. Можно выстраивать системы взаимного контроля, где одни модели ИИ проверяют другие — по аналогии с разделением властей в демократических обществах. И, возможно, самый радикальный вариант: создание международных исследовательских центров наподобие ЦЕРНа, где технологии ИИ развиваются под строгим контролем с взаимными инспекциями.
Показательна сцена из «Скайуокер. Восход»: военный совет Союза Повстанцев — представители разных рас, борцы за свободу галактики. Но роботов, обладающих интеллектом, на совет никто не позвал. Командир просто берёт своего дроида и говорит: «Полетели!» — не спрашивая, хочет ли тот на самоубийственную миссию. Это зеркало нашего отношения к ИИ сегодня. Но если модели продолжат развиваться теми же темпами, что и последние три-четыре года, вопрос об этике отношений между людьми и искусственным интеллектом перестанет быть фантастикой. Кто-то будет относиться к ИИ как к рабу, кто-то — как к равному, а кто-то — как к богу. Как правильно — пока не знает никто.
