Люди и животные учатся с помощью комбинации различных методов, которые исследователи искусственного интеллекта пытаются использовать в машинах. Я предполагаю, что они приобретают большую часть своих знаний посредством обучения без учителя, где важную роль играет наблюдение; к нему добавляется небольшая часть обучения (или имитационного обучения) с учителем и еще совсем маленькая доля обучения с подкреплением. Обучение ходьбе, езде на велосипеде или вождению сочетает в себе все три типа обучения. Когда мы учимся водить машину по дороге, граничащей с обрывом справа, мы знаем из нашей модели мира, что, если повернем руль вправо, машина поедет к обрыву, и наши знания о гравитации позволяют нам предсказать, что последствия будут плачевными: не стоит проверять этого «на всякий случай». Именно такой модели обучения не хватает машинам, что делает их обучение с подкреплением крайне неэффективным. Некоторые исследователи пытаются обучить машины изучать прогностические модели и использовать эти модели, чтобы уменьшить количество проб и ошибок при обучении. Мы говорим об «обучении с подкреплением на основе моделей», но и этот подход все еще находится в зачаточном состоянии.

Рис. 9.1. Этапы перцептивного, моторного и социального развития по Эмманюэлю Дюпу

Младенцы получают огромное количество базовых знаний о том, как устроен мир, в первые несколько месяцев жизни. Это обучение осуществляется в основном путем наблюдения: в первые месяцы младенцы очень мало влияют на окружающий их физический мир. Примерно через девять месяцев дети понимают, что объект без опоры падает под действием силы тяжести. До этого периода объект, который парит в воздухе, их (по словам Эмманюэля Дюпу) совсем не удивляет.

В человеческом мозге для приобретения этого знания (которое, на мой взгляд, и является сутью интеллекта) предназначена лобная доля. Животные учатся так же, как и мы. Некоторые выглядят более одаренными, чем другие. Среди птиц особенно талантливыми считаются вороны. Среди морских животных очень умны осьминоги, несмотря на то, что природа не особенно благосклонна к ним: они живут всего несколько лет и не воспитываются матерью, поскольку та умирает вскоре после выхода молодых осьминогов из яиц. Смерть матери – трагедия для человека, однако гибель их прародителя, похоже, не влияет на головоногих моллюсков, которые мирно обитают на морском дне в течение сотен миллионов лет.

А вот кошки! У них нет навыков рассуждения, как у людей, но у них куда больше здравого смысла, чем у самой умной машины. У крыс тоже. Я бы считал свою карьеру успешной, если бы мы могли создавать машины, которые будут такими же умными, как крыса или белка! Все эти животные познают мир посредством наблюдений. Они приобретают прогностические модели, которые позволяют им выжить.

Если мы поймем, как люди и большая часть животных приобретают этот огромный объем знаний о мире, в первую очередь – посредством наблюдений, мы сможем развить системы ИИ гораздо дальше.

Обучение без учителя – продолжение

Основная идея обучения без учителя состоит в том, чтобы взять вход, скрыть под маской часть этого входа и обучить машину предугадать маскированную часть по видимой части. Примером этого является прогнозирование видео: машине показывают видео и просят ее предсказать то, что будет происходить в видео. Затем ей дается прогноз как желаемый выход, и машина настраивается, чтобы улучшить свой прогноз. Данный процесс очень похож на обучение с учителем. Разница в том, что желаемый выход является временно скрытой частью входа.

Однако в обучении с учителем до сих пор полностью не решена серьезная проблема: как представить неопределенность в прогнозировании? Для данного сегмента видео возможны несколько вариантов развития событий. Как сделать так, чтобы машина могла отображать все эти возможности?

В главе 7 мы увидели, что обучение без учителя очень хорошо помогает обучить машину предсказывать слова в тексте. На входе в машину вводят фрагмент текста, некоторые слова которого скрыты, и обучают машину находить недостающие. Система учится представлять значение и структуру текста, просто обучаясь предсказывать пропущенные слова. Для текста относительно легко представить неопределенность прогноза. Для каждого пропущенного слова система создает большой (многомерный) вектор, каждый компонент которого указывает вероятность того, что конкретное слово в лексиконе является пропущенным словом. Результатом работы системы является распределение вероятностей по всем словам в лексиконе для каждого пропущенного слова.

Рис. 9.2. Обучение без учителя

Обучение без учителя включает в себя ввод входных данных, таких как видеоклип, маскирование части входных данных и обучение модели предсказанию скрытой части по видимой. Для этого модель должна фиксировать внутреннюю структуру данных, позволяющую заполнить пробелы. В видеоклипе на диаграмме выше наблюдаемая часть показана темным цветом, маскированная (предсказуемая) часть – светлой, а игнорируемая часть – серым цветом. В зависимости от режима обучения можно научить машину предсказывать будущее из прошлого и настоящего, предсказывать прошлое из настоящего или любую другую комбинацию, например, предсказывать верхнюю часть изображения в соответствии с нижней.

К сожалению, дело обстоит иначе, когда вход состоит из непрерывных больших сигналов, таких как кадры из видео. Непонятно, как представить распределение вероятностей в пространстве всех возможных изображений.

Возьмем пример. Ручка, опирающаяся кончиком на стол в вертикальном положении, удерживается моим пальцем. Я прошу машину предсказать ситуацию (состояние мира) через две секунды после того, как я уберу палец (рис. 9.3). Человек сможет предсказать, что ручка упадет на стол, но не может сказать, в какую сторону. Ориентация непредсказуема. Если обучать машину большим количеством видеоклипов, в которых я буду повторять эксперимент, начальные сегменты всех клипов будут, по существу, одинаковыми, но все конечные сегменты будут разными, с разным положением упавшей ручки. Если система представляет собой нейронную сеть (или некоторую другую параметризованную функцию), выход которой состоит из кадров последнего сегмента видео, она может производить только один выход для каждого входа. Чтобы минимизировать ошибку прогнозирования, система будет ведена к получению среднего значения всех правдоподобных конечных сегментов, то есть изображения, состоящего из ручки во всех возможных положениях. Это – очень странный прогноз.

Рис. 9.3. Направление падения ручки непредсказуемо

Пальцем я держу ручку в вертикальном положении; кончик ее опирается на столе. Я прошу наблюдателя, человека или машину, предсказать состояние мира – ситуацию через две секунды после того, как я уберу палец. Человек сможет предсказать,