Примерами обучения являются значения в определенный час в определенный день, а желаемый выход – это, например, наблюдаемое потребление в течение следующего часа. Вместо того, чтобы обучать сеть распознавать объект на изображении, мы обучаем ее предсказывать, каковы показатели потребления в каждом районе.

В сверточной сети устройства вычисляют взвешенные суммы, пропущенные через нелинейные функции. Укладка слоев позволяет нам вычислять более сложные отношения входа-выхода, чем при линейном прогнозировании.

Чтобы предвидеть вероятность «клика» на конкретную рекламу, используется нейронная сеть с большим количеством входов, которые мы обучаем для прогнозирования интереса людей к тому или иному контенту. В качестве входов вектор представляет этот контент и предпочтения человека, которые получаются из анализа взаимодействия пользователя с другим контентом в прошлом. Данная модель основана на миллиардах ежедневных кликов на страницах Facebook или Google.

Нейронная сеть предсказывает, нажмет ли человек на данную рекламу, предлагая оценку. Затем, если человек действительно нажимает на нее, нейронная сеть поднимает оценку. В противном случае оценка смещается вниз. При выборе объявления, которое будет отправлено ей в следующий раз, данная корректировка будет учтена. Поэтому сеть постоянно обучается.

Рис. 7.5. Прогнозирование энергопотребления в городе

Сверточная сеть «наблюдает» состояние входа в течение дня или более, а потом ей предлагают предсказать, каково будет потребление через час, через день, через неделю или через месяц.

Facebook делает все то же самое для размещения рекламы в ленте новостей. Google использует его также для определения порядка отображения результатов поиска. Если вы наберете «птичий грипп» в Google, поисковая система зафиксирует, что люди никогда не кликают на первые четыре результата, а вот на пятый кликают. Поэтому Google поднимает этот результат в списке. Эти методы сегодня используются всеми рекламодателями.

Искусственный интеллект и наука

Глубокое обучение получило широчайшее применение в различных науках: в астрофизике (классификация галактик и открытие экзопланет), в физике элементарных частиц (анализ струй частиц, вызванных столкновениями ускорителя частиц CERN в Женеве), в материаловедении (создание метаматериалов с новыми свойствами), в социальных науках (масштабный анализ социальных взаимодействий), в нейробиологии (понимание механизмов восприятия в головном мозге) и так далее. Наиболее многочисленные применения относятся к биомедицине, например, для предсказания пространственной структуры («фолдинга») белков. Белки, состоящие из множества аминокислот, образуют основу клеток всех организмов. Они синтезируются на основе структуры генов (последовательность нуклеотидов в ДНК).

После формирования белки складываются в определенную конфигурацию, чтобы взаимодействовать с другими белками и выполнять различные функции, которые определяются их пространственной формой.

Необходимо иметь возможность предсказать биохимические механизмы, которые обеспечивают правильную конфигурацию белков, чтобы найти новые лекарства или методы лечения, которые бы предотвратили сцепление двух белков или, наоборот, способствовали бы их сцеплению[98]. Нейронные сети – это основа наиболее эффективных методов в данной области (например, система AlphaFold от DeepMind[99]).

Архитектура «больших» приложений: автономный автомобиль

Напомню, чтобы у вас не разыгралось бурное воображение: хотя в 2019 г. системы помощи водителю уже широко используются в автомобилях, полностью автономные модели все еще остаются экспериментальными. В большинстве случаев автономное движение автомобиля должно контролироваться человеком, готовым перехватить управление.

Почти «теологические» дебаты разделили сообщество ИИ на две партии. Сторонники «хотя бы какого-то обучения» верят в сквозную систему глубокого обучения: чтобы обучить систему, необходимо подключить ее вход к камере автомобиля, а выход – к педалям и рулевому колесу, а затем позволить системе наблюдать за водителями-людьми в течение нескольких тысяч часов.

Со своей стороны, я полагаю, что автономные системы вождения пройдут три фазы:

1. Большая часть системы будет программироваться вручную, а глубокое обучение будет использоваться только для восприятия информации, скажем, о дорожной обстановке;

2. Больше внимания будет уделяться обучению;

3. У машины появится достаточно здравого смысла, чтобы управлять автомобилем безопаснее человека.

Автономия и смешанная система

Одной из первых систем помощи водителю на рынке была система израильской компании MobilEye, впоследствии приобретенная Intel. В 2015 г. MobilEye предоставила компании Илона Маска, производящей электромобили Tesla, систему технического зрения для почти автономного вождения по трассе на основе сверточной сети. Им была оснащена модель Tesla S.

Минутка «юмора»! В июне 2013 г. меня пригласили выступить с докладом о моем исследовании на конгрессе COLT (англ. Computational Learning Theory, крупнейшая в мире конференция по теории компьютерного обучения) в Принстоне. В аудитории Шай Шалев-Шварц, профессор Еврейского университета в Иерусалиме, специализирующийся на теории обучения, проявил большой интерес к практическому применению сверточных сетей. Он собирался поработать в течение года в MobilEye. Поступив в компанию тем же летом, он продвигал в массы преимущества сверточных сетей. И тут началось! Инженеры MobilEye сразу же приняли его предложение относительно своей бортовой системы. Менее чем через 18 месяцев новая сверточная сетевая система была предоставлена компании Tesla, которая интегрировала ее в свою модель 2015 г. Год спустя Tesla решает разработать свою собственную систему вождения, и две компании расходятся. Вот и делай людям добро, как говорится!

Чтобы повысить надежность автономных систем вождения, некоторые компаний «мухлюют», чтобы упростить проблемы восприятия и принятия решений. Это – сторонники «смешанного» подхода, которые используют очень подробную дорожную карту, в которой перечислены все знаки, наземные разметки и другие заранее записанные сведения. В сочетании с GPS и очень точной системой оценки местоположения автомобиля бортовая система распознает только автомобили и движущиеся объекты, а также непредвиденные препятствия, например, дорожные работы. Помимо камер, большинство беспилотных автомобилей используют радары для обнаружения ближайших транспортных средств и «лидары», о которых мы поговорим чуть позже.

Подобные системы используют сверточные сети для восприятия: обнаружение проходимых участков, обнаружение полос движения, других автомобилей, пешеходов, велосипедистов, дорожных работ и различных препятствий. Их обучали, показывая им тысячи велосипедов, пешеходов, транспортных средств, дорожную разметку, дорожные знаки, тротуары, светофоры в различных условиях. Они научились идентифицировать их, даже когда они частично скрыты другими объектами.

С 2014 г. Waymo, дочерняя компания Alphabet (материнская компания Google), проводит испытания автомобилей без водителя в районе Сан-Франциско. Люди на борту – сотрудники Google. В 2018 г. в Аризоне запустили беспилотные такси. Место подходящее: широкие дороги, мало транспорта, хороший климат. Там почти всегда ясная погода. Инженеры Waymo используют смешанную систему со множеством сложных датчиков (радаров, лидаров, камер), сочетающую визуальное распознавание сверточной сети и классический метод планирования, запрограммированные правила вождения, подробные карты, которые точно указывают знаки ограничения скорости, пешеходные переходы, светофоры… Такая