Описанный метод позволяет построить трехмерную карту сцены и, следовательно, узнать, что находится на уровне земли (можно пройти), а что выступает из земли (препятствие). Но такой процесс работает только на небольших расстояниях, в пределах 10 м. Кроме того, когда несоответствие слишком мало (менее одного пикселя), то оценка расстояния не работает. Сверточную сеть можно обучить с помощью полученных таким образом меток «проходимый участок» и «препятствие». Сеть использует центральный пиксель, чтобы решить, является ли препятствием объект, изображению которого принадлежит этот пиксель, или не является. Область, окружающая пиксель, позволяет нам определить природу объекта (грунтовая дорога, куст, ствол дерева). После обучения сеть может применяться ко всему изображению и обнаруживать препятствия и проходимые участки уже на любом расстоянии.

Рис. 6.16. Результат предоставлен системой Mask R-CNN и опубликован в 2017 г. компанией Facebook

Приведенная здесь система сегментации и распознавания объектов с использованием сверточной сети может назвать категорию каждого объекта в изображении и создать маску, покрывающую объект. Для этого сеть проходит по всему изображению и для каждого места на изображении создается категория (например, «человек») и изображение маски, покрывающее распознанный объект[67] (источник: He et al., 2017, FAIR).

Такая идея семантической сегментации с использованием сверточной сети со скользящим окном привела в 2009 г. к появлению системы технического зрения, в которой каждый пиксель изображения был помечен как принадлежащий к одной из 33 категорий: дорога, здание, автомобиль[68] и др. На сегодняшний день данный метод широко используется в системах технического зрения беспилотных автомобилей[69].

Такие же методы позволяют сегментировать и биологические (или медицинские) изображения. В 2015 г. Себастьян Сын (Sebastian Seung), в то время работавший в Массачусетском технологическом институте, реконструировал нейронные цепи части сетчатки кролика, трехмерное изображение которой было получено с помощью электронной микроскопии совместно с сверточными сетями[70]. Мои коллеги из Нью-Йоркского университета (NYU) используют их для маркировки МРТ тазобедренного сустава. На сегодняшний день сверточные сети присутствуют в большинстве систем распознавания изображений.

Всего за несколько лет сообщество компьютерных специалистов добилось выдающихся успехов в обнаружении и локализации объектов. Самыми современными из них являются системы FAIR Mask R-CNN и RetinaNet, причем их код доступен для всех[71] (см. рис. 6.15 и 6.16).

Глава 7

Внутренности машины, или глубокое обучение сегодня

Искусственный интеллект с его возможностями анализа, распознавания и автоматической классификации помогает людям решать все виды задач, которые они раньше выполняли сами. Короче говоря, он теперь повсюду!

Но глубокое обучение не полностью подвинуло более традиционные методы решения задач: деревья поиска, поиск кратчайшего пути, логический… Множество процессов, известных с 1960-х гг., сегодня, благодаря технологическому прогрессу, сделались чрезвычайно эффективными.

Распознавание изображений

Кажется, чего уж проще – набрать слово в поисковой системе, чтобы получить в ответ картинку. Тем не менее, это элементарное действие приводит в движение мощную инфраструктуру искусственного интеллекта. Выдавая ответы, лучше всего подходящие для вашего запроса, сверточная сеть должна сначала «просмотреть» миллионы, если не миллиарды изображений, которые она научилась распознавать.

В Google такая система работает постоянно. Она просматривает коллекции фотографий или изображения в Интернете и обрабатывает их с помощью сверточной сети, которая занимается их идентификацией. В Facebook несколько сверточных сетей ежедневно анализируют миллиарды изображений, загружаемых на их сайты. Лодка? Собака? Цветок? Таким образом идентифицируются десятки тысяч пользовательских тегов.

Чтобы подготовиться к этой работе, Google и Facebook собирают миллионы изображений и помечают их вручную (это делают либо сами пользователи, либо специально нанятые люди). Когда Google спрашивает: «На каком изображении видна машина?», вы тоже вносите свой вклад в эту маркировку. С помощью этих данных инженеры обучают сверточные сети, чтобы они, в свою очередь, могли помечать миллиарды изображений, которые не были помечены вручную.

Таким образом, Google и Facebook создают списки тегов, хранящиеся на серверах их центров обработки данных. При вводе в поисковик «Эйфелева башня» список изображений с надписью «Эйфелева башня» уже существует. И так для миллионов слов или предложений.

Таким же образом компания Facebook классифицирует фотографии свадеб, дней рождения, интерьеров, самолетов, кошек, сумок (по маркам) или автомобилей (по моделям). В сети даже есть категория «неизвестных зданий и памятников».

Метаданные упрощают визуализацию фотографии. Турист, который гуляет рядом с Эйфелевой башней, как показывает его мобильный телефон, скорее сфотографирует «железную даму», чем Статую Свободы.

Визуальное распознавание также используется для фильтрации и устранения жуткого, насильственного, извращенческого и порнографического визуального контента. Такая задача выполняется сверточными сетями, которые нужно обучить с помощью тысяч жутких изображений, помеченных заранее. Очень неприятная работа для операторов[72].

И тяжелая, к тому же. Мерзавцы всех мастей знают, что запрещенный текст будет подвергаться цензуре, и у них есть стратегии, чтобы все-таки добиться своей цели. Они помещают текст внутрь изображения, зная, что сверточная сеть не обучена распознавать такое. Необходимо использовать более сложные методы для обнаружения подобного текста: после обнаружения символов на изображении другая сверточная сеть транскрибирует их в текст с помощью технологии OCR (оптического распознавания символов (англ. Optical Character Recognition).

Распознавание изображений преследует и более мирные цели: идентификация растений, насекомых, птиц, этикеток бутылок вина и т. д. Оно позволяет дать название месту или зданию, анализировать видео, чтобы классифицировать действия, которые там происходят, что очень полезно для того, чтобы знать, кому показывать данное видео, а кому нет. Можно даже описать контент для слепого: текст читается вслух смартфоном.

Встраивание контента и измерение сходства

Многие приложения требуют измерения сходства двух объектов, будь то изображения, видео или текст.

Если есть два изображения, бывает полезно узнать, похоже ли их содержание или нет вне связи с их идентификацией. Возможность сравнения необходима для поиска информации, фильтрации контента и распознавания изображений конкретных объектов (памятника, лица, обложки книги, музыкального произведения и т. д.).

Вот одно из его применений: после того, как обнаружено видео, например, с террористической пропагандой, необходимо найти и удалить его копии, которые активисты или сторонники терроризма торопятся разослать по социальным сетям. Для этого мы должны быстро выявлять сходство таких роликов. Поговорим об этом подробнее[73].

Проще говоря, если кто-то сфотографирует этикетку бутылки вина, система выполнит поиск такой же этикетки и получит доступ к информации об этом вине. Или она подтверждает, что на двух фотографиях изображен один и