Теперь ИИ автоматически переводит разговоры на огромное число языков. Он анализирует миллиарды изображений в день, чтобы помочь в организации новостных лент и создании описательных текстов для слабовидящих. Профиль миллиардов пользователей обновляется буквально одним кликом и т. д.

Многие другие команды, помимо FAIR, разработали данные приложения и обеспечили их правильное функционирование для почти двух миллиардов пользователей. Мощная инфраструктура!

Я до сих пор регулярно встречаюсь с Марком Цукербергом, однако сейчас уже реже, чем вначале. Вместе с небольшой группой людей, отвечающих за ИИ в компании Facebook, мы встречаемся с ним около четырех раз в год, чтобы обсудить прогресс в исследованиях. И время от времени я встречаюсь с Марком в неофициальной обстановке, когда он желает узнать о новых достижениях FAIR.

Фильтрация контента

С момента своего создания компания Facebook применяла строгие правила, касающиеся обмена данных между пользователями: никакой порнографии, никакого употребления «языка вражды», ну, или почти никакого. Помимо вышеперечисленных запретов, Facebook следовала американскому понятию «свобода слова», не собираясь на законодательном уровне урегулировать содержание разговоров. Люди могут свободно высказываться, если это не противоречит закону. Во Франции и других европейских странах с этим строго, и некоторые темы запрещены. Например, незаконно оспаривать существование преступлений против человечности.

Эта философия изменилась с 2016 г., после президентских выборов в США. Компания Facebook признала важность фильтрации контента и предотвращения использования платформы людьми для получения коммерческой или политической выгоды, в погоне за кликами, которые приносят им деньги или приводят к разногласиям. Будь то продажа некой «панацеи от всех болезней», или публикация новостей, порой выдуманных, но настолько извращенно-завлекательных, что многим людям невозможно не читать их и не делиться ими. Старый, но не очень добрый кликбейтинг!

Сегодня мы пытаемся автоматически фильтровать такой контент. Что касается фильтрации порнографических изображений или сцен насилия, то Facebook не распространяет исходный код своей системы наблюдения, чтобы помешать недоброжелателям ее обойти.

Мы делаем все возможное. Но 15 марта 2019 г. в Крайстчерче, Новая Зеландия, белый расист и исламофоб застрелил из автоматического оружия 51 прихожанина двух мечетей города. На его шлеме была камера, которая транслировала стрельбу в прямом эфире на Facebook Live[108] в течение 17 минут.

К тому времени сеть уже была предупреждена и заблокировала аккаунты стрелка в Facebook и Instagram. Впоследствии Facebook удалила 1,5 млн видеокопий этой трагедии. Этот страшный промах автоматического обнаружения вызвал всеобщее волнение. Главы правительств наряду с основными социальными сетями обратились к Крайстчерчу с призывом ужесточить контроль над подобными изображениями, опубликованными в интернете, и ввести санкции в отношении тех, кто их распространяет.

Фактически, обнаружение такого рода контента остается чрезвычайно трудной задачей даже для современных технологий. С одной стороны, многие «жестокие» видео являются законными: отрывки из голливудских фильмов, кадры из видеоигр или даже видеоролики со стрельбой по мишеням. Как отличить эти изображения от реальных убийств? С другой стороны, помните, что мы обучаем модель, предоставляя ей очень большое количество примеров. Как обучать системы обнаружения, когда – хоть это и к счастью – у нас очень мало видеороликов с настоящей резней? Инженеры Facebook, YouTube и других сервисов работают над улучшением надежности своих систем.

Большая часть ненавистнического контента, фильтруемого Facebook, удаляется еще до того, как он выпущен, благодаря автоматическому обнаружению его системами ИИ. Для обнаружения известных пропагандистских видео или изображений террористов используются методы, схожие с эмбеддингом[109]. Они помечаются сразу после публикации и добавляются в черный список запрещенных тем. Первая сверточная сеть обучается создавать вектор, представляющий изображение или видео. Затем другая система просто обнаруживает сходство с видео, которые находятся в этом черном списке[110].

Однако большое количество подобного контента все же ускользает от фильтров. ИИ не понимает подтекста изображений. Например, если неонацистская группа публикует расистское сообщение, система может его обнаружить и не транслировать. Но представьте, что это транслируется людям, наблюдающим за неонацистской деятельностью, которые могут «репостить» агрессивные послания, чтобы задокументировать неонацистскую пропаганду. Система классификации не отличит пост антинеонацистов от поста самих неонацистов: ведь это тот же текст, но с противоположным посылом. Если имеет место не реальная агрессия, а ее критика или ирония над ней, система не сможет это распознать.

В 2018 г. во Франции кто-то разместил фотографию известной картины «Происхождение мира» Гюстава Курбе, которую можно было бы отнести к порнографическому контенту, если не знать работы данного художника, тем более, что картина достаточно реалистичная. В подобных случаях система автоматического распознавания изображений не понимает, что это искусство и картину нужно допустить к просмотру. Несмотря на то, что в настоящее время уже существуют инструменты для создания таких исключений, некоторые проблемы все же не решены.

Я вспомнил редактора одной норвежской газеты, который разместил на своей странице в Facebook очень известную фотографию обнаженной вьетнамской девочки лет 12, бегущей по дороге, спасаясь от напалма. Как и почти во всех странах, изображение обнаженного ребенка в Норвегии запрещено законом, поскольку считается педофилией. Об этом факте сообщил пользователь (человек). Модератор, не узнавший фото, зарегистрировал жалобу, и фото было удалено. Скандал. Репортер написал письмо Марку Цукербергу. И, конечно же, фото восстановили. Опять же, для серьезного искусства и СМИ существует список исключений.

На ум приходят и гораздо более трагичные случаи. В Мьянме, бывшей Бирме, мусульман рохинджа преследовало преобладающее буддийское население. Буддийские лидеры публиковали поддельные новости, например фотографию, где маленькая девочка из буддийской семьи якобы была убита мусульманином. Один из лидеров затем с наслаждением опубликовал пост: «Вы знаете, как мы должны были поступить». Учитывая нынешнюю ограниченность ИИ, ни одна система не сможет распознать, является ли передаваемая информация подделкой, как и не сможет обнаружить скрытый характер призыва к мести. Сфабрикованные новости, подобные описанной выше, могут иметь ужасные последствия и разжигать этнические конфликты, независимо от платформы, используемой для его распространения. Особенно, когда за этим стоит правительство.

Здесь я хочу поговорить о пределах существующих технологий. Невозможно вручную отсортировать миллиарды и миллиарды сообщений, изображений и видео, загружаемых в Facebook каждый день. Нам все еще нужно улучшить автоматическую фильтрацию. Поэтому Facebook вкладывает большое количество ресурсов в эту область.

На сегодняшний день в компании есть три «сортировочных цеха».

1. Системы