Под точностью здесь понимается доля корректно распознанных моделью примеров: то есть точность 0,83, например, означает, что 83 % размеченной выборки были распознаны моделью верно. ROC AUC является обобщенной метрикой оценки моделей машинного обучения, устойчивой к дисбалансу классов.

ROC AUC 0,5 свидетельствует о том, что модель не обладает предсказательной способностью (работает полностью случайно). ROC AUC больше 0,6 считается показателем слабой предсказательной способности, а ROC AUC выше 0,9 – показателем очень высокого качества распознавания. В исследованиях, связанных с медицинской диагностикой, модель обычно считают приемлемой для использования на практике при ROC AUC выше 0,9–0,95[173].

В табл. 1 порог классификации показывает, какие нормированные значения результатов работы модели рассматривались в качестве результатов с достаточной уверенностью. Например «< 0,4 или > 0,6» означает, что значения между 0,4 и 0,6 относились к классу «неизвестно/спорно», результаты меньше 0,4 – к классу «объективные», выше 0,6 – к классу «пропаганда». Это связано с тем, что при экспертной разметке выяснилось: многие документы затруднительно точно отнести к тому или иному классу. Соответственно, необходимо было проверить, что предложенная модель позволяет отличить не только пропаганду от непропаганды, но и пропаганду от спорных/трудных для классификации статей.

Таблица 1. Результаты верификации модели

Даже без такого порога модель демонстрирует достаточную предсказательную способность (ROC AUC 0,73, точность 64 %), тогда как с порогом «< 0,3 или > 0,7» предсказательная способность очень высокая (ROC AUC 0,95, точность 88 %). Это означает, что на предельных значениях модель работает значительно более точно, но она все равно позволяет отличить те новости, которые затруднительно отнести к классу «пропаганда».

Следует добавить также, что объективные новости распознаются чуть лучше, чем пропаганда, хотя и незначительно. Можно заметить, что полнота (recall) гораздо больше у объективного класса (0,83 против 0,58). Это значит, что модель из всех объективных новостей нашла 83 % таких новостей, а из всех пропагандистских – только 58 % таких новостей. Точность (precision) при этом примерно одинаковая (0,71 и 0,74). Следовательно, из тех новостей, которые модель назвала объективными, 71 % действительно таковыми являются, а из тех новостей, которые модель назвала пропагандистскими, таковых 74 %.

Таким образом, указанная модель позволяет получить высокую предсказательную способность при минимально возможном объеме ручной экспертной разметки. Мы предлагаем использовать высокоуровневую разметку корпуса по некоему явному свойству, которое должно иметь достаточную связь (корреляцию) с целевым неявным свойством. В данном случае разделение происходило по новостным источникам, однако можно применить и другие варианты разделения на корпусы, включая автоматические.

Резюмируем. Мы провели валидацию работы модели на случайной выборке из тысячи новостей, которая показала высокую предсказательную способность – точность от 64 до 88 % в зависимости от порога классификации. Проведенная работа ожидаемо подтвердила, что оценивать уровень пропаганды довольно сложно как для экспертов, так и для машины.

Конечно, встречаются очень яркие образцы пропагандистского контента, но тем не менее часто заведомо «пропагандистские» СМИ пишут не только пропагандистские статьи. И наоборот, не все условно объективные источники всегда объективны. К тому же уровень журналистского мастерства разный в разных СМИ, и нередко встречаются публикации низкого качества, что затрудняет понимание смысла. Поэтому в дальнейшем следует более тщательно подходить к отбору конкретных массмедиа, а также постепенно расширять перечень СМИ и уточнять, какие СМИ относятся к какому корпусу. Можно использовать для эксперимента такие медиа, например, где будет больше крайних, ярких вариантов пропаганды, или расширять базу, чтобы туда попадало больше таких крайних вариантов. И каждый текст должны распознавать хотя бы три эксперта, что повысит точность идентификации пропаганды. Экспертные оценки в первую очередь нужны для того, чтобы валидировать работу модели, но в перспективе такая экспертная разметка отдельных документов может использоваться для дообучения модели.

Конечно, машина пока не способна полностью заменить человека, но она может значительно сократить трудозатраты экспертов по выявлению пропагандистского контента. Использованный нами метод ограничен корпусом документов, текущим набором тематик и т. п. Но тем не менее при всех ограничениях был получен высокий результат. Возможности для дальнейшего исследования включают применение предложенной методики к другим задачам классификации текстов, таким как тональность, социальная значимость, резонансность, а также использование других методов агрегации оценок, в том числе байесовской агрегации и полуконтролируемого подхода к агрегации.

Глава 3. Идентификация и эффективность пропагандистского воздействия: вопросы методологии

3.1. Субъекты пропагандистского воздействия: подходы и проблемы идентификации

Как уже отмечалось выше, пропаганда является сложным, многогранным коммуникационным социально-политическим феноменом, изучению которого посвящены многочисленные работы отечественных и зарубежных исследователей. Разнообразные подходы к определению пропаганды и к изучению пропагандистского процесса порождают множество трактовок, а в само содержание термина вкладываются различные значения, на которые накладывают отпечаток как факторы, обусловленные определенными историческими особенностями, так и взгляды, господствующие в современном для исследователей обществе и научных школах.

Важной отличительной чертой пропаганды является ее многоступенчатый характер, предусматривающий формирование и управление информационными потоками, использование различных форм сообщений, мобилизацию общественного мнения, синхронизацию различных управленческих и коммуникационных усилий ради достижения отложенного во времени результата, имеющего долгосрочный стратегический эффект, и многое другое.

Как утверждает Г. Г. Почепцов, сложность и уникальность любой пропагандистской кампании состоит в том, что она призвана решать нетрадиционные задачи, поскольку должна изменить самый консервативный слой населения – массовую аудиторию и ее сознание[174]. Понимание этой многогранности, масштабности, специфичности пропагандистского воздействия, которое имеет свое технологическое, социальное, политическое, экономическое, психологическое, этическое и морально-нравственное содержание, позволяет сформулировать уникальные требования к коммуникаторам. Существование самого пропагандистского воздействия в различные эпохи развития человечества очевидно, а его структура, особенности и характеристики рассматриваются различными авторами в рамках не только собственно теории пропаганды, но и коммуникативистики, связей с общественностью, теории международных отношений, психологии, социологии, политологии и др. И если различные трактовки исследуемого явления – пропаганды – широко представлены в научной литературе и исследованиях XX–XXI вв., то общепринятые подходы к определению субъектов пропагандистского дискурса еще не выработаны, а необходимость более тщательного изучения этого вопроса говорит о наличии определенных лакун в современной теории пропаганды.

Пропаганду как специфический вид коммуникации невозможно рассматривать в качестве анонимной коммуникационной инициативы: наличие цели, четкой и скоординированной программы действий, набора определенных инструментов и само отнесение пропаганды к коммуникации говорит о наличии коммуникатора – субъекта пропагандистского дискурса, или актора пропагандистского воздействия, который его инициирует. Без идентификации такого коммуникатора как генератора и отправителя определенных специфических сообщений, искусно управляющего создаваемыми им информационными потоками,