О чем говорит российское гражданское общество в своих постах, какие цели оно преследует, и что помогает продвижению публикаций – в новом исследовании Лаборатории Теплицы.
Основные выводы
Результаты анализа, которые мы получили, показывают, что для эффективности поста важнее всего тематика. В случае с аккаунтами антивоенных организаций, наличие эмодзи даже сильнее, чем тема, способствует продвижению. Самой популярной темой у таких организаций оказались «политические репрессии, суды». У «нейтральных» организаций нет явно популярных тем, они чаще всего постят сборы денег и вещей, а также отчеты о проделанной работе.
Как и кого мы исследовали
В нашем прошлом исследовании мы изучили, как эмоциональная окраска постов российского гражданского общества (РГО) влияет на эффективность вовлечения пользователей. Сейчас мы сфокусировались на том, о чем пишут в Instagram представители РГО, какие виды высказываний они выбирают, и как это влияет на их популярность.
Мы собрали аккаунты за год с сентября 2022 по сентябрь 2023 и разделили их на принадлежащие «антивоенным» организациям и «нейтральным». «Нейтральные» организации зарегистрированы в Минюсте и получают госфинансирование: например, Подари жизнь, БФ «Время добрых», фонд «Семья и детство» и т.д. К «антивоенным» относятся 7х7 Горизонтальная Россия, Russie-Libertés и др. Инстаграм есть и у милитаристских организаций, но мы еще собираем их, поэтому этом в исследовании они не учтены. Но некоторые “нейтральные” организации эпизодически занимаются помощью людям, уехавшим/вывезенным с оккупированных территорий Украины, например, сбором продуктов, денег и помощью в легализации и адаптации в России. Но мы не брали чисто милитаристские организации в это исследование, то есть такие, основной миссией которых является какая-либо провоенная деятельность.
Все собранные посты мы разделили на «высокоэффективные» (overperforming) и «низкоэффективные» (underperforming) по метрике CrowdTangle. Если конкретную публикацию больше лайкали, комментировали и репостили, чем предыдущие 100 публикаций в этом аккаунте, она считается высокоэффективной.
перейти к описанию методологии↓
Противодействие войне и мобилизации – главные темы антивоенных аккаунтов
Мы разметили все посты по темам. Далее, мы оставили только темы, в которых было более 20 постов, и сгруппировали их по 4 категориям: «Активизм против мобилизации и войны», «Империализм и коренные народы», «Политические репрессии, суды» и «Законы, дискриминирующие ЛГБТ+».
Среди антивоенных аккаунтов самой популярной темой является борьба с мобилизацией в России и самой войной. Три остальные темы заметно отстают по числу постов.
В то же время, посты на тему антивоенного активизма привлекают меньше внимания пользователей, чем посты на тему антиконституционных законов и репрессий. Возможное объяснение – люди боятся, что их лайк увидит товарищ майор и усмотрит в этом дискредитацию чего-нибудь. Но по всем трем тематикам процент высокоэффективных постов выше, чем низкоэффективных. А вот в теме империализма и коренных народов много низкоэффективных постов, что может быть связано как с относительной новизной темы и тем, что она может быть актуальна только для конкретного коренного народа, так и с тем, что в основном эти посты – анонсы лекций и мероприятий, которые в целом всегда получают меньше взаимодействий.
Помощь животным и правозащита – главные темы нейтральных аккаунтов
Аналогично с антивоенными аккаунтами, мы разделили посты нейтральных на несколько категорий. Их получилось шесть: 1) «Помощь животным, приюты», 2) «Правозащита, суды», 3) «Помощь детям и пожилым», 4) «Поддержка еврейской общины», 5) «Социальная помощь, хосписы», 6) «Адресная помощь, фандрайзинговые кампании».
Несмотря на то, что темы 2 и 4 выделяются как многочисленные, каждая из тем представлена только одним аккаунтом – «ЕСПЧ-Навигатор» (echr.navigator) и «Фонд 770» соответственно.
У нейтральных аккаунтов всего две относительно популярные темы – помощь животным и приютам и помощь детям и старикам. Тематических пересечений с антивоенными аккаунтами нет, кроме темы правозащиты и судов. При этом, у подписчиков нейтральных аккаунтов она не пользуется популярностью – только 27% постов эффективны, по сравнению с 69% у антивоенных аккаунтов.
Антивоенные посты – политический активизм, анонсы и новости
Помимо тем постов, нам было интересно понять, как именно обращаются к читателям аккаунты в Instagram – с просьбой (набор волонтеров, сборы денег, вещей), с целью эмоционального воздействия (например, тексты с трогательными историями про животное, чтобы собрать деньги на его лечение), с целью информирования (например, инструкции, что взять с собой на митинг от ОВД-Инфо) и так далее. Мы сравнили виды высказываний в постах антивоенных и нейтральных аккаунтов. Под видами, или целями высказывания, мы понимаем форму написания публикации.
Все цели высказываний мы распределили по 10 направлениям:
- Информационные сообщения;
- Анонсы;
- Инструкции – например, инструкции, что взять с собой на митинг от ОВД-Инфо;
- Политические призывы;
- Продвижение своих продуктов;
- Комментарии и мнения;
- Трогательные истории – например, тексты с историями про животных, чтобы собрать деньги на лечение;
- Отчеты о работе;
- Сборы денег и вещей, отчеты;
- Набор волонтеров.
Мы распределили все собранные нами посты по этим 10 категориям автоматически, с помощью OpenAI API. (подробнее в разделе Методология)
У антивоенных аккаунтов очень много постов определяются как политические. За этим стоят разные виды постов, например, посты с комментариями политических новостей или посты про политические акции/пикеты/митинги. Эти посты в среднем чаще высокоэффективны.
Также в категорию высокоэффективных постов попадают посты с трогательными историями. Таких постов всего 2% процента в этой выборке, несмотря на то, что 91,7% из существующих постов с трогательными историями – высокоэффективные. Сборы, отчеты, инструкции, продвижение своих продуктов и интервью чаще попадают в категорию неэффективных постов.
Нейтральные посты – сборы денег и вещей для помощи и отчеты о проделанной работе.
Среди постов «нейтральных» аккаунтов самой популярной целью высказывания является «сборы денег и вещей». На втором месте «отчеты о работе и проведенных мероприятиях» — это специфика деятельности «нейтральных» организаций. Множество официально зарегистрированных организаций сильно зависят от государственного финансирования, грантов, поэтому они должны отчитываться по полученным грантам. И эта цель для них важнее, чем привлечение аудитории.
Посты–отчеты достаточно эффективны по количеству взаимодействия с пользователями – 60,85% постов высокоэффективные. Также эффективны трогательные истории – 56,8%. Что касается других категорий, объявления/анонсы скорее не эффективны по показателям, как и инструкции. Цели высказывания «политические призывы», «информационные сообщения», «комментарии и мнения» и «набор волонтеров» встречаются в этой выборке редко.
Политический активизм важен для всех
Мы соотнесли цели высказывания с темами постов, чтобы понять, как именно организации общаются со своей аудиторией в Instagram: эмоционально воздействуют, призывают к каким либо действиями или просто делятся информацией, связанной с их миссией.
У тем постов антивоенных аккаунтов более выраженное распределение по целям высказывания. Во всех темах, кроме «мероприятий для эмигрантов из России» превалирует с отрывом цель высказывания – политические призывы (32-62% постов в зависимости от темы), а у «мероприятий» самая популярная цель высказывания поста – анонсы (38% постов). Напомним, что в цель высказывания «политические призывы» попадают все посты связанные с антивоенными акциями. Также в этой выборке у тем чаще встречается цель высказывания «информационные сообщения», чем в выборке «нейтральных» аккаунтов, потому что антивоенные аккаунты чаще репостят и пишут новости, даже если их основная деятельность – благотворительность и/или активизм.
Животным собирают деньги, об адресной помощи отчитываются
Распределение целей высказывания между темами постов среди «нейтральных» аккаунтов выглядит следующим образом.
Тема социальной помощи и хосписов больше всего (в 69% случаев) представлена анонсами. В теме правозащиты и судов чаще всего целями высказывания являются инструкции (19%), продвижение своих продуктов (18%) и анонсы (17%), но нет явно превалирующей цели высказывания. В помощи животным и приютам лидирует «сбор денег и вещей для помощи» (51% постов). В теме «помощь детям, пожилым» больше всего постов со сборами и инструкциями, 22% и 21% постов соответственно. В теме «поддержка еврейской общины» – анонсы и сборы (27% и 27%). В теме «мероприятия по воспитанию патриотизма» – отчеты и сборы (31% и 25%). И, наконец, в теме «адресная помощь, фандрайзинговые кампании» – тоже отчеты и сборы (38% и 27%), а на третьем месте, ожидаемо, трогательные истории (20%).
Эмодзи повышают эффективность постов антивоенных аккаунтов
Для антивоенных аккаунтов, количество эмодзи оказалось самым важным критерием эффективности. На втором месте темы постов, на третьем – форматы (фото, альбом или видео), и только на четвертом – цели высказывания.
График важности параметров по антивоенным аккаунтам с добавлением двух новых параметров значительно изменился. В прошлом исследовании количество эмодзи на пост было наименее важным параметром, а сентимент – самым важным. Возможная причина изменчивости результатов по этой подвыборке — недостаточное количество постов (менее 1000).
Тема и формат поста повышают эффективность нейтральных постов
Для «нейтральных» аккаунтов самым важным критерием эффективности оказались темы. На втором месте – формат поста (фото, альбом или видео), на третьем – количество эмодзи, а на четвертом – цели высказывания. В прошлом исследовании, то есть до добавления двух новых параметров, формат поста был важнее всего остального. То есть, как и в случае с антивоенными аккаунтами, рейтинг изменился с добавлением новых параметров.
Выводы
Сведем наши выводы воедино:
1. Темы постов:
- Аккаунты антивоенных организаций имеют популярную тему «политические репрессии, суды», у которой целых 68,75% постов высокоэффективны, то есть, имеют много взаимодействий с пользователями.
- Аккаунты «нейтральных» организаций в основном занимаются адресной помощью, в первую очередь животным и приютам, потом детям и пожилым. У них нет явно популярных тем.
2. Цели высказывания:
- У антивоенных аккаунтов самая популярная цель высказывания – «политические призывы», куда попадают посты про антивоенный активизм. При этом антивоенные аккаунты чаще пишут новостные посты, чем «нейтральные» аккаунты.
- Цели высказывания постов «нейтральных» организаций – это в основном сборы денег и вещей для помощи и отчеты о проделанной работе.
3. Цели высказывания по темам:
- У антивоенных аккаунтов цель высказывания «политические призывы» взаимодействует больше всего с темой активизма против мобилизации и войны, что совпадает с нашими ожиданиями.
- Среди нейтральных организаций темы помощи детям, пожилым и животным содержат в себе больше всего высказываний с целью сбора денег. А тема хосписов и социальной помощи чаще всего содержит в себе объявления/анонсы.
4. Влияние темы поста и цели высказывания на его эффективность в Instagram
Темы постов влияют на эффективность в Instagram сильнее, чем цели высказывания, в обеих группах аккаунтов.
Методология
Мы собрали свою базу данных под условным названием «Грядка», содержащую данные о коммуникациях 9,5 тысяч организаций и инициатив. Набор данных состоит из двух основных групп источников:
- Источники, по которым мы собирали сайты акторов российского гражданского общества – Открытые НКО, Минюст, SPARK-Interfax, cайт фонда «Президентских Грантов» за 2022-2023, проект «Если быть точным».
- Источники аккаунтов российского гражданского общества в соцсетях (Instagram, Telegram, Vkontakte) – подборки Ковчега и Reshim, веб-скрейпинг ссылок на соцсети с сайтов нашего датасета «Грядки».
| Всего акторов в «Грядке» | 9524 |
| Из них имеют Instagram аккаунты | 422 (4.4% организаций) |
| Из них «антивоенные» | 93 (22% из всех Instagram аккаунтов в выборке) |
Таблица 1. Количество Instagram аккаунтов в нашей выборке
Из этой выборки только у 4.4% акторов гражданского общества мы обнаружили Instagram аккаунты. 22% из них мы пометили как «антивоенные».
Особенности сбора Instagram данных
Нельзя просто взять и собрать данные Instagram – компания Meta сознательно ограничивает исследовательские возможности в этой социальной сети. Лаборатория воспользовалась сервисом CrowdTangle, который предоставляет ограниченный доступ к данным Instagram и Facebook проверенным партнерам и организациям, в основном журналистам, НКО и профессиональным фактчекерам.
В общей сложности мы проанализировали 3792 Instagram-постов (после чистки данных от постов без текста), опубликованных в 422 известных нам аккаунтах с начала сентября 2022 г. по начало сентября 2023 г. Crowdtangle, к сожалению, не предоставляет доступ ко всем постам, а только к части – мы скачали все, что могли (400 самых лучших и 400 самых худших постов, минус посты без текста) по метрике эффективности (performance) поста, т.е. возможности поста вовлекать пользователей во взаимодействие.
Выборка нейтральных аккаунтов была слишком большая для Crowdtangle. Мы скачали 800 постов антивоенных аккаунтов и 3200 – нейтральных постов аккаунтов. Далее, мы убрали из анализа посты совсем без текста (это было сделано, т.к. к таким постам не применимы методы тематического моделирования), в результате чего осталось 3066 постов нейтральных аккаунтов и 726 постов антивоенных аккаунтов.
Автоматическое выделение общих тем
Получив почти четыре тысячи высокоэффективных и низкоэффективных постов, мы столкнулись с задачей группировки этих постов по тематическим группам. Чтобы ее решить, мы воспользовались методом тематического моделирования (topic modelling), и, в частности, инструментом BERTtopic.
Тематическое моделирование – метод автоматического выделения тем и ключевых слов из набора текстов. BERTtopic выделяет из постов ключевые слова и на их основе собирает посты в группы (или «темы» – т.е. группы постов, близких по содержанию). Результат этой работы, однако, неоптимален для человеческого восприятия. BERTtopic не может дать обобщенное название группе постов. Для этой задачи мы воспользовались OpenAI API, а затем чуть-чуть отредактировали получившиеся названия тем.
В таблице 2 мы собрали исходные данные и названия тем. «Остаточная» тема объединяет тексты, не подходящие под другие категории, или не соответствующие темам гражданского общества.
Жирным выделены темы, которые участвовали в последующем анализе.
| Ключевые слова в постах антивоенных аккаунтов | Описание темы | Упрощенная формулировка темы |
| Остаточная тема BERTtopic | «Реакция на военное вторжение России в Украину и протесты против мобилизации: эскалация конфликта и негативные последствия.» | Остаточная тема |
| ‘фотографии’, ‘настоящая россия’, ‘военкомат’, ‘указанием города’, ‘telegram’, ‘листовки’, ‘россиян’, ‘украины’, ‘протест’, ‘путин’ | «Протесты против войны в Украине и Путинова режима в Россиию.» | Активизм против мобилизации и войны |
| ‘мобилизации’, ‘разговорный клуб’, ‘английском языке’, ‘коренных народов’, ‘встречи’, ‘пятница’, ’27 августа’, ‘можете’, ‘онлайн’, ‘группа] | «Обсуждение мобилизации и встречи коренных народов на разговорном клубе по английскому языку в онлайн формате.» | Империализм и коренные народы |
| ‘алексея москалева’, ‘заседание’, ‘убийство’, ‘хаояна’, ‘сдался’, ‘яшина’, ‘арест’, ‘суда’, ‘маше’, ‘ук рф’ | «Судебные процессы и аресты в связи с войной в Украине.» | Политические репрессии, суды |
| ‘антиконституционный закон’, ‘законопроекта’, ‘гражданина’, ‘пропаганду’, ‘обращения депутатам’, ‘хинштейн’, ‘угрозой штрафа’, ‘запрете’, ‘втором чтении’, ‘статью’ | «Контроль над свободой слова: обсуждение законопроектов и угроза штрафов за противоречащую власти пропаганду.» | Законы, дискриминирующие ЛГБТ+ |
| ‘искусственный интеллект’, ‘профессор департамента математики университета’, ‘александром марковым’, ‘философский кружок’, ‘культурной эволюции’, ‘высшей школы экономики’, ‘научились жить’, ‘господин кудрявцев’, ‘науки’, ‘vs’ | «Искусственный интеллект и философская кружок: культурная эволюция в науке.» | Академия в России, ИИ (не про войну) |
| ‘карьерные консультации’, ‘комментариях’, ‘результаты конкурса’, ‘сообщество’, ‘фестиваль’, ‘speaking’, ‘онлайн’, ‘сфера знаний’, ‘выбор’, ‘урока’ | «Обсуждение актуальных событий и предложение карьерных советов в онлайн-сообществе.» | Мероприятия, фестивали, карьера, образование |
| ‘генераторов’, ‘активистами’, ‘теплых детских спальных мешков’, ‘уже заказали’, ‘магазина’, ‘украины’, ‘деньги’, ‘номер счета’, ‘дрон’, ‘wfu’ | «Пострадавшие от войны в Украине нуждаются в гуманитарной помощи, активисты собирают средства для покупки теплых детских спальных мешков.» | Гуманитарная помощь и сборы денег для Украины |
| ‘правовой политике хурала представителей города кызыла’, ‘различные способы сопротивления’, ‘созыва саая айдыс александрович’, ‘оптимизм’, ‘владимир путин’, ‘доказать’, ‘украину’, ‘певица земфира’, ‘lithub’, ‘плохо будет’ | «Популярная тема: «Вторжение в Украину и мобилизация в России.» | Разделение общества в России |
| ‘марджанишвили’, ‘осознанность’, ‘исследованию травмы’, ‘медитация ходьбы’, ‘психолог’, ‘занятия’, ‘тбилиси’, ’22 октября’, ‘первой помощи’, ‘музыке’ | «Психологическая помощь и осознанность в условиях войны в Украине.» | Мероприятия для эмигрантов из России |
| ‘политзаключенным женщинам’, ‘хронике политпрессинга’, ‘федеральные координаторы движения’, ‘задержанных’, ‘самой маленькой задержанной’, ‘написанию писем’, ‘местах лишения свободы’, ‘цензуру’, ‘права женщин’, ‘узник онлайн’ | «Права женщин и политзаключенным в условиях политического преследования.» | Поддержка политзаключенных |
Таблица 2. Соответствие ключевых слов BERTtopic, описаний тем gpt-3.5-turbo и наших интерпретаций тем для антивоенных аккаунтов.
| Ключевые слова, выделенные BERTtopic для нейтральных аккаунтов | Описание темы gpt-3.5-turbo | Наше описание темы |
| для «нейтральных» аккаунтов | ||
| Остаточная тема BERTtopic | «Благотворительные пожертвования на поддержку детей и фонда.» | Остаточная тема |
| ‘#деньрождениязащитниковотечества’, ‘спортсменов’, ‘поздравляем’, ‘республики’, ‘день рождения защитников отечества’, ‘сегодня’, ‘россии’, ‘детей’, ‘года’ | «День рождения защитников Отечества и поздравление спортсменов.» | Мероприятия по воспитанию патриотизма |
| ‘благотворительное пожертвование наименование банка’, ‘ногинский муниципальный приют’, ‘безнадзорных животных’, ‘инн организации’, ‘наименование получателя’, ‘сбербанк’, ‘бф сень сотен крыльев’, ‘qrкоду сайт’, ‘собак’ | «Благотворительная помощь безнадзорным животным в Ногинском муниципальном приюте.» | Помощь животным, приюты |
| ‘конституционный суд’, ‘пожертвование’, ‘уголовным делам’, ‘бф сень сотен крыльев’, ‘вебинар’, ‘защите прав’, ‘жалобу’, ‘защиты’, ‘банка’, ‘суда’ | «Благотворительные организации и фонды в России, заботящиеся о правах и защите граждан, пожертвованиях и судебных процессах.» | Правозащита, суды |
| ‘#конкурсдетскогорисунка’, ‘проголосовать’, ‘учитель’, ‘почему’, ‘онлайн’, ‘дети’, ‘верю’, ‘смс’, ‘вы’, ‘мы’ | «Поддержка талантливых детей через онлайн-конкурсы и голосование.» | Помощь детям, пожилым |
| ‘благотворительный фонд’, ‘#субботниесвечи’, ‘можете посмотреть’, ‘зажигание свечей’, ‘еврейской общине’, ‘кнопка кампании’, ‘taplink’, ‘шаббат’, ‘сайте’, ‘шапке’ | «Благотворительная деятельность и поддержка еврейской общины.» | Поддержка еврейской общины |
| ‘#патронажнаяслужба’, ‘интернациональная’, ‘железногорск’, ‘татьяна алексеевна россия’, ‘здоровье’, ‘контакты’, ‘хоспис’, ‘жизнь’, ‘теги’ | «Благотворительная поддержка здоровья и социальная помощь.» | Социальная помощь, хосписы |
| ‘#конструкторсайтов’, ‘комментариях’, ‘регистрации’, ‘рисованный стиль’, ‘посетитель сайта’, ‘фотозоны’, ‘атрибуты’, ‘карточки’, ‘вебинары’, ‘свадьба’ | «Разработка сайтов и организация мероприятий.» | ?Разработка сайтов |
| ‘#милыйдруг_отчет’, ‘платежное поручение’, ‘лекарства’, ‘табачного дыма’, ‘руб шаг аукциона’, ‘раздача бабушек’, ‘закупке корма’, ‘рублей’, ‘ozon’, ‘мы’ | «Работа благотворительных организаций в сфере здравоохранения и помощи нуждающимся.» | Адресная помощь, фандрайзинговые кампании |
| ‘дезодоранты’, ‘косметику’, ‘молочная кислота’, ‘пластика’, ‘коллаген’, ‘зубной порошок’, ‘шампунь’, ‘масла’, ‘маски’, ‘кожи’ | «Косметика для ухода за кожей.» | ?Что-то про косметику |
| ‘болдермании’, ‘сувениров’, ‘туристов’, ‘киргизию’, ‘каньон’, ‘секция реки аргун’, ‘скалы’, ‘певец’, ‘горы’, ‘парк’ | «Горы и природные достопримечательности Киргизии.» | ?Достопримечательности Киргизии |
Таблица 3. Соответствие ключевых слов BERTtopic, описаний тем gpt-3.5-turbo и наших описаний тем для «нейтральных» аккаунтов.
Выделение целей высказывания
В теории лингвистического дискурса цель высказывания определяется отдельно для каждого высказывания/предложения. Традиционно выделяют пять: утверждения или высказывания просто передающие информацию; директивы или высказывания с призывами к действию; высказывания, содержащие обещания/предложения; высказывания, передающие эмоции и чувства и, наконец, декларативные высказывания, которые меняют что-то в существующей реальности, например, «Вы уволены!» или «Объявляю вас мужем и женой!» (подробнее можно почитать в академических статьях). Мы решили, что для нашего исследования не подходит такой анализ, потому что нам, во-первых, хочется определять цель высказывания для всего поста, а во-вторых, учитывать специфику текстов в соцсетях. В нашем исследовании мы взяли категоризацию из статьи П.В. Якупова «Коммуникация: определение понятия, виды коммуникации и ее барьеры», в которой формулируются следующие подкатегории:
Информирование: информационные сообщения, анонсы, инструкции. (К этой категории мы добавили «комментарии и мнения», в нее попадают интервью.)
Убеждение: политические призывы, продвижение своих продуктов.
Эмоциональное воздействие: трогательные истории.
К этим видам высказывания мы добавили еще три вида, соответствующие тематике нашего датасета: ‘отчеты о работе’ – цель – информирование; ‘сборы денег и вещей’, ‘набор волонтеров’ – цель высказывания – директивы, призывы к действию. Всего получилось 10 целей высказывания. По ним мы категоризировали все собранные нами посты с помощью OpenAI API. Для этого мы использовали следующий промт:
«Ты делаешь разбивку по темам текстов постов в Instagram. Темы заданы заранее. Ниже (1) список тем на выбор и (2) текст поста, который надо категоризировать по этим темам (одному посту соответствует только одна тема, в ответе напиши только выбранное название темы из списка).»
Наш промт для gpt-3.5-turbo.
Модели OpenAI все равно склонны к ошибкам, поэтому итоговый список пришлось отсматривать и переименовать цели высказывания, которые модель gpt-3.5-turbo обозначила не так, как в нашем заданном списке, а часть тем, которые не откатегоризировались, пришлось удалить. В итоге у нас осталось 2936 постов «нейтральных» аккаунтов и 721 пост у антивоенных аккаунтов.