Нейронки общественного назначения

Путеводитель по новому поколению технических решений

С внедрением чат-интерфейса в модель GPT-3.5, OpenAI стала доступна широкой публике, и возник вопрос: как гражданскому обществу использовать этот мощный инструмент? Проблемы, такие как ограниченные ресурсы, недостаток времени и знаний, замедляют прогресс. Мы рассмотрим, как искусственный интеллект (ИИ) может быть применён к существующим и доступным данным в разрезе гражданского общества, предоставив соответствующие рекомендации.

Классификация ИИ

Классификация по типам данных, архитектуре искусственного интеллекта и областям применения помогает выбрать подходящий инструмент для каждой задачи. Краткая классификация ИИ для целей нашей статьи может быть полезной для гражданских активистов и организаций при выборе подходящего инструмента для своей работы.

По типу данных

ИИ обрабатывает различные типы данных, включая видео, аудио, числовые, символьные и гибридные. Например, в области экологии анализ видео и фото, данных с дронов и спутников позволяет отслеживать изменения в ландшафтах и миграции животных. Аудиоданные используются для распознавания звуков в городских или диких ландшафтах, помогая идентифицировать источники шумового загрязнения или визуализировать сезонные перелеты птиц. Числовые данные важны в социальных исследованиях, где они помогают анализировать тенденции и паттерны в больших объемах информации, например, в статистике пожертвований. Символьные данные, включая тексты и коды, являются ключом к анализу судебных решений и законодательства, позволяя выявлять тенденции и проблемы в правовой системе. Гибридные данные сочетают в себе различные типы, обогащая аналитические возможности ИИ и позволяя комплексно подходить к решению задач.

По типу архитектуры

В архитектуре искусственного интеллекта основное направление — машинное обучение, которое охватывает разработку нейронных сетей, включая глубокие обучающие сети, и генеративные модели, такие как GPT (Generative Pre-trained Transformer). Машинное обучение применяется для анализа и интерпретации больших объемов данных, выявляя закономерности, указывающие на социальные, экономические или технические проблемы. Нейронные сети стали основой значительных достижений в распознавании речи и обработке изображений, расширяя возможности анализа контента в социальных сетях и средствах массовой информации. Генеративные модели же преобразовали подходы к генерации текста и машинному переводу, способствуя синтезу нового контента и созданию передовых инструментов для общественного информирования.

По области применения

ИИ применяется в различных областях: от экологии, где он отслеживает изменения климата, до права, анализируя судебные документы на предвзятость. В социальных исследованиях обрабатывает данные для выявления тенденций, а в журналистике помогает находить истории в больших данных и отслеживать значимые события в соцсетях.

Безопасность при работе с ИИ

Вопросы безопасности не обходят стороной и работу с ИИ, особенно в контексте гражданского общества. Необходимо учитывать риски неправомерного использования данных, предвзятости алгоритмов и потенциального влияния на приватность. Рекомендации по безопасности включают использование прозрачных и проверенных моделей, аудит алгоритмов на предмет предвзятости и обеспечение защиты данных через анонимизацию.

Анализ текстовых данных

Анализ текстовых данных с использованием ИИ уже стал инструментом в руках гражданского общества для борьбы с социальными вызовами. Его применение для обработки и анализа текстовых данных открывает возможности для выявления тенденций, паттернов и связей в огромных массивах информации, которые ранее были недоступны из-за их объема или сложности интерпретации.

Примеры использования

Проект «Алгоритм света», который стал финалистом хакатона Теплицы и Новой газеты Прожектор в 2021 году,  применяет машинное обучение для анализа судебных решений. С помощью алгоритма градиентного бустинга проект обрабатывает данные из судебных документов, анализируя массивы судебных решений, и выявляет случаи домашнего насилия. Несмотря на отсутствие в России такой статьи в административном или уголовном кодексе, алгоритмы ИИ позволяют идентифицировать случаи домашнего насилия по косвенным признакам и формулировкам в текстах решений. В ходе анализа 81 136 приговоров, вынесенных с 2011 по 2019 год, выяснилось, что 66% женщин, ставших жертвами убийств, были убиты в результате домашнего насилия. Это позволяет адвокатам и исследователям получать доступ к критически важной информации, которая может помочь в защите жертв домашнего насилия и адвокации по изменению законодательных инициатив.

Слайд из презентации Алгоритма Света на хакатоне «Прожектор 2021».

Борьба с пропагандой и дезинформацией также становится областью активного применения анализа текстовых данных. Инструмент, разработанный Теплицей, CSRL Sentiment, обученный на выборке в 270 000 сообщений, использует методы анализа сентимента для выявления отношения текстов из социальных сетей к войне в Украине и может автоматически обрабатывать тысячи таких постов. 

Инструменты Brandwatch и Hootsuite используют алгоритмы ИИ для мониторинга и анализа социальных медиа, выявляя тенденции, настроения и обсуждения в реальном времени. Эти данные помогают организациям лучше понимать общественное мнение и адаптировать свою коммуникационную стратегию. 

Потенциальные возможности для гражданского общества и медиа

  • Анализ текстовых данных предоставляет гражданскому обществу и медиа инструменты для мониторинга публичного дискурса и выявления изменений в общественном мнении.
  • Выявление и изучение социальных проблем, основанные на анализе обширных текстовых данных из различных источников, включая новостные сайты, блоги и форумы.
  • Разработка стратегий противодействия дезинформации, основанных на глубоком понимании механизмов распространения фейков и манипулятивных техник.
  • Улучшение стратегий коммуникации с общественностью, адаптируя сообщения на основе анализа предпочтений и интересов целевой аудитории.

Инструменты ИИ-анализа текстовых данных способны преобразовать огромные массивы неструктурированной информации в ценные инсайты, которые могут быть использованы для формирования стратегий, направленных на продвижение социальных изменений. 

Распознавание изображений и речи

Технологии распознавания изображений и голоса, благодаря прогрессу в искусственном интеллекте и машинном обучении, уже широко используются в социальных сетях для модерации контента и в мобильных телефонах для распознавания текста на фото. В гражданском обществе они остаются одними из самых популярных ИИ-технологий.

Примеры существующих проектов

Проект Lacmus, финалист хакатона Прожектор 2020, использует технологии распознавания изображений для поиска людей с помощью дронов. Применяя глубокое обучение, он обнаруживает людей на аэрофотоснимках в сложных условиях, таких как густые леса или горы, повышая скорость и эффективность спасательных операций. Lacmus ускоряет работу спасателей на порядок, сокращая проверку спасателями с 1000 до 10 изображений.

Слайд из презентации Lacmus на хакатоне «Прожектор 2020».

Разработанное командой специалистов из госпиталя Massachusetts Eye and Ear, приложение All_Aboard для слепых и слабовидящих интегрирует технологии геолокации и распознавания изображений, и предоставляет пользователям аудио подсказки для навигации к автобусным остановкам. Интегрируясь с системами общественного транспорта, оно облегчает их повседневные перемещения.

Технологии распознавания лиц активно применяются в медиа и журналистике для идентификации лиц на фото и видео, что позволяет, например, отслеживать перемещения определенных людей в рамках журналистских расследований. Однако это поднимает вопросы этики и приватности, на которые общество еще ищет ответы. 

Потенциальные возможности

Среди потенциальных применений распознавания изображений можно отметить: 

  • Распознавание сгенерированных самим же ИИ или просто фейковых манипулятивных изображений и видео помогает в борьбе с пропагандой и фейками. 
  • Анализ изображений с мест событий помогает документировать нарушения прав человека, военные преступления и нарушения на выборах. 
  • Распознавание изображений спутников и дронов позволяет отслеживать состояние окружающей среды, обнаруживать очаги лесных пожаров, следить за изменениями в экосистемах и контролировать загрязнение окружающей среды.

Распознавание речи

Распознавание речи преобразует аудио в текст, используя ИИ. Его можно использовать при создании доступных средств коммуникации для людей с ограниченными возможностями, автоматизации работы с документацией и ускорения обработки больших объемов аудиоинформации. Для журналистов и правозащитников инструменты распознавания речи предоставляют возможность быстро преобразовывать интервью, речи и аудиозаписи событий в текстовый формат для анализа и публикации.

Примеры инструментов

Существует множество инструментов для распознавания и транскрибирования голоса, среди которых можно выбрать подходящий для конкретных задач. Gladia.io предлагает до 10 часов обработки текста бесплатно, автоматически определяя язык и распределяя роли при наличии нескольких говорящих, с возможностью транскрибирования с YouTube или в реальном времени. OpenAI Whisper — это open source система распознавания речи от OpenAI для локального использования, обеспечивающая высокую точность и поддержку множества языков, идеально подходит для работы с чувствительными данными. 

Иллюстрация из акаунта социальной Gladia в социальной сети X

Один из крупнейших медиаконгломератов Скандинавии Schibsted разработал службу транскрибирования на базе технологии Whisper под названием Jojo с открытым кодом и ее может установить любая редакция или коллектив на своем сервере, безопасно обрабатывать аудио записи и сэкономить тысячи рабочих часов. Они же сделали приложение для MacOS, которая позволяет журналистам безопаснос транскрибировать аудио интервью.

Оптимизация коммуникаций 

Еще одно перспективное направление для применения искусственного интеллекта – коммуникации, и ИИ здесь может изменить способы взаимодействия гражданского общества с его благополучателями. В последние полтора года технологии ИИ совершили значительный прогресс, выходя за рамки традиционных ботов, и предлагают продвинутые и персонализированные решения для коммуникации. Системы, основанные на ИИ, способны обрабатывать запросы от пользователей и благополучателей в реальном времени и предоставлять актуальную и релевантную информацию. Это важно для антивоенных, поддерживающих и гуманитарных организаций, таких как Intransit или Идите лесом, где оперативное предоставление информации может иметь решающее значение, а объем обрабатываемых обращений достигать десяти тысяч в неделю. Внедрение ИИ сокращает время ответа на запросы, особенно в моменты пиковых нагрузок, обеспечивает высокую степень персонализации коммуникаций и разгружает волонтеров на линии.

Инструменты ИИ для коммуникаций

Различные платформы и инструменты, такие как боты для мессенджеров и социальных сетей, уже внедряют продвинутые алгоритмы ИИ для улучшения взаимодействия с пользователями. Эти системы могут автоматически отвечать на часто задаваемые вопросы, перенаправлять сложные запросы на живых операторов и даже проводить анализ сентиментов для оценки эмоциональной окраски обращений. 

Количество инструментов, которые позволяют автоматизировать коммуникацию с помощью ИИ за последние два года выросло на порядок, и они продолжают появляться. Это могут быть как собранные активистами системы чатботов и хелпдеска, к которым добавляют возможности ИИ, так и готовые корпоративные решения вроде Dialogflow от Google или IBM Watson Assistant

Еще одним примером такого инструмента является бот-антипровокатор, разработанный антивоенными активистами для поддержания здоровой атмосферы в русскоязычных онлайн-сообществах. Установив телеграм-бот в свой чат или телеграм-канал, вы получите помощника с машинным обучением для выявления и блокировки деструктивных активностей и провокаций. Система способна в реальном времени анализировать большие объемы данных, определять агрессивную риторику и автоматически сообщать о ней модераторам, поддерживая здоровую атмосферу в сообществах и на платформах общения.

Недавно появилась история о том, как программист использовал ChatGPT для «автоматического» общения с девушками из Tinder: он запрограммировал алгоритм «свайпить», обучив на своих предыдущих предпочтениях, общаться с ними и даже звать на свидание и договариваться о времени и месте. Нейросеть пообщалась с 5239 девушками, пока автор не нашел свою «единственную». При множестве этических и моральных вопросов, это пример масштабирования процесса коммуникации с помощью ИИ.

Потенциальные возможности для гражданского общества

  • Повышение эффективности коммуникаций за счет автоматизации рутинных запросов и фокусировки внимания операторов на сложных случаях. 
  • Персонализация общения с благополучателями, что способствует более тесной связи между организацией и ее аудиторией. 
  • Мониторинг и анализ обратной связи для оптимизации коммуникационных стратегий и повышения удовлетворенности пользователей.

Контент и персонализация

Генеративный искусственный интеллект позволяет быстро создавать уникальный и персонализированный контент, адаптированный под конкретные потребности и интересы пользователей и читателей. Его использование расширяет границы традиционного подхода к контент-маркетингу и публицистике. Например, корпорация News Corp в Австралии использует ИИ для написания более 3000 статей в неделю, повысив производительность и расширив спектр тем. 

Активисты и журналисты во всем мире уже используют генеративный ИИ в своей работе и работе редакций. Это включает подготовку справочных материалов, составление вопросов для интервью, проверку на наличие предвзятости в текстах, изучение сложных тем, редактирование текстов, написание заявок на гранты и деловых писем, создание резюме документов, мониторинг встреч, работу с данными и организацию рабочего процесса, и, конечно, создание иллюстраций для социальных сетей, отчетов и статей. 

Сервисы text to speech, такие как польский стартап Elevenlabs, позволяют генерировать голос по тексту, выбирая голос, его настройки, акцент или «дублировать» свой голос на другие языки. С помощью таких инструментов можно создавать подкасты, накладывать голос на видео, добавлять автоматическую озвучку к статьям или использовать для анонимизации гражданским активистам. Это могут делать такие платформы, как Blogcast, Speechefy или Fliki. Есть и open source решения, например, Coqui AI или MaryTTS. Впрочем недавно Elevenlabs оказалась в центре скандала, когда выяснилось, что именно ее инструменты использовали, чтобы имитировать голос Джо Байдена для обзвона избирателей в штате Нью-Гэмпшир.

Технологии Elevenlabs настолько хороши, что их используют политтехнологи в США / Скриншот статьи в журнале Wired

Еще одна сфера, в которой уже существуют инструменты ИИ – музыка. MusicFX от Google или Jukebox от OpenAI с открытым исходным кодом сгенерируют вам саундтрек в любом стиле, жанре, темпе, под настроение или под событие. А Suno AI еще напишет текст и исполнит его в нужном стиле. Музыка, созданная при помощи ИИ, свободна от ограничений прав собственности и подойдет для подкастов, видео или онлайн-мероприятий. 

Если к предыдущим двум инструментам добавить RunwayML или Stable Diffusion Video, которые умеют генерировать видео по картинке или тексту, то команда из одного человека способна написать сценарий, генерировать видео, генерировать музыку и голос и получить полноценное видео для социальных кампаний или продвижения проекта в социальных сетях. 

Персонализация пользовательского опыта

Персонализация контента с помощью ИИ достигает нового уровня в сервисах, подобных Netflix, где рекомендательные системы анализируют предпочтения и поведение пользователей для подбора наиболее подходящего контента. Эти системы постоянно адаптируются под пользователя, обеспечивая персонализацию взаимодействия с платформой и заставляют его проводить больше времени в приложении Netflix. Но такие рекомендательные системы не всегда применяются во благо. Алгоритмы удержания внимания в социальных сетях и приложениях, вроде TikTok, заставляют пользователей проводить все свободное время перед экранами мобильных устройств, и такие технологии можно отнести к категории «evil tech». Поэтому их необходимо использовать осторожно и этично. 

Для цифровых медиа доступны бесплатные и open source инструменты персонализации контента под пользователя, в зависимости от его предпочтений, географии и пр. В качестве примера можно привести бесплатную TensorFlow Recommenders для построения моделей рекомендательных систем. Она включает подготовку данных, формулировку модели, обучение, оценку и развертывание. Или Recombee с бесплатным базовым тарифом. Своя система персонализации есть и у Amazon – Amazon Personalize

Потенциальные возможности по персонализации контента на данный момент ограничены только воображением и рамками этики. Это инструмент для укрепления доверия и лояльности среди аудитории, создания контента, который не только информирует и образовывает, но и глубоко резонирует с индивидуальными интересами и потребностями каждого пользователя. 

Количественные данные

Числовые данные — фундамент, на котором строятся стратегии и принимаются решения. Для гражданского общества, занимающегося активистской деятельностью, работа с данными важна, чтобы усилить эффект от работы инициативы. Системы искусственного интеллекта, включая ChatGPT, предлагают мощные инструменты для работы с числовыми массивами и их визуализации. Они сделали доступным анализ данных для исследователей без специализированного образования и способны не только агрегировать и анализировать данные, но и выявлять в них неочевидные закономерности и инсайты. 

Поиск Инсайтов в Данных

Использование ИИ для анализа данных позволяет выявлять не только поверхностные тренды, но и глубинные закономерности, которые не видны при традиционных подходах. 

  • ИИ может ускорить и улучшить качество анализа посещаемости сайта, выявить, какие разделы сайта привлекают больше всего внимания, где посетители проводят больше времени, и на основе этой информации предложить способы улучшения пользовательского опыта и повышения вовлеченности. 
  • ИИ способен анализировать лайки, репосты и комментарии, чтобы определить самые эффективные типы контента, оптимальное время для публикаций, сравнивать различные каналы коммуникации и распределять между ними ресурсы, выявлять темы и цели высказываний, вызывающие больше всего откликов. Мы в «Теплице» использовали такие алгоритмы для серии публикаций о том, как гражданское общество ведет коммуникацию в социальных сетях
  • ИИ можно применить к сфере фандрайзинга и идентифицировать, в какие периоды и под влиянием каких событий пожертвования увеличиваются, как это связано с внешними событиями и коммуникацией организации с аудиторией, помогая планировать кампании сбора средств более целенаправленно.

Визуализация Данных

Визуализация помогает сделать абстрактные данные понятными и доступными для широкой аудитории, превращая их в наглядные истории. Среди инструментов визуализации еще нет оптимального инструмента с удачно имплементированным ИИ, но если использовать инструменты ИИ для работы с большими данными, такие как плагин Advanced Data Analysis для ChatGPT или Julius для очистки данных, их анализа, обработки и формирования новых таблиц с данными для сервисов визуализации вроде Datawrapper, то можно менее чем за час построить наглядную инфографику для сайта или отчета без навыков работы с данными.

Работа с модулем Advanced Data Analysis ChatGPT на примере данных World Bank World Development Indicators.

Заключение

Говорят, что данные — это новое золото, и тогда искусственный интеллект становится философским камнем, способным трансформировать этот ресурс в инструменты для социального блага. ИИ может служить гражданскому обществу, раскрывая неиспользованный потенциал данных для борьбы с социальными вызовами. Анализ текстов и числовых данных, распознавание изображений и речи, а также автоматизация и персонализация общения с аудиторией могут значительно повысить эффективность и влияние организаций на социальные изменения. Использование ИИ для генерации уникального контента и адаптации его под потребности пользователей расширяет границы традиционного подхода к созданию и распространению информации.

В то же время появляются новые вопросы к безопасности, этике и приватности, требующие от нас осознанного использования технологии. Мы наблюдаем не просто переход к более продвинутым инструментам, но и вызов к созданию ответственного будущего, где технологии работают на благо всех.