Бот-антипровокатор: новое решение проблемы интернет-троллей на основе машинного обучения

Обнаружить провокаторов стало легче Изображение: midjourney

Все сталкивались с троллями и провокаторами в интернете. Особенно много их стало после начала полномасштабного вторжения России в Украину. Тролли разжигают конфликты, распространяют дезинформацию и формируют иллюзию поддержки войны. Чтобы справиться с их нашествием, мы создали Бота-антипровокатора. Этот продукт команды независимых  исследователей родился на хакатоне Прожектор 2023 и воплощен в жизнь благодаря поддержке Теплицы, Новой Газеты Европа и eQualitie.

Бот умеет автоматически распознавать в телеграм-чатах комментарии с элементами провокации и агрессии, отмечать их для модераторов и, если необходимо, удалять. В основе бота лежит алгоритм распознавания троллей, обученный на 10 000+ комментариях из антивоенных Telegram-каналов и проекта «Ловушка повара». Разработчики отметили те комментарии, которые удаляли модераторы, попробовали на них десяток моделей обработки текстов, выбрали самую лучшую и сверху добавили нейронную сеть. Звучит устрашающе, но это работает. Сейчас наш бот работает с эффективностью 74%, то есть верно угадывает троллей в 74 случаях из 100.

С такой эффективностью наш бот может стать хорошим помощником модераторам телеграм-каналов и чатов и экономить их время и нервные клетки.  

Чтобы установить бот, напишите нам на [email protected], и мы предоставим подробные инструкции и помощь по настройке. Текущая версия Бота-антипровокатора доступна в форматах API и Telegram-бота. 

Исходный код бота не будет опубликован в открытом доступе — так мы хотим предотвратить попытки его использования во вред. Но мы открыты к обратной связи, предложениям и рады помощи специалистов и волонтеров (после их верификации).