Некоммерческие организации и СМИ оказывают трансформирующее воздействие на граждан, приводят к социальным изменениям. Но как измерить этот эффект? В этом может помочь метод «совместной фильтрации», который успешно используют крупнейшие интернет-магазины.
Еще в 2006 году скромная компания Netflix, работавшая по бизнес-модели dvd-by-mail (при которой клиенты арендуют dvd-диски) предложила приз в размере 1 млн долларов любой команде разработчиков, которая могла бы придумать модель рекомендации фильмов для покупателей на основе их интересов.
Тем временем компания Amazon тоже делала ставку на свой подписной сервис, построенный на инструменте рекомендаций. Для этих компаний концепция была простой: разработать алгоритм, который на основе интересов и действий клиентов способен прогнозировать, какие продукты будут нужны другим похожим покупателям, единомышленникам.
Алгоритм, как они надеялись, будет действовать в виде высокоточной динамической фокус-группы XXI века, работающей на увеличение потребления, удовлетворения и лояльности клиентов.
Сегодня Netflix использует глобальную рекомендательную систему, которая экономит компании 1 миллиард долларов в год. Представители Amazon заявляют, что рекомендации составляют потрясающие 35% дохода компании. Это хорошие показатели для коммерческих компаний, однако это также многообещающие новости для специалистов из некоммерческих организаций.
Дело в том, что эти системы построены на модели под названием «коллаборативная, или совместная фильтрация» (collaborative filtering). Это один из методов построения прогнозов в рекомендательных системах, использующий известные предпочтения (оценки) группы пользователей для прогнозирования неизвестных предпочтений другого пользователя.
Именно этот метод открывает потенциал для получения более быстрых, дешевых и качественных данных о трудно измеримых социальных изменениях.
Совместная фильтрация
Качественный анализ данных – изнурительный процесс. Вместо цифр, линейных графиков и процентных пунктов, часто встречаются лингвистические данные от респондентов, участников сообщества, разнообразные наблюдения.
Объемный и неструктурированный характер этих данных затрудняет проведение быстрого и точного анализа. Эксперты оценивают данные вручную или с помощью программного обеспечения, идентифицируют шаблоны, анализируют ключевые слова и выражения.
Но этот подход может привести к ошибкам: любое смещение вызывает заблуждение. Как можно подтвердить эти предположения? Метод совместной фильтрации работает по другому: он стремится использовать коллективный интеллект изучаемого сообщества.
В то время как Netflix и Amazon используют этот подход для создания прогнозируемого поведения клиентов, социальный сектор может использовать его для получения точной и актуальной информации о том, что происходит в обществе и что волнует жителей.
Представьте, что вы мэр города и хотите знать, что больше всего волнует граждан. Вместо проведения традиционного опроса (где ответы на вопросы и анализ данных остаются в исследовательской группе), вы хотите, чтобы сообщество коллективно идентифицировало и оценивало новые идеи на основе данных.
Поэтому вы разрабатываете опрос, в котором просите гражданина Б. прочитать, а затем оценить по пятибалльной шкале (где пять самая критическая проблема) заявление гражданина А.
Допустим, гражданин А. считает, что новое региональное строительство является самой большой проблемой, стоящей перед городом. Гражданин Б. оценивает заявление гражданина о новом строительстве, например, на 4 балла, а затем запишет свое заявление о том, что, по его мнению, недавняя серия домашних взломов – это более серьезная проблема.
Его заявление затем переходит к другой группе граждан, которая проставляет свой рейтинг и заявляет о проблемах. В конце недели на веб-сайте города размещается рейтинг заявлений граждан. Теперь у вас как у мэра города есть список приоритетных проблем в вашем городе, подтвержденный путем одноранговой оценки.
Инструмент для быстрого анализа
Как же общественный сектор может использовать этот метод? В 2013 году исследовательская группа Калифорнийского университета в Беркли, возглавляемая профессором Кеном Голдбергом и Бренди Ноннеке, начала экспериментировать с этим методом сбора данных для социального блага.
В результате появилась мобильная платформа с открытым исходным кодом DevCAFE. Она позволяет быстро и масштабируемо собирать и анализировать количественные и качественные данные. С тех пор DevCAFE был протестирован в разнообразных условиях для оценки эффективности. В Уганде он был использован для учебной программы по планированию семьи.
Женщины отвечали на несколько стандартных вопросов, а затем могли своими словами предложить улучшения для программы. После этого другая группа женщин оценивала каждую из озвученных идей, а конечным результатом был отфильтрованный список приоритетных и одобренных предложений. Все они были учтены.
Комплексная оценка
Но что если вы хотите использовать совместную фильтрацию не как прогностический инструмент (как это было у Netflix или DevCAFE), а как метод оценки воздействия. При этом вам нужно использовать множество качественных данных, учесть медленные изменения за длительный период времени.
Такую оценку можно применить к широкому кругу областей: от проектов, ориентированных на социальные изменения, до сферы СМИ. В этой области отследить информацию о потребителях и измерить социальные последствия – большая проблема.
Например, изменился ли способ мышления и действия людей, и если да, то как? Есть некоторые доступные инструменты: например, Media Cloud, платформа с открытым кодом для медиааналитики, инструмент Newslynx, который отслеживает реакцию на новости, международная исследовательская платформа Open Data Kit.
Совместная фильтрация: оценка в действии
В 2016 году команда документального фильма ITVS, вдохновленная проектом DevCAFE, тоже решила использовать метод совместной фильтрации. С помощью мобильной платформы DocSCALE команда попробовала оценить воздействие документального фильма в рамках социальной программы для женщин и девочек (Women and Girls Lead Global) в Индии.
В эксперименте было 1 338 мужчин и женщин из бедных общин, все они участники программы профилактики насилия по признаку пола. Они отвечали на голосовые опросы с помощью смартфона DocSCALE, 1001 участник записал свои собственные наблюдения во взаимоотношениях между мужчинами и женщинами в их семье или сообществе. Наряду с этим методом группа экспертов провела традиционное исследование в виде интервью, участия фокус-групп.
Еще по теме: Как оценить результаты социально значимого проекта
Оказалось, что DocSCALE зафиксировал большинство тех же изменений, что и традиционная оценка. Однако обнаружил изменения не путем поиска ответов на длинный список вопросов (как это было сделано в традиционном исследовании), а через приглашение респондентов записать голосом ответы и дать им оценить другие заявления.
Данные, полученные с помощью совместной фильтрации были гораздо более личные и детализированные, чем данные традиционных исследований. Docscale вполне можно использовать для инструмента оценки НКО и в СМИ или для мониторинга и получения обратной связи от жителей.
О будущем оценки, и почему социальному сектору нужны программисты
Конечно, эти эксперименты только зарождаются, их результаты неполные, и потенциал совместной фильтрации едва задействован как инструмент социальных изменений. Но несколько типов организаций могут особенно выиграть от применения этого метода.
1. Организации, ориентированные на соучастие, которые стремятся вовлечь участников в процесс оценки. Для них крайне важна обратная связь, ее можно получить с помощью интерактивных опросов, как например было сделано в проекте DevCAFE. При этом участники могут дать мгновенное, визуальное представление об их приоритетах и о том, что их волнует.
2. Общественные организации, которые занимаются оценкой качественных данных. Тематические исследования и качественный поиск тенденций могут стать настоящим проклятием для организаций, пытающихся показать влияние. Совместная фильтрация помогает повысить количественную ценность качественных данных. Например, цитаты участника, подкрепленные цифрами и рейтингом со стороны других участников, дадут большее представление о том, что происходит в этом сообществе.
3. Организации, которые занимаются оценкой воздействия. В сфере СМИ есть сотни социально ориентированных режиссеров, которые каждый год рассказывают вдохновляющие истории, проводят вдохновляющие кампании, а затем пытаются измерить воздействие. Инструмент совместной фильтрации поможет проводить свои собственные быстрые оценки без экспертного анализа.
Рекомендации
1. Включить метод совместной фильтрации в разработку проекта. Модели для применения метода совместной фильтрации в devcafe и docscale основаны на открытом исходном коде. Те, кто работает с онлайн-компаниями для проведения опросов, должны попросить эти компании включить совместную фильтрацию в свои платформы, чтобы они могли проще получать необходимые данные.
2. Активно выступать за обратную связь и качественные данные. Возможность проставлять рейтинг всеми участниками – это ценные наблюдения, такие данные могут превратиться в полезный и широко используемый актив.
Метод совместной фильтрации экономит бюджеты компаний и упрощает нашу жизнь, структурируя огромное количество данных. Пересмотр этой технологии для общественного блага имеет существенные преимущества. Позволяя участникам совместно фильтровать данные, мы можем уменьшить предвзятость и использовать более точные сведения для повышения эффективности общественного сектора.
Оригинал статьи на Stanford Social Innovation Review (Eng.).