Начну с камингаута: 90% всех общественных кампаний и коммуникационных проектов, которые я провела или к которым приложила руку за последние 15 лет, не были эффективными. То есть не выполняли тех задач, ради которых затевались. Возникает вопрос, почему при такой печальной результативности я не ушла в пекари и даже имею наглость считать себя специалистом по коммуникациям для НКО?
В основном потому что я, к сожалению, я не знаю лучшего способа научиться делать успешные кампании, нежели ошибаться и анализировать свои ошибки. А еще потому что само умение спокойно думать про эффективность общественных кампаний чуть ли не главное, чему я научилась за годы работы в этой области. Пожалуй, только с того относительно недавнего момента, как я научилась отличать «эффектное» от «эффективного» в некоммерческих коммуникациях, я начала наконец делать вещи, которые имеют смысл. Эта статья о том, как оценивать пользу коммуникационных проектов, чтобы не врать себе и не посыпать голову пеплом, но двигаться вперед.
Почему оценивать эффективность общественных кампаний так сложно?
Я вижу несколько причин, по которым активисты не оценивают эффективность своих кампаний. Первая лежит на поверхности – потому что мы не привыкли и не научились это делать. Поплевав в баночку засохшей школьной гуаши, мы садимся на полу в кухне рисовать плакат. Не потому что давно собирались стать общественным активистом и закончили курс по стратегическому планированию кампаний, а потому что нас реально припекло. Или потому что мы не можем молчать. Или потому что вдохновились крутой идеей и хотим ее воплотить.
Мы оцениваем риски, набираемся смелости, предвкушаем результат или радуемся творческому процессу. И вопросы оценки эффективности – последнее, о чем мы думаем, отгоняя кота от расстеленного на полу ватмана. Это не очень правильно с точки зрения менеджмента, но по-человечески это совершенно нормально.
Вторая причина – общественная кампания затрагивает наши чувства. Когда мы видим коммуникационный продукт, например, хорошо сделанный ролик на YouTube, он вызывает у нас эмоциональный отклик. А эмоции никогда никому не помогают трезво оценивать что бы то ни было. Вспомните какой-нибудь коммуникационный проект, который недавно вызвал у вас реакцию «вау, круто, я тоже так хочу!». А теперь спросите себя, известно ли вам, привел ли этот проект к запланированным реальным изменениям? Если нет, то почему вы решили, что это «ваукруто»? Скорее всего, потому что этот проект вас тронул, вы сами испытали сочувствие или радость от просмотра ролика или прочтения текста, и эта эмоция стала основой для вашей оценки. И это тоже нормально.
Третья причина тоже про эмоции. Мы не умеем оценивать эффективность, потому что не хотим этого делать, а не хотим – потому что боимся. Для многих людей, включая часто и нас самих, «оценить» равно «обесценить». За вопросом «сколько просмотров собрал ваш ролик?» часто следует или подразумевается «а чего так мало?». Обесценивание – это очень больно, особенно когда ты вложил во что-то уйму времени и душевных сил. В результате мы начинаем оценивать наши проекты только по тем параметрам, где гарантированно получим результат, пригодный для посрамления скептиков. Толку от такого измерения примерно как от замера температуры у абсолютно здорового человека.
Четвертая причина заключается в том, что на вопрос об эффективности кампании очень сложно ответить, если мы не до конца уверены, что правильно сформулировали ее цель. А это в активизме встречается сплошь и рядом. Представьте себе кампанию в небольшом городке, цель которой – «собрать 100 тысяч рублей на приют для котов за 3 месяца». 3 месяца прошло, но собрано только 20 тысяч. Казалось бы, это означает, что кампания была неэффективна. Но что если изначальная цель – собрать 100 тысяч рублей – не была реалистичной? Может, у жителей этого городка такой уровень доходов, что собрать 20 тысяч – это не проигрыш, а мегапрорыв? Но откуда, спрашивается, активистам было знать, реалистичной ли была их цель, если до них в этом городке никто не проводил фандрайзинг на кошачьи приюты?
Из-за всего этого оценка эффективности превращается в крайне неприятную экзекуцию, которой мы при любой возможности стараемся избежать. Если мы ее и проводим, то только для того, чтобы отчитаться перед донорами или выставить красивенькую инфографику в предновогоднем посте нашего паблика. Но это, как вы понимаете, в обоих случаях не оценка эффективности, а PR.
Спрашивается, ну и что? Может, и без оценки эффективности обойтись можно? Живем же как-то.
Зачем ее все-таки оценивать?
Жить без измерения эффективности можно, но не нужно. И тут у меня снова есть список из четырех причин.
Причина первая
Без измерения невозможно понять, движетесь ли вы туда, куда вам надо. Представьте, что в отпуске вы взяли в аренду машину и едете по незнакомой проселочной дороге в кемпинг. Скорее всего, вы будете регулярно смотреть на навигатор, чтобы знать, сколько проехали, сколько осталось и доберетесь ли вы до цели до наступления темноты. А если вы сомневаетесь, правильно ли свернули, замеры дадут вам возможность вовремя одуматься: «Уже пять километров проехали, а реки все нет – возвращаемся к развилке». С эффективностью вашей кампании то же самое. Пока вы не измеряете пройденный путь, вы передвигаетесь вслепую, и не заметите, если движетесь не в сторону цели.
Причина вторая
Оценка эффективности по четким критериям помогает вам спастись от синдрома самозванца. Для текущего проекта «Весна в Бишкеке» (это интерактивная новелла, которая рассказывает девочкам в Кыргызстане о том, как защитить себя от похищения для принуждения к браку) мне нужно было написать сценарий, по сути – подростковую новеллу. Я никогда не писала новелл, страшно переживала, что у меня получается совершенная дрянь, и три месяца в отчаянии билась головой о клавиатуру. На этом, пожалуй, настал бы конец или мне, или проекту. Но моя кофаундер Ирина Леу заставила меня показать черновик первой главы нашей целевой аудитории.
В этот момент у проекта появился четкий критерий эффективности – «чтобы нравилось кыргызским девочкам». И в свете этого критерия всем моим фобиям и синдромам пришлось замолчать, а я смогла спокойно закончить работу. Внутреннему критику, и внешним, я могу теперь ответить: «Ты кыргызская девочка в возрасте от 13 до 23 лет? Нет? Тогда мне не очень интересно, что ты думаешь о нашей истории».
Причина третья
Оценка эффективности мотивирует команду. Всегда. Потому что она либо подтверждает верность вашего плана, либо подсказывает, как его исправить. А чаще всего делает и то, и другое одновременно. Если вы провели оценку кампании, от которой вам стало тошно и захотелось все бросить, значит, вы что-то сделали не так.
Причина четвертая
Оценка эффективности подтверждает ваш профессионализм, даже если (особенно если!) ее результаты говорят не в вашу пользу. Говорю как человек, который оценивал проекты для донорских организаций. Когда из проектной заявки было видно, что группа активистов умеет грамотно и критично оценивать эффективность своих предыдущих кампаний, я без колебаний рекомендовала ее поддержать. Потому что, даже если такой проект не приведет к заявленной цели, он даст бесценный результат – качественно протестированную рабочую гипотезу.
Допустим, я убедила вас, что оценка эффективности – это не очень больно и весьма полезно. Возникают два следующих вопроса: что оценивать? как именно оценивать?
Что именно мы оцениваем?
Долгое время мне казалось, что на этот вопрос есть простой ответ: наша кампания должна иметь цель, а значит, нужно измерять расстояние от нас до цели и оценивать, насколько мы смогли к ней приблизиться. Именно поэтому любой учебник по стратегии скажет вам, что цель компании должна быть конкретной, реалистичной и измеримой. Собрать 100 тысяч рублей на приют для бездомных собак. Добиться отмены постройки храма в центре городского пруда. Привлечь 200 новых пользователей в службу психологической помощи.
Но практика показывает, что с этим простым принципом есть несколько проблем. При таком подходе некоторые прекрасные гражданские акции мы должны объявить бессмысленными. Попробуйте, например, сформулировать конкретную, реалистичную и измеримую цель «Тихого пикета» Дарьи Серенко. Не получится. Или оцените с точки зрения достижения целей и задач эффективность кампании #MeToo – тоже ничего не выйдет.
Также у важных кампаний есть свойство выходить за пределы поставленных целей. Недавно художнице Юлии Цветковой предъявили обвинения в четвертый раз по статье о распространении порнографии. Значит ли это, что кампания #ЗаЮлю была неэффективной? Нет. Даже если бы кампания остановилась в этой точке (чего, конечно же, не произойдет), при ее оценке нельзя не учитывать то обстоятельство, что она уже привлекла внимание сотен тысяч людей к теме свободы самовыражения в России. И навсегда изменила представления арт-сообщества о том, должно или не должно художнику вмешиваться в политику.
«Это не значит, что с формулой «достижение поставленной цели = эффективность» что-то в корне не так. Мне кажется, ее просто недостаточно».
Есть и еще один проблемный вопрос. Можно ли измерять эффективность кампании по тому, у скольких человек она вызвала эмоциональный отклик? Суровые материалисты скажут, что нельзя, потому что от эмоционального отклика мир не меняется. Он меняется только от действий, которые мы совершаем или от которых воздерживаемся. Эта суровая правда выражается в расхожей фразе «Likes don’t save lives» («Лайки не спасают жизни»). Но если в спор с материалистами вступят идеалисты, они скажут нам вот что: именно за эмоции, идеи и чувства идет главная битва активистов. Мы боремся со страхом перемен, с выученной беспомощностью, с разобщенностью, сексизмом, ксенофобией и гомофобией. То есть нам нужны перемены в чувствах и эмоциях. А значит, количество лайков как индикатор эмоционального отклика на пост – это вполне уместный комментарий.
Чтобы не решать, кто в этом споре прав, я придумала собственную матрицу для оценки эффективности общественных кампаний.
Матрица оценки эффективности кампании
Я бы даже сказала, что это матрица для «размышления об эффективности» вашей кампании, потому что непосредственно для оценки вам потребуется еще несколько инструментов.
Итак, изменения, которые производит компания, могут происходить в трех «мирах».
- В мире материальных предметов и денег. Кто-то может выходить на свободу или садиться в тюрьму, мусоросжигающие заводы могут закрываться или строиться, бюджеты могут перераспределяться, количество донатов может увеличиваться.
- В мире информации и правил. Законы могут меняться, уровень осведомленности может повышаться, нормы сообществ могут устанавливаться, чиновники могут говорить или не говорить определенные вещи.
- В мире идей и эмоций. Солидарность может увеличиваться, страх перед донорством может снижаться, вера в перемены может усиливаться и прочее.
Но кроме этого изменения могут происходить на нескольких «уровнях».
- На уровне самого активиста и команды происходят изменения, которые нельзя не принимать в расчет: мы получаем опыт, тестируем гипотезы, приобретаем или теряем сторонников, вдохновляемся или отчаиваемся.
- На уровне прямого контакта между активистом и свидетелем его акции тоже происходят важные вещи. Даже всего один взгляд в глаза и вопрос «неужели ты не боишься?» может изменить обоих. Это территория скорее контактных форм искусства чем кампейнинга, но границу между одним и другим прочертить невозможно, поэтому без этого уровня нам не обойтись.
- На уровне узких сообществ и «тусовок» тоже случаются важные вещи. Мы (активисты, феминисты, экологи, художники, журналисты, дальнобойщики) солидаризируемся или разобщаемся, обмениваемся опытом или конкурируем, устанавливаем правила сотрудничества и осваиваем лучшие практики.
- На уровне широкой аудитории могут меняться модели поведения, может увеличиваться степень осведомленности о проблемах, могут усиливаться бренды организаций. Может увеличиваться количество людей, которые принимают участие в акциях или пользуются каким-то важным сервисом.
- Ну уровне государства и институтов могут меняться законы и правоприменительная практика, решения судов, поведение чиновников и прочее.
Наложив «миры» на «уровни», мы получаем вот такую таблицу.
Скачать таблицу можно в формате pdf.
На пересечении уровней и миров я обозначила возможные точки перемен: то, что может меняться в результате вашей кампании или какого-то отдельно взятого действия в рамках кампании. Обратите внимание, что список этих точек совершенно не исчерпывающий. Оценивая эффективность вашей кампании, вы можете обнаруживать другие ценные изменения, которые не пришли мне в голову.
Как пользоваться матрицей
Польза этой матрицы в том, что она позволяет видеть все изменения, которые произвела ваша кампания, а не только то, что вы указали в качестве цели (если вы вообще эту цель сформулировали). Поэтому работать с ней я советую так.
Шаг 1. Смотрим, в какой области находилась изначальная цель нашей кампании или отдельно взятой акции. Если внутри команды мнения на этот счет расходятся, не страшно. Отмечаем оба варианта, принимаем это к сведению.
Шаг 2. Теперь пройдемся по всем полям таблицы и посмотрим, какие изменения реально произошли. Не игнорируйте неожиданные «побочные эффекты», даже если они не входили в ваши планы. Если после акции, которая прошла совсем не так, как хотелось, к вам присоединилось 10 новых активистов, разве это не ценное изменение? Обращайте внимание на все, что кажется важным, даже если вы пока не очень понимаете, почему.
Шаг 3. Строим гипотезы. Они могут быть, например, такими.
- Похоже, у нас получилось именно то, что мы хотели. Мы имеем рабочую методологию, надо делать так дальше.
- Похоже, что эффект нашей кампании близок к заявленной цели, но не совсем точно в нее попадает. Нравится ли нам такой результат? Если да, может быть, нам стоит иначе формулировать цель в следующий раз?
- Похоже, что кроме запланированного результата мы получили неожиданный, но важный побочный эффект. Как это получилось? Можно ли планировать следующую акцию так, чтобы этот эффект стал еще сильнее?
- Мы не добились того, чего хотели, но получили ценный результат: проверенную гипотезу. Теперь мы знаем, что вот так не работает, на эту тему можно больше не спорить и тестировать другие варианты.
- Мы получили не то, что хотели, а какую-то другую крутую штуку. Эта штука нам нужна? Если да, то что мы будем дальше с ней делать?
Шаг 4. Проводим замеры. Гипотезы остаются всего лишь гипотезами,пока мы не зафиксировали те изменения, которые считаем ключевыми. Поэтому для важных изменений нам нужно подобрать индикаторы и способы замера. Об этом будет отдельная статья.
Пример пикета с манекенами
Чтобы не быть голословной, расскажу про собственный кейс. Одна из моих любимых акций – пикет с манекенами, который мы проводили в Москве в Камергерском переулке в 2014 году. Симпатичность этой акции больше чем наполовину заслуга операторов и видеографа, поэтому просто посмотрите полутораминутное видео. Это как раз тот ролик, при просмотре которого люди очень часто говорят мне «вау, круто, я тоже так хочу».
За кадром – неделя подготовительной работы пары десятков человек, репетиции в Сахаровском центре, куча комичных ситуаций при транспортировке и одевании манекенов и море эмоций. Но что там с эффективностью?
Акция была организована московской командой волонтеров Amnesty International во время кампании против репрессивных законов, которые тогда радостно печатал «обезумевший принтер» (народное название Госдумы. – Прим. ред.). Я не вспомню сейчас всю стратегию кампании, но нашей заявленной конечной целью было добиться отмены изменений в закон о митингах. А задачами на пути к ней – повысить осведомленность граждан о новых ограничениях и привлечь больше людей к участию в общественных акциях. Сама по себе эта стратегия кажется мне сейчас весьма сомнительной, но вопрос не в этом. Главное, что мы видим: наша цель лежала на уровне государства, а задачи – на уровне широкой аудитории. Я пометила их в таблице ниже красным маркером. Удалось ли их реализовать?
Заявленная цель достигнута не была, это мы видим и без замеров. Смотрим на задачи. Русскоязычная версия этого ролика потерялась где-то в недрах YouTube, но просмотров под ней было не более 10 тысяч (думаю, причина не в самом видео, а в полностью проваленной SMM-стратегии). Понятно что при таких цифрах ни о каких существенных изменениях на уровне целевой аудитории не может быть и речи.
В этом месте, с точки зрения сурового менеджмента, я должна постучать себя по голове и уйти из кампейнинга. Но, глядя в таблицу, вижу еще несколько вещей (выделены синим), которые существенно меняют картину.
- Подготовка этой акции вывела нашу команду волонтеров на совершенно новый уровень взаимодействия и координации. Мы не знали, что мы такое можем, и не узнали бы этого никак иначе.
- Потом обнаружилось, что если показать это видео правильной целевой аудитории и сказать «присоединяйтесь к нашей команде», несколько человек обязательно выражали желание это сделать. Мы «нечаянно» получили отличный инструмент для привлечения волонтеров.
- Вдохновение и нахальство, которым пропитано это видео, подпитывает меня до сих пор. Уверена, что не только меня.
- Этот ролик вдохновил сотни активистов, с которыми мы его разбирали на тренингах, искать нестандартные формы проведения пикетов в условиях жестких ограничений.
- Мы поняли, какое значение имеет качественная съемка акций, научились ее планировать и подружились с профессиональными фотографами и видеографами.
- Я никогда больше не допущу тех ошибок с SMM-стратегией, которые допустила тогда. Аминь.