Одни НКО переносят сроки проведения запланированной оценки социальной программы или откладывают «на потом», когда все вернется к нормальной жизни. Другие – вовсе отказываются от планов проведения каких-либо оценочных мероприятий. Третьи – вносят коррективы в бюджет, дизайн, методы проведения оценки деятельности или проекта.
Причины вполне очевидны.
Во-первых, приоритет отдается срочным мероприятиям и задачам. Главным становятся вопросы выживания, а не развития и инноваций. Все происходит так быстро, что нет времени и сил на то, чтобы о чем-то подумать и спланировать. Иными словами, не до оценки.
Во-вторых, а возможно ли в текущей ситуации вообще получить надежные и достоверные сведения? И какой смысл анализировать то, что завтра исчезнет или изменится до неузнаваемости?
Давайте обсудим, что происходит с оценкой социальных программ во время пандемии. Стоит ли ее теперь проводить, и если да, то какую и как?
Что оценивать: максимальная прагматичность
Выражен запрос на быстрое и дешевое получение информации, достаточной для принятия решений и извлечения опыта. Информации, которая поможет хоть немного улучшить текущую деятельность.
Раньше пытались рассмотреть ситуацию со всех сторон, выслушать максимально широкий круг участников. Сейчас – минимизация избыточных, отвлекающих «шумов», стремление выделить самое главное, на чем стоит сфокусироваться «здесь и сейчас».
Как никогда ранее, нужна «простая» оценка, что в этой новой ситуации мы действительно делаем правильные вещи и помогаем нуждающимся.
В меньшей степени есть запрос на оценку социальных результатов и социального эффекта (social impact), в большей – на оценку потребностей, уточнение логики и модели программы («теории изменений»), оценку процесса реализации программы.
Примеры актуальных оценочных вопросов.
- Кому и что нужно? Есть ли среди наших благополучателей особые группы, которым нужна иная помощь? – Внесение изменений в деятельность.
- Какова доля новых благополучателей, которые до пандемии не получали данную услугу, кто они? – Изменение портрета клиента, потребностей.
- Какие услуги стоит сейчас оказывать, учитывая наши ресурсы? Растут ли запросы на ту или иную услугу, у кого именно? – Прогнозирование спроса, планирование ресурсов.
- Кому сейчас услуги оказываются, а кому нет? Какие группы наших клиентов перестали пользоваться услугой и почему? – Возможно, мы не достигаем теперь каких-то групп, которым по-прежнему нужна помощь.
- Что думают наши клиенты о предоставляемой услуге, ее изменении? Что стоит делать по-другому? – Идеи для улучшения услуги.
- Что меняется в жизни благополучателей? – Долгосрочный эффект, важность услуги, отчетность.
До минимума можно сократить сбор данных для мониторинга и отчетности:
- что вы делаете?
- для кого или с кем?
- что меняется?
- чему вы научились, какие уроки извлекли?
Полученные сведения оперативно используются для обучения, максимально «идут в дело». Так, организация может еженедельно выявлять топ-3 запроса благополучателей. Затем эти сведения используют в коммуникациях, PR, фандрайзинговых материалах.
Как оценивать: гибкость, agile и постоянное обучение на основе опыта
Востребована адаптивная оценка, оценка в режиме реального времени (real-time evaluation) и реального мира (real-world evaluation). Такие виды оценки не универсальны, но лучше подходят в ситуации неопределенности, гуманитарных кризисов и стихийных бедствий, бюджетных и иных ограничений, неполной и противоречивой информации.
Традиционный мониторинг и оценка предполагают стабильный контекст, последовательную реализацию запланированных мероприятий (линейные, каскадные модели проектов), движение к заранее определенным результатам и целевым значениям, четкий набор показателей и методов сбора данных. В новых условиях проекты все чаще разрабатываются в процессе реализации, вносятся постоянные изменения. Какой теперь смысл в тщательной разработке «теории изменений», системы мониторинга и оценки, если завтра будет совсем другая ситуация?
Фокус смещается на итерационные циклы по принципу «протестируй, извлеки опыт и двигайся дальше». Приоритет отдается ежемесячным или еженедельным групповым обсуждениям команды. В ходе таких регулярных встреч осмысляется опыт, принимаются решения, куда и как двигаться дальше, какие лучше использовать показатели для социальных результатов, какие методы сбора данных адекватны в текущей ситуации. Очень важно фиксировать такой извлеченный опыт, а также все то, что вы стали делать по-другому.
Регулярное получение обратной связи, особенно от благополучателей, инклюзивность – важны как никогда.
Аналогичным образом, от оценщика все реже ждут формального отчета-«талмуда», начинающегося издалека – с подробного описания методов. Все чаще нужен короткий отчет, в котором ясно изложены данные, достаточные для принятия решения. При этом заказчику важно не упустить значимое, извлечь опыт из текущей ситуации и использовать его в будущем.
Как собирать данные: просто, дешево, быстро и безопасно
В новых условиях меняются и методы сбора данных.
- Отказ от сложных и затратных способов получения сведений, исследований со строгим научным дизайном. Сейчас достаточно ухватить общий тренд, а не рассчитать проценты до двух запятых.
- Меньше внимания триангуляции, рассмотрению проблемы с разных сторон. Теперь все чаще спрашивают мнение одного-двух благополучателей или сотрудников. Полученных данных часто достаточно для принятия решения и мгновенных изменений программы.
- Бесконтактная оценка – замена очных интервью и фокус-групп на дистанционные; отказ от качественных, этнографических полевых исследований.
- Сокращение использования классических методов в пользу альтернативных, использующих доступные, имеющиеся «под рукой» данные. Анализ постов или обсуждение в закрытой группе в соцсети, дневники, фото- или видеофиксация ежедневных занятий, сбор данных через голосовые сообщения, углубленные кабинетные исследования (административная отчетность и программная документация + анализ блогосферы и Интернета + мета-анализ иных исследований), анализ геоданных, возможности искусственного интеллекта.
- Повторное использование уже существующих, собранных данных – своих и чужих.
- «Равные оценщики»: обучение и делегирование сбора данных представителям оцениваемой организации, местного сообщества.
Применение более простых методов в меньшей степени обеспечивает научную строгость, надежность, точность и валидность собранных данных. Дистанционные интервью – это только частичная замена очных, неизбежна потеря качества. Анализ фотографий не всегда равноценная замена включенному наблюдению. Однако в текущих условиях зачастую «что-то» лучше, чем «ничего». Важно понимать эти ограничения, честно говорить об этом.
Роль оценщика: от эксперта к «доброжелательному критику» и активисту
В новых условиях меняется роль самого оценщика. Все чаще это не просто эксперт-консультант, который соберет данные и скажет, что делать.
- Оценщик – как «доброжелательный друг-критик». Или член команды, помогающий благодаря своей экспертизе принимать решения, подскажет, какие нужны данные, где и как их можно получить, посоветует по методам, выстраиванию процессов получения обратной связи.
- Уход от ценностно нейтральной оценки (Истина) к активистской (Социальная справедливость). Оценщик как пресс-секретарь, представитель и адвокат уязвимых групп и будущих поколений («Оценка в интересах Голубой планеты»). Все чаще оценщиков призывают использовать свое «привилегированное положение» и рост доверия к «доказательствам» (evidence-based) для продвижения идей справедливости.
Новые задачи и запросы
Все описанное выше продолжает казаться чем-то из мира «прекрасного далека», «подумаю об этом позже». Однако те, кто активно использовал традиционный мониторинг и оценку в своей деятельности, уже сейчас сталкиваются с рядом проблем.
Преемственность данных
Ранее организация собирала данные одним методом, а теперь приходится другим (например, личные интервью заменили на онлайн). Или у благополучателей была одна ситуация, а теперь совсем другая. Иными словами, собранные тогда и теперь данные становятся несравнимыми. Встает вопрос – стоит ли продолжать их собирать, либо перестать собирать вовсе? Как можно обеспечить приведение к общему знаменателю противоречивых и разнокалиберных данных?
План-факт, baseline
Как оценивать, анализировать данные, которые собирались в долгосрочной перспективе, с наличием плановых значений? Как в текущей ситуации расценивать фактические значения – достигли больше или меньше? Уместно ли полагаться на предыдущий baseline.
Адекватность прежней теории изменений, логической модели
Для многих уязвимых групп пандемия усилила проблемы, но прежние потребности тоже не исчезли. Соответственно, организации продолжают оказание прежних услуг в том или ином виде. Если ранее была разработана теория изменений, логическая рамка проекта, то нужно ее скорректировать для новой ситуации. Вопрос: как обеспечить корректную «склейку» с предыдущими периодами? Как учитывать новые социальные результаты?
Влияние пандемии на благополучателей, проблемную ситуацию
Как учитывать сейчас и в будущем прямые и косвенные причинно-следственные связи между пандемией и практически всеми социальными проблемами, изменения внешнего контекста? Влияние пандемии на подопечных?
Изменение самой услуги, проекта
В какой мере изменения в способе, периодичности, объеме оказания услуги влияют на реализацию проекта, его благополучателей? Как влияет изменение проекта / услуги на достижение социальных результатов? Какие появились новые социальные результаты – позитивные и негативные, какие новые факторы рисков и успехов? Какие изменения, внесенные в услугу / проект, стоит оставить в будущем как более эффективные?