Способы измерения качественных результатов проекта

МЕТОДЫ ИЗМЕРЕНИЯ РЕЗУЛЬТАТОВ

III/6. Этап оформления заявки на поддержку социального проекта (РЕЗУЛЬТАТЫ)

РЕЗУЛЬТАТЫ ПРОЕКТА

Проектный метод позволяет достичь определенного результата в определенные сроки и за определенные деньги.

Результаты определяются как «эффект от произведенных действий» и могут быть преднамеренными и непреднамеренными, положительными и отрицательными.

Из Древа целей-задач-методов-результатов видно, что показатели должны быть напрямую связаны с задачами и методами, — это главное правило.

Ожидаемые результаты идут параллельно поставленным задачам и должны быть выражены количественно.

Результаты должны решать заявленную проблему, быть конкретными, измеримыми и содержать качественные и количественные показатели.

Логическая матрица построения результатов:

Чего мы хотим достичь?

Как измерить изменение?

Где и как получить информацию?

Что еще необходимо принять во внимание?

В проектной деятельности выделяют два вида показателей результативности: количественные и качественные.

Количественные показатели – это ключевые результаты проекта, которые можно измерить. В основном речь идёт о количестве людей, которым ваш проект поможет, так же о количестве проведённых мероприятий и т.д.

Количественные: все показатели, которые можно измерить цифрами и которые способствуют достижению цели и задач Проекта.

Результатами могут быть количество участников конкретных дел, акций, мероприятий, подготовленные и изданные методические рекомендации, обученные на семинарах специалисты, публикации в прессе, объём оказанных услуг/продукта целевой аудитории и так далее.

Численные результаты должны выражаться в конкретных, измеряемых единицах.

Рекомендуемые к использованию показатели:

🔝 Вовлеченность в проект, где вы указываете количество участников проекта, количество задействованных волонтеров и экспертов, учреждений и т.п.

🔝 Проведение мероприятий проекта, где необходимо расписать количество проводим в рамках проекта мероприятий (спортивные мероприятия, фестивали, вебинары, творческие мероприятия, образовательные и т.п.)

🔝 Публикации, где указывается количество постов (видео-сообщение и роликов) в социальных сетях, статей в печатных и интернет-изданиях, количество теле- и радиоэфиров и т.п.)

🔝 Информационный охват, в котором вы указываете общее число человек, которые узнали о вашем проекте в течении его реализации.

🔝Разработка / создание «продуктов проекта» — показатель, в котором вы количественно обозначаете итоги реализации вашего проекта (создание сайта, методических рекомендаций, образовательных программ, издание книг, строительство объекта, и др изделий проекта)

Рекомендуется использовать собственные формулировки, связанные с целевыми группами и выявленной социальной проблемой.

По каждой из целевых групп следует указать количество людей, которые ощутят положительные изменения по итогам реализации проекта (из числа тех, кто примет участие в мероприятиях и (или) с которыми запланировано взаимодействие в рамках проекта).

Важно проследить, чтобы количество людей, указанных в данном разделе, совпало с общим количеством людей, указанных в графе «Ожидаемые результаты» раздела «Календарный план» (по всем мероприятиям).

Показатели должны соответствовать следующим требованиям:

● адекватность (показатель характеризует реальную ситуацию в результате достижения цели или решения задачи);

● достижимость (значения этого показателя реалистично получить за время реализации проекта);

● достоверность (способ сбора и обработки информации в дальнейшем нужно будет подтверждать документально);

● измеримость (у показателя должны быть числовые значения);

● объективность (не допускается использование показателей, которые могут улучшаться при ухудшении реального положения дел);

● однозначность (смысл показателя не должен вызывать разночтений, поэтому следует избегать сложных формулировок).

При указании количества благополучателей не нужно повторяться и указывать одни и те же группы людей в разных пунктах.

Качественные показатели – это то, как изменится ваша целевая аудитория после реализации проекта.

👉 Качественные показатели описывают конкретные качественные изменения, которые произойдут в результате реализации Проекта.

👉 Аргументируйте, почему достигнутые результаты и сам Проект устойчиво меняют положение целевой аудитории, почему социальные изменения сохранятся по завершении Проекта, не вернется ли ситуация/положение целевой аудитории Проекта к своему изначальному состоянию, к тому, каким оно было до того, как Вы начали реализацию Проекта.

Показатель — мера какого-либо состояния на конкретный момент времени. Показатели необходимы для анализа перемен. Показатели можно установить с разными измерениями:

 КАЧЕСТВО ——- насколько хорошо?

Ожидаемые результаты (количественные и качественные) прописываются в каждом мероприятии президентского гранта:

Следует как можно более конкретно ответить на вопрос «Что и как изменится у представителей целевой группы после реализации мероприятий проекта?». Если проектом предусмотрено взаимодействие с несколькими целевыми группами, качественные результаты следует указать по каждой из них.

Важно продумать способы подтверждения достижения результатов.

МЕТОДЫ ИЗМЕРЕНИЯ РЕЗУЛЬТАТОВ

Для эффективного управления ходом реализации социального проекта

и оценки степени достижения его результатов необходимо описать показатели измерения, способы измерения и источники информации для их измерения

№ п/п

Результат

Показатель измерения

Способы измерения

Источник информации

Индикаторы являются средством для определения того, какие признаки можно считать доказательствами успешного выполнения проекта.

Индикатор — доступный наблюдению факт, сообщающий информацию о переменах в состоянии, движении, направлении некоего явления, представляющего интерес для наблюдателя.

 Что является целью оценки? Выбирайте только те индикаторы, которые будут полезны для этой цели.

 Индикаторы должны давать информацию, которую можно и необходимо будет использовать в дальнейшем.

 Выбирайте индикаторы, которые легко измерять, анализировать и распространять с учетом имеющихся для этого ресурсов.

 Индикаторы легче будет оценивать и анализировать, если они выбраны людьми, которые будут заниматься сбором и анализом информации.

Критерии отбора индикаторов:

 обоснованность, очевидная связь с тем, что оценивается;

 возможность использования на регулярной основе (например, раз в год или два года);

Методы сбора данных

В общем виде все методы сбора данных можно разделить на 4 категории:

 Наблюдение (смотреть, слушать, считать)

 Опрос (задавать вопросы)

 Измерение (делать замеры, снимать показания)

 Анализ документов (читать, изучать).

Очень важно отразить показатели эффективности проекта. Показатели – инструмент, позволяющий точнее определить и разъяснить цель проекта и измерить его результат.

Микро — Результаты

Осязаемые продукты, товары и услуги и прочие непосредственные изменения, полученные в результате реализации проекта, которые ведут к достижению итогов. Индикаторы микро-результатов — Количественные и/или качественные критерии для измерения прогресса в достижении микро-результатов.

Итоги

Первоочередные результаты, на достижение которых направлено вмешательство, чаще всего в сфере знаний, отношения или деятельности целевой группы. Индикаторы итогов — Количественные и/или качественные критерии для измерения прогресса в достижении итогов.

Деятельность

Набор заданий, которые необходимо выполнить для получения микро-результатов. Вклад/ресурсы — материалы и средства, необходимые для реализации деятельности.

Цель

Долгосрочный результат, на достижение которого направлено вмешательство и достижению которого могут способствовать факторы за рамками вашего вмешательства. Индикаторы произведенного воздействия — Количественные и/или качественные критерии для измерения прогресса в достижении Цели.

Проект начинается с постановки цели, а значит – с осмысления результата.

Перечислите, к каким конкретным, измеряемым и качественным, основным и сопутствующим результатам, приведет проект относительно цели проекта, какие услуги, товары предоставит проект Клиентам? Проанализируйте: почему планируемые результаты важны Клиентам, городскому сообществу? Насколько эти результаты отличаются от уже существующей текущей деятельности по качеству и эффективности? Как совокупность этих результатов приведет к достижению поставленной цели? Проанализируйте и систематизируйте показатели, на основе выделенных критериев качества результатов проекта

Критерии эффективности призваны:

• выражать действенность всех видов, форм и методов реализации проекта;

• отражать качество управленческой и содержательной деятельности.

Показатели социального развития личности (динамика уровня развития личности: не умел – научился, не знал – узнал; качество продуктов социально-творческой деятельности (поделки, рисунки, походы, акции).

Показатели социальной адаптации личности (снижение риска асоциальных явлений, повышение уровня социальной успешности участников, активность).

Показатели общественного мнения (популярность проекта, социально-профилактический эффект, заинтересованность социальных партнеров, отклик в средствах массовой информации).

Технологические показатели (уровень организации, четкость и эффективность управления, организационная культура участников).

Экономические показатели (соотношение затрат с социально-экономическим эффектом, привлечение дополнительных материально-технических ресурсов).

Вопросы для самопроверки:

o Связаны ли результаты проекта с указанными проблемами целевых групп?

o Возможно ли достичь указанных количественных и качественных результатов за период реализации проекта?

Преднамеренные положительные результаты являются основой социального планирования.

Планируйте, управляйте и измеряйте все, что вы делаете, сосредотачиваясь на результатах, которых вы хотите достичь.

ВАЖНО! Если измерить результат невозможно – это не результат! Утверждать, что результативность нельзя измерить, равносильно признанию, что проект не дает заметного эффекта.

Будьте внимательны при описании показателей, так как вам придётся отчитываться именно о результативности вашего проекта!

Источник

Как оценить результаты социально значимого проекта

Каким образом автору социального проекта оценить эффект от его деятельности? Как понять, какие изменения произошли в обществе? Вопросом оценки социальных проектов занимаются специалисты некоммерческой организации «Эволюция и филантропия» (ЭиФ). На основе экспертных исследований Теплица сделала обзор о том, какие показатели эффективности существуют и как ими пользоваться.

Эксперты убеждены: в основе любого проекта должен быть социальный результат, на который направлена его реализация. Исполнительный директор ЭиФ Ольга Евдокимова уверена, что начинать надо с планирования социального воздействия, разрабатывать теорию изменений, применять системный подход для достижения глубоких и масштабных социальных преобразований.

Достижение социальных результатов предполагает своеобразную цепочку, где важно каждое звено: ресурсы, конкретные действия, непосредственные результаты действий и собственно социальный результат.

Наталия Фреик, кандидат социологических наук, социолог, исследователь. Фото предоставлено автором.

«Большинство российских НКО единственной стратегией увеличения своего социального воздействия считают наращивание ресурсов (как увеличить объем финансовых и иных средств, расширить штат, офис) и увеличение объема своей деятельности («больше программ, проектов, мероприятий»), – отмечает социолог и исследователь Наталия Фреик. – Тем не менее НКО может добиться невероятных успехов за счет выбора оптимальной стратегии достижения своей миссии, повышения социально-экономической эффективности («больше результатов меньшими ресурсами»), улучшения качества своих программ или услуг для благополучателей».

Наиболее распространенные критерии оценки эффективности социальных проектов (по версии Натальи Фреик):

1. Масштаб деятельности НКО. Абсолютные количественные показатели, а также их динамика. Данные показатели достаточно легко поддаются измерению и оценке:

• количество благополучателей, подписчиков, волонтеров, участников мероприятий;
• количество проведенных мероприятий, обращений в НКО, оказанных услуг;
• объем привлеченных/распределенных финансовых и иных средств;
• продолжительность деятельности организации;
• количество филиалов/представительств организации; количество регионов деятельности НКО.

2. Репутация и PR. Эффективность деятельности многих НКО напрямую зависит от того, сколько людей знают про ее деятельность, – именно от эффективных коммуникаций зависит привлечение финансовых и иных пожертвований, волонтеров, повышение масштабов деятельности НКО.

Основными каналами коммуникаций являются сайт, социальные сети, СМИ, публичные мероприятия. Большинство НКО пользуются аналитическими инструментами оценки эффективности своей онлайн-работы (метрики Яндекс, Google, Facebook, опросы, формы обратной связи) и публичных мероприятий и акций. Критерии оценки эффективности зависят от поставленных целей:

• охват аудитории: количество подписчиков, статистика посещений, просмотров;
• уровень вовлеченности пользователей, виральность контента (число лайков, перепостов, продолжительность пребывания на сайте, отклики на рассылку);
• конверсия – совершение желаемых действий (например, пожертвований, увеличение количества звонков в фонд);
• увеличение трафика сайта и запросов после проведенных мероприятий и акций, рекламных объявлений;
• объем сэкономленных ресурсов НКО;
• количество публикаций с упоминанием НКО и сотрудников НКО в СМИ, количество обработанных журналистских запросов, пресс-конференций;
• мониторинг СМИ, оценка эффективности по количеству и качеству сообщений об организации.

3. Финансы и иные ресурсы. Эффективность фандрайзинга – один из ключевых критериев оценки деятельности НКО. В большей степени распространены абсолютные, количественные показатели:

• объем привлеченных ресурсов;
• количество предпринятых действий – проведенных фандрайзинговых акций, подключенных сервисов, установленных ящиков для пожертвования, подготовленных грантовых заявок, проданных сувениров.

В первую очередь речь идет о финансах, реже – о привлечении иных ресурсов (натуральной помощи, волонтеров). Тем не менее волонтеры – важный и отдельный ресурс для НКО. Это и способ снизить расходы НКО – дополнительные «руки», бесплатные профессиональные услуги (pro bono) и возможность более широкого распространения информации, повышения репутации НКО.

Для оценки волонтерского ресурса также преимущественно используются абсолютные критерии оценки эффективности:

• количество волонтеров, кураторов в месяц;
• количество новых/регулярных/активных волонтеров;
• количество мероприятий, проведенных с участием волонтеров.

Реже измеряется стоимость привлечения и обучения волонтера, его вклад в проект, в достижение социальных результатов.

4. Долгосрочные позитивные изменения . Формулировки конкретных результатов проекта в долгосрочной перспективе относятся к числу самых сложных и редких. Как именно изменится жизнь благополучателей в долгосрочной перспективе? Какие произойдут системные изменения, до какой степени снизится острота решаемой социальной проблемы благодаря данному конкретному проекту (а не просто «будет оказано содействие в решении проблемы»)?

В связи с этим редкими являются и соответствующие показатели эффективности.

1) Позитивные изменения в жизни благополучателей, участников проектов НКО: изменение моделей поведения, улучшение состояния здоровья, социально-экономического статуса.

2) Позитивные результаты для сообщества: изменение институциональных условий, общественного мнения, отношения к конкретной проблеме и ее решению.

• Законотворческая деятельность: количество подготовленных законопроектов и докладов, обжалованных законов, обращений в органы государственной власти и качество реагирования на них.
• Участие в экспертных, общественных советах, рабочих группах при органах власти, создание/участие в деятельности профессиональных сообществ, межрегиональных, междисциплинарных партнерских сетей. Пример показателя – количество таких структур, в которые входят представители НКО.
• Обучение и просвещение стейкхолдеров, от деятельности которых зависит системное решение проблемы.
• Поиск партнеров и объединение усилий для системного решения проблемы. Пример – количество новых партнеров, вовлеченных в решение проблемы.

3) Устойчивость результатов деятельности НКО после прекращения проекта, программы, оказания услуги.

Какие шаги нужно сделать, по мнению Наталии Фреик, чтобы повысить эффективность достижения социального результата.

1. Прежде всего, сформулируйте тот социальный результат, на который направлена миссия и деятельность проекта, НКО в целом (на русском языке достаточно много различных руководств , как это сделать).

2. Разработайте теорию изменений, цепочку достижения желаемого социального результата, определите ресурсы, необходимые действия (например, Теория изменений: общие рекомендации к применению (из опыта благотворительного фонда «Виктория» ) .

3. Определите, как вы будете оценивать степень достижения этого результата (например, изучите материал « Единая классификация результатов деятельности НКО »).

4. Используйте существующие инструменты и базы показателей, обменивайтесь опытом с коллегами. Изучите ресурс SocialValue , обращайтесь к профессиональным оценщикам, например, в Ассоциацию специалистов по оценке программ и политик , межотраслевое профессиональное объединение « Оценка программ в сфере детства ».

Готовые решения

Межотраслевое профессиональное объединение «Оценка программ в сфере детства» в апреле 2018 года представило первую версию стандарта доказательности практик в сфере детства , в котором сформулированы критерии оценки социального результата – позитивных изменений в жизни детей и их семей.

«Эволюция и филантропия» запустила онлайн-сервис для мониторинга, измерения и оценки программ в области социального сиротства «ПИОН» . Авторы уверены, что далеко не многие НКО умеют оценивать социальный эффект от своей деятельности, а это мешает им обрести финансовую устойчивость.

Сервис предлагает набор инструментов, который призван протестировать, сравнить различные социальные программы, выбрать подходящие показатели и инструменты сбора данных. Ресурс помогает социальным инвесторам (публичным институтам, частным лицам) и организациям с общественно значимыми целями измерять устойчивые результаты и управлять социальной эффективностью. Клиенты «ПИОН» составляют карту «социального эффекта» (impact), настраивают процессы сбора данных и анализируют результаты.

Редакция Теплицы советует изучить рекомендации по оценке социально-экономической эффективности социальных программ , разработанной экспертами АНО «Эволюция и филантропия».

Источник