Модель оценки социального воздействия проекта
Краткое описание раздела
Уникальный оценочный профиль (УОП)
Развитие и удержание кадрового потенциала региона 🛈
Тиражирование на вторичную аудиторию 🛈
Финансовая устойчивость проекта (устойчивость результатов проекта) 🛈
Основные критерии
Увеличение доли собственного вклада в последующие проекты 🛈
Увеличение/снижение статистики по решаемой проблеме, на уровне региона 🛈 Например
Территориальная согласованность. Проект решает проблему, имеющую высокую актуальность для региона 🛈Например
Формирование нового стандарта потребления социально-культурных услуг 🛈
Наличие доказательной базы используемой социальной
технологии 🛈
Наличие показателей для оценки эффективности проекта 🛈
Дополнительные (гигиена оценки)
Наличие системы сбора данных и контроля медиа-присутствия 🛈
Наличие системы мониторинга 🛈
Индикаторы социального воздействия
Тематические направления / Индикаторы
Разработка и внедрение IT решений при подготовке кадров
Индикатор 11: Изменение в доступности ресурсов и возможностей для развития инноваций для местных предпринимателей и проектов
Индикатор 12: Изменение в уровне поддержки и сотрудничества между инновационными проектами и стартапами
Индикатор 13: Изменение в знаниях, навыках и компетенциях участников инновационных программ и акселераторов
Индикатор 14: Изменение в эффективности после обучения и акселерации
Индикатор 15: Изменение в уровне удовлетворенности и оценке качества образовательных программ с использованием IT решений
Формирование и сохранение культурного кода
Индикатор 6: Сохранение и продвижение культурного наследия
Индикатор 7: Внедрение креативных продуктов и новых форматов трансляции культурного наследия
Разработка и внедрение IT решений в социальной сфере
Индикатор 8: Привлечение специалистов из ведущих учреждений культуры в области мультимедиа
Индикатор 16: Улучшение эффективности и доступности социальных услуг благодаря IT решениям Применение современных технологий планирования
Индикатор 17: Уровень эффективности и точности планирования благодаря применению современных технологий
Индикатор 9: Уровень участия и вовлеченности сообщества в мероприятия по сохранению культурного кода
Индикатор 18: Сокращение времени и затрат на планирование проекта или программы
Индикатор 10: Сохранение и распространение уникального историко-культурного наследия
Общие индикаторы
Индикатор 19: Улучшение качества жизни и благополучия представителей целевых групп
Индикатор 20: Формирование сообщества
Индикатор 21: Укрепление связей и отношений между различными группами и организациями
Индикатор 22: Экологическая устойчивость
Индикатор 5: Вклад привлеченных профессионалов в развитие проекта или программы
Обучение и повышение квалификации местных специалистов / Привлечение профессионалов из других регионов:
Индикатор 1: Изменения в уровне образования и квалификации участников проекта по конкретной области знаний
Индикатор 2: Изменения в навыках и умениях участников для применения полученных знаний на практике
Индикатор 3: Изменения в доступе участников к новым возможностям и ресурсам
Индикатор 4: Изменения в уровне участия и активности участников в проекте или программе
Алгоритм формирования модели оценки проекта
В случае одобрения заявки: на основании выставленных при заполнении заявки показателей фонд формирует модель оценки для проекта. Модель включает:
В рамках заполнения формы заявки на финансирование заявитель проводит оценку (i) своего проекта по 11 критериям уникального оценочного профиля (7 основных, 4 дополнительных)
Пример заполнения одного из основных критериев
1
Перечень критериев УОП для оценки проекта 🛈
Описание требуемых действий для оценки заявленных критериев
3
Является обязательным соблюдение условий по группе дополнительных критериев УОП (критерии с 8 по 11) 🛈
Алгоритм действий по изменению низкой оценки по дополнительным критериям
2
4
Перечень индикаторов для оценки заявленного социального воздействия проекта
Наборы индикаторов социального воздействия
Алгоритм действий по изменению: оценки 1-2
Наличие доказательной базы используемой социальной технологии
Если проект реализуется впервые, не имеет опыта апробации и внедрения, рекомендуется:
- Проведение кабинетного исследования, основанного в том числе на научных и иных источниках данных. Цель - доказательно сформировать видение, каких результатов можно ожидать при реализации данного проекта, использования заложенной в ней социальной технологии.
- Проведение опроса стейкхолдеров, потенциальных благополучателей. Цель - выявление потенциальных угроз, сложностей и т.п., а также предварительная оценка характера и качества изменений.

Такой опрос обязателен, если благополучателями являются аудитории, имеющие ограничения в предоставлении обратной связи (например, дети, люди с ментальными нарушениями, ограничениями когнитивной сферы и т.п.)

Если проект был реализован ранее, но доказательная база несформирована, рекомендуется:
– проведение опроса не менее 3 групп стейкхолдеров, имевших
отношение к реализации проекта (представители проектной команды, благополучателей, финансирующей организации, партнерских организаций, государственных органов и т.п.). Цель опроса - ответ на вопрос о возможных «точках роста» проекта, его результатах и условиях получения этих результатов.
- Проведение кабинетного исследования, как и в первом случае
(первичной реализации проекта). Цель - создание доказательной базы используемой социальной технологии (практики), обоснование с точки зрения научных теорий и концепций результатов научных исследований в данной области, а также на основании мнений и опыта благополучателей.
Наличие системы мониторинга
Обязательное условие реализации проекта - регулярный и систематический сбор данных о ходе его реализации (количественная оценка), охвате, количестве и так далее, в том числе: - ведение проектной статистики (обращений, количества оказанных услуг, посетителей, мероприятий и т.п.) - сбор обратной связи (анкетирование, интервью)
Наличие показателей для оценки эффективности проекта
Обязательное условие реализации проекта - наличие показателей для оценки эффективности проекта по ряду критериев (качественная оценка), которые либо выбираются из заданного списка, либо формулируются проектной командой самостоятельно, по предложенной методологии.
Наличие системы сбора данных и контроля медиа-присутствия
Для соответствия данному критерию требуется отдельная постановка задачи для проектной команды: - с определенной регулярностью осуществлять мониторинг присутствия проекта в традиционных и социальных СМИ (что о нем пишут, говорят, как журналисты, общественность, так и благополучатели). Данные регулярно собираются любыми доступными для проектной команды инструментами (например, в поисковых системах), анализируются, результаты анализа оперативно учитываются в дальнейшем взаимодействии со СМИ.
Критерий
Алгоритм действий по измерению: оценки 3-5
Развитие и удержание кадрового потенциала региона.
Оценка динамики ротации персонала в организацияхучастниках проекта (учитывать причины увольнения, на борьбу с которыми направлен проект). Снижение численности уволившихся в процессе проекта и после него можно монетизировать через формулу: дельта по уволившимся сотрудникам Х стоимость найма 1 сотрудника в регионе.
Критерий
Оцениваемые показатели
1. Коэффициент текучести кадров = (Количество сотрудников, покинувших компанию за период/ среднее количество сотрудников за указанный период времени) х 100%.
2. Отток кадров = число уволившихся за период по причинам, на снижение которых направлен проект. Оцениваемые периоды: период работы проекта, аналогичный период по месяцам до старта проекта, аналогичный период по месяцам после окончания проекта. Показатели в период проекта и после должны показать снижение.
3. Монетизация удержания персонала = (Отток до старта проекта — Отток в период проекта) х стоимость найма 1 сотрудника в регионе.
Формирование нового стандарта потребления социально-культурных услуг.


Оценка изменения выручи/прибыли до, во время и после проекта (данные по проданным билетам на мероприятия, видам и стоимости предоставленных социальных услуг). Для анализа берем сопоставимые данные из бухгалтерского учета.
Тиражирование на вторичную аудиторию.
Показатель 1: Оценка количества обученных во вторичной аудитории умножением на стоимость обучения одного участника в рамках реализации проекта.

Показатель 2: Оценка в затратах/выгодах между базовым проектом и его последующим воспроизведением.
Финансовая устойчивость проекта (устойчивость результатов проекта)
Оценка динамики предоставленных услуг по окончании проектного финансирования
1. Средняя выручка руб./мес. на период работы проекта, аналогичный период по месяцам до старта проекта, аналогичный период по месяцам после окончания проекта.
2. Средняя чистая прибыль руб./мес. на период работы проекта, аналогичный период по месяцам до старта проекта, аналогичный период по месяцам после окончания проекта. Показатели в период проекта и после должны показать рост.
1. Численный охват вторичной аудитории (количество человек, получивших новые знания/навыки от участников проекта).
2. Стоимость обучения одного участника первичной (вторичной) аудитории = затраты на обучающие мероприятия / количество обученных. Берем сопоставимый комплекс обучения первичной и вторичной аудитории. В расчет включаются и собственные средства компании, и грантовые средства. Стоимость обучения одного участника вторичной аудитории должна быть ниже стоимости первичного обучения.
3. Абсолютная разница в стоимости обучения одного участника = стоимость одного участника первичной аудитории – стоимость одного участника вторичной аудитории.
4. Относительная разница в обучении = (стоимость одного участника первичной аудитории / стоимость одного участника вторичной аудитории – 1) × 100%.
5. Экономическая выгода тиражирования = абсолютная разница в стоимости обучения одного участника × количество участников вторичной аудитории. 6. Количество подтвержденных репликаций моделей, созданных в проекте, на базе других организаций. При возможности получения данных по воспроизводству (репликации) модели, запущенной проектом в рамках гранта, в сторонней организации (по публикуемым материалам или при консультировании) оцениваем релевантные показатели сторонней организации (монетизация удержания персонала, изменение выручки, прибыли, экономическая выгода от трансляции обучения на третичную аудиторию). Суммарный объем эффектов сторонней организации является частью экономической выгоды начального проекта.
Количество предоставленных услуг, сумма выручки от предоставленных услуг. Оцениваемые периоды: период работы проекта, аналогичный период по месяцам до старта проекта, аналогичный период по месяцам после окончания проекта. Показатели после окончания финансирования проекта не должны показать снижение.
Увеличение доли собственного вклада в последующие проекты.
Увеличение/снижение статистики по решаемой проблеме, на уровне региона.
Оценка динамики муниципальной статистики (выбранные показатели, на которые направлен проект). Монетизация прироста/снижения показателей
Указывается конкретный показатель, на который направлено действие проекта, по которому ведется статистический учет. Сравниваются показатели до, во время и после проекта. Динамика должна отражать направленность проекта – снижать негативные показатели, увеличивать позитивные показатели
Территориальная согласованность
Оценка охвата аудитории, охваченной социальной технологией, направленной на решение актуальной для региона проблемы/проблем
Оценка динамики доли собственного вклада организации в каждом последующем проекте
Количество людей, охваченных социальной технологией, направленной на решение актуальной для региона проблемы/проблем – вовлеченных в решение актуальной региональной проблемы
1.Доля собственного вклада в денежном эквиваленте при заявке на стартовый проект, доля собственного вклада в денежном эквиваленте на последующие проекты. Динамика должна показывать рост от проекта к проекту.
2.Формирование собственного резерва на развитие проекта после окончания финансирования (документальное подтверждение, если готовы предоставлять данные). Резерв может выражаться в деньгах и денежном выражении созданных новых активов (помещения, оборудование и т.п.).
Выбор периодичности практик мониторинга зависит от продолжительности и характера проекта. Обязательна как минимум одна промежуточная оценка. Сроки промежуточной отчетности устанавливаются Договором пожертвования.
В ходе реализации проекта команда собирает данные по указанным критериям УОП и индикаторам социального воздействия. 🛈
По каждому индикатору в отчёт собираются два типа данных:
  • Медианная оценка
  • Набор историй изменений
Процедура проведения оценки воздействия проекта в соответствии с разработанной системой индикаторов
Рекомендации по формированию выборки
Для проектов, в которых предусмотрен личный контакт с благополучателями, рекомендации по выборке для проведения опросов следующие:.
  • Если проект имеет небольшое количество бенефициаров (например, до 100 человек), рекомендуется опросить как можно большую долю, например, 80% или более. Это позволит получить широкий спектр мнений и опыта различных бенефициаров. В таком случае следует использовать условную выборку (i) на основе различных критериев, таких как возраст, пол, тип помощи, чтобы охватить разнообразные мнения и опыт различных групп бенефициаров.
  • В случае, если проект имеет большее количество бенефициаров (например, свыше 1000 человек), опросить 10-15% или более от общего числа может дать достаточно представительную выборку. В таком случае следует использовать систематическую выборку, выбирая каждого n-го бенефициара из списка, чтобы упростить процесс исследования.
Для проектов с неадресной помощью, где бенефициары неопределенны, рекомендации по выборке интервью и опросов таковы:
  • Если проект охватывает большое количество людей, опросить всю аудиторию может быть затруднительно. В этом случае доля опрошенных может быть менее 5% от общего числа бенефициаров. Тем не менее, стоит стремиться к включению как можно большего числа представителей разных групп, то есть разнообразие условной выборки становится главным приоритетом.
  • Если существует возможность осуществить квотирование по месту жительства опрашиваемых, то это даёт сильное преимущество в части управления выборкой. Например, опросить равное количество людей в соответствии с районами города, это позволит несколько выровнять их неслучайное распределение.
Важно отметить разницу между первичными и вторичными благополучателями. Допустим, проект направлен на повышение профессиональных навыков специалистов, которые в свою очередь будут вести свою деятельность для других аудиторий. Тогда сами специалисты становятся первичной группой благополучателей, а те, с кем они работают, – вторичной. В опросах предлагается сфокусироваться на первичной группе благополучателей, которые непосредственно участвуют в проводимых мероприятиях.
Основные этапы проведения исследования
Исследовательский цикл включает в себя следующие этапы:
1. Составление гайда интервью или анкеты для опроса
2. Выбор точек входа в поле для мониторинга: это могут быть как онлайн-инструменты вроде чатов в мессенджерах и сообществ в социальных сетях, так и оффлайн вроде очных встреч с благополучателями
3. Проведение инструктажа для тех, кто будет проводить интервью или собирать анкеты: их нужно познакомить с целями исследования, а также основными принципами сбора данных:
  • Объясните цели исследования, почему это важно для НКО и какие результаты ожидаются.
  • Убедитесь, что интервьюеры понимают смысл вопросов и умеют корректно сформулировать их при общении с респондентами.
  • Подчеркните важность обеспечения анонимности и конфиденциальности данных.
  • Объясните, какие ответы следует записывать и как делать это (делать письменные заметки по ходу интервью или с помощью технических средств, если нужна аудиозапись для последующей расшифровки).
4. Сбор опросных данных.
5. Анализ данных: в отношении каждого индикатора предстоит подсчитать медианную оценку (i) изменений, а также выделить различные «истории изменения», то есть виды изменений в жизни людей, к которым привёл проект. Получается, что по каждому индикатору в итоговый отчёт собираются два типа данных: медианная оценка и набор историй изменения.
6. Интерпретация социально-демографических переменных лежит в нескольких плоскостях. Во-первых, они нужны для формирования выборки. Так мы узнаём, что уже опросили граждан пожилого возраста или людей с высшим образованием, и теперь нужны другие. Во-вторых, в соответствии с опросом можно узнать лучше своих благополучателей, их характеристики. В-третьих, важной информацией является то, как соотносятся социально-демографические характеристики и оценки значимости изменений. Например, чувство сообщества может быть важно для людей с одним доходом-полом-возрастом-образованием, а экология – для других. Так можно более чётко понимать свою целевую аудиторию.
Желательно провести триангуляцию собранных данных, то есть проверить выводы исследований через интервью с представителями не менее трех групп стейкхолдеров (например, благополучатели, их семьи, представители администрации, бизнеса, вовлеченные в проект и т.п.).
В качестве основы для опроса выступают протоколы оценки. В эти протоколы входят индикаторы, которые зависят от ожидаемых социальных результатов проекта.
Итоговая оценка после завершения проекта позволит оценить социальное воздействие и сформировать уроки для будущих проектов. Кроме того, периодические мониторинговые практики обеспечат своевременное выявление проблем и успехов, способствуя эффективному управлению и улучшению проекта в целом.
Процедура проведения протокола качественной оценки воздействия
В качестве основы для сбора данных от благополучателей предлагается использовать анкету в форме протокола качественной оценки воздействия. Её можно использовать для интервью (устного опроса) и для анкетирования (при помощи онлайн- или оффлайн-инструментов).
Протокол оценки воздействия индивидуального проекта
Пол
Возраст
Семейное положение
  • Холост(ая)
  • Замужем\Женат
  • Разведен(а)
Количество людей в домохозяйстве (считая Вас)
Материальное положение
  • Денег не хватает даже на продукты
  • На продукты денег хватает, но покупка одежды уже затруднительна
  • Денег хватает на продукты и одежду, но покупка холодильника, телевизора, мебели – для нас проблема
  • Мы можем без труда купить холодильник, телевизор, мебель, но на большее денег нет
  • Мы можем без труда купить автомобиль, но на большее – квартиру, дачу - денег нет
  • Мы можем позволить себе практически все
Наборы открытых вопросов и количественные шкалы субъективной оценки изменений в соответствии с выбранными индикаторами социального воздействия. Например, вопросы по общим индикаторам:
  • Какие конкретные изменения вы заметили в качестве жизни и благополучии представителей социально уязвимых групп после реализации проекта или программы?
  • Как вы оцениваете процесс формирования сообщества в рамках проекта или программы? Какие конкретные изменения вы заметили в связи с формированием сообщества? Какие конкретные примеры можно привести, показывающие формирование сообщества в рамках проекта или программы?
  • Какие изменения вы наблюдаете в укреплении связей и отношений между различными группами и организациями после реализации проекта или программы? Какие инициативы или мероприятия способствовали укреплению связей и отношений между различными группами и организациями?
  • Какие конкретные меры или практики, связанные с охраной природы, были реализованы в рамках проекта/программы? Какие положительные изменения произошли в экологической сфере на вашей территории после реализации проекта/программы?
Для дополнительных индикаторов формулируются новые вопросы по универсальной формуле: «Какие изменения произошли в области …? Как Вы оцениваете вклад проведённого проекта в эти изменения? Как эти изменения касаются Вас?». Количественные шкалы для оценки изменений приводятся аналогично.
В случае, если указанные индикаторы не позволяют описать воздействие проекта, то список индикаторов можно расширить.
Процедура дополнения индикаторов оценки социального воздействия
Заявитель проводит анализ и заполняет отчетные документы
Метрики, которые собраны и посчитаны в соответствии с уникальным оценочным профилем
Метрики по индикаторам, которые являются частью протокола качественной оценки
посмотреть