Модель оценки социального воздействия проекта
чем полезна эта страница
В этом разделе описана модель оценки проектов, поддержанных Фондом, которая учитывает вклад проекта в развитие территории и егосоответствие актуальной региональной повестке. Модель состоит из двух компонентов: построение уникального оценочного профиля и оценка проекта в соответствии с заявленными индикаторами социального воздействия.
Уникальный оценочный профиль (УОП)
Финансовая устойчивость проекта (устойчивость результатов проекта) 🛈
Увеличение доли собственного вклада в последующие проекты 🛈
Увеличение/снижение статистики по решаемой проблеме, на уровне региона 🛈 Например
Тиражирование на вторичную аудиторию 🛈
Территориальная согласованность. Проект решает проблему, имеющую высокую актуальность для региона 🛈 Например
Развитие и удержание кадрового потенциала региона 🛈
Формирование нового стандарта потребления социально-культурных услуг 🛈
Основные критерии
Дополнительные (гигиена оценки)
Наличие показателей для оценки эффективности проекта 🛈
Наличие системы сбора данных и контроля медиа-присутствия 🛈
Наличие доказательной базы используемой социальной
технологии 🛈
Наличие системы мониторинга 🛈
Индикаторы социального воздействия
Тематические направления / Индикаторы
Индикаторы социального воздействия
Тематические направления / Индикаторы
Общие индикаторы
Индикатор 19: Улучшение качества жизни и благополучия представителей целевых групп
Индикатор 20: Формирование сообщества
Индикатор 21: Укрепление связей и отношений между различными группами и организациями
Индикатор 22: Экологическая устойчивость
Применение современных
технологий планирования
Индикатор 17: Уровень эффективности и точности планирования благодаря применению современных технологий
Индикатор 18: Сокращение времени и затрат на планирование проекта или программы
Разработка и внедрение IT решений при подготовке кадров
Индикатор 11: Изменение в доступности ресурсов и возможностей для развития инноваций для местных предпринимателей и проектов
Индикатор 12: Изменение в уровне поддержки и сотрудничества между инновационными проектами и стартапами
Индикатор 13: Изменение в знаниях, навыках и компетенциях участников инновационных программ и акселераторов
Индикатор 14: Изменение в эффективности после обучения и акселерации
Индикатор 15: Изменение в уровне удовлетворенности и оценке качества образовательных программ с использованием IT решений
Формирование и сохранение культурного кода
Индикатор 6: Сохранение и продвижение культурного наследия
Индикатор 7: Внедрение креативных продуктов и новых форматов трансляции культурного наследия
Индикатор 8: Привлечение специалистов из ведущих учреждений культуры в области мультимедиа
Индикатор 9: Уровень участия и вовлеченности сообщества в мероприятия по сохранению культурного кода
Индикатор 10: Сохранение и распространение уникального историко-культурного наследия
Индикатор 5: Вклад привлеченных профессионалов в развитие проекта или программы
Обучение и повышение квалификации местных специалистов / Привлечение профессионалов из других регионов:
Индикатор 1: Изменения в уровне образования и квалификации участников проекта по конкретной области знаний
Индикатор 2: Изменения в навыках и умениях участников для применения полученных знаний на практике
Индикатор 3: Изменения в доступе участников к новым возможностям и ресурсам
Индикатор 4: Изменения в уровне участия и активности участников в проекте или программе
Разработка и внедрение IT решений
в социальной сфере
Индикатор 16: Улучшение эффективности и доступности социальных услуг благодаря IT решениям Применение современных технологий планирования
Алгоритм формирования модели оценки проекта
[ ШАГ 1 ]
В рамках заполнения формы заявки на финансирование заявитель проводит оценку 🛈 своего проекта по 11 критериям уникального оценочного профиля
(7 основных, 4 дополнительных)
Пример заполнения
одного из основных критериев
Шкала
Тиражирование на вторичную аудиторию.
Очень низкая выраженность (1): Проект не предусматривает распространение знаний на вторичную аудиторию или не существует планов по распространению результатов проекта на широкий круг пользователей.

Низкая выраженность (2): Распространение знаний на вторичную аудиторию предполагается, но ограничено или не охватывает большую часть потенциальных пользователей.

Средняя выраженность (3): Проект включает некоторые меры по распространению знаний на вторичную аудиторию, но планы или схемы распространения не являются комплексными или широкомасштабными.

Высокая выраженность (4): Проект предполагает распространение знаний на вторичную аудиторию с применением широкого спектра методов и каналов, позволяющих достичь большего числа пользователей.

Очень высокая выраженность (5): Проект разработан с учетом активного и масштабного распространения знаний на вторичную аудиторию, обеспечивая доступность и привлекательность результатов для широкого круга пользователей без дополнительных усилий или с минимальными затратами.
Критерий
Оценка
5
Развернутое обоснование оценки
Вторичная целевая аудитория задействована в проекте в качестве зрителя и посетителей концертных мероприятий, театральных и хореографических постановок, а также в качестве участника открытых мастер-классов.

Показатель 1.
Количество мероприятий (концерты, выставки):
2023 год – 97

В новом проекте планируется увеличение мероприятий, направленных на первичную и вторичную целевую аудиторию на 120% в сравнении с периодом 2023 года.

Показатель 2.
количество посетителей мероприятий:
2023 – 5006 чел

При успешной реализации проекта плановым показателем количества охвата в год вторичной целевой аудитории является показатель 5450 человек.

Для достижения данного показателя и его достоверности командой проекта используются каналы распространения информации о предстоящих событиях (СМИ, социальные сети, афиши на информационных досках); создано сообщество в мессенджере Telegram, куда приглашены потенциальные посетители, участники проекта, иные лица (на данный момент в чате состоят 256 участников); расширение направлений мероприятий;
децентрализация мероприятий – перемещение данного вида услуг на различные площадки города Норильска и Дудинки, что ведет к приросту количества посетителей.

Увеличение охвата вторичной аудитории также предусматривается проведением доступных мастер-классов от привлеченных специалистов для заинтересованных горожан.

Учитывая опыт реализации предыдущего проекта, произведенный анализ роста количества посетителей, вовлечения вторичной аудитории в проект, проведя предварительный анализ экономической выгоды тиражирования, команда оценивает данный критерий с баллом 5.
[ ШАГ 2 ]
Является обязательным соблюдение условий по группе дополнительных критериев УОП (критерии с 8 по 11) 🛈
алгоритм действий по изменению низкой оценки (1−2балла) по дополнительным критериям
В случае одобрения заявки: на основании выставленных при заполнении заявки показателей фонд формирует модель оценки для проекта
[ модель включает ]
[ ШАГ 3 ]
Перечень критериев УОП
для оценки проекта 🛈
Описание требуемых действий
для оценки заявленных критериев
[ ШАГ 4 ]
Перечень индикаторов для оценки заявленного социального воздействия проекта
Наборы индикаторов
социального воздействия
Выбор периодичности практик мониторинга зависит от продолжительности и характера проекта. Обязательна как минимум одна промежуточная оценка. Сроки промежуточной отчетности устанавливаются Договором пожертвования.
В ходе реализации проекта команда собирает данные по указанным критериям УОП и индикаторам социального воздействия. 🛈
По каждому индикатору в отчёт собираются два типа данных: Медианная оценка и Набор историй изменений
Посмотреть процедуру проведения оценки воздействия проекта в соответствии с разработанной системой индикаторов можно тут:
Рекомендации по формированию выборки
Для проектов, в которых предусмотрен личный контакт с благополучателями, рекомендации по выборке для проведения опросов следующие:
  • Если проект имеет небольшое количество бенефициаров (например, до 100 человек), рекомендуется опросить как можно большую долю, например, 80% или более. Это позволит получить широкий спектр мнений и опыта различных бенефициаров. В таком случае следует использовать условную выборку (i) на основе различных критериев, таких как возраст, пол, тип помощи, чтобы охватить разнообразные мнения и опыт различных групп бенефициаров.
  • В случае, если проект имеет большее количество бенефициаров (например, свыше 1000 человек), опросить 10-15% или более от общего числа может дать достаточно представительную выборку. В таком случае следует использовать систематическую выборку, выбирая каждого n-го бенефициара из списка, чтобы упростить процесс исследования.
Для проектов с неадресной помощью, где бенефициары неопределенны, рекомендации по выборке интервью и опросов таковы:
  • Если проект охватывает большое количество людей, опросить всю аудиторию может быть затруднительно. В этом случае доля опрошенных может быть менее 5% от общего числа бенефициаров. Тем не менее, стоит стремиться к включению как можно большего числа представителей разных групп, то есть разнообразие условной выборки становится главным приоритетом.
  • Если существует возможность осуществить квотирование по месту жительства опрашиваемых, то это даёт сильное преимущество в части управления выборкой. Например, опросить равное количество людей в соответствии с районами города, это позволит несколько выровнять их неслучайное распределение.
Важно отметить разницу между первичными и вторичными благополучателями. Допустим, проект направлен на повышение профессиональных навыков специалистов, которые в свою очередь будут вести свою деятельность для других аудиторий. Тогда сами специалисты становятся первичной группой благополучателей, а те, с кем они работают, – вторичной. В опросах предлагается сфокусироваться на первичной группе благополучателей, которые непосредственно участвуют в проводимых мероприятиях.
Основные этапы проведения исследования
Для проектов, в которых предусмотрен личный контакт с благополучателями, рекомендации по выборке для проведения опросов следующие:
Исследовательский цикл включает в себя следующие этапы:
1. Составление гайда интервью или анкеты для опроса
2. Выбор точек входа в поле для мониторинга: это могут быть как онлайн-инструменты вроде чатов в мессенджерах и сообществ в социальных сетях, так и оффлайн вроде очных встреч с благополучателями
3. Проведение инструктажа для тех, кто будет проводить интервью или собирать анкеты: их нужно познакомить с целями исследования, а также основными принципами сбора данных:
  • Объясните цели исследования, почему это важно для НКО и какие результаты ожидаются.
  • Убедитесь, что интервьюеры понимают смысл вопросов и умеют корректно сформулировать их при общении с респондентами.
  • Подчеркните важность обеспечения анонимности и конфиденциальности данных.
  • Объясните, какие ответы следует записывать и как делать это (делать письменные заметки по ходу интервью или с помощью технических средств, если нужна аудиозапись для последующей расшифровки).
4. Сбор опросных данных.
5. Анализ данных: в отношении каждого индикатора предстоит подсчитать медианную оценку (i) изменений, а также выделить различные «истории изменения», то есть виды изменений в жизни людей, к которым привёл проект. Получается, что по каждому индикатору в итоговый отчёт собираются два типа данных: медианная оценка и набор историй изменения.
6. Интерпретация социально-демографических переменных лежит в нескольких плоскостях. Во-первых, они нужны для формирования выборки. Так мы узнаём, что уже опросили граждан пожилого возраста или людей с высшим образованием, и теперь нужны другие. Во-вторых, в соответствии с опросом можно узнать лучше своих благополучателей, их характеристики. В-третьих, важной информацией является то, как соотносятся социально-демографические характеристики и оценки значимости изменений. Например, чувство сообщества может быть важно для людей с одним доходом-полом-возрастом-образованием, а экология — для других. Так можно более чётко понимать свою целевую аудиторию.
Желательно провести триангуляцию собранных данных, то есть проверить выводы исследований через интервью с представителями не менее трех групп стейкхолдеров (например, благополучатели, их семьи, представители администрации, бизнеса, вовлеченные в проект и т. п.).
В качестве основы для опроса выступают протоколы оценки. В эти протоколы входят индикаторы, которые зависят от ожидаемых социальных результатов проекта.
Итоговая оценка после завершения проекта позволит оценить социальное воздействие и сформировать уроки для будущих проектов. Кроме того, периодические мониторинговые практики обеспечат своевременное выявление проблем и успехов, способствуя эффективному управлению и улучшению проекта в целом.
Процедура проведения протокола качественной оценки воздействия
Для проектов, в которых предусмотрен личный контакт с благополучателями, рекомендации по выборке для проведения опросов следующие:
В качестве основы для сбора данных от благополучателей предлагается использовать анкету в форме протокола качественной оценки воздействия. Её можно использовать для интервью (устного опроса) и для анкетирования (при помощи онлайн- или оффлайн-инструментов).
Протокол оценки воздействия индивидуального проекта
Пол
Возраст
Семейное положение
  • Холост(ая)
  • Замужем\Женат
  • Разведен(а)
Количество людей в домохозяйстве (считая Вас)
Материальное положение
  • Денег не хватает даже на продукты
  • На продукты денег хватает, но покупка одежды уже затруднительна
  • Денег хватает на продукты и одежду, но покупка холодильника, телевизора, мебели – для нас проблема
  • Мы можем без труда купить холодильник, телевизор, мебель, но на большее денег нет
  • Мы можем без труда купить автомобиль, но на большее – квартиру, дачу - денег нет
  • Мы можем позволить себе практически все
Наборы открытых вопросов и количественные шкалы субъективной оценки изменений в соответствии с выбранными индикаторами социального воздействия. Например, вопросы по общим индикаторам:
  • Какие конкретные изменения вы заметили в качестве жизни и благополучии представителей целевых групп после реализации проекта или программы?
  • Как вы оцениваете процесс формирования сообщества в рамках проекта или программы? Какие конкретные изменения вы заметили в связи с формированием сообщества? Какие конкретные примеры можно привести, показывающие формирование сообщества в рамках проекта или программы?
  • Какие изменения вы наблюдаете в укреплении связей и отношений между различными группами и организациями после реализации проекта или программы? Какие инициативы или мероприятия способствовали укреплению связей и отношений между различными группами и организациями?
  • Какие конкретные меры или практики, связанные с охраной природы, были реализованы в рамках проекта/программы? Какие положительные изменения произошли в экологической сфере на вашей территории после реализации проекта/программы?
Для дополнительных индикаторов формулируются новые вопросы по универсальной формуле: «Какие изменения произошли в области ??? Как Вы оцениваете вклад проведённого проекта в эти изменения? Как эти изменения касаются Вас?». Количественные шкалы для оценки изменений приводятся аналогично.
В случае, если указанные индикаторы не позволяют описать воздействие проекта, то список индикаторов можно расширить
Процедура дополнения индикаторов оценки социального воздействия
Далее: Заявитель проводит анализ и заполняет отчетные документы
Метрики, которые собраны и посчитаны в соответствии с уникальным оценочным профилем
Метрики по индикаторам, которые являются частью протокола качественной оценки
ОСТАЛИСЬ ВОПРОСЫ? СВЯЖИТЕСЬ С НАМИ!
НАПИСАТЬ НАМ
УЗНАТЬ БОЛЬШЕ О ФОНДЕ
НАШ НОРИЛЬСК
[ ПОДРОБНЕЕ ]