Как оценивают социальные эффекты проектов: системы и методики
Работа стала интереснее, изменился круг общения
В этом году в фонде «Искусство, наука и спорт» оценили социальные эффекты, которые на жителей небольших городов оказал проект «Культурная афиша». Его задача – улучшить культурную жизнь и дать людям возможности для качественного досуга.
«Это комплексный проект – гастроли творческих коллективов, поддержка театральных и музыкальных коллективов, фестивали, развитие музеев и выставочная деятельность, развитие местных культурных сообществ – все это в том числе развивает насмотренность жителей», – говорит руководитель проекта Ирина Муштатова.
В 2022 году гастроли, организованные фондом, посетили более 18 тысяч зрителей, фестивали – еще 9 тысяч. Но цифры, отмечает Муштатова, не показывают, как именно проект влияет на жизни людей, в то время как оценка помогает придать проектам «качественный окрас».
Систему оценки фонд разработал вместе с фондом «Культура благотворительности». Задача была – не просто придумать методику, но дать возможность использовать ее руководителям проектов и людям, которые реализуют проекты на местах.
«Методика помогает оценить, какие положительные, отрицательные или незапланированные результаты дает наша деятельность в регионе. Главный вопрос – не что сделали мы, а как изменилась жизнь участников наших проектов», – объясняет Муштатова.
Опросы, которые касались проекта «Культурная афиша», проводили в конце 2022-начале 2023 года онлайн и очно – с помощью волонтеров на местах. Виды исследований и периодичность опросов отличались: например, зрителей опрашивали несколько раз в год, во время гастролей, а участников – сразу после фестиваля и через год.
Сначала анализировали респондентов: пол, возраст, наличие детей, город проживания. После – оценивали вовлеченность человека в культурную жизнь города. Больше половины (63%) ответили, что активно посещают культурные события, 71% сказали, что с появлением мероприятий фонда культурная жизнь в городе «значительно улучшилась».
Потом – вопросы о культуре в целом: качество досуга, возможность провести время с семьей. Эти ответы дают сотрудникам фонда понимание общей картины. Затем исследователи собрали отзывы зрителей – «живая речь помогает сделать выводы для дальнейшего развития проектов», поясняет Муштатова.
Следующая группа респондентов – активные участники фестивалей, то есть люди, которые были задействованы в проектной деятельности. В персональных результатах многие отметили творческий рост и повышение своих профессиональных навыков: 71,4% респондентов создали свой проект.
«Мы видим, что наша деятельность подтолкнула людей к дальнейшему развитию. Многие отмечают, что без проекта у них не было бы возможности получить такие знания и навыки», – говорит Муштатова.
Среди самых важных изменений люди называли:
- возможность посетить выставки ведущих музеев страны (71%);
- улучшение качества культурного досуга (75%);
- улучшение качества культурного развития у детей (59%);
- изменение круга общения (37%).
Отдельно опросили представителей профессионального сообщества – сотрудников музеев города Железногорска Курской области, вовлеченных в проекты фонда. «В подготовке наших проектов были задействованы всего 20% сотрудников – мы бы хотели, чтобы эта цифра была больше», – говорит Муштатова.
Зато о росте профнавыков сообщили 80% сотрудников, еще 60% рассказали, что у них появились новые профессиональные связи, у 80% «работа стала интереснее». О том, что без проектов фонда они бы не получили таких знаний, заявили 80% опрошенных.
Обобщенные результаты исследований показали: 86,7% респондентов считают, что проекты фонда «положительно влияют на культурную жизнь их города», 70% — что помогают в профессиональном росте и развитии.
«Созданная система оценки помогает нам анализировать все, что происходит в городе в культурном смысле, и на основе этого решать, как мы можем улучшить свое положительное воздействие. Мне как руководителю проекта эти опросы помогают сделать выводы и менять вектор своей деятельности», – говорит Муштатова.
При этом, подчеркивает заместитель директора фонда «Искусство, наука и спорт» Николай Троцкий, результаты опросов не говорят, что надо корректировать цель и задачи проекта. Подкорректировать в проекте планируют только тактику. «Наша задача – учитывать в том числе небольшие показатели, которые наталкивают на мысли, что нужно поменять, чтобы повысить эффективность проекта», – говорит он.
Почему некоторые проекты живут долго: факторы успеха и риска
На той же секции «Оценка социокультурных проектов» Ирина Лапидус, директор программ Благотворительного фонда Владимира Потанина, рассказала об исследовании и картировании музейных проектов – победителей конкурсов «Меняющийся музей в меняющемся мире» и «Музейный гид» в 2005 – 2018 годах, которые они провели вместе с Ассоциацией менеджеров культуры.
Бывая в командировках, сотрудники фонда заметили, что довольно много проектов продолжают жить и развиваться даже после окончания поддержки фонда.
«Мы решили систематизировать проекты, которые прожили долгую жизнь после гранта, и понять, какие есть сценарии развития и какие факторы влияют на устойчивость проекта», – рассказывает Лапидус.
Методов исследования было несколько: анализ открытых источников, онлайн-анкетирование, глубинные интервью, блиц-опросы по телефону, включенное экспертное наблюдение. Всего в этих конкурсах было 259 грантополучателей, в опросе участвовала примерно половина – они рассказали о 80 проектах, которые получили поддержку фонда и продолжили развиваться после. Выяснилось, что 29 проектов прожили больше 10 лет; это стало неожиданностью для фонда, говорит Лапидус.
Регионами-лидерами оказались Москва и Московская область, Свердловская, Калининградская и Ярославская области, Пермский край. Среди победителей конкурса «Меняющийся музей в меняющемся мире» 44% проектов реализовывались региональными музеями, 19% – разными НКО. Такая же картина и среди финалистов «Музейного гида» – там тоже лидируют проекты — долгожители региональных музеев.
Говоря об эффекте, который дало участие в конкурсах фонда, респонденты в первую очередь отмечали:
- новые аудитории и форматы;
- переосмысление наследия;
- продвижения музея/проекта;
- исследование и развитие коллекции;
- партнерские связи;
- развитие территории.
«Результаты исследования подтвердили нашу теорию о том, что развитие проекта – человекоцентрично. Если человек остается в организации и у него есть не только мотивация, но и содержательный и административный ресурс, чтобы поддерживать эту тему, у проекта больше шансов на долгую жизнь»,– говорит Лапидус.
Исследователи выяснили, что проект более устойчив, если:
- ориентирован на идею, которая выводит музей на новые горизонты, а не воспроизводит его типовую деятельность;
- встроен в стратегию развития и влияет на деятельность организации в целом;
- сфоркусирован на перспективах и масштабировании;
- в проекте существенно влияние автора, и он продолжает участвовать в развитии.
Из мешающих факторов – нехватка денег, слишком сильная персонализация автора, проект не описан как кейс и не отрефлексирован в музейном сообществе, у команды нет компетенций для продвижения, недостаток кадров.
Проанализировав результаты, фонд запустил новый конкурс #фондпотанина25 – участвовать в нем могут сотрудники организаций – выпускников одной или нескольких программ фонда, в том числе уже закрытых, или организаций, которые могут подтвердить правопреемственность результатов ранее поддержанных фондом проектов.
Сообщение Как оценивают социальные эффекты проектов: системы и методики появились сначала на Агентство социальной информации.