Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)
Редакция журнала «Позитивные изменения»
Обсуждению вопросов, связанных с такой важной, интересной, и еще только зарождающейся областью профессиональной деятельности – оценки социальных проектов и программ – посвящен первый выпуск 2023 года журнала «Позитивные изменения». Мы пригласили ведущих российских и зарубежных экспертов к обсуждению широкого спектра вопросов – о методах, видах оценки, об импакте самой профессии, а также о том, является ли вообще оценка проектов и программ областью профессиональной деятельности. Нам кажется, что оценка – это во многом про осознанность и ответственность. Если даже взмах крыла бабочки способен вызвать изменения на соседних континентах, что уж говорить о целенаправленной деятельности. Оценка – про то, что ты всегда включен в систему отношений с людьми и природой и влияешь на нее, вплоть до масштабов всей планеты. И каждый человек, а тем более проектная команда, способны внести позитивные изменения в жизни не только благополучателей, но и сообществ, а также общества и мира в целом.
Редакция журнала "Позитивные изменения"
Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)
От редакции
Когда заходит речь об оценке социального воздействия проектов и программ – в бизнесе или некоммерческом секторе – возникает вопрос о том, кто же те «судьи», готовые определить, какой проект действительно меняет этот мир, а какой дает ложные надежды на такие изменения. И что это должны быть за специалисты, если им удается находить ответы на такие сложные вопросы?
Сфера оценки социальных проектов и программ в разных ее проявлениях – в виде экспертной или эмпирической, оценки непосредственных результатов или оценки импакта, основанной на выявлении причинно-следственных связей или определении вклада проекта в изменение жизни благополучателей, и многих других – объединяет широкий круг специалистов. Наборы диагностических инструментов таких специалистов часто индивидуальны и сильно отличаются: от «разговора по душам» до сложных методов эконометрического моделирования. Да и названия у этих специалистов тоже разные – это аналитики, социологи, психологи, методисты, независимые консультанты и многие другие. Объединяет это сложноорганизованное сообщество идея того, что «проектная рефлексия», направленная на вынесение суждений об эффективности, устойчивости и адекватности проекта или программы, является важным элементом в реализации проектной деятельности, способным значимо ее улучшить.
Обсуждению вопросов, связанных с такой важной, интересной, и еще только зарождающейся областью профессиональной деятельности – оценки социальных проектов и программ – посвящен первый выпуск 2023 года журнала «Позитивные изменения». Мы пригласили ведущих российских и зарубежных экспертов к обсуждению широкого спектра вопросов – о методах, видах оценки, об импакте самой профессии, а также о том, является ли вообще оценка проектов и программ областью профессиональной деятельности.
Нам кажется, что оценка – это во многом про осознанность и ответственность. Если даже взмах крыла бабочки способен вызвать изменения на соседних континентах, что уж говорить о целенаправленной деятельности. Оценка – про то, что ты всегда включен в систему отношений с людьми и природой и влияешь на нее, вплоть до масштабов всей планеты. И каждый человек, а тем более проектная команда, способны внести позитивные изменения в жизни не только благополучателей, но и сообществ, а также общества и мира в целом.
From the Editor
When it comes to evaluating the social impact of projects and programs – be it in a commercial company or in the non-profit sector – one wonders who the “judges” are that are there to determine which project is truly changing the world and which one is merely providing false hope for such change. And what kind of training do they have to receive, to be able to find answers to such difficult questions?
The field of evaluation of social projects and programs, in its various manifestations – in the form of expert or empirical review, direct evaluation of the results or impact evaluation based on identifying causal relationships or determining the project’s contribution to changing the beneficiaries’ lives, and many others – brings together a wide range of specialists. These specialists often have highly customized and very diverse diagnostic toolkits: from informal “heart-to-heart” conversations to complex econometric modeling methods. These specialists also come under different names: analysts, sociologists, psychologists, methodologists, independent consultants, and many others. What unites this complexly organized community is the idea of “project reflection”, that is, making judgments about the effectiveness, sustainability, and adequacy of a project or program, which makes it an important element in implementing project activities, one that can meaningfully improve them.
The first issue of the Positive Changes Journal in 2023 is devoted to the discussion of issues related to an important, interesting, and still nascent area of professional activity – evaluation of social projects and programs. We invited leading Russian and foreign experts to talk on a wide range of questions – about methods, types of evaluation, the impact of the profession itself, and whether project and program evaluation is even an actual area of professional activity.
It seems to us that evaluation is largely about awareness and responsibility. Even the flutter of a butterfly's wings can ultimately cause a typhoon halfway around the world, let alone targeted activity. Evaluation is about being permanently included in the relations with people and nature and influencing it, up to the scale of the whole planet. And every person, more so a project team, can bring a positive change not only in the lives of the beneficiaries, but also in the lives of communities, the society and the entire world.
Гость номера / Special Guest
«Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном
Майкл Куинн Пэттон – один из наиболее известных экспертов в мире в области оценки проектов и программ[1 - Здесь и далее под оценкой понимается «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Источник: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.]. В этой сфере он работает с 1970-х годов, когда оценка в некоммерческом секторе была относительно новым явлением. Доктор Пэттон – автор известных концепций оценки, которые используют специалисты по всему миру, обладатель нескольких международных премий за выдающийся вклад в развитие этой области, автор 18 книг по различным вопросам практического использования оценки[2 - Wikipedia. (2022). Michael Quinn Patton. Retrieved from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.]. В интервью главному редактору журнала Майкл Пэттон рассказал о взглядах на профессию оценщика[3 - Здесь и далее под оценщиком понимается специалист по оценке.], импакте профессии, трендах развития сферы оценки, «золотом стандарте» методологии проведения оценки, а также о том, какое будущее ждет эту сферу.
Майкл Пэттон
Наталья Гладких
к. психол. н., ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ
Какие наиболее значимые изменения в сфере оценки проектов и программ вы можете отметить за свой долгий путь в профессии?
Я уже больше 50 лет в оценке. За эти годы данная сфера стала очень разнообразной. Подобно тому, как существует множество программ, существует множество видов оценки. И самая сложная задача – согласовать их между собой.
Изменилось ли за это время восприятие профессии специалиста по оценке проектов и программ?
Я надеюсь, что в общественном восприятии эта область стала более профессиональной, ведь сейчас существует более 100 национальных организаций, таких как сообщество оценщиков в России, Европейская ассоциация оценщиков и другие. У них есть стандарты, программы обучения, публикации. По нашим данным, в мире сейчас насчитывается около 75 000 специалистов по оценке программ. Конечно, все это говорит о том, что сфера профессионализируется.
А изменились ли требования к специалистам по оценке?
Каковы сейчас требования к профессиональным оценщикам?
В большинстве стран отсутствует сертификация специалистов по оценке. В Канаде существует программа сертификации через Канадское общество оценки. В Новой Зеландии и Японии есть ряд сертификационных программ. Американская ассоциация оценки не имеет официальной программы сертификации.
Проверять квалификацию и определять, обладает ли оценщик необходимыми навыками, приходится тем, кто нанимает оценщиков.
Если брать пример Канады, есть ли в этой стране программа высшего образования (например, магистратуры) или это сертификация профессиональной ассоциации? Каков процесс получения сертификата?
Канадское общество оценки организует тренинги. Люди участвуют в них, завершают обучение, представляют примеры сделанных ими работ по оценке. Получая сертификат Канадского общества оценки, они становятся так называемыми сертифицированными оценщиками.
Не существует «золотого стандарта» оценки. Главное – это адаптивность, уместность, соответствие потребностям конкретной программы.
По вашему мнению, какой вариант лучше – сертификация или отсутствие сертификации, когда заказчик решает, является ли конкретный оценщик наилучшим специалистом для этого конкретного проекта?
Я думаю, что иметь сертификат полезно, потому что это позволяет людям, которые не очень глубоко разбираются в оценке, понимать, что перед ними человек, прошедший подготовку. Однако область оценки в США и в Европе настолько разнообразна, что до сих пор не удалось прийти к общему пониманию, в чем заключаются азы профессии. В Канаде смогли договориться о базовых понятиях, которые оценщик обязан знать, поэтому там возможна сертификация оценщиков. Маловероятно, что это случится в США, потому что там эта сфера слишком разнообразна.
Поговорим о методологии оценки. Произошли ли какие-то изменения в этой сфере?
Конечно. Появился искусственный интеллект (ИИ), большие данные и их источники. Пандемия принесла с собой большие перемены: благодаря онлайн-ресурсам стало возможным проводить интервью и фокус-группы онлайн. По-новому стали использоваться спутниковые снимки. Например, благодаря спутникам теперь не нужно ехать куда-то в поля, чтобы проверить, используется ли там новая сельскохозяйственная техника. Если мы хотим узнать, сколько детей находится в школе в развивающейся стране, опять же можно использовать спутниковые снимки.
Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.
Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?
Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.
Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность – это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.
Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?
Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.
Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?
Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу – насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.
Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.
Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?
К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам – с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.
Сегодня оценка – это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами.
Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?
Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.
А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.
Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка – это не только методики, но еще и межличностные отношения.
В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?
