Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.
Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.
То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.
Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.
В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?
Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.
В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.
Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.
Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.
Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?
Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.
Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.
Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.
В так называемом мире постправды или антинауки оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней.
Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?
Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц – мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи – это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?
Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.
Голубые фишки – это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.
Недооцененная акция – это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации – это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.
Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.
Теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями.
У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке – если опять же, исходить из концепции оценки, ориентированной на использование.
Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.
Здесь много о чем нужно договариваться и многое адаптировать, даже при общем критерии инвестирования в социальные проекты. Еще нужно определить, что означает инвестирование в социальные проекты и эффективность таких инвестиций в конкретной ситуации. И здесь как раз нужна оценка с упором на использование, потому что она обеспечивает диалог с клиентами и помогает им сформулировать сроки, критерии, степень риска, которую они готовы принять, и требуемый уровень отдачи инвестиций.
Использование логики оценки финансовых инструментов помогает инвесторам социальных проектов понять логику оценки программ.
Следующий вопрос касается теории трансформации. В чем разница между предложенным вами термином «теория трансформации» и теорией изменений?
Отличный вопрос. Идею теории изменений предложила в 1995 году социолог Кэрол Вайс, которая наблюдала, как фонды начали реализовывать программы, не зная, какие данные об эффективности показывали исследования. Они не знали о достижениях социальных наук, о том, как бороться с бедностью или с наркозависимостью.
Теперь мы перешли к попыткам изменить целые системы (климатические, сельскохозяйственные, продовольственные, здравоохранения). Когда вы начинаете изменять систему, вы выходите за рамки одного конкретного проекта.
Теория изменений рассматривает индивидуальный проект или программу, а теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Например, в кампании по борьбе с курением не одна теория изменений. Вам нужно просвещать людей о вреде курения, работать с рекламой и маркетингом, со здравоохранением. Вам нужны нормативно-правовые акты и стимулирующие меры, активная работа с производителями табачной продукции, с молодежью, с пожилыми людьми.
Существует много разных подходов к борьбе с курением, каждый из которых имеет собственную теорию изменений, а теория трансформации пытается интегрировать все эти разные теории изменений, чтобы добиться общего системного воздействия.
Мне кажется, это касается и концепции Blue Marble[4 - The Blue Marble – фотография планеты Земля, сделанная 7 декабря 1972 года экипажем космического корабля «Аполлон-17» с расстояния примерно в 29 тыс. км от поверхности Земли. Для астронавтов Земля имела размер и вид голубого марбла (игрушки, обычно представляющей собой цветной стеклянный шарик).], над которой вы сейчас работаете. Не могли бы вы кратко описать основные идеи этой концепции?
Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями. Например, на состояние сельского хозяйства в любой стране влияют изменение климата, мировые рынки, политика правительства, политика международных агентств, торговля, транспорт. Идея оценки Blue Marble заключается в том, что мы должны понимать не только то, что происходит в конкретной локальной программе, но и как на эту программу влияют глобальные и международные тенденции, например, пандемия или изменения климата.
Концепция оценки Blue Marble соединяет локальное с глобальным. В английском для этого есть слово «glocal», сочетающее слова «local» и «global», «локальный» и «глобальный». Оно означает поиск взаимодействий и взаимосвязей локального и глобального, таким образом наше понимание на глобальном уровне основано на понимании локальных процессов, а понимание происходящего на локальном уровне обусловлено пониманием глобальных тенденций.
Давайте поговорим о реализации этой концепции в практической работе оценщиков. Например, если оценщик решает использовать концепцию оценки Blue Marble в своей работе, с чего ему надо начинать?
Давайте в качестве примера снова возьмем инвестирование в социальные проекты. Для любой инвестиции в социальный проект важно рассмотреть конкретный проект, в который будут вкладываться средства, однако с точки зрения Blue Marble оценщики также должны знать, чем занимаются другие инвесторы социальных проектов. Что происходит в других странах? Каковы мировые тенденции в инвестировании в социальные проекты? Какие сети задействованы? Чем больше денег поступает в социальные проекты на глобальном уровне, тем важнее применять к каждому конкретному проекту глобальные тенденции и шаблоны.
Работа оценщика в этом случае включает не только разработку оценки конкретного социального воздействия, но и знание глобального контекста, что происходит в других проектах оценки социального воздействия, чему можно у них научиться, какие там показатели, как это связано с целями устойчивого развития. Например, связана ли конкретная инвестиция в социальный проект с одной целью устойчивого развития или несколькими целями устойчивого развития? Конкретно это означает, что оценщику необходимо научиться помещать отдельный проект в широкий глобальный контекст.
Есть ли у вас руководство или список вопросов, которые специалист по оценке должен задать? Например, чтобы не забыть про климат и другие глобальные вопросы.
Да, такой список вопросов есть. Как вы предположили, первая часть вопросов относится к климату – как проект соотносится с устойчивым развитием, восстановлением, смягчением последствий изменения климата? Потому что мы находимся в чрезвычайной климатической ситуации, и любые наши действия могут оказать на нее влияние.
Еще одна группа вопросов касается социальной справедливости, потому что разрыв между богатыми и бедными людьми, между более богатыми и более бедными странами не прекращает увеличиваться. Есть этический критерий – как конкретный проект поддерживает гендерное и социально-экономическое равенство, расовую справедливость. Таким образом, вопросы социальной справедливости и равенства и вопросы воздействия на изменение климата стали универсальными, они должны учитываться во всех оценках программ.
Мой последний вопрос – о будущем. Если попытаться заглянуть в ближайшее будущее оценки программ, какие изменения мы можем ожидать?
Я думаю, будет больше сетей оценщиков, обменивающихся данными и коммуницирующих друг с другом, потому что мы занимаемся системными изменениями. Например, я работаю с Глобальным альянсом за будущее продовольствия, это 30 благотворительных фондов на 4 континентах. Это фонды из Северной Америки, Европы, Южной Америки и Азии.
Для решения глобальных проблем и отслеживания системных изменений требуется совместная работа команды оценщиков из разных стран, говорящих на разных языках и имеющих разные методологические навыки. В прошлом году я с командой оценщиков Blue Marble участвовал в оценке Саммита ООН по продовольственным системам.
Сейчас я работаю с новой академией международной оценки, и у нас есть участники из всех стран мира, я вхожу в российское общество оценщиков и оказываю содействие Международной организации по сотрудничеству и оценке. Международные и глобальные сети и группы оценщиков станут частью нашего будущего.
“If You Use Evaluation You Make Better Decisions and Help People More.” Interview with Michael Patton
Michael Quinn Patton is one of the world’s most renowned experts in project and program evaluation[5 - Hereinafter, evaluation is understood as “the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/or inform decisions about future programming.” Source: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.]. He has been working in this field since the 1970s, when evaluation in the nonprofit sector was a relatively new phenomenon. Dr. Patton is the creator of well-known evaluation concepts that are used by specialists around the world. He received several international awards for outstanding contributions to the field, and he wrote 18 books on various issues related to practical use of evaluation[6 - Wikipedia. (2022). Michael Quinn Patton. Retrieved from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.]. In an interview with our Editor-in-Chief, Michael Patton shared his views on the profession of an evaluator[7 - Hereinafter, an evaluator is defined as an evaluation specialist.], the impact of the profession, trends in evaluation, the “gold standard” of evaluation methodology, and what the future holds for this field.
Michael Patton
Natalia Gladkikh
PhD in Psychology, Leading Expert Institute of Social and Economic Design at the Higher School of Economics
What are the most significant changes in project and program evaluation over your long professional journey?
I’ve been in evaluation for over 50 years. The field has grown very diverse in this time period. Just as there are many programs, there are many types of evaluation. And the most difficult task is to coordinate them with each other.
Has the perception of the profession of project and program evaluator changed during this time?
I hope that this area has become more professional in the public perception, because there are now more than 100 national organizations, such as the Association of Specialists in Program and Policy Evaluation in Russia, the European Association of Evaluators, etc. They have established standards, training programs, publications. According to our data, there are now about 75,000 program evaluators worldwide. Of course, all these facts suggest that the field is getting more professional.
Have the requirements to evaluators changed over time? What are the requirements to professional evaluators today?
Most countries do not certify evaluators. Canada has a certification program through the Canadian Evaluation Society. There are a number of certification programs in New Zealand and Japan.
The American Evaluation Association has no formal certification program. It is up to those who hire evaluators to verify their qualifications and determine if the evaluator has the necessary skills.
If we take Canada as an example, does this country have a higher education program (such as a master’s degree), or is it a certification program run by a professional association? What is the process for obtaining a certificate?
The Canadian Evaluation Society organizes trainings. People attend the trainings, complete the curriculum, and present examples of past evaluation work. By acquiring certification from the Canadian Evaluation Society, they become certified evaluators.
There is no “gold standard” for evaluation. The main challenge is adaptability, appropriateness, also the program needs are the key.
In your opinion, when a customer decides whether a particular evaluator is the best person for their particular project, which option is better – certification or no certification?
I think having a certificate helps, because it allows customers, who may not be very proficient in evaluation, to understand they are dealing with someone who has been trained. But the field of evaluation in the United States and in Europe is so diverse that it has not been possible so far to achieve a common understanding of the basics of this profession. In Canada, we were able to agree on the basic concepts that an evaluator must be familiar with, that is why certification is possible there. It is unlikely to happen in the U. S. because the field is too diverse there.
Let’s talk about evaluation methodology. Have there been any changes in this area?
Of course. Artificial intelligence (AI), big data and its sources have emerged. The pandemic brought forth great changes: online services have enabled conducting interviews and focus groups remotely. Satellite imagery has been used in new ways.
For example, thanks to satellites, it is no longer necessary to go somewhere in the field to check whether new agricultural equipment is being used there. If we want to know how many children attend a school in a developing country, we can use satellite imagery again.
Remote data collection, AI, big data, the Internet, and new data visualization techniques allow for better communication. It has become easier to distribute evaluation results thanks to the development of the Internet and social media, to find people to interview, to follow a person on social networks. All of these technological advances are making their way into the field of evaluation.
So many changes and so many possibilities. Does every evaluator need to be familiar with all these new products? What are the most important qualities and requirements for a good evaluator, and can we talk about the “gold standard” of an evaluator?
The way I see it, we have defined the “gold standard” as the ability to evaluate a program in the proper way, which meets the needs of that specific program. Methodologically, there is no “gold standard.” In any case, I do not believe that randomized controlled trials are better than other methodologies, because the program needs are the key, and because such phenomena as the pandemic, climate change, global political instability, growing numbers of refugees, famine and drought, the speed of change in the world around us, create the need for evaluation approaches that can adapt quickly to new conditions, similar to those caused by the pandemic.
