Методы экспертных оценок в управлении» как научно-прикладная дисциплина и ее проблемное поле

Сферы применения и профессионализация оценочной практики

Оценочная деятельность как инструмент управления во многих областях начала бурно развиваться в 1960–1970-х годах, прежде всего в США. Первый опыт оценок, связанный с управлением финансами и инвестиционными рисками, также принадлежит США и относится к периоду конца ХIХ–начала ХХ века. Это создание агентств и бюро по финансовым индексам (индекс Доу–Джонса, 1889 г.) и агентств по кредитным рейтингам (кредитный рейтинг Moody's был опубликован в 1909 г.)

В 30-х годах ХХ века специалисты социальной сферы, расширяя практику применения оценки социальных программ, способствовали тому, чтобы развивались методы и качество оценки. В частности, важной вехой стала оценка программы использования кипяченой воды среди сельских жителей Ближнего Востока.

После Второй мировой войны в США было введено множество новых программ (в сфере жилья, профессиональной подготовки, предотвращения подростковой преступности, психотерапевтической помощи, образования, организации и инициатив местных сообществ и международной помощи), и все они подверглись оценке. Начиная с 60-х годов практика оценки стала регулярной.

В сферу государственного управления, местного самоуправления и региональной политики институт оценки был привнесен из сферы корпоративного управления, где успех любой компании всецело определяется анализом эффективности (прибыльности) ее коммерческих проектов.

По мере усложнения и расширения задач, а также роста практической значимости экспертной деятельности, оценка проектов выделилась в самостоятельную междисциплинарную область знаний и профессиональной деятельности.

Принципы оценки программ и проектов принятые в международном сообществе оценщиков

Суть принципов оценки проектов и программ состоит в следующем:

1. Основой оценки программ может быть только точная и достоверная информация.

1.1. При проведении оценки следует придерживаться определенных технических стандартов, позволяющих получать точную и достоверную информацию о предмете оценки.

1.2. Необходимо информировать клиента о возможных подходах к проведению оценки, а также о преимуществах и ограничениях этих подходов

2. Исполнение работы по оценке должно быть компетентным.

2.1. Специалисты по оценке программ должны гарантировать, что они обладают достаточным образованием, знаниями и навыками для решения задач, возникающих при проведении оценки.

2.2. Специалистам по оценке программ следует действовать в пределах их профессиональной компетентности и отказываться от проведения оценки, выходящей за эти пределы.

3. Специалисты по оценке программ гарантируют честность и открытость всего процесса оценки.

3.1. На стадии заключения контракта следует обсудить с клиентами цели и задачи оценки, стоимость работ, методы сбора информации и порядок использования результатов оценки.

3.2. Если в ходе проведения оценки происходят события, которые могут повлиять на заключительные результаты работы, следует своевременно информировать об этом клиента и все заинтересованные стороны.

3.3. Следует обращать особое внимание на ситуации, которые могут привести к возникновению конфликта интересов, и своевременно информировать об этом клиентов.

4. Специалисты по оценке программ уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности.

4.1. Оценка может дать отрицательный результат для клиента или другой заинтересованной стороны. В таких случаях специалистам по оценке следует стремиться к минимизации вреда при условии, что этим не будет скомпрометирована честность оценочных заключений.

4.2. Необходимо тщательно взвешивать нужность проведения оценки в ситуациях, когда результаты оценки могут нанести вред отдельным людям или организациям.

4.3. Следует проводить работу и сообщать о ее результатах с уважением к каждому заинтересованному лицу. Информация для проведения оценки должна предоставляться добровольно. Люди, представляющие такую информацию, должны иметь полное представление о существующих рисках и о том, как будет использована предоставленная ими информация.

4.4. Специалисты по оценке программ ответственны за уважение особенностей людей, причастных к оценке. К таким особенностям относятся, в частности, культура, религия, пол, ограничение физических возможностей, возраст, сексуальная ориентация и этническое происхождение. Оценщики должны учитывать эти особенности на всех стадиях подготовки и проведения работ.

4.5. Необходимо строго соблюдать условия конфиденциальности, оговоренные в контракте с клиентом.

5. Специалисты по оценке имеют профессиональные обязанности, определяющиеся общественными интересами и общественным благом.

5.1. Если при постановке задачи на проведение оценки не принимаются во внимание отдельные значимые социальные факторы или мнения заинтересованных общественных групп, специалисты по оценке должны тщательно рассмотреть обоснованность такого подхода.

5.2. Во всех случаях специалистам по оценке следует стараться представить результаты оценки по возможности ясно и просто, чтобы клиенты и другие заинтересованные стороны могли легко понять процессы проведения и формулирования оценки.

5.3. Специалистам по оценке следует соблюдать баланс между нуждами клиента и прочими нуждами. Привлекаемые к оценке специалисты могут иметь особые отношения с клиентами, которые финансируют или заказывают оценку. В силу этих отношений специалист должен стремиться к удовлетворению законных нужд клиента. Тем не менее, такие отношения могут ставить оценщика перед трудными дилеммами в случаях, когда нужды и интересы клиента находятся в противоречии с другими интересами. Например, может случиться, что интересы клиента окажутся в противоречии с принципами достоверности информации, компетентности, объективности и уважения к людям. В подобных случаях специалистам по оценке следует обсудить конфликтную ситуацию с клиентом и другими заинтересованными сторонами и найти взаимоприемлемое решение.

Основные характеристики экспертных оценок: понятие, цели и задачи экспертных оценок

В общеупотребительном смысле «оценка» – суждение о ценности (стоимости или значении) и достоинствах объекта оценки. Говоря о МЭОц как об аналитической дисциплине, следует понимать ее как экспертизу программ и проектов (ПиП), направленную на анализ качества, произведенного эффекта на основе доступной информации, и сравнение этих результатов с другими подобными результатами по определенным количественным показателям. Таким образом, в задачи оценки входит не только суждение о программе или проекте, но и определение критериев суждения, по которым оцениваются достоинства, ценность, качество, эффективность, значение и практика реализации ПиП.

Сферы применения МЭОц разнообразны. Как уже отмечалось, сообщество оценщиков, принадлежащих к разным управленческим и аналитическим школам, пока не выработало единого терминологического поля по тематике мониторинга и оценки проектов и программ. Это объясняется несколькими причинами:

– разными механизмами общественного управления территорией и хозяйствующих субъектов;

– различным влиянием внешних факторов среды;

– долговременностью реализации проектов и программ, которая протекает в меняющихся политических и экономических условиях.

Поскольку пока нет способов и вариантов снятия данных различий, некорректно говорить о создании универсальной для всех объектов методики оценки. Будем вести речь о методах проведения оценки, использование которых приемлемо при соблюдении ряда общих принципов и логики оценочной деятельности. При оценке же конкретных программ и проектов выбирать задачи, параметры оценки и способы их измерения необходимо в каждом случае отдельно.

Предназначение МЭОц или их миссия состоит в том, чтобы выяснить, насколько успешна оцениваемая программа или проект. Но трудно ответить на вопрос «что есть успех?», поскольку критерии успешности могут быть самыми разными. Ведь известен и применим парадоксальный вариант «чем хуже, тем лучше». Все зависит от того, кто заинтересован в проведении оценки, какие результаты хочет получить заказчик и как он будет их использовать. Следовательно, цели и задачи, которые ставит перед собой оценщик в каждом конкретном случае, самые разные. Это вывод является одним из основополагающих при проведении оценок.

Общую же цель проведения оценки можно определить как содействие рациональному процессу управления по выбору целей и релевантных средств их достижения в конкретных обстоятельствах места и времени. В социально-управленческом контексте – это содействие эффективному социально-экономическому развитию через совершенствование процедур планирования и управления процессами социально-экономического развития. Внедрение устойчивой системы оценки позволяет обеспечить преемственность социально-экономической политики, сделать оценку стандартной, неотъемлемой процедурой в рамках системы управления.

В процессе достижения общей цели оценки решается целый ряд задач, набор которых может быть различным. Назовем следующие задачи:

– корректировка содержания программы – уточнение целей и задач, переориентирование программы на достижение реалистичных результатов и т. д.;

– активизация работы по выполнению программы – экспертиза эффективности организации по выполнению программы, вовлечение в работу новых исполнителей, повышение эффективности сбора данных, экспертиза дополнительных потребностей и пр.;

– анализ причин успехов и неудач в ходе выполнения программы;

– учет ошибок и недостатков программы при разработке других проектов;

– привлечение внимания общественности к программе;

– обеспечение текущего финансирования и привлечение дополнительного;

– информирование лиц и организаций, принимающих решение;

– анализ разногласий, возникающих среди исполнителей в ходе реализации программы.

Структура или дизайн оценки

Структура оценки, или дизайн оценки – это методическая основа оценочного проекта, которая формулируется в соответствии с его целями и задачами.

В оценочной практике различают несколько видов структур оценки:

Экспериментальная структура подразумевает использование групп сравнения: экспериментальной (включает благополучателей) и контрольной (из числа лиц или объектов, не являющихся благополучателями). Сопоставление индикаторов оценки в обеих группах проводится, как правило, до начала действия программы и после окончания ее реализации. Набор как контрольной, так и экспериментальной группы проводится на основе случайной выборки.

Использование экспериментальной структуры уместно, когда требуется «взвесить» влияние программы на ее объект или целевую аудиторию путем сравнения с другими объектами, оказавшимися вне поля воздействия программы, например для реализации городской программы социальной помощи, экспериментально выбран один микрорайон города. По завершении программы появляется возможность выяснить, появились ли качественные изменения благополучия горожан, для которых была разработана программа, по сравнению с теми, кто в программу не вошел.

Квазиэкспериментальная структура делает акцент на анализе динамических временных рядов, отражающих состояние объекта воздействия программы. Эта схема часто используется при оценке программ, нацеленных на предоставление общественных благ или улучшение социальной среды. Целевой аудиторией таких ПиП может быть все население города, и сформировать контрольную и экспериментальную группы невозможно, поскольку трудно отделить горожан, пользующихся общественными услугами, от тех, кто ими не пользуется.

Квазиэкспериментальная структура является наиболее эффективной для проверки причинно-следственных связей, однако существует важное условие ее применимости: наличие динамики данных по обеим группам сравнения до запуска программы.

Описательная структура используется в тех случаях, когда для оценки доступна только качественная информация или требуется быстрая экспертная оценка ситуации. Такая структура по сравнению с другими обладает как преимуществами – возможностью анализа качественной информации (мнения специалистов, реализующих программу, и благополучателей программы; анализ документации и т. д.), так и недостатками – незначительностью глубины исследования; погрешностями оценок, возрастающими из-за субъективности мнений.

Основные характеристики оценочной процедуры

Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования. При проведении маркетинговых исследований широко применяются экспертные оценки, основанные на суждениях менеджеров фирм, для которых проводится данное маркетинговое исследование, торговых и иных посредников и потребителей (покупателей). Менеджера просят дать по возможности точную оценку исходя из имеющейся у него информации, с указанием, например в форме вероятностных показателей, степени точности или его уверенности в своих оценках. В качестве экспертов на фирме чаще всего используют менеджеров, сотрудников сбытовых служб.

В тоже время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение.

Единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов.

Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, то есть, что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.

Оценочная процедура характеризуется через выделение её особенностей:

А) Определение мотива проведения оценки;

Б) Задание оценки (выяснение того, что интересует заказчика);

В) Выявление аспектов, которые будут подвергнуты целевому анализу;

Г) Выбор индикаторов оценки. Хороший индикатор должен обладать рядом признаков: измеряемость (показатель поддается количественному измерению в неизменных единицах); обоснованность (отражает то, что необходимо оценить); однозначность (имеет четкое общепринятое определение и единицы измерения); устойчивость (доступность временных, динамичных срезов данных по индикатору); доступность (данные для расчета доступны через традиционные источники информации).

Альтернативные подходы к оценке программ

Они выделяются с точки зрения характера проблем:

1. Оценка, ориентированная на выполнение задач программы

Исходная мотивировка оценки: задачи оцениваемой программы установлены, следовательно, цель оценки – выяснить, в какой степени эти задачи выполнены или выполняются.

Результаты оценки: измерение успеха программы, корректировка программы и ее задач в случае необходимости, учет «плюсов» и «минусов» программы при запуске других программ.

Особенности процесса оценки: ключевой тип оценки – оценка результативности программных действий.

2. Оценка, ориентированная на управление программой (наиболее адекватна для территории)

Исходная мотивировка: поскольку необходима информация о том, что делать с программой, какие решения принимать по ходу и по окончании ее реализации, по результатам предлагаются желаемые варианты управления программой.

Результаты оценки: выводы о степени успешности программы, принятие своевременных и качественных управленческих решений.

Особенности процесса оценки: наиболее уместный вид оценки – промежуточная оценка; во всех разделах отчета по оценке должны содержаться рекомендации по принятию дальнейших управленческих решений.

3. Оценка, ориентированная на потребителя

Исходная мотивировка: оценить программу с точки зрения того, что она предлагает благополучателю (реципиенту).

Результаты оценки: измерение «продукта», влияние или воз-действие программы на благополучателя и сравнение с тем, что было запланировано.

Особенности процесса оценки: оценка проводится только после завершения программы (завершающая оценка); главный источник информации – благополучатели программы; ключевой вид оценки – оценка результативности программных действий.

4. Оценка, ориентированная на разрешение противоречий или принятие одной из нескольких точек зрения по поводу реализации программы

Исходная мотивировка: в процессе выполнения программы воз-никли две (или более) различные точки зрения на то, что с ней надо делать дальше, какие управленческие решения принимать, поэтому задача оценки – проанализировать ситуацию и выбрать одну из имеющихся точек зрения как оптимальную и правильную.

Результаты оценки: выбор одной точки зрения из многих, высказанных в группах, имеющих отношение к программе (например, руководители программы, благополучатели программы, спонсоры программы, другие заинтересованные стороны).

Особенности процесса оценки: группа по оценке формируется из независимых, нейтральных экспертов, которые выбирают правильные (неизвестные заинтересованным сторонам) источники информации, правильную информацию, правильные методы анализа данных и приходят к правильным выводам; формулируют и обосновывают однозначные выводы оценки и «примирение» сторон.

5. Оценка, ориентированная на консенсус аналитических мнений

Исходная мотивировка: необходима оценка комплексного, сложного проекта, в который вовлечено множество различных интересов, механизмов, организационных структур, однако выводы оценки независимо от задания должны быть однозначными, следовательно, представлять собой результаты консенсуса всех заинтересованных участников программы.

Результаты оценки: однозначные выводы, согласованные со всеми заинтересованными участниками процесса, учитывающие все интересы и точки зрения.

Особенности процесса оценки: оценка косвенных характеристик программы (т. е. исследование не самой программы, а связанных с ней интересов и явлений); организация нескольких альтернативных групп по оценке и обобщение их выводов; привлечение к оценке не экспертов, а совершенно посторонних людей со «свежей» головой.

6. Оценка, применяемая в случаях использования конфиденциальной информации, недоступной для широкого распространения

Исходная мотивировка: оценить программу при отсутствии объективной качественной или количественной информации о ней.

Результаты оценки: выводы, основанные на экспертных знаниях (на опыте оценщика).

Особенности процесса оценки: важное значение имеет отбор экспертов; оценка применяется в том случае, если существует дефицит информации о программе или необходимо принять срочное решение при отсутствии оперативной информации о программе; практикуется экспертиза эффективности работы организации, которая управляет оцениваемой программой; применяется, когда информация конфиденциальна и недоступна для пользователя.

Алгоритм проведения оценки

Последовательность действий при оценке проектов и программ включает в себя 7 шагов:

Первый шаг. Мотивация проведения оценки.

Второй шаг. Определение целей и задач оценки.

Третий шаг. Планирование оценки.

Четвертый шаг. Сбор данных – начало оценочных работ.

Пятый шаг. Анализ данных.

Шестой шаг. Подготовка отчета.

Седьмой шаг. Использование результатов оценки.

Основные требования к оформлению экспертного заключения состоят в следующем.

Экспертное заключение должно содержать обязательные разделы, приведенные ниже:

– титульный лист с указанием полного наименования анализируемого отчета, наименования оценщика и сведений о выданной ему лицензии на осуществление оценочной деятельности, фамилии оценщика-эксперта и периода проведения экспертизы;

– информацию о заказчике экспертизы;

– определение цели экспертизы;

– перечень информации, на которой основывалась экспертиза;

– исследовательскую часть, включающую анализ соответствия выполненных оценщиком процедур оценки требованиям действующего законодательства и других нормативных актов в области оценочной деятельности и аргументированные суждения оценщика-экс-перта, которые привели к итоговому заключению;

– выводы оценщика-эксперта по результатам проведенной экспертизы;

– последний лист (перед приложениями) подписывается оценщиком-экспертом. В случае если при проведении экспертизы оценщик-эксперт привлекал к проведению экспертизы иных экспертов или других специалистов, все эти специалисты подписывают последний лист экспертного заключения с указанием конкретно выполненных разделов;

– в случае необходимости оценщик-эксперт вправе в приложениях к экспертному заключению привести все необходимые расчеты и обоснования, подтверждающие результаты экспертизы.