Методика организации экспертных опросов

Проведение экспертных опросов обычно включает несколько этапов.

Подбор экспертов и формирование экспертных групп.Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количе­ство. По каждому направлению выделяют подгруппы экспертов, ус­танавливается количество экспертов в каждой подгруппе, которое должно обеспечить полноту оценок по каждому конкретному вопро­су. Затем определяются требования к квалификации экспертов, стажу их работы в данной области, общему стажу.

На практике численность экспертов устанавливают исходя из на­копленного опыта. Для повышения статистической значимости оце­нок используют ранговые или балльные оценки. Например, вместо оценки длительности выполнения проекта оценивают в баллах воз­можность его завершения к определенному сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе должно быть не менее 3-6 экспертов, причем каждое направ­ление должно быть представлено равным числом экспертов.

Подготовка анкет для опроса экспертов.Правила опроса экс­пертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

1. предоставление экспертам требуемой информации;

2. простота и удобство работы с предполагаемыми анкетами, обеспечиваемые, прежде всего однозначностью вопросов;

3. соответствие вопросов структуре объекта опроса;

4. независимость формирования экспертами собственного мнения;

5. приемлемые затраты времени, удобное время получения во­просов и выдачи ответов;

6. сохранение анонимности ответов для членов экспертной группы;

7. коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для ра­боты на основе специальных методов, таких как «мозговой штурм», «Дельфи» и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

Определение групповых оценок на основе оценок отдельных экспертов.Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Сте­пень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспер­тов.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 или от 0 до 100. Выбор определяется удобством получения и обработки оценок.

Для учета различий в компетентности экспертов их оценкам мо­гут быть приписаны различные «веса», которые учитываются весо­выми коэффициентами. Значения этих коэффициентов интерпрети­руются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропор­ционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оце­нивается с помощью регламентированной самооценки экспертов. По­казатель самооценки получают на основе группы вопросов. Напри­мер, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов:

10 - эксперт специализируется по данному вопросу, имеет по не­му успешно завершенные и используемые на практике теоретические разработки и практический опыт;

8 - в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 - вопрос входит в сферу, тесно связанную с узкой специализа­цией эксперта, но в работе, связанной с данным вопросом, он не уча­ствует;

3 - вопрос не входит в сферу, тесно связанную с узкой специали­зацией эксперта.

По полученной в десятибалльной шкале оценке определяется ве­совой коэффициент путем деления ее на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задает весо­вые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднеарифмети­ческая. При каждом новом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характе­ристик компетентности экспертов.

Организация работы с экспертами.Работа с экспертами может проводиться в три этапа.

На первом этапе эксперты участвуют в уточнении объекта экс­пертизы, показателей, подлежащих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экс­пертов.

На втором этапе экспертам передают анкеты спояснительной за­пиской, в которой описываются цель экспертизы, структура и поря­док заполнения анкет с примерами.

Третий этап работы с экспертами, выполняемый после заверше­ния опроса, то есть в процессе обработки и анализа полученных ре­зультатов, включает консультации, необходимые для получения не­достающей информации, необходимой для уточнения полученных данных и их анализа.

Анализ экспертных оценок.При проведении анализа эксперт­ных оценок в соответствии с целями исследования и принятыми мо­делями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

О достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как прави­ло, получают оценки нескольких объектов. Определить согласован­ность оценок, которые даются разными экспертами, можно с помо­щью непараметрического двухфакторного дисперсионного анализа. При выполнении анализа в качестве первого фактора рассматривают­ся эксперты, в качестве второго фактора - объекты, оцениваемые экспертами. Уровни первого фактора - это разные эксперты, а уровни второго фактора - разные объекты.

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных ста­тистических пакетах для этого используют критерий Фридмана и, ес­ли есть возможность ранжировать экспертов по величине оценок, - критерий Пейджа. Обычно тестируется гипотеза «есть различия меж­ду средними значениями оценок некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов со­гласованы и достоверны.