Отбор экспертов

Работу по отбору экспертов обычно начинают с определения областей научных, технических и административных интересов, которые затрагивают решение данной проблемы. Затем составляется список лиц, компетентных в этих областях. Этот список служит основой для отбора кандидатов в эксперты.

Один из способов анализа компетентности кандидатов в эксперты заключается в подготовке специальных анкет, отвечая на вопросы которых они должны показать свою эрудицию и аналитические способности. . Для оценки полученных ответов используется числовая шкала, например от1 до 5. Главное внимание уделяется способности эксперта ответить на поставленные вопросы и дать числовую оценку своим знаниям в достаточно короткий срок (5-10 мин). Так, например, в одном из экспериментов самооценки необходимо было ответить на серию из 10 вопросов в течение 5 минут. Прежде чем начать эксперимент, кандидатов в эксперты знакомили с инструкцией следующего содержания.

«Вас просят оценить вопросы соответственно объему ваших знаний. Проделайте это следующим образом. Перед тем как дать любой ответ, прочтите внимательно все 10 вопросов и отыщите один, который, как вам кажется, вы знаете лучше других. Дайте этому вопросу оценку 5. Затем отыщите вопрос который, как вам кажется, вы знаете хуже других, и дайте ему оценку 1.

После этого вы должны оценить все оставшиеся вопросы относительно этих двух, используя шкалу оценок 1,2, 3, 4, 5 баллов.

Таким образом, вопрос, о котором вы знали почти также много, как и по первому вопросу, получит оценку 5. Вопрос, расположенный по вашему мнению, приблизительно в «середине» между вопросом, по которому вы информированы меньше всего, и вопросом, который вы знаете лучше всего, следует оценить в три балла и т.д. Заметим, что оценка является относительной и зависит только от того, насколько велик объем ваших знаний по этому вопросу. Не пытайтесь достичь улучшения оценок, будьте «импрессионичны»: руководствуйтесь вашим личным впечатлением.

Получив данные об индивидуальной самооценке, можно рассчитать среднюю групповую самооценку путем деления суммы индивидуальных самооценок на по каждому вопросу на число экспертов в группе. В результате получается численный индекс, характеризующий объем знаний, по которым, по мнению экспертов, она обладает по данному вопросу.

Практика экспертиз показывает, что, хотя методы самооценки недостаточно точны для того, чтобы служить единственным критерием выбора экспертов, использование таких методов дает возможность выполнить предварительный отбор группы наиболее компетентных специалистов.

Можно организовать эксперимент – репетицию, в процессе которой «проигрывать» отдельные элементы предстоящей экспертизы с помощью двух (или нескольких) групп, одна из которых составлена из кандидатов в эксперты, а другая, контрольная, - из лиц, наиболее формированных в отношении исследуемой проблемы. Сравнение оценок, полученных от каждого из участников такого эксперимента (и каждой из групп), позволит точнее установить относительную степень надежности кандидатов в эксперты.

Кроме того, нужно выявить потенциально возможные цели экспертов, противоречащие целям экспертизы, т.е. наличие причин, которые могут повлиять на сознательное смещение групповой оценки в направлении, желательном для данного эксперта либо для группы экспертов. Рекомендуется исключать из рассмотрения те события, в результатах которых эксперты лично заинтересованы.

Несмотря на то что существующие в настоящее время методы отбора экспертов далеки от совершенства, несомненно, что их применение обеспечивает более высокую надежность результатов, чем «волевые» решения о назначении участников экспертизы.