Критерии эффективности практической работы психодиагноста

Критерии эффективности практической работы психоди­агноста связаны со следующими важнейшими факторами его профессиональной деятельности:

- обобщенной теорией;

- средствами и способами получения психологической информации;

- средствами и способами передачи психологической информации.

Если обобщенная теория, особенности владения ею от­ражают как уровень развития науки, так и степень профес­сиональной зрелости психодиагноста, то средства и способы получения психологической информации специфичны тем, что сама процедура их применения включает взаимодейст­вие психодиагноста и обследуемого человека. Это значит, что в результате измерений получаются данные, которые будут зависеть не только от психодиагноста и уровня его квалификации, но и от тактики и стратегии поведения об­следуемого.

Диапазон, в котором можно использовать стандартные психодиагностические методы, довольно узок и реально имеет смысл только на той выборке исследуемых, для кото­рой он был создан и проверен на надежность, валидность, репрезентативность[12].

Эффективность работы практического психолога со стан­дартным, психометрическим методом будет определяться соответствием целей применения теста или методики -для ис­следуемой выборки. Перенесение без предварительной пере­проверки устойчивости тестовых норм теста с одной выборки на другую приводит к ошибкам.

Если психодиагност применяет тест, он должен точно знать тестовые нормы для исследуемой выборки.

Ошибки, которые возможны при отсутствии такой про­верки, отражаются на прогностической валидности теста. Особенно это относится к зарубежным тестам, которые оте­чественные психологи склонны использовать без соответст­вующей нормативной проверки. Реальные языковые и меж­культурные различия могут оказать существенное влияние на результаты - получение и интерпретация психологиче­ской информации будут существенно искажены.

Для того чтобы убедиться в пригодности того или иного теста, психодиагност должен уметь повторить процедуру, с помощью которой конструировался и обосновывался тест его создателями.

Психодиагност, применяющий методики, должен знать требования к методикам разного типа - это тоже показатель эффективности его работы, так как владение требованиями к методикам отражает ориентацию психодиагноста на про­фессионально оправданные процедуры получения психоло­гической информации, а не на уровень житейской или обы­денной психологии.

Остановимся на требованиях к методикам, которые сформулированы в отечественной психологии". Измери­тельные методы (тесты) должны удовлетворять следующим требованиям:

- должны быть однозначно сформулированы цели, пред­мет и область применения методики. Предмет, диагностиче­ский конструкт должен быть соотнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевант­ность. Область применения должна быть четко выделена и обозначена, указан контингент обследуемых. Необходимо четко обозначить цели использования результатов;

- процедура проведения должна быть задана в виде од­нозначного алгоритма, который можно было бы передать ЭВМ или специалисту, не имеющему специальных психоло­гических знаний;

- процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестовым нормам). Выводы (диагностические суждения) на основе тестового балла должны сопровождаться указанием на ве­роятностный уровень статистической достоверности этих выводов;

- тестовые шкалы должны быть проверены на репрезента­тивность, надежность и валидность в заданной области при­менения. Другие разработки и пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы);

- процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяю­щими автоматически отсеивать недостоверные протоколы;

- головная методическая организация определенного ве­домства (область применения) должна вести банк данных,

собранных по тесту, и проводить периодическую коррекцию всех стандартных методик. Экспертные методы:

- должны быть однозначно сформулированы цели, пред­мет и область применения метода. Предмет должен быть со­отнесен с уже имеющимися теоретическими обоснованиями, проверенными на релевантность. Область применения, кон­тингент испытуемых должны быть четко обозначены. Необ­ходимо также четко обозначить цели использования резуль­татов. Инструкция по применению снабжается указанием на требуемую квалификацию экспертов, их необходимое коли­чество для получения надежных данных по методу независи­мых оценок;

- инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (тестов, рисунков, звуко- и видеозаписей и т. п.);

- процедура обработки результатов должна включать в себя протоколирование промежуточных этапов обработки данных, которое дало бы возможность перепроверить конеч­ный результат другому эксперту;

- пользователи и разработчики должны иметь возмож­ность повторить нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;

- головная организация должна вести банк данных, обес­печивая подготовку пользователей и переподготовку их в соответствии с пересмотренными стандартами методики.

Все методики должны проходить аттестацию в рамках го­ловных методических организаций, которые составляют ка­талог методик, прошедших аттестацию.

Критерии эффективности работы практического психоди­агноста во многом определяются его возможностями в со­ставлении программы обследования - в подборе батареи ме­тодик. Ее составление основывается на принципе - максимум надежности при минимуме затрат.

Планирование программ обследования предполагает осу­ществление следующих операций:

1. Определить, на что метод направлен: на простое или ин-тегративное качество личности; на действие или на пережи­вание или на содержание когнитивных процессов. Исходя из этого выбирается либо методика, либо батарея методик или тестов. Далее выбирается определенный тип метода: для изу­чения действий и переживаний чаще всего используются оце­ночные шкалы и самооценочные шкалы. Для изучения качеств личности используются опросники, проективные или другие методы.

Батарея тестов состоит из нескольких тестов для изучения различных аспектов одного качества внутреннего мира чело­века (например, векслеровские шкалы интеллекта). Набор тестов состоит из нескольких тестов, посредством которых исследуется несколько разных, взаимно не связанных качеств внутреннего мира человека (например, 16-факторный опрос-ник Кеттела, ММРУ и др.).

2. Решить вопрос о том, каким образом с помощью вы­бранного метода будет определяться изучаемое свойство внутреннего мира человека.

Любая методика представляет собой стимульный матери­ал, организующий ситуацию работы с ним, материал методи­ки и будет определять способы действия исследуемого, в ко­торых будет проявляться исследуемое качество. С этой точки зрения, по психологическому механизму порождения ответов, методы будут делиться следующим образом:

а) методы, требующие от субъекта лишь выражения опре­деленного отношения (согласие, ожидание, отрицание);

б) методы, требующие активности памяти (дидактические тесты, тесты способностей, анамнестические беседы);

в) методы, работа в которых зависит от практического мышления;

г) методы, предполагающие поиск и установление слож­ных связей и отношений;

д) методы, основанные на идее проекции состояний иссле­дуемого на материал стимулов.

3. Основным вопросом, который необходимо решить, является вопрос о том, с помощью чего мы будем опреде­лять, исследует ли наш метод то, на что он направлен. С точки зрения построения и стандартизации это вопрос о критери­ях валидности. Имеется ли такой критерий вообще в нашем распоряжении? Является ли он репрезентативным пользова­телем исследуемой характеристики личности? Является кри­терий простым или комплексным? Комплексный критерий состоит из нескольких относительно легко познаваемых компонентов. Например, вождение автомобиля - это ком­плексный критерий, содержащий такие элементы, как ско­рость реакции, острота зрения, наблюдение за движением транспорта, за дорожными знаками, готовность к решению сложных ситуаций, надежность и т. д. Поставленный психи­атром диагноз «невротик», «здоровый» - это простой кри­терий, несмотря на то, что за ним стоят сложные явления внутреннего мира человека, но с точки зрения, например, проверки опросника для дифференциации здоровых и нев­ротиков можно понимать упрощенно.

4. Надо решить вопрос о том, для какой цели метод соз­дан? Для постановки диагноза, или даже дифференцирован­ного диагноза, или для отбора и распределения кадров. Чем сложнее цель, для которой метод создан, тем он должен быть чувствительнее и разработанное. Разница есть и в ме­тодах, предназначенных для практической диагностики и для научных исследований. Первые должны иметь разрабо­танные нормы и понятную интерпретацию результатов, в то время как для научных исследований достаточно предста­вить данные в первичных результатах и интерпретировать их на уровне операциональных определений или в теорети­ческих понятиях.

5. Кто будет пользователем методами? Этот вопрос тре­бует решения, так как если это психолог, тогда метод дол­жен быть гораздо сложнее, чем когда им пользуется обучен­ный неспециалист.

6. Надо определить, для какой популяции метод предна­значен. Решающее значение будет иметь то, кто с помощью этого метода будет обследоваться - дети или взрослые, боль­ные или здоровые, грамотные или неграмотные испытуемые, предназначен он для группового или индивидуального обсле­дования и т. д.

7. Есть ли какие-нибудь требования ко времени проведе­ния обследования? Этот момент важен, так как время может быть фактором, влияющим на показатели результативности обследуемого, - время решения задачи, качество задач, ре­шенных за единицу времени, - важный показатель в тестах достижений.

8. Надо определить требования к экономичности метода -нужны ли специальные пособия, место для проведения обсле­дования, оборудование и т. п.

9. Только после решения этих вопросов, обдумывания более или менее внешних предпосылок можно подойти к собствен­ному построению метода. При построении его постоянно учи­тывается формальное и содержательное соответствие отдель­ных заданий теоретическим и практическим основам метода.

Основным критерием качества метода является его валидность, то есть обоснованность, достоверность.

С формальной точки зрения валидность бывает подлин­ная, которая выражает отношение между результатами мето­да и тем, что с помощью метода изучалось, и ложная, в которой зафиксирована видимость ценности метода. Подлинная валидность в зависимости от характера критерия, с помощью которого она проверяется, разделяется на эмпирическую и теоретическую, текущую и прогностическую.

Ложная валидность, как показывают исследования, имеет следующие варианты: очевидная валидность, валидность, основанная на опыте, на убеждении и на желании.

Очевидная валидность исходит из того, что якобы данный метод исследует реально существующие факты и закономер­ности. Например, неуверенность в себе исследуется с помо­щью вопросов на неуверенность, а знания по истории с по­мощью конкретных вопросов по истории и т. п. Очевидная валидность соответствует подлинной валидность по содержа­нию только в том случае, если это дидактические тесты или тесты знаний. Во всех остальных случаях надо исследовать тест на валидность.

Валидность, исходящая из опыта, основывается на личном чувстве психолога, что так он «понимает испытуемого».

Валидность, опирающаяся на убеждение, исходит из не­обоснованного убеждения, что метод хорош, так как, на­пример, хорошей является теория или результаты, получен­ные с его помощью.

Валидность всех психодиагностических методов, кроме дидактических, проверяется психометрическими методами. Процесс валидизации осуществляется с помощью подсчета различных коэффициентов корреляции для подсчета отноше­ния между результатами метода и значением критерия. Коэф­фициент валидности может быть выражен и с помощью теста, коэффициента эктропии, теста X², с помощью прогностиче­ских таблиц и иных мер отношений.

Теоретическая валидность определяется на основе логи­ческого доказательства и эмпирического подтверждения последствий, вытекающих из теории, определяющей метод и его интерпретацию. Преимуществом теоретической валиди­зации является применение факторного или дискриминаци­онного анализа, но в матрицу анализируемых переменных должны входить и методы с известной валидностью, чтобы с их помощью можно было адекватно интерпретировать факторы и синдромы.

Валидность отвечает на вопрос «Измеряем ли мы то, что думаем измерять». С этой точки зрения можно говорить о следующих типах валидности:

1. По содержанию выражает соответствие между тестом и исследуемой характеристикой. Пригодность методики определяется, например, на основании репрезентативного сходства между содержанием вопросов (задании) и компонентами изу­чаемой характеристики личности; способ ее определения - ло­гико-семантический.

2. Текущая валидность выражает соответствие между резуль­татами и параллельно применяемыми критериями. Часто ис­пользуется метод известных групп и сравниваются результаты обеих групп. Важна точная идентификация известных групп.

3. Прогностическая валидность выражает соответствие меж­ду результатами теста и критерием спустя определенное время. Например, при исследовании тревожности мы анализируем поведение и сопоставляем его с результатами тестирования. Подходящим критерием, например, может быть успеваемость в школе и т. п.

4. Конструктная валидность выражает соответствие между тестом и изучаемой модальностью внутреннего мира человека. В этих целях часто результаты тестирования сравниваются с надежными тестами, измеряющими эту модальность.

Эмпирически очевидные показатели, которые служат для проверки валидное™ теста, обозначаются термином крите­рий. В большинстве процедур по валидизации имеет место внешний критерий. Обычно им является знакомый и оче­видный индикатор психической характеристики, для опре­деления которой и создается метод.

Критерием чаще всего бывает проявление изучаемой ха­рактеристики в повседневной жизни. Однако это должны быть такие данные, которые сами по себе не могут заменить метод, иначе было бы бессмысленно создание методики. Достаточно тогда было бы использовать в качестве метода сам критерий. В патопсихологии критерием является диаг­ноз врача. В промышленности - количество аварий, количе­ство поощрений или изобретений и др. В школе критерием может быть оценка успеваемости и поведения.

Критерий - это очевидный показатель тех характеристик личности, именно показатель, определяемый независимо от предъявления теста. Было бы ненаучным, если бы критерий исследовался и выражался - сознательно или неосознанно -в зависимости от знания тестовых результатов отдельных испытуемых.

Критерием может служить и ранее проверенный практиче­ский тест или общепринятая хорошая теория.

Критерием может быть и возраст, при условии, что с возрастом регулярно повышаются или снижаются показате­ли изучаемого явления.

В группу деятельностных критериев относят, например, производительность труда, качество результатов труда, заработок и др. К постоянным и объективно данным крите­риям относят возраст, пол, количество пропусков на работе, текучесть кадров и т. п.

Результаты критерия редко бывают представлены в шкальных единицах (то есть интервалах или в равных еди­ницах измерения в системе измерения). Чаще всего в едини­цах квантила: это порядковые степени, порядковое место или только качественные (номинальные) категории (типы). Тест имеет столько валидностей, сколько имеется критери­ев. В традиционной теории тестов одним из основных кри­териев качества теста является его надежность.

Имеется в виду, что надежность метода обозначает, что результаты одних и тех же испытуемых не меняются даже при повторном обследовании после более длительного времени.

Надежность проявляется в том, что в руках разных экс­периментаторов выявляется одно и то же, результаты также независимы и от социодемографических факторов.

Источники результатов исследования можно рассматри­вать на следующих уровнях: а) несовершенство психодиагно­стического метода, который порождает постоянные и слу­чайные ошибки; б) ситуация обследования (влияет на резуль­таты время дня, размещение испытуемых при групповом тес­тировании и т. п.); в) личность экспериментатора; роль, в которой он выступает для обследуемых; г) психическое функ­циональное состояние обследуемых; д) способ оценивания результатов и их интерпретация.

Интерпретация результатов является объективной и одно­значной только при условии, что она касается однозначного сравнения диагностической информации с эталоном или ко­личественной нормой. Но когда психолог пытается объяс­нить, какой смысл имеет диагностическая информация, какое место она занимает в структуре деятельности субъекта, он попадает в область не науки, а искусства.

Таким образом, критерий эффективности практической работы психодиагноста определяется надежностью инстру­ментов его работы и его профессиональной позиции, в ко­торой большое место занимает рефлексия на содержание обобщенной психологической теории и его личное отноше­ние к своей профессии, позволяющее строить отношение с клиентом, заказчиком и пользователем при получении пси­хологической информации.