Студопедия

КАТЕГОРИИ:

АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника


Экспертное оценивание и контент-анализ как методы психологического исследования




Эксперт– (от лат. «опытный», «искушенный») – компетентное лицо, имеющее специальный опыт в конкретной области и участвующее в исследовании в качестве источника непосредственной информации. Его задачей является выражение своего мнения о качестве объекта или явления по определенной шкале в соответствии с предусмотренными для этого правилами.

Основное содержание метода экспертных оценокзаключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой срегистрацией и последующей обработкой полученных данных. В психологическом исследовании экспертное оцени-вание может рассматриваться как в качестве самостоятельного метода познания, так и в виде существенного компонента процедур наблюдения, опроса, эксперимента, анализа продуктов деятельности, словом, везде, где имеет место нестандартизированный переход от признаков к выводам. Более того, те или иные разновидности экспертизы применяются на любом этапе исследования: в определении его целей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интер-претации понятийного аппарата, для обоснования адекватности исполь-зуемого инструментария, в процессе выработки рекомендаций и т. д.

Разумеется, экспертное оценивание не ограничено пределами психо-логической науки. Промышленность, образование, медицина, юриспру-денция, спорт – поистине, трудно найти ту область знания или сферу деятельности, где оно не находило бы применений с давних пор и по настоящее время.

Особый интерес к исследовательскому потенциалу данного метода появился после успешной реализации так называемого «Дельфийского проекта». Суть его, как известно, состояла в решении сугубо актуальной после Второй мировой войны задачи для правительства США: опреде-лении количества ядерных зарядов, достаточных для обеспечения безопасности страны и ее союзников. В то время частная фирма «Ренд корпорейшн», предложив экспертное оценивание в качестве способа решения проблемы, превзошла по ряду параметров (кратковременность процедур, их сравнительно малая трудоемкость и себестоимость) тради-ционные методики добывания информации Пентагона и ЦРУ. Вместо сотен секретных агентов и десятков аналитиков, выявляющих потен-циальные цели на территории противника, было задействовано семь экспертов (четыре экономиста, специалист по атомным взрывам, специи-алист по системному анализу и инженер-электронщик). Еще несколько человек снабжали их разного рода информацией. Само название проекта возникло в кругах скептически настроенных чиновников, утверждавших, что достоверность его результатов вполне соответствует качеству предска-заний древнегреческих прорицательниц в храме Аполлона в Дельфах. Однако независимая проверка сделанных экспертами обоснований стала доказательством адекватности данного метода исследовательской задаче. Успех «Дельфийского проекта» был обусловлен тщательностью подбора экспертов, своевременным и всесторонним их информированием, а также эффективностью организации всех этапов оценочной деятельности.

Проанализируем наиболее существенные особенности этой экспертизы. К основным чертам организации «Дельфийского проекта» следует отнести:

1) цикличность процедуры, повторяемость ее стадий. (Как известно, вначале каждый эксперт выдавал свою оценку и обосновывал ее. Затем составлялась итоговая сводка, отражающая мнения всех участников работы. Изучив эту информацию, эксперты корректировали свои прежние оценки и комментарии. Формулирование индивидуальных мнений повторялось четыре раза. При этом было отмечено значительное сбли-жение экспертных суждений между собой);

2) отсутствие прямого контакта экспертов друг с другом,что гарантировало сведение к минимуму интерсубъективных влияний общения на качество результатов;

3) анонимность участников работы, позволявшая им принимать во внимание оценки и обоснования других, но не их звания, регалии, общест-венное положение или научный авторитет;

4) оперирование не только количественными оценками,но и их аргументацией, что способствовало повышению уровня обдуманности индивидуальных суждений;

5) участие в работе специальной группы, обеспечивающей обработку и передачу экспертной информации.

В последнем случае имеется в виду так называемая мониторная группа,деятельность которой в экспертном оценивании обычно включает в себя формулирование исследовательской задачи, подбор компетентных специалистов, их инструктаж, разработку оценочных параметров, обеспечение работы экспертов (техническое, математико-статистическую обработку данных, логико-семантическое оформление суждений). Это своеобразные «эксперты по организации экспертиз». Недостатки в осуществлении мониторной деятельности самым пагубным образом сказываются на качестве оценочных процедур. Дело в том, что рассмат-риваемый нами метод относится к категории субъективных. Это, напом-ним, означает признание факта, что результаты экспертного оценивания в значительней мере зависят не только от объекта исследования, но и от характеристики тех лиц, которые это исследование выполняют.

Иногда эксперта сравнивают с измерительным «устройством», к сожалению, не всегда способным к точной работе. С одной стороны, это может быть связано с теми или иными его качествами (некомпетент-ностью, предвзятостью, недобросовестностью, незаинтересованностью в успехе дела, неуверенностью в себе и т. д.), с другой стороны, быть следст-вием целого ряда просчетов мониторной группы (например, таких, как нечеткость в определении целей работы, осуществление экспертного опроса без специально разработанной программы, невнятность инструкций по оценке, недостаточный учет влияния факторов искажения достоверности результатов экспертизы, поверхностность в обработке суждений экспертов).

Следует заметить, что основной задачей мониторной деятельности является максимальное приближение оценок экспертов к истине. Субъективность метода вовсе не означает его неэффективности. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты

и некачественно организована их работа.

Рассмотрим классификацию типов экспертиз(по П.Б. Шошину):

1. Оценивание одиночным экспертом;

2. Оценивание группой экспертов:

1) без взаимодействия между собой;

2) при заочном взаимодействии:

- в один тур;

- в несколько туров;

3) при очном взаимодействии:

- в один тур;

- в несколько туров.

Перейдем к анализу содержания оценочной деятельности экспертов. В целом, в ней можно выделить такие этапы:

1. Подготовка к экспертизе (изучение порядка и правил оценивания, ознакомление со способами регистрации суждений,актуализация знаний в данной конкретной области);

2.Исследование объекта экспертизы;

3. Возникновение имплицитной оценки – той, где субъективное впе-чатление, слабодифференцированное и неустойчивое,еще не получило выражения средствами внутренней речи,символами или словами;

4.Экспликация оценки формулирование ее в уме, а затем и в вер-бальном или символическом виде;

5. Проверка правильности результата оценивания;

6. Аргументирование оценки;

7. Участие в информационном обмене между экспертами.

Работа экспертов может происходить в условиях большей или меньшей стандартизации. Так, выражение их суждений в зависимости от особенностей исследования планируется в форме свободного интервью или анкетирования с полузакрытыми (или открытыми вопросами) или же как стандартизированное интервью.

Особо следует остановиться на статистической обработке материала. В практике исследований, связанных с экспертным оцениванием. Тради-ционно используют типы измерительных шкал,описанные ранее(шкала наименований, шкала порядковая, шкала интервалов, шкала отношений).

Мониторная группа, определив тип базовой измерительной шкалы, адекватный исследованию, разрабатывает для экспертов конкретные параметры, по которым будут вынесены индивидуальные суждения. Важно, чтобы в последующем, при статистической обработке и логичес-ком сопоставлении результатов экспертизы не осуществлялось неправо-мерных выходов за пределы возможностей того или иного типа измерения.

После вынесения оценок экспертами исследователь осуществляет обычно следующие операции:

- проверку индивидуальных суждений и обоснований на непро-тиворечивость составляющих;

- анализ совокупности мнений экспертов с целью установления степени согласованности их между собой;

- выделение групп экспертов с близкими позициями в случае наличия существенных расхождений в оценках;

- выявление причин разброса индивидуальных мнений;

- определение влияния компетентности экспертов на содержание их оценок и обоснований.

Теперь обратимся к рассмотрению причин нарушения достоверности результатов в ходе экспертного оценивания. В качестве примера исполь-зуем дидактическое оценивание, осуществляемое педагогами для выявле-ния качества знаний и степени сформированности умений и навыков обучаемых. Известно, что иногда несколько педагогов, оценивая незави-симо друг от друга один и тот же устный ответ или письменную работу ученика, выставляют совершенно разные отметки по традиционной шкале успешности обучения. Бывает и так, что учитель, повторно оценивая пись-менную работу через некоторый промежуток времени, выставляет отметку, отличающуюся (подчас значительно) от собственной отметки, сделанной ранее. Почему это происходит? Можно выделить следующие причины оценочного субъективизма:

1) Полифункциональность отметки в учебном процессе иногда приводит к тому, что вступают в противоречие функции контроля и воспитания, ориентации учащегося в его достижениях и стимуляции к достижениям. Как писал по этому поводу Ш.А. Амонашвили: «Фемида-учитель, взвешивая знания, не может оставаться беспристрастной к ученику, порой сама того не сознавая. И на чашу с эквивалентами падают мелкие крупицы субъективизма: «Он лентяй, можно было бы поставить «3», но нет, лучше пусть подтянется... А этот ... смотри, как постарался ...

молодец! Давай порадую его, поощрю! Не может учитель поступить иначе: его опыт, знание им жизни, радостей и огорчений каждого ребенка обязательно влияют на оценку...».

2) Неисчисляемость оценочных процедур. Традиционная для совре-менной образования шкала успешности обучения является порядковой. Учитель не измеряет качества ответов или работ, а сравнивает их с неким идеальным образом, эталоном. Он пользуется цифрами, но не делает вычислений, применяя обозначения количества в качестве ярлыков. Естественно, что каждый из них делает это по-своему.

3) Разный уровень профессиональной подготовленности экспертов, в частности, степень владения учебным материалом, умение пользоваться данным средством контроля, коммуникативно-аудиальные умения.

4) Индивидуально-личностные особенности педагогов, в том числе:

- степень автономности от социальных стереотипов;

- уровень инертности сложившихся к моменту оценивания представлений о возможностях ученика (в силу этого отличнику так же трудно бывает получить «3», как слабоуспевающему ученику – «9», даже если их ответы заслуживают такой отметки);

- различия в умении абстрагироваться от имеющихся межличностных отношений с учащимся;

- характерологические особенности: ответственность, добросовест-ность, собранность, заинтересованность и др.;

- различия во влиянии на оценку несущественных аспектов ответа или работы ученика, таких как темп речи, дикция, громкость голоса, наличие пауз и количество оговорок, ораторские способности, особенности почерка, число исправлений или орфографических ошибок (если оцени-вается не грамотность) и т. д.

Особо выделим здесь несколько т. н. «эффектов». Эффект ореола (в педагогическом оценивании) заключается во влиянии на отметку сложив-шихся представлений о возможностях ученика. Это влияние образа учащегося, который обычно «глобален», слабодифференцирован, стерео-типен и статичен (к примеру, «умный студент», «интересуется моей дисциплиной» и т. д.). Эффект фасада (в педагогическом оценивании) обозначает зависимость отметки от впечатления, произведенного отвечающим в момент оценивания. Известно, что на восприятие эксперта влияют внешний вид, пол, манеры поведения, логичность ответа, уверенность отвечающего и др.

5) Ситуационные условия оценивания, такие как:

- степень усталости проверяющего;

- различия в оборудовании рабочего места и характеристиках условий труда (освещенность, температура помещения и т.д.);

- фактор чередования различных по качеству ответов или работ;

- воздействие на отметку общего уровня подготовленности класса.

Необходимо пояснить последние тезисы. Эффект контраста отражает зависимость отметки от нескольких предшествующих отметок других учащихся. Известно, что хороший ответ часто оценивается выше, чем он заслуживает, если ему предшествовали плохие по качеству ответы. И, наоборот, слабый ответ может быть оценен еще хуже, если он выслушивается после серии отличных ответов. Эффект фона обозначает влияние на отметку выявленного педагогом к тому времени общего уровня подготовленности класса. По сути, это внутригрупповая поправка в систему норм оценки. Так, в «слабом» классе намного легче получить хорошую отметку, чем в «сильном», за счет выделения на общем фоне.

Специфика той или иной сферы, естественно, определяет свой набор причин искажения достоверности результатов экспертного оценивания. Однако многие из тех, что были названы выше, имеют весьма широкое распространение. До сих пор речь шла о субъективизме эксперта, работаю-щего индивидуально, без непосредственного (очного) взаимодействия с другими. Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение досто-верности результатов процедуры. Дело в том, что при этом возникают феномены интерсубъективного искажения результатов оценивания.

Кпричинам нарушения достоверности данных при очном групповом оценивании следует отнести:

- стремление к идентификации сообщения с его источником, в силу которого слушатель бывает склонен принять или опровергнуть чье-либо мнение в зависимости не от реального содержания, но от отношения к человеку, высказавшему его;

- центростремительное давление, проявляющееся в виде смещения экспертных оценок в ходе обсуждения в сторону «безопасной середины»;

- тенденцию защищать собственную позицию, высказанную публич-но, даже после того, как сам эксперт убедился в ее неверности;

- стремление к доминированию как личностная особенность, возни-кающая часто у лиц, не являющихся признанными лидерами, но претен-дующих на это;

- влияние феномена «огруппления мышления», появляющееся в том случае, когда чувство принадлежности человека к группе подталкивает его к поддержке решений не столько правильных, сколько способных обеспечить единодушие;

- неустойчивость имплицитной оценки, легко изменяющейся под воздействием уже высказанных мнений со стороны других экспертов.

Большинство из этих факторов не оказывают особого влияния на итоги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспертов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоемкость процедуры.

Контент-анализ (от англ. «содержание» и греч. «разложение», «расчленение») – метод выявления и оценки характеристик информации, содержащихся в текстах и речевых сообщениях. Контент-анализ преду-сматривает строгую формализацию процессов осмысления материала.

Структура контент-анализа:

1) выделение системы опорных понятий (категорий анализа);

2) отыскание их индикаторов – слов, словосочетаний, суждений и т. п. (единиц анализа);

3) статистическая обработка данных.

Данный метод зародился в американской журналистике как средство количественно-качественного изучения содержания прессы. В настоящее время активно применяется в социальной психологии, социологии, психо-диагностике, политологии, психологии рекламы и пропаганды.

К достоинствам контент-анализа можно отнести следующее:

- возможность точной регистрации внешне неразличимых показателей в объёмных массивах эмпирических данных;

- способность к выявлению скрытых тенденций и закономерностей;

- допустимость осуществления отсроченного по времени анализа событий и ситуаций;

- относительная объективность процедур;

- надёжность результатов;

- отсутствие проявлений эффекта воздействия исследователя на поведение испытуемых.

По сути, контент-анализ предполагает перевод качественно представ-ленной информации на язык счёта. Для этого необходимо, во-первых, иметь достаточно объёмный и содержательно богатый текст, а во-вторых, обладать определённым уровнем исследовательской подготовленности, позволяющим эффективно реализовывать потенциал данного метода.

Наряду с этим следует помнить, что контен-анализу присущи и неко-торые ограничения. Так, известно, что характер информации во многом определяется замыслами её автора и спецификой форм предъявления. Поэтому вполне возможно принятие исследователем вымысла за докумен-тальность или упущение каких-либо существенных данных вследствие недостаточной выраженности их в обрабатываемом материале. Искажения информации могут возникать и по вине исследователя, неспособного, к примеру, адекватно выделить категории анализа или учесть все имею-щиеся варианты их словесного выражения. Кроме того, далеко не всякий материал поддаётся необходимой формализации. Предельно трудно было бы применить данный метод, скажем, к описанию поведения лирического героя поэтического произведения.

В современной психологической практике контент-анализ находит своё применение в трёх разновидностях:

1) в качестве основного метода исследований;

2) как составная часть используемого комплекса исследовательских методов;

3) в виде вспомогательной процедуры обработки данных, полученных иными эмпирическими способами.

В любом случае, представляется необходимой предварительная проверка достоверности анализируемого текста или устного сообщения, а также установление степени надёжности, содержательной и критериальной валидности аналитической процедуры. Иначе обоснованность и объек-тивность результатов могут оказаться неудовлетворительными.

Описывая особенности применения контент-анализа, принято указы-вать меру устойчивости полученных сведений при замене кодировщиков (лиц, регистрирующих предписанные параметры и признаки) и давать характеристику степени согласованности результатов этого метода с данными, собранными другими способами.

Рассмотрим основные этапы контент-анализа.

1. Подготовительный этап(разработка программы анализа мате-риала). Он включает постановку цели исследования, предварительную проверку адекватности избранного метода особенностям предстоящей работы, составление классификатора (опорной схемы для контент-анали-за), подготовку инструкций для лиц, участвующих в реализации метода, пилотажное исследование, последующую коррекцию программы.

Особое внимание следует обратить на составление классификатора, который представляет собой перечень категорий анализа, соот-ветствующих им индикаторов, принятых единиц счёта. Это основа алгоритма последующих действий, от качества которой зависит эффективность работы в целом.

Категории анализа – это ключевые элементы исследовательской кон-цепции, смысловые единицы, выраженность которых подлежит регистра-ции в соответствии с поставленной целью. В качестве категорий анализа исследователь заранее выдвигает определённые проблемы, идеи или темы.

Например, анализируя характер человека по итогам интервью или анкетирования, мы можем выделить следующие категории: отношение его к самому себе, другим людям, деятельности, вещам (предметам), природе. Изучая, допустим, тревожность как свойство личности, мы предварительно выделяем совокупность составляющих её «тем»: беспокойство по поводу здоровья, семьи, карьеры, финансового положения и др.

Главное, чтобы список категорий был предельно исчерпывающим, а также давал возможность однозначного соотнесения той или иной части текста с конкретной категорией.

Единицы анализа или индикаторы, признаки выраженности смысло-вых единиц, представляют собой части текста, принадлежащие к опреде-лённой категории. Это могут быть символы, слова, термины, сочетания слов различной протяжённости, ситуации, суждения, реплики, интонации и т. д. Это тот материал, который позволяет судить о значении в тексте каждой категории.

Следует помнить, что одна и та же категория бывает выражена в тексте по-разному: от отдельных символов или слов до законченных суждений или абзацев. Поэтому выделение единиц анализа является непростым делом и требует от исследователя вдумчивости и проницательности.

Помимо этого необходимо учитывать, что категория может быть представлена в тексте различными по знаку единицами анализа. Например, в отрицательной (критической), нейтральной или же положительной форме. Разумеется, варианты такого рода отношений бывают и более разнообразными.

Единицы счёта – это количественные характеристики отношений категорий друг к другу или единиц анализа к категориям. В практике исследований обычно используют два их варианта:

- частоту проявлений в тексте категории или её признака;

- пропорцию представленности категории (её признака) или иначе объём внимания, уделяемый ей автором текста.

Так, это может быть: сравнительное количество печатных знаков, площадь соответствующих частей текстов (в квадратных единицах или процентах), необходимое время произнесения и т. д.

Разработка классификатора завершается составлением инструкций кодировщику и подготовкой кодировочной матрицы. Инструкции содер-жат предельно чёткие указания на то, каковы все выделенные категории, какой набор признаков в тексте соответствует каждой из них, какого типа единицы счёта при этом используются. Объективность результатов контент-анализа будет более полной, если исследователь письменно сформулирует инструкции даже в том случае, когда он сам является кодировщиком.

Кодировочная матрица представляет собой таблицу, удобную для регистрации первичных результатов исследования. Обычно по вертикали в ней даны категории анализа, а по горизонтали – перечень источников информации (отдельные документы, сообщения, персоналии испытуемых и т. п.). Тогда середина таблицы заполняется цифрами, свидетельствую-щими о частотах присутствия данной категории в тои или ином материале.

Пилотажное исследование, завершающее подготовительный этап, способствует выявлению недостающих категорий, упущенных из виду единиц анализа, неточностей инструкций.

2. Исполнительный этап предусматривает совокупность процедур по выделению индикаторов категорий и регистрации характеристик их присутствия в тексте.

Кодировщики могут допускать здесь такие ошибки, как:

- неверное соотнесение единиц анализа с категориями;

- пропуск тех или иных единиц анализа;

- фиксация того, чего нет на самом деле.

Всё это нарушает устойчивость результатов контент-анализа. Причи-ны низких показателей устойчивости следует искать в качестве инструк-ций, недостаточной умелости кодировщиков, в неподходящей обстановке их работы, в отсутствии внимательности, терпения или добросовестности.

3. Этап обработки данных. Его содержание определяется целью исследования. В зависимости от этого при обработке результатов (одной или нескольких кодировочных матриц) могут быть использованы частотные или процентные распределения, коэффициенты корреляции, сопоставительные таблицы и т. д.

В тех случаях, когда анализируется большой массив данных, используются специальные математико-статистические способы, разрабо-танные для нужд контент-анализа.

 

 


Поделиться:

Дата добавления: 2015-08-05; просмотров: 169; Мы поможем в написании вашей работы!; Нарушение авторских прав





lektsii.com - Лекции.Ком - 2014-2024 год. (0.007 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты