Студопедия

КАТЕГОРИИ:

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника



Правила составления заданий теста. Общие принципы анализа заданий

Читайте также:
  1. I. ОБЩИЕ ПОЛОЖЕНИЯ
  2. I. Общие правила
  3. I. Общие правила
  4. I. Общие принципы фармацевтической опеки.
  5. I. Общие требования
  6. I. ОБЩИЕ УКАЗАНИЯ.
  7. I. Общие.
  8. I. Правила терминов
  9. I. ПРАВИЛА ЧТЕНИЯ В АНГЛИЙСКОМ ЯЗЫКЕ
  10. II ОБЩИЕ НАЧАЛА ПУБЛИЧНО-ПРАВОВОГО ПОРЯДКА

Очевидно, что написание заданий – решающий шаг в разработке теста. Если они написаны плохо, то никакая психометрическая мудрость не сможет обеспечить надёжную и валидную шкалу. Клайн приводит некоторые основные эмпирические правила для написания заданий:

(1) Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий. Это делается не ради того, чтобы ввести их в заблуждение, а потому, что если испытуемые догадаются, что некоторое задание предназначено для измерения черты X, то ответы будут отражать их точку зрения по выраженности у себя этой черты, а не реальное положение дел. Представления же некоторых испытуемых о своей личности могут быть значительно искаженными. Как утверждает Guilford (1959), идеальным было бы оценивать испытуемого по чертам, о которых он не знает, задавая ему вопросы о том, что он знает хорошо.

(2) Формулируйте понятные, недвусмысленные вопросы (утверждения). Это важно для того, чтобы уменьшить погрешность, возникающую из-за неверного понимания вопросов. Высокая надежность зависит в известной степени от этого качества теста.

(3) Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Так, задание вида: «Нравится ли вам спорт?» – является слишком общим: термин «спорт» – неопределенный, как и термин «нравится». Необходимо задать более конкретный вопрос: «Вы играете регулярно в какую-либо спортивную игру?» или «Вы регулярно следите за игрой вашей любимой спортивной команды?», «Следите ли вы за результатами скачек?» На эти вопросы, ответы на которые вряд ли будут фальсифицировать или относительно которых реальное поведение вряд ли изменится, испытуемые будут отвечать одинаково, когда бы вы их ни тестировали.

(4) В каждом задании следует задавать только один вопрос или делать только одно утверждение. Например, не используйте утверждение такого типа: «Временами я чувствовал себя подавленным и подумывал о самоубийстве», поскольку крайне депрессивные люди, которые не помышляют о попытке самоубийства, не согласятся с этим утверждением.

(5) Избегайте, насколько это возможно, слов, определяющих частоту действий. Они обычно настолько субъективны, что вносят большую неопределенность.



(6) Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого попытайтесь представить задание в контексте поведения. Если только задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.

(7) При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание личностного теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае вероятно, что задание не выявляет ту область поведения, которая имеет существенное отношение к измерению личностных качеств. Именно первый ответ по всей вероятности является индикатором определенного личностного качества. Как только испытуемые начинают раздумывать над вопросами, включаются не только защитные процессы, но и сознательные искажения, такие как желание произвести впечатление, угодить экспериментатору, все это отрицательно влияет на результаты теста.



(8) Задания должны быть соответствующим образом подобраны и касаться каждой отдельной стороны исследуемого качества или свойства. Например, опросник по диагностике депрессии должен включать вопросы, касающиеся разных видов поведения (нарушения сна или привычек питания), так же как и чувств. Было бы целесообразно составить список основных граней оцениваемого феномена и написать равное число заданий, затрагивающих каждую грань. Очень часто необходимо провести литературный поиск (или изучить диагностические руководства), чтобы убедиться, что у вас есть полное и законченное понимание предмета, который должен быть оценен.

(9) Тест должен быть достаточно длинным для гарантии того, что он охватывает все аспекты изучаемого предмета. В соответствии с эмпирическими правилами вы можете начать по крайней мере с 60 заданий и уменьшить их количество не менее чем до 30, хотя, если в изучаемом предмете существует много граней, вы можете нуждаться и в большем их количестве.

(10) Каждое задание должно оценивать только ту черту, для измерения которой оно предназначено, т.е. ответы на задания не должны зависеть от индивидуальных различий в словарном запасе, социальной желательности или от любых иных черт.

(11) Должно быть тщательно проанализировано соответствие каждого задания данной культуре.

(12) Важно обеспечить, чтобы задания были логически независимы. В случае личностных тестов убедитесь в том, что, если логически последовательный человек отвечает на какое-либо задание определённым образом, это не «принуждает» его давать какой-либо определённый ответ на любые другие задания. Другими словами, два задания не должны иметь в виду одно и то же.

(13) Попытайтесь добиться того, чтобы около 50 % заданий по каждому аспекту опросника были построены таким образом, чтобы ответ «да / совершенно согласен» соответствовал высокой оценке по черте, а другие 50 % соответствовали бы низкой оценке по черте.

(14) Если вы должны спросить о чём-то социально нежелательном, рассмотрите возможность формулировки утверждения как бы с точки зрения другого человека, например: «Некоторые люди могут описывать меня как скупого», а не «Вы скупой?»

В инструкциях необходимо просить испытуемых выполнять задания настолько быстро, насколько это возможно. Конечно, нельзя избежать того, что таким инструкциям не всегда следуют.

 

Общие принципы анализа заданий

Закончив набросок текста, необходимо обеспечить, чтобы все задания измеряли один и тот же конструкт, прежде чем проводить проверку надёжности и валидности теста. Чтобы сделать это, тест следует предъявить большой выборке людей (200), сходных по своим характеристикам с индивидуумами, которые будут в конечном счёте тестироваться при помощи этого теста. Ответы затем обрабатываются, и для каждого индивидуума вычисляется средний балл.

Следующая стадия заключается в том, чтобы проанализировать средние показатели и стандартные отклонения по каждому из заданий. Величина стандартного отклонения по каждому заданию показывает размах индивидуальных различий, обнаруженных среди ответов испытуемых на это задание. Например, если задание имеет стандартное отклонение, равное 0, значит, все ответили одним и тем же образом, и, следовательно, оно явно не фиксирует индивидуальные различия любого рода и должно быть удалено из шкалы.

Хотя проверка средних и стандартных отклонений – первый шаг, она не может обнаружить какие вопросы в тесте имеют плохое содержание. Для этого имеются специальные методы анализа заданий для выявления тех, которые по тем или иным причинам просто не измеряют то же самое, что измеряют другие задания теста.

Конструирование тестов по критериальному принципу

Наиболее очевидный способ выделения хороших (т.е. прогностичных) заданий теста состоит в том, чтобы валидизировать каждое задание по отношению к некоторому критерию. Например, в конце обучения каждый стажёр-штурман получает отметку от 0 до 100, указывающую на общий уровень успешности в обучении штурманскому делу. Конечно, процесс анализа заданий будет просто включать корреляции оценок стажёров по каждому из заданий теста с их оценками, полученными в курсе обучения. Задания, имеющие значимые корреляции, могут рассматриваться как способные предсказать этот критерий, а те, которые не в состоянии это сделать, будут удалены из теста.

Эта процедура, известная как критериальный принцип, была использована для конструирования нескольких хорошо известных шкал (MMPI, Калифорнийский психологический опросник).

Конструирование тестов с помощью факторного анализа заданий

Одни психологи, например, Кэттел, отстаивают целесообразность использования факторного анализа при конструировании тестов, а другие наряду с этим выделяют некоторые проблемы, возникающие в связи с этим подходом. В соответствии с ним корреляции между полученными оценками по каждому заданию подвергаются факторному анализу. Объединяя вместе набор заданий для измерения одного определённого конструкта, мы надеемся, что появится только один фактор и что все переменные будут иметь по нему большие нагрузки. На практике может выделиться больше, чем один фактор, и некоторые переменные могут не иметь нагрузок выше 0,4 по любому фактору. Этот метод конструирования шкал просто предусматривает выделение и сохранение тех заданий, которые имеют существенные нагрузки по главному фактору.


СОДЕРЖАНИЕ ПРАКТИЧЕСКИХ ЗАНЯТИЙ

 

Тематический план


Дата добавления: 2015-02-09; просмотров: 21; Нарушение авторских прав


<== предыдущая лекция | следующая лекция ==>
Основные проблемы подготовки заданий теста. Формы заданий личностного опросника. | Занятие 1. Методологические основания психодиагностики
lektsii.com - Лекции.Ком - 2014-2019 год. (0.013 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты