Схема интервьюирования контрольных групп в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе,Эри Коунти, 1940 г.

Изначально предполагалось, что панель создаст повышенную заинтересованность респондентов в интервью, в том числе будет способствовать повышению информированности и форсирует выбор позиции относительно предстоящего голосования в условиях возможной неопределенности. Эти гипотезы были тщательно проверены. Результаты опроса показали, что реактивный эффект панели практически не влияет на динамику предпочтений (табл. 6.3).

⁸ Lazarsfeld P., Berelson В., Gaudet H. The people choice: How the voter makes up his mind in a presidential campaign. 3rd ed. New York: Columbia University Press, 1968. ⁹ Ibid. P. XIII.

Таблица 6.3

Реактивный эффект панельного интервьюирования в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунти, 1940 г., %

Две первые колонки показывают, что значения контрольной группы В и панели полностью совпадают, хотя в панели проведено уже четвертое интервью. Когда панель интервьюировалась шестой раз, а контрольная группа С — второй, общий уровень интереса повысился, причем в панели повышение более заметно, чем в контрольной группе. Таким образом, существенного влияния повторного интервьюирования на динамику ответов не установлено.

Многократно повторяющиеся опросы одних и тех же респондентов проводились П. Лазарсфельдом, Б. Берельсоном и У. Макфи в 1948 г. В этот раз панель велась в городке Эльмира неподалеку от границы, отделяющей штаты Нью-Йорк и Пенсильвания. Панель включала уже тысячу человек, а опросы проводились с июня по ноябрь 1948 г.¹⁰.

При работе с панелью особую трудность представляет сохранение состава группы. Как правило, панель комплектуется из респондентов, проявивших заинтересованность в опросе. Это само по себе несет угрозу внутренней и внешней валидности, а с течением времени у многих респондентов первоначальный энтузиазм сменяется разочаро

¹⁰ Berelson В., Lazarsfeld P., McPhee W. Voting: A study of opinion formation in a presidential campaign. Chicago: The University of Chicago Press, 1954.

ванием. Отсев панели распределяется не равновероятно. Более высокие шансы на продолжение сотрудничества имеют те, кто хочет участвовать в массовом опросе. Что касается естественного отсева, обусловленного переменой места жительства, то и здесь содержится угроза валидности вывода. Данный фактор риска затрагивает преимущественно респондентов молодого возраста. Наконец, само панельное обследование обладает некоторым реактивным эффектом.

Результаты Лазарсфельда и соавторов не следует распространять на широкий круг переменных. Ясно, что респонденты, знающие, что находятся под наблюдением, могут значительно отличаться от «нормальных» людей. В «острых» вопросах, затрагивающих, например, криминогенные обстоятельства, панель обретает мощный «воспитательный» потенциал. Статистические органы России и других стран постоянно ведут наблюдения за бюджетом одних и тех же семей с целью учета динамики благосостояния. Даже если в этих семьях и не опасаются сообщать о своих доходах, сам факт тщательной регистрации доходов и расходов отличает бюджетную панель от генеральной совокупности. Внешняя валидность данных становится сомнительной. Да и в обычных случаях панель создает повышенный риск. Скажем, респонденты могут демонстрировать устойчивые оценки и мнения, хотя на самом деле они думают совсем иначе — кому хочется показаться неверным своему слову? Все эти аргументы не означают методической слабости панельных опросов. Данные панелей оцениваются исключительно высоко.

В отличие от панели в трендовом квазиэкспериментальном плане формируются эквивалентные выборки, имеющие различающийся состав респондентов. Единственное требование к ним — репрезентативность относительно одной и той же генеральной совокупности. Трендовые обследования часто проводятся статистическими органами и службами общественного мнения. Если влияние экспериментальной переменной не контролируется, задача сводится к совокупности последовательных опросов по плану «исследования случая». Но если требуется проверить гипотезу о взаимосвязи, необходимо учитывать почти все факторы риска, за исключением отсева группы.

Трендовые наблюдения относятся к типу «естественных экспериментов», и независимая переменная выбирается в качестве критерия выделения подмассивов. Например, можно выделить людей с высшим образованием и показать, что процент разводов в этой группе на протяжении длительного времени остается более высоким, чем в группе лиц со средним образованием. Однако связь этих переменных не контролируется и, следовательно, сомнительна с точки зрения внутренней валидности. С другой стороны, соотношение

14-365

между образованием и вероятностью развода обладает высокой внешней валидностью.

Вообще социологические исследования оставляют желать лучшего с точки зрения внутренней валидности, зато их результаты могут быть распространены на обширный класс событий. Правда, остается неясным, стоит ли обобщать столь сомнительные зависимости, которые устанавливаются в квазиэкспериментальных планах. «Чистые» лабораторные эксперименты характеризуются высокой внутренней валидностью, а их внешняя валидность не поддается оцениванию. В равной степени сомнительны выводы, высокая валидность которых ограничена трудновоспроизводимыми лабораторными условиями. В таких случаях вступает в дело атеоретичный критерий оригинальности и правдоподобия вывода.

В середине 1950-х гг. Соломон Аш изучал условия, при которых индивид принимает либо отвергает групповое давление, когда оно противоречит фактам¹¹. Группа из шести-девяти человек (мужчины, студенты колледжа, 17 — 25 лет) получала задание на проверку визуального распознавания длины нарисованных на карточках отрезков. Такова была «легенда» эксперимента. Предъявлялась карточка с изображением отрезка прямой линии — стандарт, который надо было сравнить с тремя другими отрезками разной длины. Один из них был равен стандарту, два другие — отличались. Производилось 18 проб, в которых испытуемые открыто высказывали оценки длины отрезков. Говорили по очереди. Один из них — объект реального экспериментирования — всегда отвечал последним или предпоследним и испытывал давление групповой оценки — изначально ложной. Таким образом, создавалась ситуация конфликта между группой и индивидом. В итоге было установлено, что групповая заведомо ложная позиция снижает число правильных ответов до 50 — 70% (рис. 6.1).

Трудно представить, чтобы в «реальном мире» происходил конфликт по поводу длины нарисованных на бумаге отрезков. Однако в данном случае действует умозаключение по аналогии: если в очевидных случаях каждый третий принимает заведомо ложную групповую позицию, то какова мера конформизма в идеологии, морали, правосудии и других неочевидных, но значимых вопросах?

План с эквивалентными выборками заключается в изучении прецедентов, когда применяется экспериментальная переменная, и сравне

¹¹Asch S. Studies of Independence and conformity: 1. A minority of one against a unanonimous majority// Psychological Monographs: General and Applied. Vol. 70. No. 9. 1956. P. 11.

Рис. 6.1. Количество правильных оценок в условиях группового давления значительно ниже, чем в контрольной группе, эксперимент Соломона Аша

нии их с ситуациями, когда она не применяется. Например, В. Керр изучал таким образом влияние музыки на производительность труда: он сравнил 56 «музыкальных» рабочих дней с 51 днем «немузыкальным». Факторы риска, снижающие внутреннюю валидность, особенно реактивный эффект, присущи этому квазиэкспериментальному плану в полной мере. Вполне возможно, что в «музыкальные» дни работники старались проявить себя с лучшей стороны.

Экспериментирование на одном объекте с предварительным и итоговым замерами. План данного эксперимента заключается в осуществлении замера до применения экспериментальной переменной х и после этого. Полученное различие, как предполагается, — следствие х.

Часто такой вывод воспринимается как вполне правдоподобный, если известно, что за время между предварительным и итоговым замерами ничего существенного не произошло. В данном случае речь идет о влиянии на внутреннюю валидность факторов исторического фона, естественного развития («матурации») и особенно эффекта тестирования. Исследования показывают, что при тестировании интеллекта и контрольных проверках знаний результаты итогового замера выше, чем результаты предварительного. При исследовании предрассудков предъявление суждений, выражающих враждебность, изменяет установки испытуемых в сторону большей враждебности.

Значительные искажения в эксперимент такого типа вносит реактивность респондентов. Результат наблюдения часто возникает под влиянием самого исследования. Журналисты хорошо знают, что интервью с записью на диктофон значительно отличается от нормального разговора. Появление интервьюера с бланком опроса на сельской улице приводит население в состояние тревоги. Рецепт здесь прост: наблюдение должно иметь по возможности характер пассивной регистрации.

Сравнение нерандомизированных, экспериментальной и контрольной групп. В соответствии со схемой Милля предполагается, что при прочих равных условиях группа, испытавшая воздействие переменной х, обнаружит определенный признак О₁, а группа, не испытавшая такого воздействия, обнаружит признак О₂. Отсюда следует, что х есть причина O₁. Схему можно записать следующим образом:

Данный квазиэкспериментальный план представлен, например, в сравнении обществ, имеющих рыночную экономику, с обществами централизованного планирования. Первые обладают более высоким благосостоянием, которое рассматривается как следствие рыночной конкуренции. На самом деле различия в благосостоянии обществ могут быть объяснены и без экспериментальной переменной. Слабость рассматриваемой схемы заключается в отсутствии контроля за идентичностью групп.

Экспериментальный план с предварительным и итоговым замерами и контрольной группой. Сравнение результатов наблюдения за объектами до и после эксперимента становится контролируемым при условии выравнивания или рандомизации групп (R).

Из всех факторов риска здесь наибольшее значение имеют исторический фон, естественная внутригрупповая история объекта и отсев испытуемых (если эксперимент достаточно длительный). Многие тщательно разработанные эксперименты подобного рода плохо воспроизводятся. Это наводит на мысль, что в их «истории» имели место какие-то специфические события, повлиявшие на различия между предварительным и итоговым замерами. Рекомендуется рандомизировать отдельные сеансы эксперимента с учетом личности экспериментатора, времени суток, дня недели, начала и конца семестра и т. п.¹². Что касается отсева, то этому фактору риска больше подвержена контрольная группа, с которой не ведется экспериментальная работа, например, учащиеся не посещают уроки совместного чтения. В таких случаях для лабораторных экспериментов рекомендуется плацебо-эффект, хотя признается, что он дает результаты не хуже, чем настоящее экспериментальное воздействие.

Эксперимент Р. Соломона для четырех групп. Модификация эксперимента с предварительным и итоговым замерами и контрольной группой была осуществлена путем формирования четырех рандомизированных групп.

В первой группе производится предварительный замер, затем вводится экспериментальная переменная, после чего осуществляется

¹² Кэмпбелл Дж. Модели экспериментов в социальной психологии и прикладных исследованиях: Пер. с англ. /Сост. и общ. ред. М.И. Бобневой; Вступ. ст. Г.М. Андреевой. М.: Прогресс, 1980. С. 65.

итоговое наблюдение. Во второй группе делается то же самое, но без экспериментального фактора. В третьей группе предварительного наблюдения вообще не производится, а сразу за экспериментальным фактором следует итоговое наблюдение. Четвертая группа на протяжении всего эксперимента остается неприкосновенной, за исключением проведения итогового наблюдения. Таким образом возможности контроля внутренней валидности значительно расширяются.

Причинная связь высоковероятна при условиях, что итоговое наблюдение будет существенно отличаться от предварительного после применения экспериментальной переменной (первая группа); что итоговое наблюдение после применения экспериментальной переменной с предварительным наблюдением будет существенно отличаться от итогового наблюдения без применения экспериментальной переменной (вторая группа); что итоговое наблюдение после применения экспериментальной переменной без предварительного наблюдения (третья группа) будет существенно отличаться от итогового наблюдения в «неприкосновенной» четвертой группе; что итоговое наблюдение после применения экспериментальной переменной без предварительного наблюдения (пятая группа) будет существенно отличаться от предварительного наблюдения в третьей группе.

Имеются и иные возможности контроля. Сравнение предварительных замеров в первой и второй группах должно показать их идентичность, иначе не обеспечивается условие рандомизации. Различие между итоговым замером в первой группе, где производился предварительный замер, и итоговым замером в третьей группе, где итогового замера не было, свидетельствует о реактивном эффекте, угрожающем внутренней валидности.

Во второй и четвертой группах одинаково отсутствует экспериментальное воздействие, в то время как во второй группе производилось предварительное наблюдение, а в четвертой нет. Поэтому различие между итоговыми наблюдениями также может означать реактивный эффект, т. е. воздействие на итоговый замер замера предварительного.

Экспериментальный план с контрольной группой без предварительного замера. Если распределение экспериментальной и контрольной групп проведено без предварительного замера и группы хорошо рандомизированы, достаточно итогового замера, чтобы уверенно судить о влиянии независимой переменной на зависимую.

Схема данного плана напоминает сравнение нерандомизированных групп, однако обеспечивает значительно большие возможности контроля внутренней валидности. В отличие от плана Соломона она применяется в тех случаях, когда предварительное тестирование невозможно или нежелательно по причине реактивного эффекта. Предположим, в исследовании проверяется влияние расистских идей, пропагандируемых органами массовой информации, на националистические предрассудки. Отобраны две группы реципиентов. Одной продемонстрирована расистская радиопередача, а другой — нет. Затем проводится тестирование, и различия в величине индекса будут свидетельствовать о влиянии передачи на установки испытуемых. Предварительное тестирование изменило бы установки тех, кто не слушал расистскую радиопередачу.

Перекрестный квазиэкспериментальный план предусматривает применение экспериментальных воздействий одновременно ко всем группам испытуемых в случайном или квазислучайном порядке.

Результаты экспериментальных серий по каждой группе суммируются и сравниваются друг с другом. Можно также сопоставлять суммарные измерения по каждой серии отдельно. Подобная схема избавлена от существенных нарушений внутренней валидности, связанных с влиянием группы и порядком применения экспериментальной переменной. Чем больше групп, тем выше надежность измерений. Обычно такого рода квазиэкспериментальные планы применяются в случаях, когда осуществляется работа с естественными нерандомизированными группами (например, воинскими подразделениями, студенческими группами, бригадами).

В социологических исследованиях используется экспериментальный план с предварительным и итоговым замерами¹³. Рандомизация здесь осуществляется ориентировочно, путем выделения эквивалентных групп.

Одна группа проходит предварительный замер, другая — итоговый. Различия между результатами могут быть невалидными вследствие влияния фоновых признаков. Обычно этот недостаток компенсируется повторением эксперимента. Более серьезную опасность представляет влияние инструмента, в частности «эффект интервьюера». Использовать в массовых опросах эквивалентные случайные выборки вряд ли возможно, хотя это решило бы проблему влияния интервьюера. В длительных экспериментальных наблюдениях состав респондентов обычно меняется. Поскольку исследования такого рода проводятся на больших «естественных» массивах, их внешняя валидность выше, чем в «чистых» лабораторных экспериментах.

Квазиэкспериментальный план с временной серией и контрольной группой пригоден при интерпретации реформ как экспериментальной переменной.

Если в учреждении или сообществе проводятся реформы, то в качестве контрольной группы надо найти аналогичные учреждение или сообщество. Разумеется, такая возможность случается очень редко. Экспериментаторы предпочитают иметь дело со школьными и студенческими группами. Внутренняя валидность эксперимента обеспечивается временными рядами, а внешняя — репрезентативностью обследованных «гнезд».

¹³ Selltiz С., Jahoda М., Deutsch М., Cook S. Research Methods in Social Relations. New York: Holt Dryden, 1959. P. 11б.