Эксперимент в исследовании социально-экономических процессов
им, что один признак предшествует другому и между ними
наблюдается тесная статистическая связь. Однако утверждать о причинной
связи преждевременно. Следует соблюсти третье условие - самое сложное: не
должно быть иного правдоподобного альтернативного объяснения возникновения
признака-следствия, кроме как связь с экспериментальным признаком. Иными
словами, связь может казаться причинной, а на самом деле является
результатом влияния посторонних («третьих») переменных. Экспериментатор
обязан сделать все возможное для устранения этого «шума». Отсутствие каких-
либо альтернативных объяснений и достаточная уверенность в том что эффект
вызван именно данной причиной, определяется как внутренняя валидность
эксперимента. При соблюдении всех трех условий, т. е. внутренней
валидности, можно уверенно утверждать о причинной связи между признаками.
Правда, соблюсти все три условия еще никому не удавалось.
Но эксперимент — довольно локальное событие. Он ограничен временем,
местом, материалом и иными внешними обстоятельствами. А можно ли
распространить полученные во внутренне валидном эксперименте выводы на
иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема
генерализации — четвертой экспериментальной задачи, завершающей цикл
сравнения, манипулирования и контроля. Предположим, студенты тестируются в
лаборатории по поводу их эмоционального отношения к политическим терминам.
Сохранится ли их отношение к этим терминам вне аудитории? А если вместо
студентов экспериментировать с рабочими? Реакция на политические термины в
устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена
контекстов открывает проблему внешней солидности — возможности обобщения,
генерализации полученного заключения.
Ошибки внешней валидности связаны с двумя причинами. Первая — это
нарушение репрезентативности отбора единиц исследования. Предположим, что с
помощью методического эксперимента установлено, что на открытые вопросы
даются более многообразные ответы, чем на вопросы закрытого типа. Оценка
внутренней валидности заключается в гарантиях, что степень многообразия
ответов была вызвана именно типом вопроса, а не каким-либо иным фактором.
Внешняя валидность предполагает, что такая же зависимость будет наблюдаться
не только в процессе эксперимента, но и в любых ситуациях опроса.
Если, например, в экспериментальную группу были набраны добровольцы
(т. е. люди, обнаруживающие активную положительную установку на беседу с
интервьюером), то полученные данные вряд ли репрезентативны для массового
опроса, где часто встречаются респонденты, не расположенные к многообразным
ответам. Риск ошибки, обусловленный нарушением внешней валидности,
значительно возрастает. В идеальном случае экспериментальная и контрольная
группы должны формироваться методом случайного отбора, чтобы они могли
репрезентировать генеральную совокупность. Однако дело это слишком
трудоемкое и дорогостоящее.
Внешняя валидность отсутствует и в тех случаях, когда план
эксперимента основан на искусственных допущениях. В знаменитом эксперименте
Музафера Шерифа по формированию групповых норм испытуемые должны были
оценить расстояние до точечного источника света, находясь в полной темноте.
Поскольку трудно предположить, что в реальной жизни люди часто обсуждают
автокинетический эффект, внешняя валидность эксперимента Шерифа остается
под вопросом.
В целом внешняя валидность тем больше, чем шире область
распространения полученных выводов. Закон Ньютона—Кеплера, связывающий силу
притяжения тел с их массами и расстояниями между ними, обладает практически
универсальной внешней валидностью. Подтверждение внешней валидности
достигается путем многочисленного воспроизведения эксперимента в новых
условиях.
Проблемы внутренней валидности логически разрешимы посредством
статистического контроля и оценивания. А внешняя валидность не имеет
убедительного логического обоснования.
Типичные нарушения внутренней валидности вывода
На результаты эксперимента оказывают влияние любые события,
происходящие во время проведения исследования, особенно если оно занимает
продолжительное время. Сама зависимая переменная меняется под влиянием
посторонних обстоятельств, и какое из них обусловило изменения, — остается
неясным. Причины изменений обозначаются как изменения исторического фона.
Под «историей» имеется в виду история эксперимента.
Предположим, проверяется гипотеза о воздействии пропаганды на
поведение избирателей. В соответствии со схемой эксперимента осуществляется
замер электоральных предпочтений до пропагандистской атаки и после нее.
Затем сопоставляются значения этой переменной в двух группах:
экспериментальной, подвергавшейся пропагандистскому воздействию, и
контрольной, где на избирателей не оказывалось влияния. Предположим, далее,
что установлены существенные различия между экспериментальной и контрольной
группами. Однако можем ли мы быть уверены, что различия обусловлены именно
пропагандой. За короткий промежуток времени на мнения избирателей могли
повлиять различные события: повышение цен, сенсационные разоблачения
политических лидеров, рост инфляции. Все эти факторы могут служить основой
альтернативных гипотез. Чем больше временной промежуток между протестом и
посттестом, тем больше вероятность «исторических» искажений результатов
эксперимента.
Модификацией «исторических» изменений являются естественные изменения
в самом объекте экспериментирования — «матурация». С течением времени
меняется не только внешняя среда, но и внутренние качества испытуемых.
Предположим, что экспериментальной проверке подвергается метод преподавания
и предварительные измерения отделены от итоговых измерений временем,
занимающим почти весь учебный год. Разумеется, за этот период произойдут
существенные сдвиги в уровне усвоения материала студентами — здесь нельзя
сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и,
вероятно, умнее. Результат может быть вызван и новым методом преподавания,
и взрослением экспериментального контингента. Даже если эксперимент длится
два-три часа, на его результаты может повлиять усталость и раздражение
испытуемых.
Несоответствие составов групп. На внутреннюю валидность вывода
оказывают искажающее влияние изменения в составе экспериментальной и
контрольной групп. Особенно часто это случается тогда, когда для
эксперимента выбираются примерно равные по возрасту классы, студенческие
группы. Однако проконтролировать все различия довольно трудно. Например,
более высокий уровень сплоченности в одной группе может привести к
существенным искажениям результатов. Надежное средство выравнивания
составов контрольной и экспериментальной групп — рандомизация.
Отсев испытуемых. Если эксперимент длится долго, вероятность избежать
отсева испытуемых по разным причинам довольно высока. Поэтому при
осуществлении итоговых измерений невозможно с уверенностью сказать,
насколько повлияло выбытие испытуемых на результат. Чаще всего из
экспериментов выбывают испытуемые из контрольных групп.
Нестабильность инструментального комплекса. Изменения могут
затрагивать не только внешние обстоятельства (фон) и испытуемых, но и
измерительный инструментарий исследования. Проблема заключается в том, что
в отличие от естественных наук в социологии и психологии измерительные
инструменты (в том числе интервьюер) меняются. А смена измерительного
комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording,
ни калибровку, ни стиль интервьюирования. При экспериментах, связанных с
контролем успеваемости студентов, такого рода погрешности практически
неизбежны. Необходимо не только сохранить критерии оценки знаний — часто
интуитивные, но даже тот психологический настрой, который был присущ
экзаменатору в момент первой проверки. Смена экзаменатора в данном случае
эквивалентна смене инструмента и препятствует всяким сопоставлениям.
Экспериментальный инструментарий предполагает однократное применение к
одному испытуемому. В противном случае возникнет эффект тестирования. Если
экспериментатор обратится с тем же тест-вопросником вторично, результаты
замера будут иными, поскольку испытуемый уже знаком с инструментом и будет
осознанно или неосознанно корректировать свои реакции, например стараться
вспомнить, что говорил прошлый раз, и воспроизводить свои ответы.
Собственно говоря, знакомый испытуемому тест-вопросник — уже другой
инструмент, чем тот, который применялся на стадии протеста, и сравнение
данных содержит существенную погрешность.
И, наконец, самые существенные искажения связаны с влиянием на
результат эксперимента наряду с независимой переменной самой
экспериментальной ситуации — часто такое влияние называют реактивным
эффектом.
Лучше всего проиллюстрировать возникновение реактивного эффекта на
примере проверки нового метода лечения. Зная о том, что на них испытывается
новый метод лечения, пациенты обнаруживают заметные улучшения по крайней
мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те,
кто входит в контрольную группу, т. е. не находится под воздейств
| |  скачать работу |
Эксперимент в исследовании социально-экономических процессов |
