Ученому очень тяжело отказаться от собственной концепции, даже сталкиваясь с данными, которые большинство членов научного сообщества рассматривают как опровергающие.
Впрочем, проще всего отказаться от фактуальных утверждений (типа утверждения о наличии корреляционной связи), если они не включены в более общие концептуальные построения. Если же проверяемая гипотеза содержит непосредственно не наблюдаемые, не операционализируемые элементы, то ее труднее и опровергнуть, и подтвердить. Во всяком случае повторение экспериментального результата уже не может быть независимой проверкой гипотезы. Любое высказывание, выходящее за рамки фактуального утверждения, требует проверки на принципиально ином экспериментальном материале или, еще лучше, иными методами.
Сходное требование было сформулировано в психологии в середине 50-ых гг., когда У. Гарнер, Г. Хэйк и Ч. Эриксен ввели так называемый «принцип конвергирующих операций»: гипотеза подтверждается, если результаты разных методов сходятся («конвергируют»), По мнению Б. М. Величковского, этот принцип сыграл «важную роль в создании методологического климата, сделавшего возможным переход к когнитивной психологии». Рассмотрим пример типичной когнитивно-психологического исследования проверки гипотезы путем выведения из нее проверяемых следствий.
В начале нашего столетия было обнаружено, что эффективность запоминания зависит от метода ее измерения: тесты на узнавание ранее предъявленного материала всегда показывали лучший результат, чем тесты на воспроизведение (припоминание) этого материала. Была высказана гипотеза: эффективность как узнавания, так и воспроизведения зависит только от одной величины — от «прочности» следа в памяти;лишь при достижении определенных «пороговых» значений этой величины каждый запоминаемый элемент может извлекаться из памяти;суть гипотезы — порог для узнавания ниже, чем порог для воспроизведения. Понятно, что такая гипотеза не может быть подтверждена многократным повторением одного только факта преимущества узнавания. Тем более, что понятие «прочность следа» не относится к числу непосредственно наблюдаемых. И все же для выведения оригинальных следствий из этой пороговой теории требуется определенное остроумие.
Когнитивисты рассуждали так: поскольку согласно пороговой теории процессы узнавания и воспроизведения качественно не различаются, постольку 1) успешность узнавания и успешность воспроизведения одного и того же материала должны высоко положительно коррелировать друг с другом;2) при любых вариациях экспериментальных условий успешность узнавания никогда не может быть хуже, чем успешность воспроизведений;3) варйаций экспериментальных условий должны однонаправленно влиять на успешность обоих методов измерения эффективности запоминания. Эти следствия были проверены и найдены случаи опровержения. Пороговая теория была отвергнута, так как появились другие объяснительные гипотезы.
Можно сформулировать методологическое требование: гипотеза, включающая в себя утверждения о непосредственно не наблюдаемых механизмах, процессах или явлениях, должна проверяться разными способами. Д. Кэмпбелл в связи с этим обсуждает возможность изначального планирования «гетерометодических» экспериментов, например «вводить экспериментальную переменную двумя методически независимыми способами и в каждом случае измерять эффект воздействия двумя независимыми методами». Однако, добавляет Кэмпбелл, лучше этого не делать. По его мнению, описанный план эксперимента при воплощении привел бы к столь обескураживающим результатам, «что у многих бы вовсе пропала охота проводить исследования».