Способ проверки гипотез является

Способы проверки гипотез

Разработка и проверка гипотез — старый и испытанный метод исследования в науке. Его плодотворность почти столь же действен­на для общественных наук, как и в естествознании, хотя до недавнего времени этот метод в явном виде в социологии приме­нялся сравнительно редко.

Гипотезы вытекают из наших знаний, полученных ранее, и пред­ставляют собой определенные научные предположения, касающиеся еще неизвестных явлений. В этом смысле гипотезы представляют собой непосредственное расширение теории.

Ориентация социологического исследования на проверку точно сформулированных гипотез дает возможность при его проведении ограничиться проверкой лишь необходимых связей, т. е. Обратить внимание на наиболее существенные переменные. Ясно, насколько существенным является влияние качества гипотезы на успешность социологического исследования. Однако современное социологиче­ское исследование слишком дорогостояще, чтобы его плодотворность ставить в зависимость от эффективности какой-либо одной выдви­нутой гипотезы. Поэтому в исследовании конкретной проблемы всегда ориентируются на выдвижение ряда гипотез (или, точнее, ряда альтернативных гипотез), максимально исчерпывающих эту проблему.

В связи с этим важное значение приобретает степень, абстракт­ности гипотезы. Чрезмерно конкретная гипотеза, подчиняя себе программу и методику исследования, как правило, приводит к три­виальным результатам, в лучшем случае воспроизводящим ограни­ченные сведения, содержащиеся в самой гипотезе.

Проверка гипотез. С логической точки зрения процесс всесторонней практической проверки гипотезы выступает как процесс под­тверждения опытом следствий, вытекающих из этих гипотез. При­чем проверка должна проходить по каждому альтернативному пути» определенному основными гипотезами, которые могут быть и взаи­моисключающими, но обязательно представляющими собой логиче­ское целое со своими гипотезами-следствиями.

В то же время эмпирическое подтверждение каждого отдельного следствия основной гипотезы не может служить доказательством самой гипотезы — это неправомерный вывод от истинности след­ствия к истинности основания.

Возможно, что данное следствие вытекает не только из данной гипотезы, но и из какой-либо другой. Но чем большее число различных следствий гипотезы подтверждается опытом, тем меньше вероятность того, что все они могли быть выведены из другой гипотезы или гипотез. Марксистская творил наиболее эффективным средствам проверки истинности результатов исследования считает общественную практику, общественную деятельность людей. Поэтому ученый в своей всесторонней практической проверке гипотезы имеет делочем-то большим, чем простая сумма заключений от следствия к основанию, а именно с подтверждением опытом системы положе­ний, которые в своей совокупности объясняют широкий, круг явле­ний, предсказывают новые явления, связывают ранее считавшиеся несвязанными области и т. д.

В качестве самого сильного способа эмпирической проверки гипотезы выступает социальный эксперимент. Будучи наиболее на­дежным методом проверки гипотез, он в то же время предъявляет наиболее жесткие требования как к самим гипотезам, так и к инструментарию социологического исследования. Вследствие этого он пока нашел довольно ограниченное применение в рамках социоло­гии. Однако по мере углубления понимания социальных процессов вес экспериментальных методов возрастает.

Наибольшее распространение в социологии, получили статистические методы, позволяющие получить некоторые вероятностные оценки истинности предложенной гипотезы (например, когда говорят, что два признака коррелируют с r = 0,5, то обычно указывают, то это верно с вероятностью 1 —a, где a — уровень значимости).

Обычный прием обоснования истинности гипотезы состоит в под­счете средних тенденций, нахождения коэффициентов взаимозави­симости и т. д. Однако на этом пути исследователя поджидает много неожиданностей.

М. Кендалл и А. Стьюарт 4 , анализируя данные исследования о преступности в шестнадцати больших городах США, нашли, что корреляция между степенью преступности (х₁)измеряемой числом известных преступлений на тысячу жителей, и церковным членст­вом (х₂), измеряемым числом членов церкви старше 13 лет из 100 ‘человек населения старше 13 лет оказалась равной 0,14. Очевидный вывод состоит в том, что религиозность удерживает от преступления. Однако более детальное исследование показывает другое.

В схему анализа вводится еще ряд переменных: х₂—процент мужского населения, х₃ — процент мужчин иностранного происхож­дения среди всего населения, х₄ —число детей до пятилетнего воз­раста на «1000 замужних женщин в возрасте от 15 до 44 лет. Уравнение регрессии относительно x_t есть х —19,9 = 4,51(х₂ — 49,2) — 0,88(х₃ — 30,2) — 0,672(х₄ — 48,14) + 0,63(х₅ — 41,6), — некоторые коэффициенты корреляции равны: r₁₅ = — 0,14; r15,3 = -0,03; r_15,4= + 0,25; r_15,34 = +0,23,

Из уравнения регрессии видно, что при фиксированных отдель­ных факторах величины х₁ и х₅ положительно связаны, т. е. церковное членство находится в положительной связи с преступностью.

Что же маскирует этот эффект, давая отрицательную корреляцию г₁₅.

Прежде всего, если устранить влияние величины ж» (иностран­цы), корреляция r_15,3 между преступностью и церковным членством будет близка к нулю. Эта же корреляция положительна, если устранить влияние х₄ или х₅ и х₆.

Таким образом, введение ряда дополнительных переменных по­зволило выявить неадекватность прямого измерения связи и дока­зать справедливость исходного предположения о том, что церковная принадлежность не сдерживает преступности.

Использованный выше прием, широко известный как метод вве­дения контрольных переменных, касается вопроса о том, как в не экспериментальных ситуациях с помощью анализа статистических связей можно получить доказательства о наличии прямых и опосредованных причинных и сопутствующих связей и их напряженности.

Введение контрольной переменной внешне выступает как чисто эмпирическая, процедура поиска взаимосвязей однако на самом, деле она существенным образом опирается на априорную формули­ровку ряда альтернативных причинных моделей 5 . Таким образом, построение математических моделей может служить еще одним надежным методом проверки исходных гипотез. Редко случается так, что; отсутствуют случаи, не соответствующие гипотезе. В рам­ках социологического исследования этот факт не может служить основанием для опровержения того предположения, которое сфор­мулировано в гипотезе. Очевидно, неподтверждаемости одного из следствий может иметь в основном две причины — либо исходное предположение неверно, т. е. не соответствует действительности, либо ошибка может заключаться в неправильном выведении след­ствия из гипотезы, в неправильной интерпретации понятий, в каких-то иных логических ошибках, Допущенных в ходе работы над гипотезой.

Большую помощь в выявлении дополнительных факторов, кото­рые следует принять во внимание при анализе не подтвердившихся гипотез, И в повышении достоверности гипотез может оказать исследование случаев, отклоняющихся от общей закономерности.

Пример. Группа исследователей, применяя несложный метод, оценила до и после воздействия стимула эффективность одной пропагандистской акции 6 . Перед введением контрольного фактора были исследованы установки как экспериментальной, так и контрольной групп. Воздействию пропаганды подвергалась лишь эксперименталь­ная группа. Затем обе группы были исследованы вновь. В среднем в обеих группах, не было выявлено никаких изменений; В результате о том, что пропаганда повлияла на установки не подтвердилось. Однако был поставлен вопрос: если нет изменений в среднем, то что можно сказать об исключениях?

Исключения, т. е. те, кто изменил свои установки, были подвергнуты анализу, Оказалось, что в экспериментальной группе было много изменений, однако их не удалось сначала зафиксировать вследствие того, что у одинакового числа индивидов изменения произошли в обоих направлениях. Этот факт показал, что исходная гипотеза не была ошибочной, но требовала дальнейшего исследова­ния. В рассматриваемом случае также оказалось, что если разделить всех, кто изменил свои установки, на две группы (с противоположными ориентациями), то одна группа будет состоять преимуществен­но из мужчин, а другая — большей частью из женщин. Установление этого факта повлекло за собой необходимость изменения ги­потезы и повторной ее проверки.

Этот пример говорит о том, что в случае, если обнаружено много фактов несоответствия гипотезе, её необходимо либо отверг­нуть, либо модифицировать. Вместе с тем следует отличать гипотезу статистического характера от гипотезы, имеющей характер все­общности. Первую гипотезу может опровергнуть лишь значительное число противоречащих ей фактов, в то время как во втором достаточно единичного факта.

Кроме того, анализ таких противоречащих гипотезе случаев иногда помогает в подборе более чувствительных показателей для нашего исследования.

Источник

Мир статистических гипотез

В современном мире мы обладаем все большим и большим объемом данных о событиях, происходящих вокруг. Зачастую у нас появляются вопросы, на которые хотелось бы быстро ответить на основе имеющейся информации, для этого как нельзя лучше подходит процесс, связанный с проверкой статистических гипотез. Однако, многие считают, что это занятие подразумевает под собой большое число вычислений и в принципе довольно сложно для понимания. На самом деле, алгоритм проверки гипотез достаточно прост, а для осуществления расчетов с каждым годом появляется все больше и больше готовых инструментальных средств, не требующих от человека глубоких познаний в области. Далее я попытаюсь показать, что мало того, что процесс проверки гипотез может быть полезным, так и осуществляется достаточно быстро и без серьезных усилий.

Статистические гипотезы и области их применения

Статистическая гипотеза — это предположение о каких-либо характеристиках случайной величины. Например: существенно ли изменение числа AI-стартапов в Европе в два разных года и т. д.

Проверка статистических гипотез является важнейшим классом задач математической статистики. С помощью данного инструмента можно подтвердить или отвергнуть предположение о свойствах случайной величины путем применения методов статистического анализа для элементов выборки. Если в предыдущем предложении какие-либо термины являются не совсем понятными, ниже можно найти пояснение на простом языке.

Случайная величина — это величина, которая в зависимости от той или иной ситуации принимает конкретные значения с определенными вероятностями. Примеры: отметка на экзамене; результат игры в кости; количество AI-стартапов по странам Европы. В общем, почти все что угодно!

Генеральная совокупность — совокупность всех объектов для анализа. Например: все AI-стартапы в Европе в 2019-м году.

Выборка — часть данных из генеральной совокупности. Например: официально зарегистрированные AI-стартапы в некоторых странах Европы в 2019-м году.

Статистический анализ — использование различных методов для того, чтобы определить свойства генеральной совокупности по выборке.

Для проверки статистических гипотез зачастую применяются статистические тесты, о которых будет рассказано далее.

Алгоритм проверки статистической гипотезы

В обобщенном виде алгоритм выглядит таким образом:

Формулировка основной (H0) и альтернативной (H1) гипотез

Выбор уровня значимости

Выбор статистического критерия

Определения правила принятия решения

Итоговое принятие решения на основе исходной выборки данных

Данные шаги являются унифицированными и схему можно использовать почти во всех случаях. Далее подробнее рассмотрим пример работы данного алгоритма на конкретных данных.

Пример проверки статистической гипотезы

Итак, как вы, наверное, догадались по вышеприведенным примерам, будем проверять гипотезу о том, что имеется существенное различие между числом созданных европейских AI-стартапов в 2019-м и 2020-м годах. Пример достаточно простой, чтобы было проще разобраться в ходе работы алгоритма.

Рисунок 1 — исходные данные

Сначала обратим внимание на исходную выборку (рис. 1): датасет представлен для 30-ти Европейских стран, внесены только официально зарегистрированные в стране стартапы. Данные количественные по двум годам. Стоит отметить, что выборки — парные, то есть мы наблюдаем один и тот же показатель для одних и тех же стран с разницей в год.

Сразу стоит отметить, что будут проверены две статистические гипотезы подряд. Для того, чтобы применять критерий для сравнения средних выборок двух лет нужно сначала определить закон распределения данных. Таким образом, шаг 1 — проверка статистической гипотезы о законе распределения данных. Шаг 2 — проверка статистической гипотезы о равенстве между средними.

Проверка гипотезы о законе распределения

Для данных 2019-го года проверим нормальность распределения.

H0: случайная величина распределена нормально

H1: случайная величина не распределена нормально

Пусть уровень значимости alpha = 0.05 (как и в 95-ти процентах статистических тестов). Определение уровня значимости достойно отдельного поста, так что не будем заострять на нем внимание.

Будет использован критерий Шапиро-Уилка.

На этом шаге необходимо разобраться, как работает критерий. В данном случае рассчитывается следующая статистика — функция от нашей выборки:

, , , ;

Как видно, формула не слишком простая, плюс существует непростой механизм определения параметра a, поэтому в таких случаях проще пользоваться онлайн-калькуляторами для расчета статистики. Я, например, воспользуюсь хорошим статистическим онлайн-ресурсом — https://www.statskingdom.com/320ShapiroWilk.html.

Итак, калькулятор показал нам, что p-value = 1.20005e-9 , W = 0.435974; Что же делать дальше? Есть два варианта:

Можно сравнить статистику W с критическим значением Wкрит. Критическое значение чаще всего приведено в готовых таблицах (по строкам/столбцам там отмечен объем выборки и уровень значимости, а на пересечении как раз-таки и лежит Wкрит.). Если W>Wкрит., то не отвергаем H0 и наоборот. Но это не очень удобно, поэтому чаще используется второй способ.

Можно сравнить p-value с alpha (выбран на 2-ом шаге). Если p-value Рисунок 2 — пример расчета критерия Вилкоксона

Разнообразие статистических критериев

Как мы увидели на примере, важным шагом в проверке статистической гипотезы является выбор критерия. В примере выше я использовала лишь два статистических критерия, но по факту их гораздо больше, так сказать, на все случаи жизни. Данные критерии важно знать и четко нужно осознавать, когда и какой можно применить. Многие из них направлены на сравнение центров распределений случайных величин, например, сравнение средних, медиан, равенство параметра распределения какому-либо числу и т. д. В основном они делятся на параметрические (знаем закон распределения случайной величины) и непараметрические.

Для вашего удобства внизу (рис. 3) приведена таблица с основными, с моей точки зрения, критериями сравнения центров распределения и их классификацией. Надеюсь, она будет вам полезна, ее можно дополнять и расширять по вашему желанию.

Рисунок 3 — классификация статистических критериев

Источник