klukvamors/basic_stat

Конспект лекций по курсу "Основы статистики"

Основы статистики

все объёмный конспект лекций

Автор лекций: Anatoliy Karpov

Так как рендер ноутбуков от гитхаб грубоват, то читать лекции удобнее от сюда

basic_stat's Issues

Конспект курса статистики

Исправления к конспекту

Привет! Большое спасибо за проделанную работу, этот конспект помог мне освежить в памяти статистику!
После ознакомления у меня есть несколько комментариев:

1. В разделе "Примеры применения t-критерия Стьюдента", скорее всего, допущена ошибка во время вызова метода t.ppf(): вместо степеней свободы в метод передаётся среднее значение.

import pandas as pd
from scipy.stats import t
import matplotlib.pyplot as plt
import numpy as np

array1 = np.array([84.7, 105.0, 98.9, 97.9, 108.7, 81.3, 99.4, 89.4, 93.0,
                   119.3, 99.2, 99.4, 97.1, 112.4, 99.8, 94.7, 114.0, 95.1, 115.5, 111.5])
array2 = np.array([57.2, 68.6, 104.4, 95.1, 89.9, 70.8, 83.5, 60.1, 75.7,
                   102.0, 69.0, 79.6, 68.9, 98.6, 76.0, 74.8, 56.0, 55.6, 69.4, 59.5])

# считаем количество элементов, среднее, стандартное отклонение и стандартную ошибку
df = pd.DataFrame({'Выборка1':array1, 'Выборка2':array2}).agg(['mean','std','count','sem']).transpose()
df.columns = ['Mx','SD','N','SE']

# рассчитываем 95% интервал отклонения среднего
p = 0.95
K = t.ppf((1 + p)/2, df['Mx']-1) # <-- Ошибка тут
df['interval'] = K * df['SE']

df

2. Также в этом разделе ниже идёт код, отображающий боксплоты и доверительные интервалы для температуры плавления ДНК двух типов. Я немного поправил код, чтобы оба графика были рядом в одном масштабе. На мой взгляд, улучшит воспритие графиков.

#строим графики, boxplot из изначальных данных array1, array2,  доверительные интервалы из датафрейма df
fig, (ax1, ax2) = plt.subplots(nrows=1, ncols=2, figsize=(14, 9))

# график boxplot
bplot1 = ax1.boxplot([array1, array2],
                     vert=True,  # создаем вертикальные боксы
                     patch_artist=True, # для красоты заполним цветом боксы квантилей
                     labels=['Выборка1', 'Выборка2']) # используется для задания значений выборок в случае с boxplot

# график доверительных интервалов
bplot2 = ax2.errorbar(x=df.index, y=df['Mx'], yerr=df['interval'],\
                      color="black", capsize=3, markersize=4, mfc="red", mec="black", fmt ='o')

# раскрасим boxplot  
colors = ['pink', 'lightgreen']
for patch, color in zip(bplot1['boxes'], colors):
    patch.set_facecolor(color)
    
# добавим общие для каждого из графиков данные
for ax in [ax1, ax2]:
    ax.yaxis.grid(True)
    ax.set_title('Температура плавления ДНК двух типов')
    ax.set_xlabel('Сравнение двух выборок')
    ax.set_ylabel('Температура F')
    ax.set_ylim(50, 120) # <-- добавил лимит по оси, чтобы графики были в одном масштабе

plt.show()

Очепатки

Крайне чувствителен к взбросам. -> Крайне чувствителен к выбросам.
".. а стандарное отклонение этого распределение будет називаться .." -> ".. а стандартное отклонение этого распределение будет называться .."

В задаче про премию Оскар исправить df количество степеней свободы

Часть 2
Задача про премию Оскар
При расчете значения p количество степеней свободы должно быть не N-2, а N + N -2 (т.к. у нас двухвыборочный тест)

from scipy.stats import t
from numpy import sqrt

mean_m, mean_f = 45, 34
sd_m, sd_f = 9, 10
N = 100

se = sqrt((sd_m ** 2)/N + (sd_f ** 2)/N)
t_value = (mean_m - mean_f)/se

p = t.sf(t_value, N+N-2)
print(f'p={p}')
if p >= 0.05:
    print('Мы НЕ можем отклонить нулевую гипотезу')
else:
    print('Мы можем отклонить нулевую гипотезу')

Несколько ошибок

K = t.ppf((1 + p)/2, df['Mx']-1)
в степень свободы взял среднее, надо - размер выборки

ssw = sum(sum((x - group_mean)**2 for x in data[group]) for group, group_mean in data.mean().items())
посчитано sst, проверь - будет 30