Цитаты из книги «Роман с Data Science. Как монетизировать большие данные»

гораздо легче принять необъективное и срезать углы, чем объективное, потому что для второго нужны серьезные усилия.

Монетизация данных возможна лишь тогда, когда мы принимаем на основе этих данных правильные решения.

• T-тест Стьюдента – то же самое, что и z-тест, но для выборок малого объема (t < 100). • Хи-квадрат Пирсона для категориальных переменных и всяческих биномиальных тестов. Очень удобен для расчета конверсий, например посетителей в покупателей, где нужен биномиальный тест – купил или нет. • Тест Стьюдента для двух независимо распределенных выборок очень хорошо подходит для нашей задачи с двумя резервуарами или для сравнения средней суммы покупки.

• Z-тест для проверки среднего в нормально распределенной величине.

Суд может ошибаться, тестирование статистических гипотез – тоже. Определим эти ошибки с помощью таблицы. Они бывают двух типов (табл. 10.1): ошибка первого рода, когда мы ошибочно отклонили нулевую гипотезу H0 (признали невиновного виновным), и ошибка второго рода, когда мы ошибочно приняли ее (признали виновного невиновным). Таблица 10.1. Ошибки статистических гипотез На языке статистики ошибки описываются вероятностями: Вероятность ошибки 1-го рода:. Обычно исследователи используют = 0.05 (5 %). Вероятность ошибки 2-го рода:. Величина (1 —) называется мощностью, которая является вероятностью найти улучшение, если оно есть.

Уильям Оккам сформулировал принцип: «Что может быть сделано на основе меньшего числа [предположений], не следует делать, исходя из большего». Этот принцип экономности под названием «бритва Оккама» позволяет, например, выстроить цепь гипотез в порядке возрастания сложности, и именно этот порядок в большинстве случаев окажется удачным. Его также можно использовать при выборе ML-модели. Всегда лучше идти от простого к сложному, от линейных моделей к нелинейным, таким, как, например, нейронные сети.