Цитаты из книги «Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных»

риск смерти от пневмонии. Система, не зная об особом подходе к таким пациентам, видела только то, что астматики имели пониженный риск смерти от пневмонии. Вполне естественно, что она рекомендовала сразу отправлять их домой. Фундаментальная проблема здесь кроется в том, что алгоритм машинного обучения не видит всех значимых данных. И это весьма распространенная проблема, имеющая пагубные последствия.

Рич Каруана и его коллеги описали созданную ими систему на основе машинного обучения для прогнозирования вероятности смерти пациентов, больных пневмонией. В основном прогнозы оказывались точными, если только у пациентов вдобавок не было астмы13. В таких случаях система предсказывала, что риск смерти от пневмонии намного ниже, чем если бы астмы не было. Казалось, это полностью противоречит здравому смыслу: каким образом осложнения, мешающие дыханию, могут улучшить ситуацию? За этим стояло либо крупное научное открытие некоего биологического механизма, помогающего астме противостоять пневмонии, либо непредвиденные темные данные, которые вводили в заблуждение и делали выводы недостоверными. Тщательный анализ показал, что система машинного обучения действительно имела слабые места, а ее прогнозы были следствием темных данных. На деле пациенты с астмой в анамнезе были подвержены особенно высокому риску, и их сразу направляли в отделение интенсивной терапии, где они получали первоклассное лечение. И лечение это было настолько эффективным, что снижало

Странный феномен, заставляющий нас ожидать того, что хорошие показатели должны ухудшиться, а плохие улучшиться, даже если процесс остался неизменным, называется возвратом к среднему

Этот феномен оказывает влияние и на такие знакомые финансовые индексы, как Dow Jones и S&P 500. Компании, которые плохо работают, выпадают из расчета этих индексов, так что только те, которые справляются относительно неплохо, вносят свой вклад в их значение. Это хорошо, если вы инвестировали именно в те компании, которые преуспели, но обратная ситуация совсем не радует. А поскольку крайне сложно (некоторые скажут, что невозможно) определить, какие компании будут продолжать работать хорошо, а какие нет, то индексы обманчивы.

увидите, темные данные разнообразны и до тех пор, пока мы не осознаем, что наши данные могут быть неполными; наблюдение чего-либо не означает наблюдения всего; процедура измерения может быть неточной; а то, что мы измеряем, на самом деле может оказаться не тем, что мы хотим измерить, мы рискуем получать результаты, далекие от истины, что зачастую и происходит.

бывший министр обороны США Дональд Рамсфелд охарактеризовал темные данные второго типа, да так удачно, что его высказывание стало знаменитым: «Есть известные неизвестные; то есть мы знаем, что есть какие-то вещи, которых мы не знаем. Но есть также неизвестные неизвестные — те, о которых мы не знаем, что мы их не знаем»6

Следующие примеры познакомят нас с другим типом темных данных — DD-тип 2: данные, о которых мы не знаем, что они отсутствуют. Многие города сталкиваются с проблемой выбоин в дорожном покрытии. Вода попадает в мелкие трещины, замерзает зимой, расширяя их, а колеса автомобилей довершают разрушительную работу. В результате у машин портятся колеса и подвеска. Бостон решил бороться с этой проблемой с помощью современных технологий. Он выпустил приложение для смартфона, которое использовало внутренний акселерометр устройства, чтобы определять тряску автомобиля, проехавшего по выбоине, а затем с помощью GPS автоматически передавать ее координаты городским властям. Фантастика! Теперь люди, обслуживающие шоссе, будут точно знать, куда ехать, чтобы залатать выбоины. Однако это элегантное и дешевое решение реальной проблемы, основанное на современных технологиях анализа данных, не учитывает того, что владельцы автомобилей и дорогих моделей смартфонов с акселерометрами концентрируются в более богатых районах. Это повышает вероятность того, что выбоины на дорогах в районах победнее не будут обнаружены, а значит, аварийная опасность таких дорог будет все возрастать. Вместо того чтобы решить проблему в целом, такой подход усугубляет социальное неравенство.

Не было ничего необычного, поэтому мы не придали этому значения

Во-первых, никто не умирал от этой болезни до 1901 г., поскольку именно тогда немецкий психиатр Алоис Альцгеймер впервые описал случай заболевания, которое впо

На практике разумное использование неизвестности означает более крепкое здоровье, дополнительные деньги и меньшие риски.