Цитаты из книг автора «Владимир Рафалович»

Очень важным моментом является понимание данных, которые собраны. Без этого результат разработки данных может не иметь смысла или часто приводить к каким-то тривиальным выводам. Надо понимать какие поля независимы друг от друга, а где имеется корреляция. Можно ставить вопрос, как цена зависит от километража, года машины, ее модели и города продажи. Но ставить вопрос как город продажи зависит от цены, километража и типа карбюратора не имеет смысла. Мы хотим здесь подчеркнуть, что понимание бизнес-процессов играет не последнюю роль в успешной разработке данных.

Специалисты работающие с SQL-сервером не нуждаются в Excel для разработки данных, поскольку в самом SQL-сервере имеются серьезные инструменты для интеллектуального анализа данных (SSAS – SQL Server Analysis Service, аналитические сервисы SQL-сервера), требующие значительных профессиональных знаний.

Разработка данных (Data Mining) иногда еще называемая обнаружением знаний из баз данных (KDD – knowledge discovery in databases), по сути, заключается в нахождении повторяющихся элементов (сегментов) в источнике данных.

Он содержит квинтэссенцию огромного набора данных. Он и есть информация. Информация в сущности это тот минимальный набор данных, который уменьшить нельзя, иначе данные невозможно будет узнать/восстановить. Знчит, вжно умть выделть инфрмцю ради оббщния огрмнго обема дннх.

Принципиальное отличие Разработки данных от статистической Обработки данных заключается в том, что первое позволят извлечь из груды данных новое знание (KDD – Knowledge Discovery from Database), новую закономерность, ранее неизвестную в принципе. Путем нахождения типичных повторений (pattern) или образцов.

Большое количество повторений, большая удаленность от чистой информации, как раз и позволяет находить в данных закономерности, то есть приводить систему данных к более близкому к информации состоянию, понижать энтропию данных, так сказать.

разработка данных как раз и занимается тем, что обрабатывая объемные массивы данных, она пытается обнаружить более емкие закономерности. Выхолощить повторяемость и обнаружить действительно полезную информацию.