Цитаты из книг автора «Евгений Шуремов»

Искусственные нейронные сети. Метод анализа данных, основанный на примитивной модели функционирования человеческого мозга, понимаемого как сеть взаимодействующих по определённым правилам нейронов. Часто рассматривается как составная часть алгоритмов Data Mining.

Data Mining (раскопка данных). В широком смысле сюда относят практически все методы, применяющиеся для анализа больших данных. В этом смысле сюда относятся методы классификации, кластеризации, прогнозирования, визуализации, описательная статистика, корреляционно-регрессионный анализ, нейронные сети, методы поиска ассоциаций, эволюционное и генетическое программирование и даже лингвистический анализ текстов

Помимо перечисленных базовых технологий, для обработки больших данных используются традиционные реляционные СУБД и средства поддержки технологий Business Intelligence, а также специализированные программные системы лингвистического анализа неструктурированных текстов, позволяющие определять содержание текста; выявлять упоминания конкретных персон, организаций, событий и отношение (позитивное/негативное) к ним автора публикации; производить тематическое рубрицирование; классифицировать новости; выявлять текстовые заимствования из других текстов.

для решения задач параллельной распределённой обработки больших массивов данных. Поставляются компаниями Teradata, EMC, SAP и другими

Программно-аппаратные комплексы, специально сконфигурированные

R – язык и свободно распространяемая среда программирования статистических вычислений и графической визуализации данных

Hadoop – набор свободно распространяемых программных средств, создаваемых в рамках проекта фонда Apache Software Foundation, и предназначенных для разработки и выполнения программ, осуществляющих распределённые вычисления в кластерах из большого числа ЭВМ.

NoSQL (от англ. Not Only SQL, не только SQL) – класс СУБД, не использующих язык SQL и предназначенных для управления большими плохо структурированными базами данных. Используются для хранения и обработки данных с постоянно изменяющейся структурой, плохо приспособленных для хранения и обработки традиционными реляционными СУБД.

MapReduce – модель распределённой параллельной обработки больших наборов данных, предложенная корпорацией Google. В соответствии с ней общая задача обработки данных разделяется на несколько более простых заданий, параллельно выполняемых несколькими узлами кластера серверов. По мере выполнения заданий промежуточные данные обобщаются и сводятся в конечный результат. Метод Map разбивает данные на подмножества, а метод Reduce обрабатывает выбранные данные и агрегирует их.

Технологии работы с большими данными строятся исходя из соответствия правилу VVV и рассмотренных выше основным принципов: горизонтальной масштабируемости, отказоустойчивости и локальности данных.