Моделирование обработки большого объема данных

Аннотация

Определение больших объемов данных, BigData, используется для обозначения таких
технологий как хранение и анализ значительного объема данных, при обработке которых
требуется высокая скорость, и принятие решений в режиме реального времени. Обычно, когда
говорят о серьезной аналитической обработке, особенно если используют термин DataMining,
подразумевают, что данных огромное количество. Не существует универсальных способов
анализа или алгоритмов, пригодных для любых случаев и любых объемов информации.
Методы анализа данных существенно отличаются друг от друга по производительности,
качеству результатов, удобству применения и требованиям к данным. Оптимизация
может производиться на различных уровнях: оборудование, базы данных, аналитическая
платформа, подготовка исходных данных, специализированные алгоритмы. Большие данные
– это совокупность технологий, которые призваны совершать три операции. Во-первых,
обрабатывать большие по сравнению со "стандартными" сценариями объемы данных. Во-
вторых, уметь работать с быстро поступающими данными в очень больших объемах. То
есть данных не просто много, но их постоянно становится все больше и больше. В-третьих,
они должны уметь работать со структурированными и плохо структурированными данными
параллельно в разных аспектах. Большие данные предполагают, что на вход алгоритмы
получают поток не всегда структурированной информации и что из него можно извлечь
больше, чем какую-то одну идею. Результаты исследования используются авторами при
моделировании больших данных и разработке веб-приложения.