Моделирование обработки большого объема данных
DOI:
https://doi.org/10.26577/jmmcs-2018-1-490Ключевые слова:
Большие объемы данных, обработка данных, анализ, моделирование, методыАннотация
Определение больших объемов данных, BigData, используется для обозначения таких
технологий как хранение и анализ значительного объема данных, при обработке которых
требуется высокая скорость, и принятие решений в режиме реального времени. Обычно, когда
говорят о серьезной аналитической обработке, особенно если используют термин DataMining,
подразумевают, что данных огромное количество. Не существует универсальных способов
анализа или алгоритмов, пригодных для любых случаев и любых объемов информации.
Методы анализа данных существенно отличаются друг от друга по производительности,
качеству результатов, удобству применения и требованиям к данным. Оптимизация
может производиться на различных уровнях: оборудование, базы данных, аналитическая
платформа, подготовка исходных данных, специализированные алгоритмы. Большие данные
– это совокупность технологий, которые призваны совершать три операции. Во-первых,
обрабатывать большие по сравнению со "стандартными" сценариями объемы данных. Во-
вторых, уметь работать с быстро поступающими данными в очень больших объемах. То
есть данных не просто много, но их постоянно становится все больше и больше. В-третьих,
они должны уметь работать со структурированными и плохо структурированными данными
параллельно в разных аспектах. Большие данные предполагают, что на вход алгоритмы
получают поток не всегда структурированной информации и что из него можно извлечь
больше, чем какую-то одну идею. Результаты исследования используются авторами при
моделировании больших данных и разработке веб-приложения.
Библиографические ссылки
of the ACM SIGMOD International Conference on Management of Data, Vancouver, BC, Canada, June 2008,
vol. 3, (2008): 57-61.
[2] Balakayeva G. and Nurlybayeva K. Simulation of Large Data Processing for Smarter Decision Making. AWERProcedia
Information Technology Computer Science, 3rd World Conference on Information Technology, vol. 03, (2013): 1253-1257
[3] Batini C., Ceri S. and Navathe S. Conceptual Database Design: An Entity-Relationship Approach. Redwood City, CA:
Benjamin Cummings, (1992): 185 p.
[4] Blaha M. and Premerlani W. Object-oriented modeling and Design for Database Applications. Prentise Hall, (1997):
201 p.
[5] Boncz P., Zukowski M. and Nes N. MonetDB/X100: Hyper-pipelining query execution. In CIDR, (2005): 324 p.
[6] Boncz P. A. and Kersten M. L. MIL primitives for querying a fragmented world. VLDB Journal, vol. 8, no 2 (1999):
101-119.
[7] Frenk B. Ukrashenie bol’shikh dannykh: kak izvlekat’ znanie iz massivov informacii s pomosh’iu glubokoi analitiki [Exploitation
of most data: how to search for information from mass media analysts with help]. Moscow, (2014). 127 p.
[8] Glushakov S.V. Lomat’ko D.V. Bazy dannykh: uchebnyi kurs [Databases: training course]. Moscow: OOO "Izdatel’stvo
ACT", (2000): 504 p.
[9] Obukhov A. In-Memory. Baza dannykh v operativnoj pamjati [In-Memory. Databases in RAM], (2014): 128 p. http://ecmjournal.
ru/post/In-Memory-Baza-dannykh-v-operativnojj-pamjati.aspx
[10] Sosnov A. Osnovy proektirovanie informacionnykh sistem [Basics of projection of information systems]. Moscow: DMK
Press, (2002): 1020 p.
[11] Stonebraker M., Abadi D. J., Batkin A., Chen X., Cherniack M., Ferreira M., Lau E., Lin A., Madden S. R., O’Neil E.
J., O’Neil P. E., Rasin A., Tran N., and Zdonik S. B. C-Store: A Column-Oriented DBMS. In VLDB, (2005): 553-564.
[12] Vishnevskii A. SQL Server. Effektnaya rabota [SQL Server. Effective work]. Sankt-Peterburg, (2009): 541 p.
