Використання статистичних і аналітичних методів для розв’язання проблем «великих даних»

DOI №______

Анотація

Аналіз великих даних дедалі частіше стає популярною практикою, яку впроваджують численні організації, маючи на меті створення цінної інформації з величезних обсягів даних. Великі дані пропонують принципово нові можливості, а також виклики для статистиків. Адже використовуючи дані, ми стикаємося з багатьма супутніми проблемами, такими як висока вартість обладнання, неструктурованість масивів даних, що заважає негайно знаходити потрібну інформацію, блискавична швидкодія — опрацювання мільярдів гігабайт. У статті розглянуто статистичні та аналітичні методи боротьби з «поганими» даними.

Ключові слова: великі дані (big data); аналітика; аналіз великих даних; дискретизація; статистичні методи.

Список використаної літератури
1. Добре С., Кхафа Ф. Інтелектуальні послуги для великих наукових даних // Комп’ютерні системи майбутнього покоління. 2014. Т. 37. С. 267–281.
2. Akerkar R. Big data computing // CRC Press, Taylor & Francis Group, Florida, USA (2014).
3. Котельников В. А. О пропускной способности эфира и проволоки в электросвязи // Всесоюз. энергетический комитет: материалы I Всесоюзного съезда по вопросам технической реконструкции дела связи и развития слаботочной промышленности, 1933.
4. Ma P., Sun X. Leveraging for Big Data Regression // WIREs Computational Statistics. 2014. С. 70–76.
5. A Resampling-Based Stochastic Approximation Method for Analysis of Large Geostatistical Data / F. Liang, Y. Cheng, Q. Song а. о. // Journal of the American Statistical Association. 2013. Т. 108. С. 325–339.
6. Online Updating of Statistical Inference in the Big Data Setting / E. D. Schifano, J. Wu, C. Wang а. о. // Technometrics. 2015.
7. Massively parallel feature selection: an approach based on variance preservation / Z. Zhao, R. Zhang, J. Cox а. о. // Machine Learning. 2013. Т. 92. Р. 195–220.