Introduction to Big Data Technologies Big Data Applications & Challenges

1. ‫دهنده‬ ‫ارائه‬:‫عسگریان‬ ‫احسان‬
9/16/2016
1

2. 9/16/20162

3. 9/16/20163
From the dawn of civilization until
2003, humankind generated five
exabytes of data. Now we produce
five exabytes every two days…and
the pace is accelerating.
Eric Schmidt,
Executive Chairman, Google

4. 9/16/20164

5. 9/16/20165

6. 9/16/20166
The ‘Datafication’
of our World;
• Activities
• Conversations
• Words
• Voice
• Social Media
• Browser logs
• Photos
• Videos
• Sensors
• Etc.
Volume
Variety
Velocity
Analysing
Big Data:
• Text analytics
• Sentiment analysis
• Face recognition
• Voice analytics
• Movement analytics
• Etc.
Value

7. 9/16/20167

8. 9/16/20168

9. 9/16/2016
10

10. 9/16/201611

11. 9/16/201612

12. 9/16/201613
 Ambari™: A web-based tool for provisioning, managing, and monitoring Apache
Hadoop clusters which includes support for Hadoop HDFS, Hadoop MapReduce, Hive,
HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop.
 Hue : a web interface for Hadoop projects, supports many of the more widely used
 components of the Hadoop ecosystem. It features file browsers for HDFS and HBase
and a job browser for MapReduce/YARN.
 ZooKeeper™: is a service for coordination and synchronization of distributed systems.
 Mahout™: A Scalable machine learning and data mining library.

13. 9/16/201615

14. 9/16/201616

15. 9/16/201617

16. 9/16/201618

17. 9/16/201619

18. 9/16/201620

19. 9/16/201621

20. 9/16/2016
22

21. 9/16/201623

22. 9/16/201624
‫های‬‫داده‬ ‫پایگاه‬ ‫مزایای‬NoSql:
o‫اطالعات‬ ‫درج‬ ‫بیشتر‬ ‫سرعت‬
o‫گسترش‬ ‫امکان‬ ‫و‬ ‫پذیر‬ ‫مقیاس‬‫راحت‬‫تر‬
o‫برای‬ ‫شده‬ ‫بهینه‬ ‫و‬ ‫مناسب‬‫مشخص‬ ‫های‬‫قالب‬‫داده‬
(‫کلید‬ ،‫گراف‬-‫مقدار‬)‫غیرساختیافته‬ ‫های‬‫داده‬ ‫و‬
‫نقاط‬‫های‬‫داده‬ ‫پایگاه‬ ‫ضعف‬NoSql:
o‫از‬ ‫آنها‬ ‫پشتیبانی‬ ‫عدم‬‫تمام‬‫ویژگی‬‫های‬ACID
o‫نامناسب‬‫برای‬join‫داده‬
o‫بازیابی‬ ‫سرعت‬(select)‫نرمال‬ ‫های‬‫داده‬(‫ایندکس‬ ‫و‬
‫شده‬)‫قاب‬ ‫بطور‬ ‫ای‬‫رابطه‬ ‫های‬‫داده‬ ‫پایگاه‬ ‫به‬ ‫نسبت‬‫ل‬
‫هست‬ ‫تر‬‫پایین‬ ‫مالحظه‬.
o‫از‬ ‫پشتیبانی‬ ‫عدم‬trigger

23. 9/16/201625
https://en.wikipedia.org/wiki/NoSQL
http://nosql-database.org/

24. 9/16/2016
27

25. 9/16/201628

26. 9/16/201629

27. 9/16/201630

28. 9/16/201631

29. 9/16/201632

30. 9/16/201633

31. 9/16/201638

32. 9/16/201640

33. 9/16/2016
41

34. 9/16/201642

35. 9/16/201644

36. 9/16/201645

37. 9/16/201646
Tehran
MSTT Data
Warehouse
(18M data per
day)
AVL
6M locations a
day
BluetoothS
ensors
1.2M vehicles a
day
SCATS
log files
2M log a day of
1400 approaches
Speed
Cameras
5M vehicles a day
e-Ticket
4M transactions a
day
Traffic Zone
Cameras
300K vehicles a
day
‫الگ‬ ‫داده‬ ‫هزاران‬ ‫روزانه‬ ‫تولید‬
‫شهرسازی‬ ‫سیستم‬‫شهرداری‬
‫روزانه‬ ‫تولید‬‫داده‬ ‫میلیون‬ ‫چند‬
‫مختلف‬ ‫منابع‬ ‫از‬ ‫ترافیکی‬
‫تولید‬‫روزانه‬‫صدها‬‫داد‬ ‫میلیون‬‫ه‬
CDR‫و‬ADSL‫در‬‫مخابرات‬

38. ‫مناسب‬ ‫داده‬ ‫کالن‬ ‫های‬‫تکنولوژی‬ ‫با‬ ‫ها‬‫داده‬ ‫سازی‬‫ذخیره‬:
‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫متخصصین‬ ‫کمبود‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫بستر‬ ‫نگهداری‬ ‫و‬ ‫ایجاد‬ ‫باالی‬ ‫هزینه‬
‫پتا‬ ‫های‬‫داده‬ ‫حجم‬ ‫روی‬ ‫گزارش‬ ‫به‬ ‫نیاز‬-‫بایت‬
‫قبیل‬ ‫از‬ ‫ای‬‫رابطه‬ ‫های‬‫داده‬ ‫پایگاه‬ ‫و‬ ‫داده‬ ‫انباره‬ ‫های‬‫تکنولوژی‬Oracle‫و‬SQL Server‫نیستند‬ ‫جوابگو‬
‫غیرساختیافته‬ ‫های‬‫داده‬ ‫یا‬ ‫ها‬‫داده‬ ‫انواع‬ ‫در‬ ‫تنوع‬(‫متن‬ ‫مانند‬)
‫باشد‬ ‫داشته‬ ‫کاربرد‬ ‫میتواند‬ ‫که‬ ‫موارد‬ ‫برخی‬:
‫های‬‫داده‬‫بانکی‬ ‫های‬‫تراکنش‬
‫مخابرات‬ ‫مشتریان‬ ‫کارکرد‬ ‫های‬‫داده‬(CDR‫و‬ADSL)
‫وب‬ ‫های‬‫داده‬(‫جو‬‫پارسی‬ ‫جستجوی‬ ‫موتور‬)
‫الگ‬ ‫های‬‫داده‬(‫و‬ ‫سرورها‬)...
‫برای‬ ‫مناسب‬ ‫داده‬ ‫کالن‬ ‫های‬‫تکنولوژی‬ ‫با‬ ‫ها‬‫داده‬ ‫پردازش‬:
‫ها‬‫داده‬ ‫ای‬‫دسته‬ ‫تحلیل‬(Batch Processing:)‫و‬ ‫ماشین‬ ‫یادگیری‬...‫زیاد‬ ‫حجم‬ ‫روی‬(‫گیگابایت‬)‫داده‬
‫ها‬‫داده‬ ‫جریان‬ ‫تحلیل‬(Stream Real-time Processing:)‫و‬ ‫رویداد‬ ‫تشخیص‬( ...‫تصمیم‬ ‫که‬ ‫مواردی‬
‫شوند‬‫می‬ ‫ایجاد‬ ‫زیاد‬ ‫سرعت‬ ‫با‬ ‫که‬ ‫های‬‫داده‬ ‫روی‬ ‫ای‬‫لحظه‬)
9/16/201647

39. 48 9/16/2016