O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Big data بزرگ داده ها

7.773 visualizações

Publicada em

مقدمه ای بر بزرگ داده ها و ابزار های موجود در آن

Publicada em: Engenharia

Big data بزرگ داده ها

  1. 1. ‫مقدمه‬‫بر‬ ‫ای‬Big Data ‫استاد‬:‫ی‬‫خنجر‬ ‫دکتر‬ ‫دهندگان‬‫ائه‬‫ر‬‫ا‬:‫سهرابی‬ ‫امید‬ ،‫حسنوند‬ ‫سعید‬
  2. 2. www.company.com ‫مطالب‬ ‫فهرست‬ •Big Data‫چیست‬‫؟‬ •‫ا‬‫ر‬‫چ‬Big Data‫؟‬ •‫چالش‬‫پیشه‬‫های‬‫ی‬‫و‬‫ر‬Big Data •‫آینده‬‫ی‬Big Data •‫جنبش‬NoSQL •‫انواع‬NoSQL •MapReduce •Hadoop 1
  3. 3. www.company.com Big Data‫چیست؟‬2 •‫معنای‬‫ی‬‫لغو‬ •‫داده‬ ‫کالن‬ •‫داده‬‫حجیم‬‫های‬ •‫داده‬ ‫گ‬‫ر‬‫بز‬ •‫تعریف‬ •‫د‬‫ر‬‫ندا‬ ‫وجود‬‫واحدی‬‫تعریف‬! •‫تعریف‬ ‫تمامی‬ ‫در‬ ‫اصلی‬ ‫عنصر‬ ‫دو‬‫ها‬ •‫داده‬ ‫از‬ ‫یادی‬‫ز‬ ‫حجم‬ ِ‫وجود‬‫ها‬ •‫پایگاه‬ ِ‫ناتوانی‬‫داده‬ ‫مدیریت‬ ‫در‬ ‫سنتی‬ ‫داده‬ ‫های‬‫ها‬
  4. 4. www.company.com Big Data‫چیست؟‬3 •‫ویژگی‬‫ها‬ Big Data
  5. 5. www.company.com Big Data‫چیست؟‬4 •‫داده‬‫حجم‬‫ها‬(Volume) •‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬ 5‫است‬ ‫بوده‬ ‫اگزابایت‬ •،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬ ‫می‬ ‫تولید‬ ‫داده‬‫شود‬ •‫ش‬‫ر‬‫گزا‬IBM •‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬ •‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬ ‫اخیر‬ ‫سال‬ 0.8 Zb 35.2 Zb‫رشدی‬44 ‫برابری‬ 2009 2020
  6. 6. www.company.com Big Data‫چیست؟‬5 •‫داده‬‫حجم‬‫ها‬(Volume) •‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬ 5‫است‬ ‫بوده‬ ‫اگزابایت‬ •،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬ ‫می‬ ‫تولید‬ ‫داده‬‫شود‬ •‫ش‬‫ر‬‫گزا‬IBM •‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬ •‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬ ‫اخیر‬ ‫سال‬ EXA 218 PETA 215 TERA 212 ZETTA 221 GIGA 29 2018 2015 2012 2003
  7. 7. www.company.com Big Data‫چیست؟‬6 •‫ها‬ ‫داده‬‫حجم‬(Volume)
  8. 8. www.company.com Big Data‫چیست؟‬7 •‫نمونه‬‫ها‬ •‫فیسبوک‬(1392) •‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬ •‫از‬ ‫بیش‬300‫داده‬ ‫پتابایت‬ •‫از‬‫بیش‬ ِ‫شدن‬ ‫اضافه‬50‫ز‬‫و‬‫ر‬ ‫در‬ ‫داده‬‫ترابایت‬ •‫از‬ ‫بیش‬35‫ی‬‫مجاز‬ ‫دنیای‬ ‫تصاویر‬ ِ‫کل‬ ‫از‬ ‫صد‬‫ر‬‫د‬ •‫گوگل‬(1390) •‫داده‬ ‫پتابایت‬ ‫صد‬ ‫از‬ ‫بیش‬ –‫از‬ ‫بیش‬1000‫وب‬ ‫صفحه‬ ‫د‬‫ر‬‫میلیا‬ •‫حدود‬7.2‫جست‬ ‫د‬‫ر‬‫میلیا‬‫ز‬‫و‬‫ر‬ ‫در‬ ‫وجو‬
  9. 9. www.company.com Big Data‫چیست؟‬8 •‫نمونه‬‫ها‬ •‫یوتیوب‬(1393) •‫داده‬‫اگزابایت‬ ‫یک‬ ‫از‬ ‫بیش‬ •‫ماه‬ ‫در‬ ‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬ ِ‫دید‬‫ز‬‫با‬ •80‫آمریکا‬ ‫از‬ ‫خارج‬‫ترافیک‬ ‫صد‬‫ر‬‫د‬ •‫دقیقه‬ ‫در‬ ‫فیلم‬ ‫ساعت‬ ‫صد‬ ‫شدن‬ ‫اضافه‬ •‫توییتر‬(1393) •‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫حدود‬ •‫از‬ ‫بیش‬124‫سال‬ ‫در‬ ‫توییت‬ ‫د‬‫ر‬‫میلیا‬ •‫حدود‬4500‫ثانیه‬ ‫در‬ ‫توییت‬ •271‫ماه‬ ‫در‬ ‫فعال‬ ‫بر‬‫ر‬‫کا‬ ‫ن‬‫میلیو‬
  10. 10. www.company.com Big Data‫چیست؟‬9 •‫نمونه‬‫ها‬ •‫شبکه‬‫حسگر‬ ‫های‬ •‫مان‬‫ز‬‫سا‬‫ی‬ ‫هواشناس‬ ‫های‬ •‫دستگاه‬‫پزشکی‬‫های‬ •‫ماتیک‬‫ر‬‫بیوانفو‬ •‫مان‬‫ز‬‫سا‬‫گ‬‫ر‬‫بز‬ ‫های‬ •‫و‬...
  11. 11. www.company.com Big Data‫چیست؟‬10 •‫ویژگی‬‫ها‬ Big Data
  12. 12. www.company.com Big Data‫چیست؟‬11 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬(Structured) •‫داده‬‫هستند‬ ‫مشخصی‬ ِ‫ساختار‬ ‫دارای‬ ‫که‬ ‫هایی‬ –‫ها‬ ‫رشته‬ –‫اعداد‬ –‫تاریخ‬ –‫و‬... •‫حدود‬20‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬،‫موجود‬ ‫های‬ ‫هستند‬ ‫ساختارمند‬ •‫پایگاه‬ ‫از‬ ‫استفاده‬‫داده‬ ‫های‬‫رابطه‬ ‫ی‬‫ای‬
  13. 13. www.company.com Big Data‫چیست؟‬12 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured) •‫ندارند‬ ‫مشابه‬ ‫و‬ ‫سازگار‬ ‫ساختاری‬ –XML –Tweets –SGML –Logs –‫و‬... •‫ی‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫از‬ ‫استفاده‬ ‫امکان‬ ‫عدم‬ ‫رابطه‬‫ای‬
  14. 14. www.company.com Big Data‫چیست؟‬13 •‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety) •‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured) •‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured) •‫داده‬‫های‬‫ساختار‬ ‫فاقد‬(Unstructured) •‫هستند‬ ‫ساختاری‬ ‫هرگونه‬ ‫فاقد‬ –‫داده‬‫رسانه‬ ‫چند‬ ‫های‬‫ای‬(‫و‬ ‫صوت‬ ،‫فیلم‬)... –‫ایمیل‬‫ها‬ –‫گزارشات‬ –‫ارائه‬‫ها‬ –‫و‬.... •‫حدود‬70‫تا‬90‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬‫موجود‬ ‫های‬
  15. 15. www.company.com Big Data‫چیست؟‬14 •‫ها‬‫داده‬ ‫در‬ ‫تنوع‬(Variety)
  16. 16. www.company.com Big Data‫چیست؟‬15 •‫ویژگی‬‫ها‬ Big Data
  17. 17. www.company.com Big Data‫چیست؟‬16 •‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity) •‫داد‬ ِ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫ه‬‫جدید‬‫های‬
  18. 18. www.company.com Big Data‫چیست؟‬17 •‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity) •‫داده‬ ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫جدید‬‫های‬ •‫جوها‬ ‫و‬‫پرس‬‫ایجاد‬ ‫در‬ ‫باال‬‫سرعت‬ ‫علمی‬ ‫تجهیزات‬ ‫شبکه‬‫حسگر‬ ‫های‬
  19. 19. www.company.com Big Data‫چیست؟‬18 •‫پیچیدگی‬(complexity) •‫ی‬‫تغییرپذیر‬(Variability) •‫و‬... Big Data 3V’s •‫ویژگی‬‫ها‬
  20. 20. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬19 •‫شد‬‫ر‬‫ی‬‫ساز‬‫ذخیره‬ ‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬
  21. 21. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬20 •‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬ •‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬
  22. 22. www.company.com ‫ا‬‫ر‬‫چ‬Big Data‫؟‬21 •‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬ •‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬ •‫داده‬ ‫حجم‬‫افزایش‬‫موجود‬‫های‬
  23. 23. www.company.com ‫چالش‬‫پیش‬‫های‬‫ی‬‫و‬‫ر‬Big Data22 •‫ش‬‫و‬‫ر‬‫ایی‬‫ر‬‫کا‬‫عدم‬‫اطالعات‬‫تحلیل‬ ‫سنتی‬‫های‬ •‫داده‬‫تحلیل‬ •‫ی‬ ‫شخص‬‫حریم‬ ‫و‬‫امنیت‬ •‫ی‬ ‫ش‬‫ز‬‫پردا‬‫و‬ ‫فنی‬‫مشکالت‬
  24. 24. www.company.com ‫آینده‬‫ی‬Big Data23 •Big Data‫در‬Google Trend
  25. 25. www.company.com ‫آینده‬‫ی‬Big Data24 •Big Data‫در‬Google Trend
  26. 26. www.company.com ‫آینده‬‫ی‬Big Data25 •‫ی‬ ‫هش‬‫و‬‫پژ‬‫جایگاه‬Big Data‫موسسه‬ ‫نظر‬‫از‬‫تنر‬‫ر‬‫گا‬‫ی‬
  27. 27. www.company.com ‫ای‬‫ر‬‫ب‬ ‫ی‬‫ژ‬‫تکنولو‬ ‫چه‬Big Data‫؟‬ ‫د‬‫ر‬‫دا‬ ‫وجود‬ ‫شده‬‫یع‬‫ز‬‫تو‬ ‫و‬‫ساختار‬ ‫ن‬‫بدو‬ ‫مدل‬ ‫یک‬‫از‬‫استفاده‬ ‫مدل‬ ‫این‬ ‫از‬‫استفاده‬ ‫دلیل‬ 26
  28. 28. www.company.com ‫جنبش‬NoSQL27 ‫یخچه‬‫ر‬‫تا‬ Not Only SQL NoSQL‫که‬ ‫کند‬‫نمی‬ ‫بیان‬SQL‫و‬‫شود‬‫استفاده‬ ‫نباید‬ ‫هیچگاه‬ ‫است‬‫مرده‬ ‫یا‬
  29. 29. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company LOGO 28
  30. 30. www.company.com ‫جنبش‬NoSQL–Key Value29 1–‫ی‬‫ساز‬‫ذخیره‬Key – Value: •‫ای‬‫داده‬‫مدل‬:‫کلید‬‫های‬‫ج‬‫و‬‫ز‬ ‫از‬‫ای‬‫مجموعه‬–‫مقدار‬ •‫مثال‬:Tokyo , Redis , Voldemort
  31. 31. www.company.com ‫جنبش‬NoSQL–Column30 2–‫ر‬‫محو‬ ‫ن‬‫ستو‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫سطرها‬ ‫جای‬‫به‬‫ها‬‫ن‬‫ستو‬ ‫ی‬‫ساز‬‫ذخیره‬ •‫مثال‬:Cassandra, HyperTable, HBase
  32. 32. www.company.com ‫جنبش‬NoSQL–Document31 3–‫سندگرا‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫کلید‬‫ی‬‫مجموعه‬ ‫از‬‫ای‬‫مجموعه‬-‫ها‬‫ر‬‫مقدا‬ •‫مثال‬:CouchDB , MongoDB
  33. 33. www.company.com ‫جنبش‬NoSQL–Graph32 4–‫گراف‬‫ی‬‫ساز‬‫ذخیره‬: •‫ای‬‫داده‬‫مدل‬:‫کلید‬ ،‫ها‬‫تباط‬‫ر‬‫ا‬،‫ها‬‫گره‬–‫هرکدام‬‫ی‬‫و‬‫ر‬ ‫مقدار‬ •‫مثال‬:Sones, AllegroGraph , Neo4j
  34. 34. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company LOGO 33
  35. 35. www.company.com ‫های‬‫ک‬‫ر‬‫و‬ ‫فریم‬ ‫مقایسه‬NoSQL34  MySQL  MongoDB ‫یا‬ CouchDB  Neo4j
  36. 36. Map ReduceCompany LOGO 35
  37. 37. www.company.com Hadoop36 Hadoop‫همان‬ ،VMware‫متفاوت‬ ‫اهی‬‫ر‬‫در‬‫اما‬ ‫هست‬
  38. 38. ‫تفاوت‬Hadoop‫ی‬‫مجاز‬ ‫ماشین‬ ‫و‬Company LOGO37 Hadoop 1.‫فیزیکی‬ ‫سرور‬ ‫چند‬ ‫گیرد‬‫می‬ ‫را‬ 2.‫هم‬ ‫با‬ ‫را‬ ‫آنها‬ ‫کند‬‫می‬ ‫ترکیب‬ 3.‫بزرگ‬ ‫سرور‬ ‫یک‬ ‫دهد‬‫می‬ ‫ارائه‬ ‫مجازی‬ Vmware 1.‫فیزیکی‬ ‫سرور‬ ‫یک‬ ‫گیرد‬‫می‬ 2.‫شکند‬‫می‬ ‫را‬ ‫آن‬ 3.‫مجازی‬ ‫سرور‬ ‫چند‬ ‫دهد‬‫می‬ ‫ارائه‬
  39. 39. www.company.com ‫ی‬‫گیر‬ ‫نتیجه‬38 ‫ک‬‫ر‬‫و‬‫فریم‬‫یک‬ ‫که‬ ‫گفت‬ ‫قاطعیت‬ ‫با‬‫توان‬‫نمی‬NoSQL ‫است‬ ‫کار‬ ‫یک‬‫مختص‬
  40. 40. ‫منابع‬Company LOGO39 1 - http://www.economistinsights.com/sites/default/files/downloads/ EIU_SAS_BigData_4.pdf 2 - http://en.wikipedia.org/wiki/MapReduce 3 - http://en.wikipedia.org/wiki/NoSQL 4 - http://www.ibm.com/big-data/us/en/ 5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.
  41. 41. www.company.com ‫پاسخ‬ ‫و‬ ‫پرسش‬40

×