ارائه بزرگ داده كنفرانس سيستمهاي اطلاعاتي 13 بهمن 94 دانشگاه مديريت

2. BIG DATA
2

3. BIG DATA
Big Data
Velocity Volume
Variety
Just in time decision making

4. ANALYTICAL GOAL
Insight
Agile
New
‫فرآی‬ ‫تغییر‬‫ند‬‫سازمانی‬ ‫اکوسیستمهای‬ ‫تغییر‬
‫نوآوری‬ ‫سهولت‬
New Business Model

5. ANALYTICAL REQUIREMENTS
Conventional BI
Big Data Analytics
‫دقیق‬ ‫مدلسازی‬
‫استاندارد‬ ‫های‬ ‫گزارش‬‫یافته‬ ‫ساخت‬ ‫حجم‬ ‫درک‬‫شکل‬
‫تغییر‬ ‫سرعت‬
‫یافته‬ ‫غیرساخت‬‫نادقیق‬ ‫سازی‬ ‫مدل‬
‫جابجایی‬ ‫کاهش‬‫موجود‬ ‫های‬ ‫توانایی‬ ‫از‬ ‫استفاده‬‫امنیت‬ ‫به‬ ‫توجه‬

6. Business Driver
‫درآمد‬ ‫افزایش‬
‫هزینه‬ ‫کاهش‬
‫مشتری‬ ‫تجربه‬ ‫بهبود‬
‫وری‬ ‫بهره‬ ‫افزایش‬

7. KEY TRENDS
‫شده‬ ‫ذخیره‬ ‫های‬ ‫داده‬ ‫حجم‬ ‫افزایش‬
‫داده‬ ‫رشد‬ ‫سریع‬ ‫شتاب‬‫ورودی‬ ‫رشد‬/‫خروجی‬
‫گوناگون‬ ‫رشد‬‫ی‬
‫همزمان‬ ‫یابی‬ ‫دست‬ ‫های‬ ‫روش‬
‫آنی‬ ‫یکپارچگی‬ ‫برای‬ ‫تقاضا‬ ‫ظهور‬

8. BUSINESS OPPORTUNITY
‫رقابت‬ ‫شدت‬‫ای‬ ‫داده‬ ‫نوین‬ ‫انواع‬‫کاری‬ ‫و‬ ‫کسب‬ ‫های‬ ‫داده‬ ‫حجم‬
‫منظم‬ ْ‫ال‬‫کام‬ ‫ارزش‬ ‫های‬ ‫زنجیره‬‫فروش‬ ‫روزمره‬ ‫عملیات‬
‫مشتری‬ ‫اعتقاد‬ ‫سنجش‬

9. BUSINESS OPPORTUNITY
Source: Big data and advanced analytics survey 2015; Volume I by Evans data corporation

10. OPPORTUNITY/ THREATS
Competition
‫حسگرها‬‫ارتباطی‬ ‫تجهیزات‬‫تحلیلی‬ ‫کاربردهای‬
‫محور‬ ‫اطالعات‬ ‫کارهای‬ ‫و‬ ‫کسب‬
‫کلیدی‬ ‫فاکتور‬
New Digital Gap
‫است‬ ‫تر‬ ‫اهمیت‬ ‫با‬ ‫الگوریتم‬ ‫از‬ ‫داده‬
Human Resource

11. ADAPTATION

12. BIG DATA ADAPTATION
Adaptation
‫انطباق‬ ‫منحنی‬ ‫شیب‬
‫داده‬ ‫عمر‬ ‫چرخه‬ ‫در‬ ‫تغییر‬
‫موجود‬ ‫زیرساخت‬
‫فعلی‬ ‫های‬ ‫گذاری‬ ‫سرمایه‬
‫دوره‬ ‫و‬ ‫اندازه‬
‫داده‬ ‫رویکرد‬‫پایداری‬
‫امکانپذیری‬
‫ارزش‬
‫سازی‬ ‫یکپارچه‬ ‫قابلیت‬
‫عقالنیت‬

13. BIG DATA APPLICATION
Analytical Application
‫تحلیل‬ ‫و‬ ‫کاوی‬ ‫داده‬‫اجتماعی‬ ‫های‬ ‫شبکه‬ ‫تحلیل‬
‫چهره‬ ‫شناسایی‬
‫پروفایل‬ ‫تطابق‬ ‫متن‬ ‫تحلیل‬
‫رفتار‬ ‫تحلیل‬
‫تقلب‬ ‫کشف‬
‫مقیاس‬ ‫بزرگ‬ ‫تحلیل‬
‫اندک‬ ‫ورود‬ ‫موانع‬
Application Development
Data Management
Platform
Resources

14. ‫داده‬ ‫گلوگاه‬
‫محاسبه‬ ‫گلوگاه‬
‫زیاد‬ ‫بسیار‬ ‫حجم‬
‫توجه‬ ‫قابل‬ ‫گوناگونی‬
‫موازی‬ ‫اجرای‬ ‫سودمندی‬
DECISION
ASPECTS

15. APPLICATION CONT…
Dispatching Monitoring
Fraud Detection
ProfilingClustering
‫داده‬ ‫گوناگونی‬
Recommendation Systems
‫موازی‬ ‫اجرای‬
Price Modelling
‫محاسبه‬ ‫گلوگاه‬
‫داده‬ ‫حجم‬

16. USEFULNESS CRITERIA
Harmony
‫سازمانی‬‫کاری‬ ‫و‬ ‫کسب‬ ‫چالش‬
‫ارزش‬

17. VALUE ACQUISITION
Value
‫درآمد‬ ‫افزایش‬
‫هزینه‬ ‫کاهش‬
‫وری‬ ‫بهره‬ ‫افزایش‬
‫مخاطره‬ ‫کاهش‬

18. VALUE ACQUISITION CONT…
Questions
‫ارزش‬ ‫بیانیه‬
‫سازی‬ ‫عملیاتی‬

19. BIG DATA VALUE CHAIN
‫فرصت‬ ‫درک‬
Value
‫انتظارات‬ ‫تعریف‬‫نمونه‬ ‫ساخت‬‫منابع‬ ‫مدیریت‬ ‫و‬ ‫کسب‬
‫برنامه‬ ‫مدیریت‬‫ارزیابی‬ ‫و‬ ‫توسعه‬‫تولید‬ ‫محیط‬ ‫به‬ ‫مهاجرت‬

20. ARCHITECTURE

21. BIG DATA COMPONENTS
DBMS
Acquisition
‫فایل‬ ‫سیستم‬‫شده‬ ‫توزیع‬ ‫های‬‫انباره‬‫کلید‬ ‫های‬/‫ارزش‬
NoSQL
‫اعتماد‬ ‫قابل‬‫امن‬‫شده‬ ‫مدیریت‬ ‫منعطف‬‫شده‬ ‫تخصصی‬
Organize
‫استخراج‬
‫شکل‬ ‫تغییر‬
‫بارگزاری‬
Analyse

22. BIG DATA COMPONENTS
CONT…
Components
‫ذخیره‬ ‫فضای‬‫سازی‬‫محاسباتی‬ ‫پلتفورم‬
‫نرم‬ ‫توسعه‬ ‫چارچوب‬‫افزار‬‫بسته‬ ‫ابزارهای‬‫شده‬ ‫بندی‬
‫فرآیند‬ ‫مدیریت‬ ‫ابزارهای‬
‫داده‬ ‫مدیریت‬ ‫محیط‬

23. BIG DATA COMPONENTS
CONT…
Storage
‫مقیاس‬‫پذیری‬‫توسعه‬‫پذیری‬‫پذیری‬ ‫دسترس‬
‫خطا‬ ‫تحمل‬
‫ورودی‬/‫سریع‬ ‫خروجی‬ ‫یکپارچگی‬ ‫قابلیت‬

24. BIG DATA COMPONENTS CONT…
Platform
‫چیز‬ ‫همه‬ ‫اشتراک‬
‫چیز‬ ‫هیچ‬ ‫اشتراک‬ ‫افزاری‬ ‫سخت‬ ‫تجهیز‬
‫افزاری‬ ‫نرم‬ ‫تجهیز‬
‫محاسباتی‬ ‫های‬ ‫گره‬
‫سریع‬ ‫شبکه‬
‫موازی‬ ‫اجرای‬‫داده‬ ‫اندازه‬‫حافظه‬ ‫میزان‬
‫ای‬ ‫داده‬ ‫ساختار‬

25. BIG DATA COMPONENTS
CONT…
Row Base
‫دسترسی‬ ‫عملکرد‬
‫تجمیع‬ ‫و‬ ‫الحاق‬
‫سازی‬ ‫فشرده‬
Column Base
‫تجمیع‬ ‫و‬ ‫الحاق‬
‫سازی‬ ‫فشرده‬
‫بارگزاری‬
Data Management

26. BIG DATA COMPONENTS
CONT…
Database
‫کلید‬/‫ارزش‬
‫محور‬ ‫مستند‬
‫محور‬ ‫جدول‬
‫گرا‬ ‫شی‬
‫محور‬ ‫گراف‬
Data Management

27. BIG DATA COMPONENTS
CONT…
Software Development Framework
‫توسعه‬‫اجرا‬‫آزمون‬‫زمانبندی‬
‫پیکربندی‬ ‫پذیر‬ ‫مقیاس‬‫موازی‬ ‫اجرای‬
‫شده‬ ‫غنی‬ ‫های‬ ‫ابرداده‬

28. BIG DATA COMPONENTS
CONT…
Packaged Analytical Tools
‫پذیر‬ ‫مقیاس‬ ‫های‬ ‫تحلیل‬
‫کاوی‬ ‫داده‬
‫آمار‬
‫مصنوعی‬ ‫هوش‬
‫دسترسی‬

29. BIG DATA COMPONENTS
CONT…
Process Management
‫حل‬ ‫راه‬
‫زیرساخت‬
‫دهندگان‬ ‫توسعه‬
‫گران‬ ‫تحلیل‬

30. CONCEPTUAL MODEL
‫سازی‬ ‫ذخیره‬ ‫فضای‬
‫داده‬ ‫پایگاه‬ ‫مدل‬
‫پردازشی‬ ‫پلتفورم‬
‫دسترسی‬ ‫ابزارهای‬/‫پردازشی‬
‫فرآیند‬ ‫مدیریت‬

31. SOLUTION

32. APACHE SOLUTION
HDFS (Redundant, Reliable Storage) Hbase (Column base DB)
MapReduce V1 (Cluster mng)
Hive (SQL) Pig (Data Flow) Sqoop (ETL)Mahout (Machine Learning)
Oozie (Workflow) Chukka (Monitoring)Flume (Monitoring) Zookeeper (Management)
YARN (Cluster mag)
MapReduce V2 (Batch Parallel
Processing)
Spark (In Memory Processing)

33. HADOOP DISTRIBUTED
FILE SYSTEM
HDFS
HPA ‫بز‬ ‫بسیار‬ ‫فایلهای‬‫رگ‬
‫بخش‬‫کوچک‬ ‫های‬
Name Node
DataNode
‫ابرداده‬
Temp File
‫مراتبی‬ ‫سلسله‬
FaultTolerate
‫نبض‬‫داده‬ ‫سازماندهی‬‫یکپارچگی‬ ‫مدیریت‬
‫لحظه‬ ‫تصاویر‬‫ای‬

34. HDFS
Incoming File
HDFS
Client
B1 B2 B3
NameNode n1
n2
n3
n4
Rack 1
n1
n2
n3
Rack 2
n4
n1
n2
n3
Rack 3
n4
Complete
B2B3
B1
B1
B1
B2
B2
B3
B3

35. MAPREDUCE
MapReduce
‫وظایف‬ ‫مدیریت‬‫نویسی‬ ‫برنامه‬ ‫اجرایی‬ ‫مدل‬
‫مراتبی‬ ‫سلسله‬
‫پیشرفت‬ ‫پایش‬
‫موازی‬
‫متوالی‬
Commander
‫وظایف‬ ‫تخصیص‬
‫منابع‬ ‫تخصیص‬
Map
‫ارزش‬ ‫کلید‬ ‫ساختار‬
‫محلی‬ ‫سازی‬ ‫ذخیره‬
‫مستقل‬
‫کار‬ ‫و‬ ‫کسب‬‫اولیه‬
Reduce
‫شده‬ ‫توزیع‬ ‫فایل‬ ‫خواند‬ ‫نتایج‬ ‫تجمیع‬

36. MAPREDUCE
Data Types
Map
Reduce
Input Output
<K1,V1> List(<K2,V2>)
<K2,List(V2)> List(<K3,V3>)
‫دادگان‬ ‫استقالل‬‫پردازش‬ ‫استقالل‬

37. MAPREDUCE
(THE SHUFFLE)
Map
P1
P2inpu
t
Map
P1
P2inpu
t
Reduce
P1
P1
Merge
Reduce
P2
P2
Merg
e
Shuffle

38. MAPREDUCE
A
C
B
D
B
(0,A)
(1,C)
(2,B)
(3,D)
(4,B)
(A,1)
(C,1)
(B,1)
(D,1)
(B,1)
(A,[1])
(B,[1,1])
(C,[1])
(D,[1])
(A1)
(B,2)
(C,1)
(D,1)
Input <K1,V1>
Map1
Map2
Shuffle Reduce
List(<K2,V2>) <K2,List(V2)> List(<K3,V3>)

39. Job TrackerClient
Task Tracker
Task Tracker
Name Node
Data Node
Data Node
Data Node
Data Node
HADOOP

40. YARN
‫پردازش‬ ‫و‬ ‫داده‬ ‫محلی‬ ‫هم‬ ‫الزام‬
‫کاربردها‬ ‫همه‬ ‫تطابق‬ ‫عدم‬‫گره‬ ‫تعداد‬ ‫بودن‬ ‫ثابت‬‫ها‬
Restrictions
Yet Another Resource Negotiate

41. SPARK
‫باال‬ ‫سرعت‬
‫استفاده‬ ‫سهولت‬
‫روی‬ ‫بر‬ ‫اجرا‬
YARN
Spark
‫حافظه‬ ‫درون‬
‫عمومیت‬
‫اجرا‬ ‫فراگیری‬

42. BUSINESS INTELLIGENCE
ANALYTICS

43. BI&A
BI&A III

44. BIG DATA MINING TOOLS
Mahout
S4
Storm
MOA
‫تحلیلی‬ ‫ابزار‬

45. METHODOLOGY

46. BODHTREE
Methodology
‫کاربرد‬ ‫مورد‬‫انداز‬ ‫چشم‬‫اولیه‬ ‫طرح‬
‫آوری‬ ‫فن‬ ‫شناخت‬‫راه‬ ‫نقشه‬‫حل‬ ‫راه‬ ‫طراحی‬

47. REFERENCES
http://www.bodhtree.com/
http://www.bodhtree.com/resources.php
https://cwiki.apache.org/confluence/display/ZOOKEEPER/ProjectDescription
https://zookeeper.apache.org/doc/trunk/zookeeperOver.html
http://oozie.apache.org
http://www.aptude.com/blog/entry/hadoop-vs-mongodb-which-platform-is-better-for-handling-big-data
http://saphanatutorial.com/how-yarn-overcomes-mapreduce-limitations-in-hadoop-2-0/
http://stackoverflow.com/questions/31044575/mapreduce-2-vs-yarn-applications
http://www.ibmbigdatahub.com/blog/why-we-need-methodology-data-science