Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Semelhante a Big data overwiew, Татьяна Матвиенко/Александр Павленко, Senior Java/BigData Developer, DataArt
Semelhante a Big data overwiew, Татьяна Матвиенко/Александр Павленко, Senior Java/BigData Developer, DataArt (20)
Mais de Alina Vilk
Mais de Alina Vilk (9)
Último
Último (20)
Big data overwiew, Татьяна Матвиенко/Александр Павленко, Senior Java/BigData Developer, DataArt
- 2. ○ What is Big Data? ○ Big Data in a real life. ○ Big Data problems & challenges? ○ Ways to solve these problems. ○ Big Data tools and technologies. Crucial Questions
- 3. What is Big Data? ○ Too big to fit in memory ○ Too fast data acquisition requirements ○ Too fast data processing ○ Too complex for traditional processing
- 4. Big Data: numbers & facts 701,389 Facebook logins 38,194 posts to instagram 2.4 Million search queries 2.78 Million video views
- 5. Example: car fleet management ○ 1M car profiles ○ Daily reports ○ Track position by request ○ Keep history in database
- 6. Real-time car fleet management ○ 1K cars connected in real time ○ Gather data via OBD2 scanners in real-time ○ Gather data from cars’ GPS sensors in real-time ○ Store the data for future processing ○ Real-time calculation to predict traffic, engine problems, accidents
- 7. What can we do with (Big)Data? ○ Data ingestion & acquisition ○ Data storage (search, transfer, sharing) ○ Data processing & analysis ○ Data visualization
- 8. Data Ingestion & Acquisition ○ Extract: RDBMS, file systems, messaging systems, sensors, log files ○ Transform: Filter, encode/decode, aggregate, validate ○ Load: Data warehouse, messaging system
- 9. Data Storage Big Data storage challenges: ○ Size (keep and search huge amount of data) ○ Speed (data acquisition, data search) ○ Availability (fault tolerance, partition tolerance)
- 10. ○ Consistency: all nodes see the same data at the same time ○ Availability: every request gets a response (success or failure) ○ Partition tolerance: system works despite of network failures CAP Theorem
- 11. Streaming vs Batch processing Batch Batch Stream Data
- 12. Data processing: Lambda Architecture
- 13. Data processing: Kappa Architecture
- 16. Everything as a Service
- 17. Example: Amazon Web Services
- 18. Q & A ? ○ What is Big Data? ○ Big Data in a real life. ○ Big Data problems & challenges? ○ Ways to solve these problems. ○ Big Data tools and technologies.
Notas do Editor
- Ты сможешь при необходимости объяснить, что такое ODB2 scanner? Да, но смысла на этом акцентировать внимание нет, удаляем
- Оч много текста и сложно в восприятии, может оставим список из 4х элементов, а остальное словами? ++
- Вот тут для наглядности было бы неплохо реальный пример привести на словах, допустим тот же пример с ресторанным бизнесом, когда куча партнеров предоставляет данные по закупкам/ценам в разных форматах, а ресторану потом нужно сводить бухгалтерию, учитывая свои затраты и прибыли Ты ведь имеешь в виду только словами пример? Я практически к каждому слайду стараюсь придумать пример из реальной жизни
- Тут бы я добавила картинку с датацентром и кучей серверов, названия компаний никому ни о чем пока не скажут, лучше их рассмотреть подробно во время лекции по хранилищам
- Я бы оставила этот слайд, а предыдущий убрала, суть на них та же, но этот намного проще в восприятии Ок, мне он тоже больше нравится, один вопрос, норм. Видно будет?