O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Ice dw-v contest2010

349 visualizações

Publicada em

Publicada em: Dados e análise
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Ice dw-v contest2010

  1. 1. Đơn vị: Adtech Thành viên: Trần Văn Giang, Nguyễn Trọng Thành
  2. 2.  Đặt vấn đề về bài toán.  Các giải pháp truyền thống.  Các giải pháp về Data Warehouse (DW).  Giải pháp ICE.  Kết quả đạt được.  Đánh giá.
  3. 3.  Yêu cầu: ◦ Dữ liệu cập nhật/tính toán nhanh. ◦ Có khả năng lưu trữ/tính toán dữ liệu lớn (hàng 100 tỷ rows). ◦ Tối ưu chi phí tài nguyên hệ thống, maintains. ◦ Tính tương thích & ổn định.
  4. 4.  Trên thế giới có rất nhiều giải pháp DW, với nhiều công nghệ đặc thù cho từng giải pháp.
  5. 5. ◦ Tốc độ load data vào table rất nhanh. 1 server thông thường cho tốc độ khoảng 60->80GB/h. ◦ Data up to 50TB. ◦ Open source: cho phép install trên cả windows ,Linux,… (32 & 64 bit). ◦ Chỉ cần setup lên 1 server là chạy tốt.
  6. 6.  Ứng dụng cho bài toán của Admicro: ◦ Máy chủ 2U 2CPU Quad Cores, 32Gb RAM, HDD 6TB RAID10. ◦ Dữ liệu log hàng ngày khoảng 500M rows ~ 100GB raw data (Peak 1.6B rows ~400Gb/day). ◦ Dữ liệu hiện đang lưu trữ: 90 tỷ bản ghi, dữ liệu >1TB (đã nén). ◦ Thời gian xử lý 2->5 phút.
  7. 7.  Sử dụng ICE giúp giảm số servers… chi phí tối thiểu. Thời điểm hiện tại ICE là phù hợp với Admicro.  Nhưng ICE chưa phải là giải pháp lâu dài. (chưa hỗ trợ distributed, HA, giới hạn data size,… ).  Trong tương lai với data hàng PB thì sẽ chuyển sang các nền tảng phân tán như Hbase, HyperTable, Cassandra…
  8. 8. http://www.infobright.org/ http://blog.nahurst.com/visual-guide-to-nosql-systems?c=1 http://www.slideshare.net/jrosoff/scalable-event-analytics- with-mongodb-ruby-on-rails http://nosql-database.org/
  9. 9. Câu hỏi liên quan?

×