O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Little Big Data #1. 바닥부터 시작하는 데이터 인프라

9.743 visualizações

Publicada em

Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다

궁금한 것은 언제나 문의주세요 :)

행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)

Publicada em: Engenharia

Little Big Data #1. 바닥부터 시작하는 데이터 인프라

  1. 1. 
 
 

  2. 2. 
 
 
 Data Team(3) kyle COO
  3. 3.
  4. 4.
  5. 5. x N
  6. 6. x N Dependency (= )
  7. 7. 사실 저 웹개발의 ㅇ도 모르는 그저 데이터쟁이,,,
  8. 8. Code GUI( Click ) 
 ( ) (Desktop, Server, Online) 3 MySQL BigQuery MySQL MySQL BigQuery Elastic Search 3,510 8,932 9,520 18,842 - - E : 30,374 L : 8,857 K :9,208
  9. 9.
  10. 10. https://www.slideshare.net/openstacks/bigquery-20170215-t
  11. 11. event_dim.date event_dim.name name firebase_event_origin 20170914 Save_Name firebase app 20170914 Save_Name bigquery app 20170914 Save_Name firebase app 20170914 Save_Name seongyun app
  12. 12. id diff_date a 2018-03-02 2018-03-02 0 a 2018-03-02 2018-03-03 1 b 2018-01-05 2018-03-03 57 c 2018-04-02 2018-04-04 2
  13. 13. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($ 5/1TB) vCPU, RAM, https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery
  14. 14. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($5 / 1TB) vCPU, RAM, 

  15. 15. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($5 / 1TB) vCPU, RAM,
  16. 16.
  17. 17.
  18. 18. Selfie !!
  19. 19. https://github.com/yahoo/open_nsfw
  20. 20. Good Image
  21. 21.
  22. 22.
  23. 23. 
 


×