O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

データサイエンティストの今

522 visualizações

Publicada em

データサイエンティストの祭り、「DataPalooza」に参加して、
感じたことのまとめ

Publicada em: Dados e análise
  • Seja o primeiro a comentar

データサイエンティストの今

  1. 1. データサイエンティスト の今 データサイエンティストの祭り、「Data Palooza」に、 参加してみて感じたことのまとめ
  2. 2. モテる、データサイエンティスト これやれば売上倍増だね! ここが穴場じゃない? 統計、AI、駆使しちゃうよー データの意味を見つけちゃうよー ビックデータを使うシステム 作っちゃうよー データ見える化しちゃうよー ・・・ビジネス視点 ・・・サイエンス視点 ・・・エンジニアリング視点 → この3つの視点を持つことがモテるらしい
  3. 3. 掘り下げる サイエンス エンジニアリング SPSS/SAS/R + jupyter notebook インフラ・・・Hadoop → Apache Spark Webアプリケーション・・・Python + Tornado 回帰分析 独立性の検定 主成分分析・因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析 計量時系列分析 ソフトウェア 分析手法 https://datascientistworkbench.com クラウド作業環境(無料) 学習=mooc(無料) 仕事 http://bigdatauniversity.com https://deepanalytics.jp/ ・・・まだまだ変わっていく!
  4. 4. とある日の作業1 上司から無茶振り 「タイ料理が流行ってる、今のうちに原料を買い込むので何を買えば良い?」 「タイ料理で一番使われている原料を探すか」 「どこから探そう」 「料理の原料は、、レシピサイトにありそうだな」 → レシピサイトからデータ収集しCSV形式で保存 クラウドのデータ分析サービスのdatascientistWorkbentchを起動。 同サービスのjupyter notebookを起動し、 レシピサイトから収集したデータを読み込む まずは生姜、ショウガ、 Gingerなどの表記乱れをショウガに統一しよう。 → データクレンジング( Open refine By google ) 次はRを使って、グルーピングしてカウントを実施。 パクチーが一番多いことが判明! → 上司に報告
  5. 5. とある日の作業2 上司から無茶振り 「パクチー買い込んで大分儲けたわ。でもタイ料理下火になってきたので、次にくる 料理を教えて」 「レシピサイトの全料理の過去の傾向を見て、今後の予測をしてみよう」 どの予測モデルを利用しようかな。下記のようなチートシートを参考にモデルを選択 http://scikit-learn.org/stable/tutorial/machine_learning_map/ → モデルの学習 インドネシア料理、ベトナム料理?など、上で作ったモデルに当てはめてみる。 → テストデータを予測 インドネシア料理は85%の確立で流行る、ベトナムは90%! → 予測結果の評価 上司に報告せず、自分で買い込む。 end
  6. 6. とある日の作業(紀元前) 100万人のデータにアクセスすると、 結果取得に1時間掛かるよ、、分析なんてやってられない(><) じゃ、パソコンをたくさん用意して、それぞれ別々にデータを格納して、 一度に全部のパソコンにアクセスすれば早くなるんじゃない? データを別々に格納 → 分散ファイル・システム(HDFS) 一度に全部のパソコンにアクセス → (MapReduce) これらを統合した技術が、Hadoop で、MapReduceを改善したものが、Apache Spark、 「僕はHDDなんて遅いのにアクセスしないで、高速なメモリ上で処理を全部やっちゃうよー」 「よし、準備もできたし、分析作業に取り掛かるか」 → とある日の作業1へ データエンジニア視点だよ
  7. 7. 最後に、うちらこんなん使って分析してます 「jupyter notebook」・・・レポートと数式やプログラミングを一緒に書ける!モテる!

×