Recomendados
Mais conteúdo relacionado
Semelhante a 2016 Hadoop Conf TW - 如何建置數據精靈
Semelhante a 2016 Hadoop Conf TW - 如何建置數據精靈 (20)
2016 Hadoop Conf TW - 如何建置數據精靈
- 2. Who am I ? ● Kent Shih (施晨揚) ● 熱愛 Data Analysis & Machine Learning ● 痞客邦 - Manager, Alogrithm Design & Research Team https://www.facebook.com/texib https://tw.linkedin.com/in/kentshih●
- 3. 3 痞客邦 PIXNET
- 4. 我們在做什麼？ 4 ● 設計演算法優化痞客邦內外部服務 ● 性別預測、年齡預測、文章優質程度及族群分析等 ● 白話的說 - 利用電腦科學優化大規模性問題
- 5. ● 操作太複雜 - 還要學新的軟體 ● 等太久 - 老闆馬上這要份報告了 ● 資料很多 - 一堆圖表看了就暈 ● 不知道要怎麼分析什麼 - 腦袋很空 5 資料科學是火星科技？
- 6. ● 簡單- 只要輸入然後按 Enter ● 快速 - ５秒內 ● 一張圖或表 - 真的就只有一個 ● 隨時取得 - 在捷運上拿著手機就可以用 6 設計方向
- 7. 數據精靈(PIXBOT) 基本資料 ● 出生：2015/12/23 6:03 PM ● 指令：12 道不同指令 ● 服務對象：渴望數據資料內部同仁 ● 住在哪：PIXinsight & Slack 7 7
- 9. 什麼是關鍵字？ 摘錄Wikipedia : Keyword (computer programming), word or identifier that has a particular meaning to the programming language 9
- 10. 文章熱門搜尋關鍵字分析 10
- 12. 破千篇的文章早上 中午 晚上
- 16. 現在只要 10 秒 原本 4000 文章 * 30 秒 = 33 小時 16
- 17. 內容議題分析 17
- 19. 關聯詞(搜尋) 尿 布 19
- 20. 相似詞(同義詞) 尿 布 20
- 21. 相似詞 - 詞向量
- 22. 皮 卡 丘 22
- 23. 神奇寶貝 = 皮卡丘 神奇寶貝GO/精靈寶可夢GO] 2016/7/22 正式在日本提供服務＆日本橫濱的 皮卡丘手遊台灣精靈寶可夢「Pokémon GO」 23
- 24. 關聯詞 寶 可 夢 24
- 27. 一些小技巧及關鍵資源 - 詞庫 27 ● 斷詞是 Text Mining 最基礎工程之一 ● 建立好的詞庫是最直接手段之一 ● 收集詞 ○ 爬網 : Wikipedia, 淘寶 ○ 收集使用者常下的 Query String ○ 輸入法詞庫 ○ 公司內部的產品資料庫
- 28. 一些小技巧及關鍵資源 - 斷詞系統 28 ● 結巴 - https://github.com/fxsjy/jieba ● 但是如果有上億篇的文章要處理，Python 版效能是 無法滿足的 ● 的效能快上 100 倍
- 29. 一些小技巧及關鍵資源 - 詞向量
- 30. 詞向量 - One Hot v.s Continue Value It is better for analysis Very High Dimension
- 31. 詞向量 - One Hot Representation Word One Hot Index Apple 00000001 how 00000010 Are 00000100 You 00001000 I 00010000 Am 00100000 Fine 01000000 Book 10000000 How Are You ? I am Fine . Thank You TF - Term Frequency 01111110 00001000 00010000 AND You I 00000000
- 32. 詞向量 - Context Vector
- 33. 詞向量 - Context Vector P(Wi|Context) Word 餐廳 浮潛 美食 旅遊 出國 沖繩 0.1 0.7 0.5 0.9 0.5 好吃 0.6 0.01 0.7 0.01 0.02 Okinawa 0.2 0.5 0.2 0.8 0.7 喔伊西 0.3 0.002 0.8 0.02 0.03 Similar Similar
- 34. Co-occurrence Matrix Sparse & Large n ~= 500K Space ~= n*n Time ~= n*n GG!!
- 35. 優像數位媒體科技股份有限公司 PIXNET DIGITAL MEDIA CORPORATION 怎麼算出來的呢？ 大量優質文章 100萬篇文章 Top High Quality 2015 Q3 Q4 6.1 億篇文章 High Quality Classifier Ranking 35
- 36. 怎麼算出來的呢？ Word Embedding 優像數位媒體科技股份有限公司 PIXNET DIGITAL MEDIA CORPORATION 資料前處理 深度學習100 萬篇文章 36
- 38. Word2Vec ● Google 2013 Release ● Open Source Project ● Two Layer Neural Network ● Another Toolkit : Gensim ● pip install --upgrade gensim https://www.tensorflow.org/versions/r0.8/tutorials/word2vec/index.html
- 39. 39 閱讀者行為 分析
- 40. 痞客邦社群影響力 40
- 42. 42 一些小技巧 - 抽樣 ● 資料量實在太大 - 單日不重複訪客770萬 ● 抽樣使用者 - 1/70 ● 時間區間 - 120 天內 ● 5 分鐘 -> 5 秒
- 43. 43 文章優質成度分析 分析
- 44. 文章優質程度分析 44
- 46. 46 一些小技巧及關鍵資源 - CNN Model Convolutional Neural Networks for Sentence Classification http://arxiv.org/abs/1408.5882
- 47. 系統架構 NAS ＭySQL Spark WorkerWorker Worker Jieba Server Gensim Word2Vec Flask Jupyter Scikit Learn TensorFlow Slack Bot Redshift 47