How to run an AI Project @pixnet
•
12 gostaram•1,724 visualizações
How to run an AI Project @pixnet
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a How to run an AI Project @pixnet
Semelhante a How to run an AI Project @pixnet (20)
How to run an AI Project @pixnet
- 1. How to Run an AI Project @ PIXNET Research Team Lead Kent
- 2. Who am I ? ● Kent (施晨揚) ● 熱愛 Machine Learning & Big Data ● 兩個孩子的爸 ● AIA 第 一屆 ● Research Team Lead https://www.facebook.com/texib
- 4. 心得分享 流程實際案例
- 5. 台灣最大的社群媒體 8 億篇文章 2,800 萬全站每日PV 770 萬每日不重複訪客 50% 流量來自 Mobile Device
- 7. 組成專長 演算法設計開發 ML 系統建置 Insight 分析師 跨領域 ML DeepLearning scikit-learn NLP TensorFlow Spark Spark Flask GPU server Elasticsearch BigQuery Dataprep Jupyter Statistics DataStudio Metabase 心理學
- 9. Real Case 1 @ PIXNET Demographic Prediction
- 11. 每天有 770 UV ! 但未登者是誰？ 輪廓分析 精準服務投遞 !
- 12. 人口普查 ❏ 性別 ❏ 年齡 ❏ 居住地
- 15. 原始的資料 長這樣
- 16. 盤點資料＆收 集情報 PIXInsight Data Warehousing System ➔ 登入會員資料 ◆ 性別 ◆ 年齡 ➔ 使用者行為 ◆ 文章 ◆ 作者 ◆ 上站時間 ◆ 使用裝置 ◆ ４１個分類
- 17. 欄位列表 Feature Name Description Example gender the gender of login user 1 or 2 cat The article’s category 旅遊 url is a blog url http://kittyfish.pixnet.net/blog/post/345 566174 ariticle_author the blog’s author kittyfish article_id the blog’s unique id 345566174 hours the time of click event 6 refers http://www.google.com/ country the country that predicted by ip address tw
- 19. 哪一套演算 法解決這問 題？
- 22. 大原則 - 以 Demographic Prediction 為例 模型 ？ 圖片 聲音 文字 點擊行 為 分類 量值 群聚 離散 連續
- 24. Training, Validation, Testing(Offline Evaluation)Data Train / Test Split TrainTest ＶTTrain Validation Split TrainＶ TrainＴＶ TrainＶ 4 Fold Validation
- 25. Model Performance (Offline Evaluation) Precision Recall F1 Score Support 男生 0.89 0.81 0.85 5114 女生 0.90 0.95 0.92 9149
- 26. 為什麼選擇 Naive Bayes 大量離散型資料 計算效率高 好理解 文章、創作者、閱覽者分佈廣闊 Training Time 小於 5 秒，可以作 10 Fold Cross Validation 計算出來的 Feature 可以直接解讀
- 27. 好理解真的很重要
- 28. 好理解 feature_name male_prob female_prob male_count female_count total prob_distance cat_財經企管 0.137798 0.045564 20587 10454 31041 0.184468 cat_美容彩妝 0.062211 0.137009 9294 31436 40730 0.149596 cat_時尚流行 0.079325 0.151936 11851 34861 46712 0.145221 cat_親子育兒 0.079640 0.133178 11898 30557 42455 0.107076 cat_心情日記 0.180942 0.231797 27033 53185 80218 0.101709 cat_國外旅遊 0.152288 0.194490 22752 44625 67377 0.084403 author_XXXXX 0.049975 0.009037 7466 2073 9539 0.081877 cat_食譜分享 0.054607 0.093596 8158 21475 29633 0.077978 cat_圖文創作 0.085483 0.122831 12771 28183 40954 0.074696 容易轉換
- 29. 為好理解－白話版 早上 8 點財金 男生 ~80%
- 33. Deployment
- 34. Deployment Data Scientist Data Engineer
- 35. Deployment Data Process Tool Data Pipeline Tool Machine Learning Model Hadoop Like System - Spark Scheduling & Pipeline System - AirFlow Scikit Learning Online Service Integration & Evaluation Depends on Your System
- 36. Online Service Integration & Evaluation Model Result API Online Evaluation Stable and High QPS API Service or Batch Result Cloud Sourcing、CTR、Others
- 37. Validation by Google Analytics ● Is God ? ● How to Use ? UGD say Male UGD say Female GA Set 1 GA Set 2 GA Say Male GA Say Female GA Say Male GA Say Female An non-registration user Classification Model Prediction
- 38. Real War Record Live Experiment on PIXNET Falcon(Advertisement) System
- 40. Real Case 2 @ PIXNET Content Ranking
- 42. Why Content Ranking ? 8 億篇文章 x 30 秒 = 761 年 => 1天 過濾不良文章，讓使用者有好的閱讀體驗 流量是落後指標，內容本質才是主要指標挖掘長尾
- 47. Data Understanding & Data Collection 盤點完後發現只有標記過劣質文章 使用 Heuristic 方式先找出一批優質文章 特徵設計很重要 e.q 網址的轉換 https://s.yimg.com/zp/MerchandiseImages/4F0 3EBEDF9-Product-20724161.jpg
- 49. Modeling 先求有再求好 -> Baseline Model 特徵的設計還是很重要 Deep Learning 在特領域會有跳躍性的進步
- 50. Baseline Model Naive Bayes - Accuracy 78% P(Y=優) P(W1|優) P(W2|優) P(W3|優) P(Y=劣) P(W1|劣) P(W2|劣) P(W3|劣) 優質 可能性 劣質 可能性 假設這全部有的詞庫為 W1,W2,W3 ，當其中一篇文章包 含兩個字 W1, W3
- 51. Deep Learning 潮流是要跟的 Deep Learning Deep Learning
- 52. Deep Learning at Image Classification
- 53. Deep Learning CNN at Text Classification
- 54. Deep Learning CNN for Text Classification Image 2D Convolution 的過程
- 55. Deep Learning CNN for Text Classification Text 1D Convolution 的過程
- 56. Convolutional Neural Networks for Sentence Classification http://arxiv.org/abs/1408.5882 Deep Learning CNN Model - Accuracy 85%
- 58. Deployment Data Process Tool Data Pipeline Tool Machine Learning Model Hadoop Like System - Spark Scheduling & Pipeline System - AirFlow Tensorflow Online Service Integration & Evaluation Depends on Your System 斷詞系統 - Jieba