Kaggle の Titanic チュートリアルに挑戦した経験について、勤め先の社内勉強会で発表したものです。 実装した内容 (Notebook 形式) は Kaggle のサイトに登録して公開しています。 https://www.kaggle.com/yuchiyama/prediction-by-svm

1. Titanic: Machine
Learning from Disaster

2. 自己紹介
内山 雄司 (@y__uti)
◦ http://y-uti.hatenablog.jp/ (phpusers-ja)
仕事
◦ 受託開発の会社 (株式会社ピコラボ) でプログラマをしています
興味
◦ プログラミング言語処理系
◦ 機械学習
2017-06-02 社内勉強会 2

3. 本日の発表の要点
1. Kaggle 面白いからみんなやってみるといいよ！
2. Pandas 便利だからみんな使ってみるといいよ！
2017-06-02 社内勉強会 3

4. Kaggle とは？
https://www.kaggle.com/
"Your Home for Data Science"
◦ Datasets: データセットを持ち寄って公開したり
◦ Kernels: Python や R のコードを公開したり
◦ Discussion: 機械学習の手法などについて議論したり
◦ Jobs: 採用活動や求職活動ができたり
というコミュニティサイトのようですが・・・
何と言っても
◦ Competitions: 与えられた課題に対する成績 (予測精度) を競う
2017-06-02 社内勉強会 4

5. Competitions
◦ 完全にガチです
2017-06-02 社内勉強会 5

6. Titanic:
Machine Learning from Disaster
入門者向けの常設コンペ
2017-06-02 社内勉強会 6
◦ 参加者 6,940 teams と大変賑わっている
というわけで私もアカウントを作ってチャレンジしてみました

7. Titanic とは？
2017-06-02 社内勉強会 7
◦ https://ja.wikipedia.org/wiki/タイタニック_(客船)

8. 何を競うのか
以下の特徴量から「乗客の生死を予測」して正解率を競う
2017-06-02 社内勉強会 8
◦ https://www.kaggle.com/c/titanic/data
データ数 (乗客数)
◦ Training 891 こちらは "survival" が 0, 1 で与えられる
◦ Test 418 こちらは "survival" が隠されている

9. 参加方法
簡単！
1. Kaggle のアカウントを作ってログインする
2. データをダウンロードする
◦ train.csv
◦ test.csv
3. test.csv の各乗客の生死を予測して csv ファイルを作成する
4. csv ファイルを登録する
csv ファイルを登録すると即座に集計されて順位が出る
頑張りたければ何度でも繰り返し登録できる
◦ ただし 1 日 10 回まで。極端な連投はできない
2017-06-02 社内勉強会 9

10. やってみた！
予測手順
1. データをじっくり眺める
2. 判別に使う特徴量を抽出する
◦ 敬称 (Mr. / Master / Mrs. / Miss)
◦ 客室等級
◦ 同一の旅券番号を持つ乗客数 (本人を含む)
◦ 同一の旅券番号を持つ乗客の生存率 (本人を含まない)
◦ 乗船港
3. 機械学習を使って判別する
◦ SVM を利用して分類 (RBF kernel)
◦ 超パラメータ (gamma, cost) は 10-fold 交差検定でグリッドサーチ
2017-06-02 社内勉強会 10

11. 1. データをじっくり眺める
乗客の属性 (性別や年齢など) はどのような分布になっているか
どのような属性を持つ乗客が生存しているか
"... some groups of people were more likely to survive than others, such
as women, children, and the upper-class."
◦ https://www.kaggle.com/c/titanic
詳細は Jupyter Notebook で
2017-06-02 社内勉強会 11

12. 2. 判別に使う特徴量を抽出する
いろいろ試したが以下の特徴量を使うのが最も精度が高かった
◦ 敬称 (Mr. / Master / Mrs. / Miss)
◦ 客室等級
◦ 同一の旅券番号を持つ乗客数 (本人を含む)
◦ 同一の旅券番号を持つ乗客の生存率 (本人を含まない)
◦ 乗船港
2017-06-02 社内勉強会 12

13. 3. 機械学習を使って判別する
いろいろ試したが SVM が最も精度が高かった
◦ RBF kernel
◦ 超パラメータ (gamma, cost) は 10-fold 交差検定でグリッドサーチ
テストデータの正解率 80.8%
2017-06-02 社内勉強会 13

14. 比較：職人芸で分類
データをじっくり眺めていると「勘所」が分かってくる
◦ ちょっと見ていると
◦ 客室等級が 1st, 2nd の女性と子供 ほぼ生存 90% 以上
◦ 客室等級が 1st の男性 (子供を除く) 微妙 30% 程度
◦ 客室等級が 3rd の女性と子供 微妙 50% 程度
◦ 客室等級が 3rd の男性 (子供を除く) ほぼ死亡 10% 程度
◦ もう少し頑張ってみると
◦ 客室等級が 3rd の女性と子供
◦ 同乗者数が 4 人以下 50% 超
◦ 同乗者数が 5 人以上
2017-06-02 社内勉強会 14

15. 参考になる情報
Titanic Data Science Solutions
◦ https://www.kaggle.com/startupsci/titanic-data-science-solutions
Kaggle の titanic 問題で上位 10% に入るまでのデータ解析と所感
◦ http://www.mirandora.com/?p=1804
RMS Titanic (Wikipedia)
◦ https://en.wikipedia.org/wiki/RMS_Titanic
Encyclopedia Titanica
◦ https://www.encyclopedia-titanica.org/
2017-06-02 社内勉強会 15

16. おわり
2017-06-02 社内勉強会 16