Recommended
More Related Content
Similar to Awkでeffective前処理
Awkでeffective前処理
- 2. ⾃自⼰己紹介 ○研究テーマ スペースデブリの軌道設計 Deeplearningを⽤用いた画像認識識 <-‐‑‒ いまここ ○バイト ALBERT -‐‑‒ 集計、分析のお仕事 ○趣味とか ラグビー、Python、お酒、⿇麻雀 @aki_̲n1wa 秋庭 伸也 早稲⽥田⼤大学 -‐‑‒ 機械科学専攻 M2
- 6. OUTLINE □Effective前処理理とは □Awkって何？ □Awkプログラミング □おまけ サンプルコード: https://github.com/akiniwa/awk_̲preprocess
- 7. Effective前処理理とは 1. お⼿手軽 ! ! 2. ファイル⼀一括処理理 ! ! 3. 再現性、⼀一般性 →少ない行数、身近なアプリ →フォルダ内のファイルを一括で処理したい… →同じコード書かない、変更に強い(やっぱこのカラム追加して∼)
- 8. Effective前処理理とは 1. お⼿手軽 ! ! 2. ファイル⼀一括処理理 ! ! 3. 再現性、⼀一般性 →少ない行数、身近なアプリ →フォルダ内のファイルを一括で処理したい… →同じコード書かない、変更に強い(やっぱこのカラム追加して∼) Awkでできるよ！
- 9. Awkって何？ ○開発者: Aho, Weinberger, and Kernighan ! ○ファイル処理理⾔言語(コマンド) ! ○Cっぽい構⽂文 ! ○Awkの良良いところ 学習曲線ゆるやか ワンライナー ~∼ 数ライナー ! ○Awkが苦⼿手なこと ちょっと複雑なデータ(リレーショナルとか) *.xlsx
- 10. Awkプログラミング ○Awkのイントロ ○Awkでパターンアクション ○逆引きAwk ! タイタニックのデータを使います。
- 11. ○全⾏行行表⽰示 awk {print $0} titanic.txt awkスクリプト 入力ファイル awk {スクリプト} ファイル名 Awkのイントロ ○基本の形 1⾏行行⽬目 2⾏行行⽬目 3⾏行行⽬目 4⾏行行⽬目 … awkスクリプトを⼊入⼒力力ファイルの1⾏行行⽬目から最終⾏行行まで 1⾏行行ずつ実⾏行行していく。 print $0 → print $0 → print $0 → print $0 → print $0 →
- 12. Awkのイントロ ○名前、年年齢表⽰示 awk {print $4, $6} titanic.txt 4列目、6列目を標準出力へ $i でi列目を表示。
- 13. Awkのパターンアクション ○Williamが含まれる⾏行行を表⽰示 awk /William/{print $0} titanic.txt awk /William/{print $0} titanic.txt ○パターンアクション パターン パターンが含まれているときに スクリプトを実行
- 14. Awkのパターンアクション ○⾏行行頭が10, 11, 12, 14で始まる⾏行行を表⽰示 awk '/^1[0-3]/{print $0}' titanic.txt awk $6>=40{print $0} titanic.txt ○40歳以上を表⽰示
- 15. 逆引きAwk ○最⼩小値を求める awk 'NR==2{min=$10}{if($10<min) {min=$10};} END {print min}' titanic.txt awk '{age+=$6};END{print age/(NR-1)}' titanic.txt ○平均年年齢 終了時に呼ばれる ○乗船場所の重複削除 awk '!colname[$12]++{print $12}' ○乗客IDと年年齢を表⽰示 awk '{print $1, $6}' titanic.txt
- 16. 種⼦子数データの処理理 # 列方向の合計 for (i=0;i<=NF;i++){ colsum+=$i } # 列方向の平均 ave=colsum/NF; data.RDataを.txtにしたものを使用します。 ○列列⽅方向の集計 $ awk -f var.awk rdata.txt 2.98776 $ awk -f sd.awk rdata.txt 1.72851 $1, $2, … 全ての列に対して集計できる。 ○分散と標準偏差
- 17. 種⼦子数データの処理理 ○ファイル内⼀一括処理理 for t in rdata*.txt do awk -f sd.awk $t done all_̲rdata.sh $ . all_rdata.sh 1.72851 1.93412 1.63108 rdata*.txtに対して実⾏行行
- 18. おまけ ○.txtのビジュアライゼーション awk -f graph.awk hist.txt [shinya@ShineAir:~/Programs/awk_preprocess]$ awk -f graph.awk hist.txt |------------------------------------------------------------------------| | | | | | | 12 - * | | | | * | | * | | | | | 8 - | | | | | | | | * | 4 - * * | | | | * | | | | | | * | |-----------|-----------|------------|-----------|-----------|-----------| 0 2 4 6 8 Poisson hist