Recomendados
Mais conteúdo relacionado
Mais de xztaityozx
呪符式高速詠唱シェル芸2
- 2. みなさん#!/bin/bash(こんにちはの意) たいちょーです twitter: @xztaityozx_001 GitHub: xztaityozx 好きな言語: C#, Go 職業: お嬢様系難読化シェル芸人
- 4. 前回までのあらすじ
- 5. 1. yukichantという文字列⇔呪文変換ツールがあった $ echo シェル芸 | chant 羅の烙印を底より守る。沈み世界を呼び声の砕ける。引きを肉より災いを成り。守り。
- 9. 編集距離による補正をしてみる 編集距離とは 二つの文字列がどの程度異なっているかを表す距離のこと 具体的には片方の文字列をもう片方の文字列にするために行う 挿入 ・ 削 除 ・ 置換 の操作回数
- 10. 編集距離の例 abc と abd の編集距離は置換が1回なので、1もしくは1/3=0.3333.... 置換を挿入=>削除と考えて操作回数2回とする場合もある
- 12. レーベンシュタイン距離による補正をしてみる yukichant には辞書がある 辞書に登録されている言葉から割り当てされる 現れる言葉が決まっているので、距離の近い言葉が検索できる 計算量は、長さ n と長さ m の文字列を比較するとき となっている n も m も高々6なので問題なし！ヨシ！ つまり、なんかできそうな気がする
- 15. 実装してみる 今の実装は以下のようになっています 1. 画像ファイルをOCRエンジンに渡す 2. OCRエンジンから読み取り結果をもらう 3. 読み取った文字列を yukichant に渡す 4. yukichant から解読結果をもらう 5. 解読結果をコマンドとして実行 ステップ2とステップ3の間にレーベンシュタイン距離による補正を入れていきます。
- 16. 文字列切り出しの方針を考える 補正しますといっても、どうすればいいのでしょう 例えば echo unko の呪文をレーベンシュタイン距離を使って補正しようとするとしま す 誘惑の邪気を魂魄借り。業火よ羅刹に星空の失え。血肉とともに果たせ。 当然比較相手が必要ですが、その相手はどう生成すればいいのでしょう？
- 20. 2. 6,5,4,2,3の順番に先頭から切り出す 数字は yukichant に登場する単語の長さ 順番は登場頻度が小さい順 今回はこっち
- 21. レーベンシュタイン距離による補正の疑似コード var input = "呪文"; var dictionary = { ... yukichantの単語辞書 ... }; while(input.Length > 0) { var minDistance = 999; var result = ""; foreach(var length in {6,5,4,2,3}) { var subStr = input[..length]; // 同じ長さの単語群と切り出した文字列を比較 foreach(var word in dictionary[length]) { // 距離が最小になるものを見つける。 // 距離が一緒なものが複数個あったときはどないしようかなあ var distance = Levenshtein(subStr, word); if(distance < minDistance) { minDistance = distance; result = word; } } } input = input[length..]; }
- 23. レーベンシュタイン距離による補正を入れる前 誘惟の那気を魂すら俸り楳火に雑の春と失え。血を果たせ。 入れた後 誘惑の邪気を魂すら祈り。業火に蟲の天と失え。血を果たせ。 ああ！なんか補正できました！！！
- 25. 似ている漢字の間違いを補正する 漢字の読み取り間違いを補正するのは難しいです。 似ていようが、似ていなかろうが操作回数1なので以下の二つの編集距離はともに 1 雑の => 蟲の 春と => 天と 文字列の長さがある程度あると補正が効きやすい 楳火に => 業火に どうにか漢字を補正できないかな…
- 26. 変換テーブルを定義すればええやん
- 27. 漢字と似ている漢字のテーブル「誤認識テーブル」 「 刹 は 和 と 利 に似ている」みたいなことを表すテーブルを定義 似ている方に属すことができるのは呪文に登場しない漢字のみ 似ている方にある漢字が呪文に登場したら置き換える 漢字 似てる1 似てる2 似てる3 刹 和 利 祈
- 28. 誤認識テーブルによる補正 候補が複数個あるとき 漢字 似てる 因 口 囚 口 困 口 口われる から 困われる , 囚われる , 因われる の3つを作ってレーベンシュタイン距離でさ らに補正する
- 29. さっきの間違いは以下のようなテーブル定義があれば良い 漢字 似てる 雑 羅 春 星 楳 業 というわけで yukichant に登場するすべての漢字(548個)について、このテーブルを定 義できればさらに補正が…
- 34. 書いたら集計 1. 画像を1行ずつ切り出す 2. OCR(TesseractとWindows)で読み取る 3. 誤認識を取り出す 4. テーブルに書き込む
- 35. 集計したら実装 レーベンシュタイン距離での補正をする前に誤認識テーブルでの補正をします while(input.Length > 0) { var minDistance = 999; var result = ""; foreach(var length in {6,5,4,2,3}) { var subStr = input[..length]; // 誤認識テーブルで補正を書けて候補を作る var list = createAdjustedWords(subStr); foreach(var item in list) { foreach(var word in dictionary[length]) { var distance = Levenshtein(item, word); if(distance < minDistance) { // ... } } } } input = input[length..]; }
- 37. というわけで デモをします # なんもなし $ cd ~/source/repos/ofuda/cli-tesseract-ocr; dotnet run -- ../img/tegaki-yoko-2gyo.png --tesseractPath C:UsersxztaityozxAppDataLocalProgramsTesseract-OCRtesseract.exe # レーベンシュタイン距離のみ $ cd ~/source/repos/chant-gate/chant-gate; dotnet run -- ../../ofuda/tegaki-yoko-2gyo.png --ocr-engine Tesseract # 誤認識テーブル＋レーベンシュタイン距離 $ cd ~/source/repos/chant-gate/chant-gate; dotnet run -- ../../ofuda/tegaki-yoko-2gyo.png --ocr-engine Tesseract -c
- 39. 変換過程
- 42. |￣￣￣￣￣￣￣￣￣| | 終 | | 制作・著作 | | ￣￣￣￣￣￣￣ | | xztaityozx | |＿＿＿＿＿＿＿＿＿| ∧∧ || ( ﾟдﾟ)|| / づΦ