Recommended
More Related Content
Featured
Featured (20)
テキストマイニング (2)
- 1. 推理小説のテキストマイニン グ
- 2. 分析に用いた小説 • 明治開化 安吾捕物 その一 舞踏会殺人事件 （１９５ ０） 筆者：坂口 安吾 １章、泉山虎之介が勝海舟に事件解決の助けを求めにい く ２章、虎之介が勝海舟に事件の内容を聞かせる。 ３章．勝海舟が話を聞いてその場で犯人を推理 ４章、探偵の結城新十郎が真犯人をあてる
- 4. 登場人物紹介
- 9. 対応分析（コレスポンス分析） 対応分析とは ・クロス集計表において行の要素 と列の要素の相関が大きくなるように 二次元空間に配置すること ・行と列の関係性を見ることがで きる ・クロス表をもとにするので二つ の変数の間の関係しか使用できない
- 10. １、クロス集計表を行の項目と列の項目の相関が最 大になるように行と列の双方向を並び替える ２、並び替えた表から行と列のそれぞれの相対比率 のパターンを求める ３、固有値を使って行と列の成分スコアを求める ４、成分スコアを散布図に配置する 行と列の関係を表した図ができるので行と列を見比べる タグ毎における出現した単語の回数の集計表
- 12. タグ × 抽出語 のクロス表（名詞、強制抽出語、動詞の み）
- 14. 多次元尺度法 ・データの構造を考察する方法 ・個体間の親近性データに基づいて近しいものを近くに そうでないものを遠くに、二次元上、又は三次元上に表 して個体間の相関関係を視覚的に見る 量的データの場合、個体間の距離を求めて距離が 近いものと遠いものを距離に基づいて配置 質的データの場合、個体間の類似度を求めて類似 度が大きいほど個体間 の関連性が強いので近くに配置 ・軸は関係なく図に配置されている個体のなかで解釈す る 手順 １、各項目間の距離を測る ２、座標値を求める ３、２～３次元上でデータを配置
- 15. 抽出語 × タグ のクロス表（名詞、強制抽出語、動詞の み）
- 17. 階層的クラスター分析 ・対象間の関連性を表すデータを分析 データのパターンが似ているもの同士 をグループにまとめてかたまり構造を把握 ・樹形図と呼ばれる図を作成 ・どのようにグループ分けをするかの基準 を使わずグループ分けをする http://mjin.doshisha.ac.jp/R/28/28.html
- 18. 前段階として対応分析などで描いた図をも とにどのように分類できるかを検討する 手順 １、データ間の相関係数から距離や類似度を求め距 離行列を作成する ピアソン関数やコサイン係数を用いる ２、１を元にコーフェン行列を求める グループごとの距離の行列のこと（一番始 めは個体間の距離） ３、２を元に樹形図を作成する ４、２、３をグループが一つになるまで続ける
- 19. 抽出語 × タグ のクロス表（名詞、強制抽出語、動詞の み）
- 21. ネットワーク分析 ・もとは通信ネットワークや組織の編成などに使われ ていた ・語をノードとして表現して共起性があるものを線で つないで結び合わせたネットワークマップとして表示 ・密度（ネットワークに含まれる関係の密さを示す 度） 密度が大きいほどノードからのびる線が 多くなる ・接近中心性（ある点が他の点にどれだけ近いかを 示す指標） ・次数（あるノードに接している辺の数） の３つを計算して図に表す これをノードと呼 ぶ http://mjin.doshisha.ac.jp/R/61/61.html
- 22. １、各単語のバイグラムを求める バイグラムは前後で組み合わせになっているも の ２、そのなかで頻度が多い順に並べる ３、頻度が多いものをネットワークマップとして表示 http://mjin.doshisha.ac.jp/R/61/61.html
- 23. 文中における単語を集計した表
- 25. 分析してみて分かったこと • 推理小説の分析には対応分析が一番適し ている。 →どの章でどんなことが書かれているか がわかる ・読者が文脈から読み取らなければいけな いことが分析では読み取ることができな い。 例えばこの小説の場合真犯人は別にいるが明確 に書かれていないので読んだ人は真犯人が誰かが推測できる が文章を機械的に分析するだけでは分からない。