Enviar pesquisa
Carregar
OpenNLP - MEM and Perceptron
•
7 gostaram
•
5,094 visualizações
Koji Sekiguchi
Seguir
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 23
Recomendados
Gurobi python
Gurobi python
Mikio Kubo
Or seminar2011final
Or seminar2011final
Mikio Kubo
Python opt
Python opt
Mikio Kubo
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
Deep Learning を実装する
Deep Learning を実装する
Shuhei Iitsuka
yyoshida thesis
yyoshida thesis
Yuichi Yoshida
機械学習と深層学習の数理
機械学習と深層学習の数理
Ryo Nakamura
Ishihata 150319-final
Ishihata 150319-final
Masakazu Ishihata
Recomendados
Gurobi python
Gurobi python
Mikio Kubo
Or seminar2011final
Or seminar2011final
Mikio Kubo
Python opt
Python opt
Mikio Kubo
はじぱた7章F5up
はじぱた7章F5up
Tyee Z
Deep Learning を実装する
Deep Learning を実装する
Shuhei Iitsuka
yyoshida thesis
yyoshida thesis
Yuichi Yoshida
機械学習と深層学習の数理
機械学習と深層学習の数理
Ryo Nakamura
Ishihata 150319-final
Ishihata 150319-final
Masakazu Ishihata
Introduction to Persistence Theory
Introduction to Persistence Theory
Tatsuki SHIMIZU
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
bigdata2012ml okanohara
bigdata2012ml okanohara
Preferred Networks
ACLreading2014@Ace12358
ACLreading2014@Ace12358
Ace12358
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
Nmp for quantum_chemistry
Nmp for quantum_chemistry
shima o
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Yuya Unno
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
KazuhiroSato8
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Seiya Tokui
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
ARISE analytics
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
Computational Materials Science Initiative
20170422 数学カフェ Part1
20170422 数学カフェ Part1
Kenta Oono
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
mganeko
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Yuya Unno
attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介
Masayoshi Kondo
講座C入門
講座C入門
Tokai University
20160329.dnn講演
20160329.dnn講演
Hayaru SHOUNO
Extract and edit
Extract and edit
禎晃 山崎
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
Koji Sekiguchi
Solr から使う OpenNLP の日本語固有表現抽出
Solr から使う OpenNLP の日本語固有表現抽出
Koji Sekiguchi
Mais conteúdo relacionado
Semelhante a OpenNLP - MEM and Perceptron
Introduction to Persistence Theory
Introduction to Persistence Theory
Tatsuki SHIMIZU
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
bigdata2012ml okanohara
bigdata2012ml okanohara
Preferred Networks
ACLreading2014@Ace12358
ACLreading2014@Ace12358
Ace12358
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
Nmp for quantum_chemistry
Nmp for quantum_chemistry
shima o
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Yuya Unno
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
KazuhiroSato8
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Seiya Tokui
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
ARISE analytics
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
Computational Materials Science Initiative
20170422 数学カフェ Part1
20170422 数学カフェ Part1
Kenta Oono
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
mganeko
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Yuya Unno
attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介
Masayoshi Kondo
講座C入門
講座C入門
Tokai University
20160329.dnn講演
20160329.dnn講演
Hayaru SHOUNO
Extract and edit
Extract and edit
禎晃 山崎
Semelhante a OpenNLP - MEM and Perceptron
(20)
Introduction to Persistence Theory
Introduction to Persistence Theory
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
bigdata2012ml okanohara
bigdata2012ml okanohara
ACLreading2014@Ace12358
ACLreading2014@Ace12358
機械学習の理論と実践
機械学習の理論と実践
Nmp for quantum_chemistry
Nmp for quantum_chemistry
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
Deep Learningの基礎と応用
Deep Learningの基礎と応用
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
CMSI計算科学技術特論B(10) 大規模MD並列化の技術1
20170422 数学カフェ Part1
20170422 数学カフェ Part1
全力解説!Transformer
全力解説!Transformer
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
Node.jsでつくるNode.js ミニインタープリター&コンパイラー
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介
講座C入門
講座C入門
20160329.dnn講演
20160329.dnn講演
Extract and edit
Extract and edit
Mais de Koji Sekiguchi
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
Koji Sekiguchi
Solr から使う OpenNLP の日本語固有表現抽出
Solr から使う OpenNLP の日本語固有表現抽出
Koji Sekiguchi
Learning-to-Rank meetup Vol. 1
Learning-to-Rank meetup Vol. 1
Koji Sekiguchi
Lucene 6819-good-bye-index-time-boost
Lucene 6819-good-bye-index-time-boost
Koji Sekiguchi
NLP4L - 情報検索における性能改善のためのコーパスの活用とランキング学習
NLP4L - 情報検索における性能改善のためのコーパスの活用とランキング学習
Koji Sekiguchi
An Introduction to NLP4L (Scala by the Bay / Big Data Scala 2015)
An Introduction to NLP4L (Scala by the Bay / Big Data Scala 2015)
Koji Sekiguchi
An Introduction to NLP4L
An Introduction to NLP4L
Koji Sekiguchi
Nlp4 l intro-20150513
Nlp4 l intro-20150513
Koji Sekiguchi
コーパス学習による Apache Solr の徹底活用
コーパス学習による Apache Solr の徹底活用
Koji Sekiguchi
情報検索の基礎からデータの徹底活用まで
情報検索の基礎からデータの徹底活用まで
Koji Sekiguchi
LUCENE-5252 NGramSynonymTokenizer
LUCENE-5252 NGramSynonymTokenizer
Koji Sekiguchi
情報検索におけるランキング計算の紹介
情報検索におけるランキング計算の紹介
Koji Sekiguchi
系列パターンマイニングを用いた単語パターン学習とWikipediaからの組織名抽出
系列パターンマイニングを用いた単語パターン学習とWikipediaからの組織名抽出
Koji Sekiguchi
Luceneインデックスの共起単語分析とSolrによる共起単語サジェスチョン
Luceneインデックスの共起単語分析とSolrによる共起単語サジェスチョン
Koji Sekiguchi
Html noise reduction
Html noise reduction
Koji Sekiguchi
Lucene terms extraction
Lucene terms extraction
Koji Sekiguchi
Visualize terms network in Lucene index
Visualize terms network in Lucene index
Koji Sekiguchi
WikipediaからのSolr用類義語辞書の自動生成
WikipediaからのSolr用類義語辞書の自動生成
Koji Sekiguchi
HMM viterbi
HMM viterbi
Koji Sekiguchi
NLP x Lucene/Solr
NLP x Lucene/Solr
Koji Sekiguchi
Mais de Koji Sekiguchi
(20)
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
20221209-ApacheSolrによるはじめてのセマンティックサーチ.pdf
Solr から使う OpenNLP の日本語固有表現抽出
Solr から使う OpenNLP の日本語固有表現抽出
Learning-to-Rank meetup Vol. 1
Learning-to-Rank meetup Vol. 1
Lucene 6819-good-bye-index-time-boost
Lucene 6819-good-bye-index-time-boost
NLP4L - 情報検索における性能改善のためのコーパスの活用とランキング学習
NLP4L - 情報検索における性能改善のためのコーパスの活用とランキング学習
An Introduction to NLP4L (Scala by the Bay / Big Data Scala 2015)
An Introduction to NLP4L (Scala by the Bay / Big Data Scala 2015)
An Introduction to NLP4L
An Introduction to NLP4L
Nlp4 l intro-20150513
Nlp4 l intro-20150513
コーパス学習による Apache Solr の徹底活用
コーパス学習による Apache Solr の徹底活用
情報検索の基礎からデータの徹底活用まで
情報検索の基礎からデータの徹底活用まで
LUCENE-5252 NGramSynonymTokenizer
LUCENE-5252 NGramSynonymTokenizer
情報検索におけるランキング計算の紹介
情報検索におけるランキング計算の紹介
系列パターンマイニングを用いた単語パターン学習とWikipediaからの組織名抽出
系列パターンマイニングを用いた単語パターン学習とWikipediaからの組織名抽出
Luceneインデックスの共起単語分析とSolrによる共起単語サジェスチョン
Luceneインデックスの共起単語分析とSolrによる共起単語サジェスチョン
Html noise reduction
Html noise reduction
Lucene terms extraction
Lucene terms extraction
Visualize terms network in Lucene index
Visualize terms network in Lucene index
WikipediaからのSolr用類義語辞書の自動生成
WikipediaからのSolr用類義語辞書の自動生成
HMM viterbi
HMM viterbi
NLP x Lucene/Solr
NLP x Lucene/Solr
Último
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Último
(7)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
OpenNLP - MEM and Perceptron
1.
OpenNLPにおける最大 エントロピー法とパー セプトロンによる機械 学習 関口宏司@ロンウイット
2.
OpenNLPの分類アルゴリ
ズム opennlp.maxent 最大エントロピー法 多クラスロジスティック回帰 opennlp.perceptron パーセプトロン Copyright © 2012 RONDHUIT All rights reserved
3.
最大エントロピー法
問題解決 ゼロ頻度問題→スムージング パラメータ数の増大、訓練データの断片化 与えられた制約の下でエントロピーを最大化す るようなモデルを推定する 確率的言語モデルのパラメータ推定 訓練データ …………… …… …………… 標本 …… …………… 確率的言語モデルのエントロピーを最大化 Copyright © 2012 RONDHUIT All rights reserved
4.
MEM: 英語-仏語翻訳の例 英単語"in"に対応する仏語の単語またはフレーズ の制約 p(dans)+p(en)+p(à)+p(au
cours de)+p(pendant) = 1 ↓ p(dans)+p(en) = 3/10 p(dans)+p(en)+p(à)+p(au cours de)+p(pendant) = 1 ↓ p(dans)+p(en) = 3/10 p(dans)+p(en)+p(à)+p(au cours de)+p(pendant) = 1 Copyright © 2012 RONDHUIT All rights reserved p(dans)+p(à) = 1/2
5.
MEM 以下の2つの問題に解答を与える 言語モデルの一様さをどのようにして測るか? 与えられた制約の下で、もっとも一様な言語モデ
ルをどのようにして求めるか? 与えられた制約を満たすモデルの中でエントロ ピーを最大にするモデルを解として与える Copyright © 2012 RONDHUIT All rights reserved
6.
MEM: 確率過程 有限集合Yのメンバーyを生成する確率過程 文脈の有限集合X 全条件付き確率分布の集合P
Copyright © 2012 RONDHUIT All rights reserved
7.
MEM: 訓練データ 訓練データの収集 経験的確率分布 C(x,y)
: 訓練データ中にペア(x,y)が出現した回数 Copyright © 2012 RONDHUIT All rights reserved
8.
MEM: 素性関数と制約 素性関数; 2値関数 経験的確率分布についてのfの期待値 モデルp(y|x)についてのfの期待値 制約(等式)
Copyright © 2012 RONDHUIT All rights reserved
9.
最大エントロピー原理 言語モデルのエントロピーH(p) 最大エントロピー原理 C: 制約等式を満たすモデルの集合
制約条件付きの最適化問題 モデルのパラメトリック形式(次ページに続 く) λiは素性fiに対する重要性を表す Copyright © 2012 RONDHUIT All rights reserved
10.
モデルのパラメトリック形
式 以下を満たすパラメータΛ*を求めればよい: Copyright © 2012 RONDHUIT All rights reserved
11.
反復スケーリング法 1. Λ={λ1,…,λn}に適当な初期値を与える 2. 次式を解くことでΛの増分Δλiを求める 3.
Λの値を更新する 4. Λの値が収束していなければ2.に飛ぶ Copyright © 2012 RONDHUIT All rights reserved
12.
MEM: まとめ 訓練データから確率的言語モデルを推定するが、 制約条件を満たすモデルは無限に考えられる 制約条件を満たすモデルの中から最適な(=エ ントロピーが最大となるもの)p*を選ぶ p*を選ぶ代わりにモデルをパラメトリック形式に 置き換えてΨ(Λ)が最大になるΛ*を求める Λ*を求める反復スケーリング法アルゴリズムが ある OpenNLPは拡張反復スケーリング法(GIS)を実
装 Copyright © 2012 RONDHUIT All rights reserved
13.
回帰分析と機械学習 目 的 変 数
△ △ △ △ △ △ △ △ △ △ △ 説明変数 Copyright © 2012 RONDHUIT All rights reserved
14.
ニューラルネットワーク 機械学習におけるニューラルネットワーク
生物の神経組織の挙動をモデル化→セルと結合 刺激 伝達 強化 抑制 パーセプトロン 入 出 力 : : : 力 : : : 入力層 中間層 出力層 Copyright © 2012 RONDHUIT All rights reserved
15.
ニューロセル ニューロセル
x1 w1 xi : 入力 z wi : 重み(結合荷重) x2 w2 v v : 閾値 : wn z : 出力 xn 出力関数 f(u) ステップ関数 シグモイド関数 Copyright © 2012 RONDHUIT All rights reserved
16.
ニューラルネットワークの
構成 フィードフォワードネットワーク 階層型 入力層から出力層へ向けて信号が伝搬 パーセプトロン リカレントネットワーク あるニューロセルの出力がフィードバックされて、 自分自身の入力となる ホップフィールドモデル Copyright © 2012 RONDHUIT All rights reserved
17.
パーセプトロン 入力層から中間層への結合荷重と閾値は乱数で 決定 中間層から出力層への結合荷重と閾値は学習で 変更 線形分離不可能問題 → 入力層から中間層への結合荷重も変更 → バックプロパゲーション
Copyright © 2012 RONDHUIT All rights reserved
18.
パーセプトロンによる論理
演算 X0 -1 1 H0 -3 w0 v O w1 3 H1 -2 1 X1 Copyright © 2012 RONDHUIT All rights reserved
19.
パーセプトロンによる論理
演算 論理積(w0=-77, w1=118, v=114) X0 X1 H0 H1 O 0 0 0.268941421 0.880797078 4.31353E-14 0 1 0.01798621 0.952574127 0.048282862 1 0 0.119202922 0.993307149 0.00255185 1 1 0.006692851 0.997527377 0.960565494 論理和(w0=-27, w1=8, v=2) X0 X1 H0 H1 O 0 0 0.268941421 0.880797078 0.098407843 0 1 0.01798621 0.952574127 0.994147201 1 0 0.119202922 0.993307149 0.938657532 1 1 0.006692851 0.997527377 0.996980115 Copyright © 2012 RONDHUIT All rights reserved
20.
パーセプトロンの学習手続
き 収束するまで以下を繰り返す 訓練データセットの中の一例(xi, o)について以下 を計算する (xi)を用いて中間層の出力hiを計算する hiを用いて出力層の出力Oを計算する 出力層のニューロセルについて、以下の計算で結合 荷重を補正する αは適当な正の数値 Copyright © 2012 RONDHUIT All rights reserved
21.
OpenNLPによる機械学習 OpenNLPの準備 # パッチを当てる必要があるので、trunkからダウンロード $ mkdir
work; cd work $ svn co http://svn.apache.org/repos/asf/opennlp/trunk OPENNLP $ cd OPENNLP # パッチを適用 $ wget https://issues.apache.org/jira/secure/attachment/12533987/OPENNLP-516.patch $ patch –p0 < OPENNLP-516.patch patching file opennlp-maxent/samples/sports/CreateModel.java # ビルド $ cd opennlp $ mvn install Copyright © 2012 RONDHUIT All rights reserved
22.
OpenNLPサンプルの利用 サンプルプログラム
java CreateModel [-perceptron][-real] <filename>.dat java Predict[-perceptron][-real] <filename>.test サンプルデータ football.dat/football.test gameLocation.dat/gameLocation.test realTeam.dat/realTeam.test モデル *Model.txt 訓練データ Create Predict 結果(クラス) *.dat Model テスト *.test Copyright © 2012 RONDHUIT All rights reserved
23.
参考文献 [1] A Maximum
Entropy Approach to Natural Language Processing, Adam L. Berger, et al., 1996 Association for Computational Linguistics, Volume 22, Number 1 [2] 言語と計算 (4) 確率的言語モデル北 研二 (著), 辻井 潤一 (著) 東京大学出版会 978-4130654043 [3] はじめての機械学習 小高 知宏 (著) オーム社 978- 4274068461 [4] Taming Text, Grant S. Ingersoll, Thomas S. Morton, and Andrew L. Farris, Manning Publications Co. [5] Foundations of Statistical Natural Language Processing Christopher Manning (著), Hinrich Schuetze (著) The MIT Press 978-0262133609 Copyright © 2012 RONDHUIT All rights reserved