Mais conteรบdo relacionado
Semelhante a Natural language processing of news (6)
Natural language processing of news
- 2. ๋ด์ค NLP ๊ฐ๋
๊ณผ ์ ์ฐจ
๊ธฐ์กด ๋ด์ค NLP์ ํ๊ณ์ ๊ฐ์
๋ด์ค NLP ์ฌ๋ก: <๋ด์ค์์ค ๋ฒ ํ>
๋ชฉ์ฐจ
๋ด์ค ์์ฐ์ด์ฒ๋ฆฌ
: <๋ด์ค์์ค ๋ฒ ํ>๋ฅผ ์ค์ฌ์ผ๋ก
2
- 3. ๋ด์ค NLP
ํํ์๋ถ์(morphological analysis)
ํ ํฐ ๋ถ๋ฆฌ, ์ด๊ฐ ์ถ์ถ, ํ์ฌ ๋ถ์ฐฉ, ์์ธ, ๋ฒกํฐํ
๊ตฌ๋ฌธ๋ถ์(syntax analysis, parsing)
๋ฌธ์ฅ ๊ฒฝ๊ณ ์ธ์, ๊ตฌ๋ฌธ๋ถ์, ๊ณต๊ธฐ์ด, ๊ฐ์ฒด๋ช
์ฌ์ ๊ตฌ์ถ(PLOT, ์์น, ์ธ๊ตญ์ด ํ๊ธ ํ๊ธฐ), ๊ฐ์ฒด๋ช
์ธ์
์๋ฏธ๋ถ์(semantic analysis)
๋์ฉ์ด ํด์(๋๋ช
์ฌ, ๋๋ฌธ์์ด, ์ฝ์ด, ์์น), ์๋ฏธ ์ค์์ฑ ํด๊ฒฐ(๋๋ช
์ด์ธ, ์ด๋ช
๋์ธ)
๋ด๋ก ๋ถ์(discourse analysis)
๋ถ๋ฅ, ๊ตฐ์ง, ์ค๋ณต, ์์ฝ, ๊ฐ์ค์น, ์์ํ, ํํ๋ถ์, ๊ฐ์ฑ๋ถ์, ํ ํฝ ๋ชจ๋ธ๋ง, ์ด์ ํธ๋ํน, ๋ณตํฉ๋
ผ์ฆ๋ถ์
ํํ์๋ถ์
๊ตฌ๋ฌธ๋ถ์
์๋ฏธ๋ถ์
๋ด๋ก ๋ถ์
3
- 4. NLP ์์
ํํ์๋ถ์
์๋ฌธ) ์ด๊ณ ์์ด์ฐจ๋ฅผ ํ๋ณด์๋ค.
์ด/์ ๋์ด+๊ณ ์/๋ช
์ฌ+์ด์ฐจ/๋ช
์ฌ+๋ฅผ/๋ชฉ์ ๊ฒฉ์กฐ์ฌ; ๊ฐ์ฅ ์ ํฉํ ํํ์ ๋ถ์ ํ๋ณด(1)
์ด๊ณ /๋ช
์ฌ+์/๋ช
์ฌ+์ด์ฐจ/๋ช
์ฌ+๋ฅผ/๋ชฉ์ ๊ฒฉ์กฐ์ฌ; ํํ์ ๋ถ์ ํ๋ณด(2)
์๋ฌธ) ๊ทธ๊ฐ ์ฐ ์ฌ๊ณผ๋ฅผ ๋ค์ ์๋ค.
(((๊ทธ๊ฐ/์ฃผ์ด ์ฐ/์ ์ด) ์ฌ๊ณผ๋ฅผ)/๋ชฉ์ ์ด ๋ค์ ์๋ค/์ ์ด) โ ๊ฐ์ฅ ์ ํฉํ ๊ตฌ๋ฌธ๊ตฌ์กฐ (1)
((๊ทธ๊ฐ/์ฃผ์ด (์ฐ ์ฌ๊ณผ๋ฅผ)/๋ชฉ์ ์ด) (๋ค์ ์๋ค)/์ ์ด) โ ๊ตฌ๋ฌธ๊ตฌ์กฐ ํ๋ณด
๊ตฌ๋ฌธ๋ถ์
์๋ฌธ) ๊ทธ๊ฐ ์ฐ ์ฌ๊ณผ๋ฅผ ๋ค์ ์๋ค.
์ฐ: buy, live/alive, mountain
์ฌ๊ณผ: apple, apology
์๋ฏธ๋ถ์
์๋ฌธ) ์ผ์ฑ ํ
ํฑํฐ์ ์ ๋ฉด ํํฐ์น์ ์์ด๋ LCD๊ฐ ์์์์ํด์ ๋ง์ ๋ญ๋๋ค.
<object:ํ
ํฑํฐ, feature:ํํฐ์น์ ์์ด๋ LCD, expr:์์์์ํ๋ค, polarity:positive>;
๋ด๋ก ๋ถ์
์ถ์ฒ: SKํ๋๋ ๊ธฐ์ ๋ธ๋ก๊ทธ README (http://readme.skplanet.com/?p=3749)
4
- 5. ๊ธฐ์กด ๋ด์ค NLP ํ๊ณ
ํํ์๋ถ์ ์ฑ๋ฅ ์๋ฏธ๋ถ์ ์ฌ๋ถ
๋ถ์ ๋จ์
๊ฐ์ฒด๋ช
์ธ์ ์ฑ๋ฅ
๊ตฌ๋ฌธ๋ถ์ ๋ฒ์
KrKwic ๋ฑ ์ธ๊ตญ ํํ์๋ถ์๊ธฐ์ ๋ฐํ
์ ๋ ํํ์๋ถ์๊ธฐ์ ํํ์๋ถ์ ์ฑ๋ฅ
๋ฌธ์
๋์ฉ์ด ํด์, ์๋ฏธ ์ค์์ฑ ํด๊ฒฐ ์์ด ๋น
๋์ ์ค์์ฑ์ ๊ณ์ฐํ ๋ ๊ณผ๋/๊ณผ์ํ
๊ฐ ๋ฌธ์
์ธ๋ก ํ์ ๋ด์ฉ๋ถ์/๋นํ์ ๋ด๋ก ๋ถ์์
์ฐ๊ตฌ ๋ชฉ์ ์ ๋ถํฉํ๋ ์ค์ ์์ค์ ๋ฌธ
์ฅ ์ค์ฌ ๋ถ์ ํ์
์ธ๋ช
, ์ฅ์, ๊ธฐ๊ด, ์ธ๊ตญ์ด ํ๊ธํ๊ธฐ ๋ฑ
๊ฐ์ฒด๋ช
์ธ์์ ์ฑ๋ฅ ๋ฌธ์ ์ ์ฌํ์จ, ์
ํ๋์ ๋ฏธํ๊ธฐ
์ธ์ดํ์ ๊ด์ ์ ์์ ๊ตฌ๋ฌธ๋ถ์์ด ์๋
์ ๋๋ฆฌ์ฆ ์์ญ ์ง์์ ํ์ฉํ ์ต์ํ์
๊ตฌ๋ฌธ๋ถ์ ํ์
01 02 03
04 05
โ๊ธฐ์
โ, โ์ง์ญโ, โ์ด๋
ธโ, โ์ก์ฑโ, โ๋น์ฆโ, โ๋ถ์ฐโ, โ์ค๊ธฐ์ฒญโ, โ์ธ์ฐโ, โ600โ
๋ถ์ฐโข์ธ์ฐ์ง๋ฐฉ์ค์๊ธฐ์
์ฒญ์ 2์ผ โ์ต๊ทผ ์ค๊ตญ๊ฒฝ์ ๋ถ์ ์ดํ ์ค์๊ธฐ์
์ด ์์์ฌ๋๊ณผ ์ธ๋ ฅ๋, ์ฌํ์ ์ธ์์ ํ ๋ฑ์ผ๋ก ์นจ์ฒด์๊ธฐ๋ฅผ ๊ฒช๊ณ ์๋ ๊ฐ์ด๋ฐ ์ด๋ฅผ
๊ทน๋ณตํ๊ณ ์ง์ญ๊ฒฝ์ ์ ํ๋ ฅ์ ๋ถ์ด๋ฃ๊ธฐ ์ํด ๋ถ์ฐโข์ธ์ฐ์ง์ญ์ ์ด๋
ธ๋น์ฆ ๊ธฐ์
600์ฌ ๊ณณ์ ๋ฐ๊ตดํด ์ง์ค ์ก์ฑํ ๊ฒโ์ด๋ผ๊ณ ๋ฐํ๋ค.
์ถ์ฒ: 2004๋
8์ 3์ผ ์กฐ์ ์ผ๋ณด โ๊ธฐ์ ํ์ ํ ์ค์๊ธฐ์
์ก์ฑโ
5
- 9. ๋์ฉ์ด ํด์
โ์ฑ+์งํจโ๋ง ๋์จ ๊ฒฝ์ฐ ์ธ์ฉ๋ฌธ์ผ๋ก๋ถํฐ ์
์ผ๋ก ๊ฑฐ์ฌ๋ฌ ์ฌ๋ผ๊ฐ์ ๋ฐ๊ฒฌ๋ โ์ธ๋ช
+๊ธฐ๊ด+
์งํจโ ์ค โ์ฑ+์งํจโ์ด ์ผ์นํ๋ ๊ฒฝ์ฐ ํด๋น
์ธ์ฉ๋ฌธ์ ๋ฐํ์์ธ ๊ฐ์ธ์ค๋ช
์ ๋ณด์์ด๋ค.
์ด ๋ ์ธ์ฉ๋ฌธ์ โ์ฑ+์งํจโ๊ณผ ์ธ์ฉ๋ฌธ ์์์
๋ฐ๊ฒฌ๋ โ์ฑ+์ด๋ฆ+๊ธฐ๊ด+์งํจโ์ ๋ฌธ์์ด์
๋ํด SVM(support vector machine)๋ฅผ
์ํํด ์ผ์น ์ฌ๋ถ๋ฅผ ํ์ธํ๋ค.
ํํ์๋ถ์ ๊ฒฐ๊ณผ ์ธ์ฉ๋ฌธ์ ์ฃผ์ด๊ฐ ์ธ์นญ๋๋ช
์ฌ๋ก ๋ํ๋ ๊ฒฝ์ฐ, ์ธ์ฉ๋ฌธ์ผ๋ก๋ถํฐ ์์ผ๋ก
๊ฑฐ์ฌ๋ฌ ์ฌ๋ผ๊ฐ์ ์ฒ์์ผ๋ก ๋ํ๋ โ์ธ๋ช
+๊ธฐ
๊ด+์งํจโ์ด ํด๋น ์ธ์ฉ๋ฌธ์ ๋ฐํ์์ธ ๊ฐ์ธ์ค
๋ช
์ ๋ณด์์ด๋ค.
์ธ์ฉ๋ฌธ ๋ด์์ โ์ธ๋ช
+๊ธฐ๊ด+์งํจโ,
๋๋ โ๊ธฐ๊ดโ์ ๊ฐ์ฒด๋ช
์ด ์ธ์๋ ๊ฒฝ์ฐ,
ํด๋น ์ธ์ฉ๋ฌธ์ ๋ฐํ์๋ ์ธ์๋ ๊ฐ
์ธ์ค๋ช
์ ๋ณด์ ๋๋ ์ง๋จ์ ๋ณด์์ด๋ค.
NER ์ฑ+์งํจ์ ๋ํ SVM ์ธ์นญ๋๋ช
์ฌ ๋งค์นญ
9
01
02
03
- 10. ์๋ฏธ ์ค์์ฑ ํด๊ฒฐ
๊ฐ์ ๋ ์ง์ ์ด๋ช
๋์ธ, ์ฆ ์ด๋ฆ ์์ ์งํจ์ด
๊ฐ์ ์๋ก ๋ค๋ฅธ ๋ ์ฌ๋์ ์กด์ฌํ ์ ์๋ค.
๋ค๋ฅธ ๋ ์ง์ ์ธ๋ช
์ด ๋ค๋ฅธ ๊ฒฝ์ฐ ์ด๋ฆ์ ๋ฐ๊พธ
๋ ๋๋ฌธ ๊ฒฝ์ฐ๊ฐ ์๋ ํ ๋์ผ์ธ์ด ์๋๊ธฐ ๋
๋ฌธ์ ์ด๋ฆ์ด ๋ค๋ฅด๋ฉด ๊ทผ์ฌ์ ์ผ๋ก ๋ค๋ฅธ ์ธ๋ฌผ
์ด๋ค.
์ธ๋ช
์ ๊ฐ์ง๋ง ๊ธฐ๊ด๊ณผ ์งํจ์ด ๋ค๋ฅด๋ฉด์๋
์ค์ ๋ก ๋์ผ์ธ์ผ ๊ฒฝ์ฐ์๋ ์กฐ์์ ์ผ๋ก ๋ค๋ฅธ
์ ๋ณด์์ผ๋ก ์ ์ํ๋ค.
. ์) โํ๊ธธ๋ XX๊ทธ๋ฃน ํ์ฅโ๊ณผ โOO๋น ๊ตญํ
์์ ํ๊ธธ๋โ์ ์ค์ฌ ๋์ผ ์ธ๋ฌผ์ผ์ง๋ผ๋ ๋ค
๋ฅธ ์์์ด๊ธฐ ๋๋ฌธ์ ๋ค๋ฅธ ์ถ์
๊ธฐ์๊ฐ ๋ด๋น
์ ๋งก์ ์๋ก ๋ค๋ฅธ ์ฃผ์ ๋ก ์ธ์ฉํ๋ ๊ธฐ๋ฅ์
์ผ๋ก ๋ค๋ฅธ ์ ๋ณด์์ด๋ค.
์ธ๋ช
, ๊ธฐ๊ด, ์งํจ์ด ๊ฐ์ ์ ๋ณด์์
๊ทผ์ฌ์ ์ผ๋ก ๋์ผ ์ธ๋ฌผ๋ก ๋ณผ ์ ์๋ค.
- ๋จ๊ธฐ์ ์ผ๋ก ๋ค๋ฅธ ๋งค์ฒด ๋ค๋ฅธ ๊ธฐ์ฌ
์ ๋ฑ์ฅํ์ด๋ ๋์ผ์ธ
- ์ฅ๊ธฐ์ ์ผ๋ก๋ ๋๋ช
์ด์ธ ๋๋ฌพ
๋๋ช
๋์ธ, ๋๋ช
์ด์ธ ์ด๋ช
์ด์ธ ์ด๋ช
๋์ธ
10
01
02
03
- 11. ๋ฌธ์ฅ/๊ธฐ์ฌ ์ ์ฌ๋
๊ฐ์ ๋ ์ง์ ๊ธฐ์ฌ๋ค์ ๋ํด ์ ์ฒด ๊ธฐ
์ฌ์ ์ถํํ๋ n๊ฐ์ ๋จ์ด๋ก ์ด๋ฃจ์ด
์ง n์ฐจ์ ๋ฒกํฐ ๊ณต๊ฐ์ ๊ฐ์ ํ๋ค. ์ด
๋ ์ ์ฌ๋ ๊ณ์ฐ์ ํจ์จ์ฑ์ ์ํด ๋จ
์ด๋ฅผ ๋ช
์ฌ, ์์น, ๋์ฌ๋ก ์ ํํ๋ค.
๋ค์์ผ๋ก ๊ฐ ๊ธฐ์ฌ๋ฅผ ํด๋น ๋จ์ด๊ฐ ์ถ
ํํ๋์ง ์ฌ๋ถ์ ๋ฐ๋ผ ๊ฐ์ ๋ถ์ฌํ
๋จ์ด๋ฒกํฐ๋ก ๋ํ๋ธ๋ค.
๋น๊ต ๋์์ธ ๋ ๊ธฐ์ฌ์ ๋จ์ด๋ฒกํฐ ๊ฐ
๊ฐ๋๋ฅผ ฮธ๋ผ๊ณ ํ ๋, ์ด ๊ฐ๋์ ๋ํ
์ฝ์ฌ์ธ ๊ฐ์ ๊ณ์ฐํ์ฌ ์ ์ฌ๋๋ฅผ ๊ณ
์ฐํ๋ค. ์์ ํ ์ผ์นํ ๊ฒฝ์ฐ ฮธ๊ฐ 0
์ด๋ฏ๋ก ์ฝ์ฌ์ธ ๊ฐ์ 1์ด ๋์จ๋ค. ์
์ฌ๋ ์๊ณ๊ฐ(threshold)์ ์ ํ์ฌ
์ด ๊ฐ์ ๋์ผ๋ฉด ์ ์ฌํ ๊ฒ์ผ๋ก, ๊ทธ๋
์ง ์์ผ๋ฉด ์ ์ฌํ์ง ์์ ๊ฒ์ผ๋ก ํ
์ ํ๋ค.
๋น๊ต ๋์ ๊ธฐ์ฌ ์ ์ฒด์ ๋ฑ์ฅํ๋ ํ
์(IDF)์ ๋นํด ํน์ ๊ธฐ์ฌ์ ๋ฑ์ฅํ
๋ ๋น๋(TF)๊ฐ ๋๋ค๋ฉด ๊ทธ ๋จ์ด๋ ๋ค
๋ฅธ ๋จ์ด์ ๋นํด ๊ทธ ๋ฌธ์๋ฅผ ๋ ๋ง์ด
๋ํํ๋ฏ๋ก ๋ ๋์ ๊ฐ์ค์น๋ฅผ ๋ถ์ฌ
๋ฐ๋๋ค.
์ ์ฒด ๊ธฐ์ฌ ๊ฐ๊ฐ์ ์ด๋ค ์ฃผ์ ๋จ์ด,
์ฆ ์์ธ์ด๊ฐ ์๋์ง๋ฅผ ๋ํ๋ด๋ ์
์ธ ์์
๊ณผ ํจ๊ป, ๊ฐ ์์ธ์ด๊ฐ ์ด๋
๊ธฐ์ฌ์ ์๋์ง, ์ฆ ์ญ์์ธ ์์
๋ ํจ
๊ป ์ํํ๋ค. ์ด๋ฅผ ํตํด ์ ์ฌ๋ ๊ณ์ฐ
์ ์๋๋ฅผ ๊ฐ์ ํ ์ ์๋ค.
01
02
03
04
Inverted Indexing Vector Space Model TD-IDF Cosine Similarity
11
- 12. ๋ถ๋ฅ, ๊ตฐ์งํ, ์์ํ
๋ฌธ์ฅ ๋ถ๋ฅ ์ ๋ณด์ ๊ตฐ์งํ
์ ๋ณด์ ์์ํ
๊ธฐ์ฌ(์ง๋ฉด) ๋ถ๋ฅ
๊ธฐ์ฌ ๊ตฐ์งํ
๊ฐ์ฒด๋ช
๋ถ๋ฅ์ ๋ฐ๋ฅธ ๋ฌธ์ฅ ๋ถ๋ฅ
- ๋๋ถ๋ฅ: ์ธ์ฉ๋ฌธ, ์์น๋ฌธ, ๊ธฐํ๋ฌธ
- ์ธ์ฉ๋ฌธ ๋ค์ค ๋ถ๋ฅ: ๊ฐ์ธ์ค๋ช
/์ง๋จ/์ต
๋ช
๊ฐ์ธ ์ค๋ช
์ ๋ณด์์ ๋
ธ๋๋ก ํ๊ณ ,
๊ณต๊ธฐ ์ฌ๋ถ์ ๋ฐ๋ผ ์ฃ์ง๋ฅผ ๋ถ์ฌํ
๋ด์ค ์ ๋ณด์ ์ฐ๊ฒฐ๋ง
๊ท์น๊ณผ NSNA
- ๊ท์น: ๊ฐ์ธ์ค๋ช
>์ง๋จ>์ต๋ช
- NSNA: ๊ฐ์ธ์ค๋ช
์ ๋ณด์ ๋ด์์๋
์ฐ๊ฒฐ์ ๋ ์ค์์ฑ์ ๋ฐ๋ฅธ ์์
15๊ฐ ์นด์ธ์ฆ ์ง๋ฉด ๋ถ๋ฅ๋ฅผ ์ ์น/๊ฒฝ
์ /์ฌํ(์ข
ํฉ)/๋ฌธํ/๊ตญ์ ๋ก ์ฌ์
๊ธฐ๊ณํ์ต(๋จ์ ๋ฒ ์ด์ง์), 75% ์
ํ๋
๋จ์ด ์ ์ฌ๋์ ๋ฐ๋ผ ๊ธฐ์ฌ ๊ตฐ์งํ
(์ ์ฌ ๋ฌธ์ฅ ์ฌ๋ถ๋ก ์์ ํ์)
01 02 03
04 05 ๋ฌธ์ฅ ์์ํ
๊ท์น
- ์ ๋ณด์ ์์์ ๋ฐ๋ฅธ ๋ฌธ์ฅ ์์
- ๊ฐ์ ์์ ๋ถ๋ฅ ์ ๋ณด์์ ์์
ํ๋ฝ
06
๊ธฐ์ฌ ์์ํ
๋ด์ค ๊ธฐ์ฌ ์ฐ๊ฒฐ๋ง ๋ถ์
-๊ณต๋ ์ ๋ณด์์ ์ค์ฌ์ผ๋ก ์ฐ๊ฒฐ๋ง
๊ทธ๋ฆฐ ๋ค ์ฐ๊ฒฐ์ ๋ ์ค์์ฑ ๊ณ์ฐ
(์ ์ฌ ๋ฌธ์ฅ ๊ธฐ์ค์ผ๋ก ์์ ํ์)
07
12