SlideShare uma empresa Scribd logo
1 de 18
Baixar para ler offline
CNS
심국보 이승호 정준호
오지민 이정민 최종규
AI 기반의 가짜뉴스 판별 서비스
배경 및 제안
85%의 국민 가짜뉴스에 속은 경험
심각한 사회적, 경제적, 인명 피해 발생
비정형적인 가짜뉴스, 가짜정보들을 검증하는 서비스가 한글로 구현 x
구성도
핵심 키워드 신뢰도 분석
연관 검색어
SNU
팩트체크 뉴스
LSTM
신뢰도 분석
SNU
팩트체크 뉴스
LSTM 감성분석
리뷰 데이터
신뢰도 분석 객관성 판별
연관 검색어
데이터 수집
3000여개의 팩트 체크
뉴스 데이터 수집
데이터 전처리
Under Sampling
20 : 80
진짜 가짜
Over Sampling
데이터 전처리
• Class MyTokenizer
기사 또는 카카오톡 텍스트 처리 -> 조사, 문장기호, 접두사 및 외국어를 제외
pos 라는 메소드를 이용하여 각 형태소의 품사를 추출한 후,
텍스트 처리에 불필요한 품사를 제외시키는 과정.
데이터 전처리
• Word_Indexing
수집한 Labled Data를 Tokenizing 및 형태소 분석, 벡터 차원을 맞추기 위한 패딩 작업을 실행
형태소 분석
텍스트 -> 숫자로 변환
패딩 작업 실행하여 전처리 완료
데이터 학습
• Model Traning (LSTM)
keras의 Sequential 함수로 Embedding층, Dense층, Bi-LSTM층을 쌓아 LSTM 모델을 구성
EMBEDDING_INDEX에 담아놓은 사전
훈련된 워드 임베딩(FastText)을 사용
딥러닝 모델(LSTM)의 입력층,
은닉층, 출력층을 구성
데이터 학습
• Model Traning (LSTM)
손실 함수는 ‘binary crossentropy’, optimizer는 ‘adam’을 사용하여 모델 학습
전처리한 학습데이터로
model fit (모델 학습) 진행
카테고리 분류
All
정치
경제
사회
기타
Bi-LSTM
Bi-LSTM
Bi-LSTM
Bi-LSTM
Bi-LSTM
Bi-LSTM
Sigmoid
Output
Bi-LSTM
Layer1
BI-LSTM
Layer2 Dense Layer
Dense Layer
Bi-LSTM Bi-LSTM
Input
네이버 댓글 학습
네이버 댓글 추가 분석
Article Data
Article
Model
Comments
Model
[0.37, 0.86] [0.59, 0.62]
Comments Data
모델 성능 비교
정치 경제 사회 기타
카테고리 세분화
(under sampling)
with Comments
53.2% 41.9% 64.5% 63.0%
카테고리 세분화
(under sampling)
53.2% 48.3% 60.7% 67.3%
전체
(under sampling)
50.6% 54.8% 55.6% 54.3%
카카오톡 가짜뉴스 객관성 판별
15만 건의 리뷰데이터 학습
감성분석으로 객관성 정도 판단
프로세스 효율성 개선
Schedule
Every 1 hour
Web scraping
Article
LSTM Model
Comments
LSTM Model Database
Web Server
일정 시간마다 딥러닝 모델 실행하여 데이터베이스에 결과 저장
사용자 요청 처리시간 1.7초에서 0.01초로 단축
시연 영상
1. 카카오톡 가짜뉴스
2. 키워드 가짜뉴스
3. 인기키워드
시연 영상
1. 카카오톡 가짜뉴스
2. 키워드 가짜뉴스
3. 인기키워드
시연 영상
1. 카카오톡 가짜뉴스
2. 키워드 가짜뉴스
3. 인기키워드
감사합니다.

Mais conteúdo relacionado

Semelhante a X corps 발표

Process for Big Data Analysis
Process for Big Data AnalysisProcess for Big Data Analysis
Process for Big Data AnalysisMyunggoon Choi
 
마인즈랩 통합 VOC 관리 솔루션 소개_20151030
마인즈랩 통합 VOC 관리 솔루션 소개_20151030마인즈랩 통합 VOC 관리 솔루션 소개_20151030
마인즈랩 통합 VOC 관리 솔루션 소개_20151030Taejoon Yoo
 
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아K data
 
빅데이터의 활용
빅데이터의 활용빅데이터의 활용
빅데이터의 활용수보 김
 
초단타매매 전략 소개 및 트렌드
초단타매매 전략 소개 및 트렌드초단타매매 전략 소개 및 트렌드
초단타매매 전략 소개 및 트렌드NAVER Engineering
 
Ankus 제품소개서
Ankus 제품소개서Ankus 제품소개서
Ankus 제품소개서onycom1
 
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스HELENA LEE
 
[한국IBM] 비정형데이터분석 WEX 솔루션 소개
[한국IBM] 비정형데이터분석 WEX 솔루션 소개[한국IBM] 비정형데이터분석 WEX 솔루션 소개
[한국IBM] 비정형데이터분석 WEX 솔루션 소개Sejeong Kim 김세정
 
[통계페스티발] 무덤에서 요람까지 통계와 함께
[통계페스티발] 무덤에서 요람까지 통계와 함께[통계페스티발] 무덤에서 요람까지 통계와 함께
[통계페스티발] 무덤에서 요람까지 통계와 함께백승민 Baek Seung Min
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)Myungjin Lee
 
PYCON 2017 발표자료 한성준
PYCON 2017 발표자료 한성준PYCON 2017 발표자료 한성준
PYCON 2017 발표자료 한성준sungjun han
 
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석Taejoon Yoo
 
리얼스캔 비즈 개인정보
리얼스캔 비즈 개인정보 리얼스캔 비즈 개인정보
리얼스캔 비즈 개인정보 시온시큐리티
 
[IBM Korea 김상훈] Watson Explorer
[IBM Korea 김상훈] Watson Explorer[IBM Korea 김상훈] Watson Explorer
[IBM Korea 김상훈] Watson Explorer(Joe), Sanghun Kim
 
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-finalK data
 
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료Sejeong Kim 김세정
 
Big Data Analytics and Data Mining
Big Data Analytics and Data MiningBig Data Analytics and Data Mining
Big Data Analytics and Data MiningSuHyun Jeon
 
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안K data
 

Semelhante a X corps 발표 (20)

Process for Big Data Analysis
Process for Big Data AnalysisProcess for Big Data Analysis
Process for Big Data Analysis
 
마인즈랩 통합 VOC 관리 솔루션 소개_20151030
마인즈랩 통합 VOC 관리 솔루션 소개_20151030마인즈랩 통합 VOC 관리 솔루션 소개_20151030
마인즈랩 통합 VOC 관리 솔루션 소개_20151030
 
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
 
빅데이터의 활용
빅데이터의 활용빅데이터의 활용
빅데이터의 활용
 
초단타매매 전략 소개 및 트렌드
초단타매매 전략 소개 및 트렌드초단타매매 전략 소개 및 트렌드
초단타매매 전략 소개 및 트렌드
 
Ankus 제품소개서
Ankus 제품소개서Ankus 제품소개서
Ankus 제품소개서
 
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스
8월 24일 인공지능사업화 세미나: 로봇 어드바이저리 - 크래프트 테크놀로지스
 
[한국IBM] 비정형데이터분석 WEX 솔루션 소개
[한국IBM] 비정형데이터분석 WEX 솔루션 소개[한국IBM] 비정형데이터분석 WEX 솔루션 소개
[한국IBM] 비정형데이터분석 WEX 솔루션 소개
 
의료계에부는 언택트 바람 - 강지나 클라우드 솔루션 아키텍트
의료계에부는 언택트 바람 - 강지나 클라우드 솔루션 아키텍트의료계에부는 언택트 바람 - 강지나 클라우드 솔루션 아키텍트
의료계에부는 언택트 바람 - 강지나 클라우드 솔루션 아키텍트
 
[통계페스티발] 무덤에서 요람까지 통계와 함께
[통계페스티발] 무덤에서 요람까지 통계와 함께[통계페스티발] 무덤에서 요람까지 통계와 함께
[통계페스티발] 무덤에서 요람까지 통계와 함께
 
빅데이터 플랫폼 Splunk 6.2 인트로
빅데이터 플랫폼 Splunk 6.2 인트로빅데이터 플랫폼 Splunk 6.2 인트로
빅데이터 플랫폼 Splunk 6.2 인트로
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
 
PYCON 2017 발표자료 한성준
PYCON 2017 발표자료 한성준PYCON 2017 발표자료 한성준
PYCON 2017 발표자료 한성준
 
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석
i-VOC (Voice of the Customer Big Data Analytics Solution) 고객의소리 분석
 
리얼스캔 비즈 개인정보
리얼스캔 비즈 개인정보 리얼스캔 비즈 개인정보
리얼스캔 비즈 개인정보
 
[IBM Korea 김상훈] Watson Explorer
[IBM Korea 김상훈] Watson Explorer[IBM Korea 김상훈] Watson Explorer
[IBM Korea 김상훈] Watson Explorer
 
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final
[2016 데이터 그랜드 컨퍼런스] 1 1. bk1(위세아이텍) 2016데이터그랜드컨퍼런스-머신러닝동향과 산업별 활용_김종현-final
 
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료
[한국IBM] 엔터프라이즈 AI 검색엔진 Watson Discovery 소개자료
 
Big Data Analytics and Data Mining
Big Data Analytics and Data MiningBig Data Analytics and Data Mining
Big Data Analytics and Data Mining
 
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안
[2016 데이터 그랜드 컨퍼런스] 2 5(빅데이터). 유비원 비정형데이터 중심의 big data 활용방안
 

X corps 발표