Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료

실시간 통화내용 분석을 통한
보이스피싱 예방 애플리케이션
Voicephishingpreventionapplicationthroughreal-timevoicecallanalysis
양지훈
2018104128
사범대학 컴퓨터교육과
Jeju National University
Department of Computer Education
jhy0787@gmail.com
이충훈
2020104136
사범대학 컴퓨터교육과
Jeju National University
Department of Computer Education
lchh2001@gmail.com
후니조
2022-1 캡스톤디자인 제안발표

Contents
1. 연구개발 배경 및 중요성 (Background and Significance)
2. 연구개발 목표 (Specific Aims)
3. 연구개발 내용 및 방법 (Research Design and Method)
4. 활용 기자재 및 재료 (Equipment Required)
5. 참여 연구원 현황 및 역할분담 (The Role of Researchers)
6. 참고문헌 (Reference)
실시간통화내용분석을통한보이스피싱예방애플리케이션제안발표

1. 연구개발 배경 및 중요성
BackgroundandSignificance

Source : 1) https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용
2) SBS NEWS
• 보이스피싱이란?1)
• Phishing(피싱)에서 파생된 용어
• 전자통신수단 등을 이용하여 개인정보를 낚아 올린다는 뜻
• Private(개인정보)과 Fishing(낚시)의 합성어
• Voice(음성)와 Phishing(피싱)의 합성어
• 전화를 통해 불법적으로 개인정보를 이용하여 금전적 이득을 꾀하는 범죄
2)

• 연구 개발 과제의 필요성 및 중요성
• 보이스피싱 범죄로 인한 피해는 지난 10년간 23만 2,287건, 피해액은 3조 2,333억원1)
• 일 평균 63건/8억 8,583만원 피해, 피해 건 당 1,400만원
• 보이스피싱 피해 대상이 주로 노년층이었던 과거와는 달리, 최근에는 20대 피해가 증가2)
• 전 연령층을 대상으로 피해가 발생하며 보이스피싱 예방에 대한 국민적 관심 증가
Source : 1) https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용
2) https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용

• 선행 연구 분석 (Literature review)
• 윤해성·곽대경의 연구(2009)1)
• 우리나라와 대만·일본·미국의 보이스피싱 사례를 분석
• 한국의 법률적·제도적·기술적 측면의 문제점을 지적
• 이기수의 연구(2018)2)
• 최근 보이스피싱의 범죄 수법 동향과 법적 대응방안을 분석하며 법적 개선방안을 모색
• 홍성삼의 연구(2019)3)
• 국가별 피싱 범죄 예방대책을 분석
• 한국의 법률적·제도적 측면의 문제점을 지적
Source : 1) 윤해성･곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원.
2) 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19.
3) 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130.

• 선행 연구 분석 (Literature review)
• 정고은·김영래·민윤기의 연구(2017)1)
• 보이스피싱과 심리적 트리거와의 연관성을 연구
• 기술적 측면의 연구뿐만 아니라 심리적 취약점에 대한 연구 필요성 주장
• 후후앤컴퍼니2)
• AI 기반의 실시간 보이스피싱, 스미싱 방지 시범서비스 개발
• 김민정·김은미의 연구(2021)3)
• 보이스피싱 피해 경험과 영향요인을 연구
• 금융사기 교육 여부와 보이스피싱 관련 경험이 연관성이 있음을 밝힘
Source : 1) 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194.
2) 김준원(2020). AI 기반의 실시간 보이스피싱･스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73.
3) 김민정･김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71.

2. 연구 개발 목표
SpecificAims

2. 연구개발 목표
• 선행 연구 개발의 문제점과 개선 목표(1/3)
1) 보이스피싱 범죄 예방을 위한 기술적 해결방법 측면의 연구가 부족
• 문제 내용 : 보이스피싱 범죄 피해 사례 및 통계 분석 관련 연구 위주
• 개선 목표 : 통화내용 분석을 통한 보이스피싱 판별 모델 개발
• 세부 과제
• 보이스피싱 범죄 통화 녹음 데이터셋 수집
• 보이스피싱 범죄 통화를 판별할 수 있는 인공지능 모델 개발
• 실시간으로 음성 데이터를 처리할 수 있는 인공지능 모델 서버 구축
• 실시간으로 통화 내용을 서버로 전송할 수 있는 애플리케이션 개발

2) 보이스피싱 범죄 예방 교육 기능의 부재
• 문제 내용 : 기 개발된 서비스에는 보이스피싱 범죄 예방 교육과 관련한 기능이 존재하지 않음
• 개선 목표 : 사용자가 보이스피싱을 스스로 예방할 수 있는 보이스피싱 예방교육 기능 제공
• 세부 과제 :
• 학습자 맞춤형 교육을 위한 사용자 유형 분석 기능 개발
• 보이스피싱 범죄 시나리오 체험 기능 구현
• 보이스피싱 범죄 통화 체험 기능 구현
• 보이스피싱 범죄 대처 방법 퀴즈 기능 구현
• 보이스피싱 예방 콘텐츠(웹툰, 동영상 등) 제공 기능 구현

3) 보이스피싱 의심 통화 내용을 공유하기 어려움
• 문제 내용 : 보이스피싱 통화 내용을 타인과 공유하려면 복잡한 과정을 거쳐야 함
• 개선 목표 : 가족 및 지인 등을 사칭한 보이스피싱 통화내용을 빠르게 공유할 수 있는 기능 개발
• 세부 과제 :
• 통화 녹음 파일을 공유할 그룹을 내용을 생성하고 관리하는 기능 개발
• 통화 녹음 파일을 미리 지정한 그룹별로 손쉽게 공유할 수 있는 기능 개발
• 경찰 등 유관기관으로 통화 녹음 파일을 빠르게 제공할 수 있는 기능 개발

• 기술개발 목표(1/2)
1) 보이스피싱 탐지 인공지능 모델 개발
• SK Tbrain KoBERT (한국어 BERT 모델)
• 통화 시작 후 2분 이내 70% 이상 탐지
• 금융감독원 보이스피싱 범죄 사례 데이터셋
• 60초 이상 음성파일 400건 이상 수집
• Train data(60%), Validation data(20%), Test data(20%)로 구성
• KoNLPy1)와 KSS2)를 이용하여 Tokenizing
• Py-hanspell3)을 이용하여 어법 오류 수정
• Soynlp4)를 이용하여 정규화
Source : 1) https://konlpy.org/en/latest/, 2022.04.05. 인용
2) https://github.com/hyunwoongko/kss, 2022.04.05. 인용
3) https://github.com/ssut/py-hanspell, 2022.04.05. 인용
4) https://github.com/lovit/soynlp, 2022.04.05. 인용

• 기술개발 목표(2/2)
2) 보이스피싱 예방 어플리케이션 개발
• 실시간 통화 분석 기능
• 전화 수신 이벤트 발생 시 자동으로 활성화되어 기능 수행
• 서버 데이터 전송 시 공개키 암호화 알고리즘을 이용한 종단 간 암호화 적용
• 보이스피싱 범죄 예방 교육 기능
• 사용자 유형 분석을 통한 맞춤형 교육 제공(연령, 성별, 직업 등)
• 보이스피싱 통화 녹음 공유 기능
• 보이스피싱 의심 통화 종료 후 공유 여부를 묻는 팝업 발생
• 그룹 설정 지원으로 특정 그룹의 사람들에게 한번에 통화 녹음 공유 가능
• 카카오톡 메시지를 이용하여 통화 녹음 파일 전송
• 경찰 등 유관기관으로 통화 녹음 공유 및 신고 기능 지원

• 목표 대상
• 스마트폰을 가지고 있는 모든 사람
• 2021년 기준 대한민국 성인의 스마트폰 사용률 95%1)
Source : 1) https://www.gallup.co.kr/gallupdb/reportContent.asp?seqNo=1217, 2022.04.05. 인용

• 기대 효과
• 사용자가 보이스피싱을 판단하지 못하는 상황에서도 인지할 수 있음
• 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 사용자에게 알림 제공
• 보이스피싱 전화가 실제 범죄 피해로 이어지는 것을 예방할 수 있음
• 사용자 스스로 보이스피싱 예방법과 대처방법을 학습할 수 있음
• 기술적 한계로 인공지능 모델이 보이스피싱을 탐지하지 못하는 상황에서도 사용자 스스로 인지하고
대처할 수 있음
• 보이스피싱 통화 내용을 손쉽게 공유할 수 있음
• 가족 및 지인 등을 사칭한 보이스피싱 전화를 받은 경우 통화 내용을 주변인에게 신속하게 전송하여
추가 피해 확산을 예방할 수 있음
• 경찰 등 유관기관에 신속한 신고 및 통화 내용 공유가 가능함

3. 연구개발 내용 및 방법
ResearchDesignandMethod

• 연구개발 구조도

• 요구분석 방법
• 사용자 스스로 보이스피싱을 판별할 수 있는 돕는 예방교육 기능을 제공하지 않음
• 사용자가 애플리케이션에 의존하는 경향을 보일 수 있음
• 보이스피싱 의심 통화 내용을 공유하기 어려움
• 복잡하고 번거로운 과정을 거쳐야 타인과 통화 내용을 공유할 수 있음

• DFD

• 순서도

• 사용자 인터페이스(UI)

• 데이터셋(1/2)
• 금융감독원 보이스피싱 범죄 통화 녹음 데이터
• 지난 7년간(2015~) 실제로 발생한 보이스피싱 범죄 통화 녹음 데이터
• 전체 412건 중 수사기관 사칭형(227건), 대출사기형(185건)으로 구성
https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용

• 데이터셋(2/2)
• 활용 방안
• 각 유형별 데이터를 무작위로 6:2:2 비율로 나누어 사용
• Train data(60%), Validation data(20%), Test data(20%)
• Overfitting(과적합)방지를 위하여 Validation data와 Test data를 분리함
• 모델 학습 과정에서 데이터 부족으로 인한 Underfitting(과소적합) 발생 시 Cross Validation
(교차검증) 사용 예정
1)
Source : 1) https://blog.daum.net/dhlee-0915/87, 2022.04.05. 인용

• BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding)
• 2018년 구글의 Devlin이 제안한 자연어 처리 신경망 구조1)
• 위키피디아의 25억개, BookCorpus의 8억개 Unlabled 데이터를 이용하여 사전 훈련
• 전이 학습(Fine-tuning)방법을 사용하여 짧은 학습 시간으로 우수한 성능
• 양방향 자연어 처리 모델로, 문장의 앞과 뒤의 문맥을 고려할 수 있음
• 단방향 처리 방식을 사용하는 GPT, ELMo 등 다른 언어 모델보다 높은 성능
Source : 1) 2) Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
NAACL-HLT (1) 2019, pp4171-4186.
2)

• KoBERT(Korean BERT pre-trained cased)
• 2019년 SK Tbrain에서 공개한 한국어 BERT 모델1)
• 구글에서 개발한 BERT 모델을 기반으로 500만 문장 이상의 한국어 위키와
2천만 단어 이상의 한국어 뉴스 데이터 학습
• 현재 SK텔레콤 상담 서비스 및 사내 데이터의 AI 검색, 기계 독해 기술에 사용 중2)
Source : 1) 3) https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용
2) https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용
3)

• 보이스피싱 범죄 예방 교육
• 사용자 유형 분석
• 학습자 맞춤형 교육 제공을 위해 서비스 가입 시 사용자 유형 분석 진행
• 사용자의 연령, 성별, 직업군을 기반으로 유형 분석

• 차별화 전략
• 학습자 맞춤형 교육 콘텐츠 제공
• 연령, 성별, 직업군 기반의 사용자 분석 결과 활용
• 다양한 형태의 보이스피싱 예방 교육 콘텐츠 제공
• 보이스피싱 범죄 시나리오 체험
• 보이스피싱 범죄 통화 체험
• 보이스피싱 범죄 대처 방법 퀴즈
• 보이스피싱 범죄 예방 콘텐츠(웹툰, 동영상 등)
• 퀴즈 점수 별 등급제(브론즈, 실버, 골드, 다이아 등) 도입
• 청소년 등 젊은 층의 적극적인 참여 유도
• 승급 시 축하 이미지 등을 SNS 에 공유할 수 있는 기능 구현

• 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험
• 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정
• 사용자는 각 단계마다 자신의 행동을 선택
• 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을
알려주고, 올바른 대처방법을 안내
• 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습
• 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨
본 발표에서 제시되는 보이스피싱 범죄 시나리오 체험 구조도는 경상북도경찰청에서 제작하여 공개한 보이스피싱 모의 체험관의 자료를 바탕으로 제작되었으며,
추후 개발 단계에서는 연구진이 수행할 보이스피싱 사례 분석의 결과를 바탕으로 각 사용자 유형별 맞춤형 시나리오를 제공할 계획임.

• 실제 보이스피싱 사례를 바탕으로 보이스피싱 시나리오 모의 체험
• 사용자 유형 분석 결과를 바탕으로 사용자에게 효과적인 시나리오를 선정
• 사용자는 각 단계마다 자신의 행동을 선택
• 보이스피싱 피해를 당할 수 있는 행동을 선택한 경우, 애플리케이션은 해당 행동이 잘못되었음을
알려주고, 올바른 대처방법을 안내
• 사용자는 보이스피싱 시나리오 체험을 통해 보이스피싱 상황에서 어떻게 행동해야 하는지 학습
• 보이스피싱 범죄 상황을 접했을 때 올바른 대응 방법을 사용하여 대처할 수 있게 됨
실시간통화내용분석을통한보이스피싱예방어플리케이션제안발표

• 보이스피싱 범죄 통화 체험
• 금융감독원에서 공개한 실제 보이스피싱 통화 음성을 체험할 수 있는 기능
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 사례를 선정
• 보이스피싱 범죄 대처 방법 퀴즈
• 보이스피싱을 당했을 때의 상황 별 대처방법을 퀴즈로 제공
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 유형을 선정
• 보이스피싱 범죄 예방 콘텐츠
• 보이스피싱 예방을 주제로 한 웹툰, 동영상 등의 교육자료를 감상할 수
있는 기능
• 사용자 유형 분석 결과를 바탕으로 사용자에게 가장 효과적인 주제와
매체를 선정

• 구현 항목별 세부사항
• 개발 환경
• Jetbrains IntelliJ IDEA, Google Colab
• 개발 언어
• Kotlin, Python
• 라이브러리
• PyTorch, KoBERT, Google GCP, KoNLPy, KSS, py-hanspell, Soynlp
• 데이터셋
• 금융감독원 보이스피싱 범죄 통화 녹음 데이터
• 운영체제
• Windows·MacOS(개발환경), Android(모바일 어플리케이션), Linux(서버)

• 실험
• 애플리케이션 개발 후 베타테스트를 진행
• 테스트 후 테스터들에게 설문지를 배포하여 설문 진행
• 피드백을 바탕으로 기능 수정 및 보완
항목 문항 점수 (1~5점)
애플리케이션
애플리케이션 내 콘텐츠들이 잘 실행되는가?
애플리케이션을 사용하기 용이한가?
교육 콘텐츠
사용자의 유형에 맞는 적합한 콘텐츠를 제공하였는가?
보이스피싱을 예방하는데 도움이 되었는가?
인공지능 모델
보이스피싱 여부를 정확히 판별했는가?
보이스피싱 여부를 적절한 시간 내로 판별했는가?
통화 녹음 공유 기능
공유 기능이 잘 실행되는가?
누구나 쉽게 기능을 사용할 수 있는가?

• 연구개발 일정
세부과제
연구개발일정
비고
12월 1월 2월 3월 4월 5월 6월
주제 선정 및 설계
인공지능 모델 개발
애플리케이션 개발
테스트
유지보수

4. 활용 기자재 및 재료
5. 참여연구원 현황 및 역할분담
6. 참고문헌
4.ResearchDesignandMethod
5.TheRoleofResearchers
6.References

4. 활용 기자재 및 재료
• 개요
• 최근 자연어 처리 분야에서 가장 좋은 성능을 보이고 있는 BERT모델을 활용한다.
하지만 BERT는 한국어 처리에 취약하므로, 한국어 데이터셋으로 학습된 BERT기반의
SK Tbrain의 KoBERT를 활용하여 전이 학습(Fine-tuning)을 진행한다.
• 애플리케이션은 구글에서 안드로이드 개발을 위한 공식 언어로 지정한 Kotlin을
사용하여 개발한다.
• 활용계획 및 기대효과
• 보이스피싱 탐지 모델이 실시간으로 통화 내용을 분석하여 범죄 피해를 예방할 수 있음
• 보이스피싱 예방법과 대처방법을 학습할 수 있음
• 보이스피싱 통화 내용을 손쉽게 공유할 수 있음

• 참여연구원 현황
• 양지훈 (컴퓨터교육과 3학년 1학기)
• 이충훈 (컴퓨터교육과 3학년 1학기)
• 프로젝트 수행 조직

• 참여연구원 간 역할분담
• 양지훈
• 딥러닝 모델 개발
• 데이터 처리 서버 구축
• 통화 내용 실시간 전송 기능 구현
• 보이스피싱 예방 교육 기능 구현
• 이충훈
• 딥러닝 모델 개발
• 데이터셋 수집 및 전 처리
• 보이스피싱 통화 녹음 및 공유 기능 구현
• 보이스피싱 예방 교육 기능 구현

6. 참고문헌
• https://www.fss.or.kr/fss/main/contents.do?menuNo=200354, 2022.03.23. 인용
• https://www.data.go.kr/data/15063815/fileData.do, 2022.03.23. 인용
• 윤해성･곽대경 (2009). 보이스피싱의 예방과 대책마련을 위한 연구. 한국형사사 정책연구원.
• 이기수(2018). 최근 보이스피싱의 범죄수법 동향과 법적 대응방안. 범죄수사학연구, 7, pp3-19.
• 홍성삼(2019). 피싱 사기범죄에 대한 인터폴 및 국가별 대응정책 비교연구. 경찰학논총, 14(1), pp101-130.
• 정고은,김영래,민윤기(2017). 심리적트리거를 적용한 보이스피싱 사례분석: 사회공학을 중심으로. 사회과학연구, 28(4), pp181-194.
• 김준원(2020). AI 기반의 실시간 보이스피싱･스미싱 방지 시범 서비스. 2020 데이터 플래그십 사례집, pp64-73.
• 김민정･김은미(2021). 보이스피싱 피해 경험 및 영향요인 분석. 소비자문제연구, 52(1), pp52-71.
• https://www.boannews.com/media/view.asp?idx=100557, 2022.03.23. 인용
• https://www.donga.com/news/Society/article/all/20220105/111095788/1, 2022.03.23. 인용
• https://github.com/SKTBrain/KoBERT, 2022.04.05. 인용
• https://www.fss.or.kr/fss/bbs/B0000207/list.do?menuNo=200691, 2022.04.04. 인용
• https://konlpy.org/en/latest/, 2022.04.05. 인용
• https://github.com/hyunwoongko/kss, 2022.04.05. 인용
• https://github.com/ssut/py-hanspell, 2022.04.05. 인용
• https://github.com/lovit/soynlp, 2022.04.05. 인용
• Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova(2019). BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding. NAACL-HLT (1) 2019, pp4171-4186.
• https://www.skt.ai/kr/press/detail.do?seq=27, 2022.04.05. 인용
• https://gbpolice-preventphishing.kr/, 2022.04.05. 인용

Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료

Semelhante a Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료 (20)

Mais de Jihoon Yang

Mais de Jihoon Yang (7)

Voice phishing prevention application through real-time voice call analysis : 실시간 통화내용 분석을 통한 보이스피싱 예방 애플리케이션 제안발표자료