성균관대 특강 - 머신러닝과 빅데이터를 이용한
 금융 정보의 검색 및 분석 자동화

1. 머신러닝과 빅데이터를 이용한
금융 정보의 검색 및 분석 자동화
Jaehoon Lee
jaehoon.lee@deepsearch.com
DeepSearch, Head of R&D
UNSW Business School, Assistant Professor

2. 자기 소개
Jaehoon Lee
• 2018-present DeepSearch
• 2012-present UNSW Business School
• 2007-2012 UIUC, PhD in Finance
• 2003-2005 NHN Game Server Programmer
• 1999-2005 KAIST, Computer Science

3. 지금 하고 있는 일

4. •Part 1. Career
•Part 2. Machine Learning
•Part 3. My Works

5. Part 1. Career

6. 원래는 게임을 만들었더랬습니다...
제목: JD
블리자드 하스스톤 같은 TCG 게임
2003년에 오픈
사용자 부족으로 1년 만에 접힘...

7. 두번째 만든 게임, 골드윙
제목: 골드윙
3D 비행 슈팅 게임
컨트롤이 어려워 흥행 실패
2005년에 접힘...

8. 그리고 개발자 생활의 종지부...
닷컴 버블
붕괴!!

9. 새로운 진로를 찾아보자
•이공계 기피 현상이 사회적 이슈로 대두
•2005년 의학전문대학원 도입
•이공계 친구들 상당수가 의전원 입학
•과학고 동기 친구들 60명 중 40명 정도가 의약계로 이동
•그런데 친구들이 다 의사 하니까 매력이 없다. 뭔가 남들과 다
른걸 해보고 싶은데...

10. 때는 2005년,
대세는 금융!!

11. 2007년
UIUC Finance
PhD 입학!

12. 1년 뒤
금융위기로
전세계 초토화...

13. 위기는 기회!
2009년
Barclays 오퍼!
•인턴 월급 한달에 천만원
•Signing bonus 포함 첫
해 연봉 2억+
•처음으로 억대 연봉

14. 불과 1년 뒤...
European
Debt Crisis
시장이 그냥 없어짐..
같이 일하던 분들의
절반 이상이 사라짐

15. 학계에 뼈를 묻기로 결심!
2012년 호주 UNSW Business School 교수 임용

16. 그러나... 환율이...
호주 달러 환율 : 2012년 1200원 => 2019년 800원
월급의 1/3 이 사라짐...

17. 지금까지 제 인생은 이랬습니다...

19. 그래서 드리는 당부의 말씀
•무슨 일을 하든 분명 망할 겁니다.
(나도 망했고, 너도 그럴 것이다 ㅋㅋㅋㅋ)
•그러니 좋아하는 일을 하세요. 클리셰가 아니라 진심입니다.
좋아하는 일을 하면 성공하든 망하든 재밌어요.
•괜히 미래의 성공을 위해 오늘을 억지로 희생하지 마요. 힘든
거 참고 열심히 한다고 성공하는거 아니예요. 꾸준히 좋아하
는 일 하다가 운 좋으면 얻어걸리는 거예요. 그러니 성공에 연
연하지 말고 좋아하는 일을 하세요.

20. •자전거도 잘 타려면 열번은 넘어집니다.
•그래도 재밌는걸 해야 넘어진 다음에 일어나서 다
시 탈 생각이 들어요.
•인생은 기니까 오래 할 수 있는걸 하세요.

21. 화이팅!!

22. Part 2.
Machine Learning

23. Goals
• Relation between statistics and machine learning (ML)
• How to use ML for the search and analysis of financial
data

24. Data Science
• Data Science and Machine
Learning are very similar
• Data Science focuses
more on description
(statistical analysis)
• Machine Learning focuses
more on application
(modeling)

25. Statistics vs ML
• Statistics
• Largely developed on a linear model
• Machine Learning (ML)
• Developed to cover non-linear relations as well
y = ax + b
y = f(x)

26. Statistics vs ML
• Both statistics and ML are developed to find the relations
between inputs (X) and outputs (Y)
• Now in academia, it is very difficult to tell apart the
research in statistics and machine learning

28. But, AI...?
• Artificial Intelligence (AI) is a broad category that includes
ML
• However, ML experts are reluctant to mention AI
because..
• Swindlers often mis-use the term for their own
propaganda

29. AI: 약 파는 사례 #1

30. AI: 약 파는 사례 #2
• => didn't understand the difference between price and returns

31. AI: 약 파는 사례 #3
• Look-ahead bias
• Survivorship bias

32. AI: Overfitting
• You can achieve 100%
accuracy by using as
many parameters as
observations!
• This is what is called
"Overfitting"

33. AI: Overfitting
• Overfitting is the easiest
way to sell snake oil...
• Don't trust anyone who
claims high accuracy!!

34. Over-fitting Example

36. AI and Statistics
• Statistics may sound dull, but it is crucial to understand
AI or ML
• Statistics is important even more so in the era of fake
news... Otherwise, swindlers may look better than real
experts

37. ML Changed the World Already!
• Goal
• Traditional Approach
• Humans make f( ) to generate the outputs (y)
• New Paradigm with ML
• Humans feed data (x & y) and machines will figure out f( )
by itself!
y = f(x)

38. Fields within ML

39. ML and Statistics
• Regression
• Classification
• Clustering
• t-test or ANOVA test
y = a0 + a1x1 + ⋯ + anxn + ϵ
y* = a0 + a1x1 + ⋯ + anxn + ϵ
y =
{
death if y* > ¯y
survive otherwise

40. ML and Statistics
• All ML methodologies have statistical backgrounds
• ML is to statistics as engineering is to physics

41. Part 3. My Works

42. Demo using the website • https://www.deepsearch.com

43. 기업 검색

44. 문서 검색

45. 산업 분석

46. 감성 분석

47. ML Example: Clustering

48. ML Example: Clustering
• Convert documents into vectors using tf-idf (term
frequency–inverse document frequency) algorithm
• Cluster the vectors on the linear space into groups

49. ML Example: Classification

50. ML Example: Classification
• Train machines to compute sentiment scores
• Training set: 100,000 tagging data by humans
• Apply the models to 91+ million news articles since 1990
• Now the program can draw the sentiment trends in the
past

51. 이벤트 분석

52. 마인드맵

53. Thank You!!