빅데이터 시스템에서 이미지와 비디오 데이터와 같은 비정형 데이터를 처리하기 위한 기존 기술들의 동향 및 응용분야 들에 대한 내용 분석

1. 빅데이터 처리에 있어서
이미지/비디오 데이터의 분석
이정헌

2. 빅데이터 특성

3. 빅데이터를 보는 시각
IBM 조사



3
보기 중에서 응답자들이 생각하는 빅 데이터의 정의를 최대 두 가지씩 선택하도록 하였으며 나머지 보기는 생략됨. 응답 비
율은 총 합이100%가 되도록 표준화.
총 응답자 수 = 1,144명.

4. 빅 데이터의 4가지 차원 (정확성)
정확성



4
어떤 데이터들은 본질적으로 불확실함. 예를 들어 인간의 감정이나 진실성, 맨해튼의 고층 건물 사이에서 일어나는 GPS센
서의 반사, 날씨, 경제 요인, 그리고 미래 등이 그렇다. 이런 종류의 데이터들을 처리할 때는 아무리 철저한 데이터 정제를
실시해도 불확실성을 제거할 수 없음. 그러나 불확실성에도 불구하고 이런 데이터들은 가치 있는 정보를 포함하고 있으며,
이런 불확실성을 인지하고 수용해야 하는 것이 바로 빅 데이터의 중요한 특징. 소셜 네트워크 같은 인간 환경에서 생산되는
데이터는 신뢰하기가 어렵고, 미래는 예측하기가 어려우며, 사람과 자연, 보이지 않는 시장의 힘 등이 자신들을 둘러싼 가
변적인 환경에 어떤 반응을 보일지도 전혀 모름. 이런 불확실성의 예가 바로 에너지 생산 문제. 날씨는 불확실한데 전력 회
사는 에너지 생산량을 예측해야 함. 많은 국가의 규제 기관들이 일정 비율의 에너지를 재생 가능한 원천에서 생산하라고 요
구함.
바람도 구름도 정확한 예측이 불가능한데, 어떻게 생산 계획을 세울 수 있을까? 불확실성을 관리하기 위하여 분석가들은
데이터를 둘러싼 상황정보 (Context)를 만들어내야 함. 이를 위해 사용하는 방법 중 하나가 신뢰도가 낮은 다양한 소스를
조합하여 보다 정확하고 유용한 데이터 포인트를 만들어내는 데이터 융합(data fusion)이라는 방법임. 소셜 미디어의 댓글
에 특정 공간 정보를 추가하는 등의 방법이 그것. 불확실성을 관리하는 또 다른 방법은 최적화 기법이나 퍼지논리 기법과
같은 고급 수학을 이용하는 것.

5. 빅 데이터의 종류
IBM 조사


5
빅 데이터 활용을 위해 현재 수집 및 분석 중인 데이터 소스. 각 데이터 포인트는 독립적으로 수집됨. 각 데이터 포인트에
대한 총 응답자 수는 557명부터 867명 사이.

6. 비정형 데이터의 정형화

7. 비정형 데이터의 정형화
▶ 기존의 정형 데이터도 시간 열과 관계성을 추가
되게 되면 비정형화 되는 특징을 가짐.
7

8. 비정형 데이터의 정형화 핵심 : 마이닝
숨겨진 정보를 채굴하는 기술 - 마이닝



[오디오 마이닝] 컴퓨터 음성파일에서 단어를 추출하여 색인을 만든 후, 특정 단어나 어구를 검색할 때 이를 사용하는 프로
세스

8
현실 마이닝 : 2008년 미래 유망기술로 MIT MediaLab에서 발표한 개념임.
[비디오 마이닝] 매장에 비디오 카메라를 설치해 놓고 방문객들의 행태를 분석하여 구매에 연결하는 마케팅 기법. 비디오
카메라를 통해 고객들이 어떤 과정을 거쳐 물건을 구매하게 되는 지를 면밀히 모니터링해 이들의 성별, 나이에 따라 특성을
분석,

9. 마이닝에 필요한 기반 기술
9

10. 마이닝에 필요한 기반 기술
10

11. 빅 데이터 분석 역량

IBM 조사

빅 데이터를 활용 중인 기업들이 이용하는 분석 기능. 각 데이터 포인트는 독립적으로 수집됨.

각 데이터 포인트에 대한 총 응답자 수는 508명부터 870명 사이.
11

12. 빅 데이터 처리 기본 프로세스
12

13. 마이닝에서의 정형화

14. [텍스트 마이닝 ] 기본 과정

Process
14

15. [텍스트 마이닝] Parsing
15

16. [텍스트 마이닝] 군집분석
16

17. [이미지 마이닝] Process
17

18. [이미지 마이닝] Procedure of the Image Mining Process 1/2
18

19. [이미지 마이닝] Procedure of the Image Mining Process 2/2
19

20. [이미지 마이닝] Architecture of Image Mining Tool
20

21. [이미지 마이닝] Image Descriptions based Framework
21

22. [이미지 마이닝] Function-driven Image Mining Framework
22

23. [이미지 마이닝] Information driven Image Mining Framework
23

24. [이미지 마이닝] Knowledge-driven Image Mining Framework
24

25. [이미지 마이닝] Intelligent Satellite Image Mining System(Ex.)
25

26. [이미지 마이닝] Contextual Awareness and Understanding
26

27. [이미지 마이닝] Context in Support of Information Fusion
27

28. [이미지 마이닝] Big Data Analysis
28

29. [이미지 마이닝] Contextual Analysis over the levels of information fusion
29

30. [이미지 마이닝] Visual Object Classes Challenge 2005-2012

To recognize objects from a number of visual object
classes in realistic scenes

Each person annotated has at least their head and
one other body part visible.

Person : person

head

Animal : bird, cat, cow, dog, horse, sheep

hands

Vehicle :
aeroplane, bicycle, boat, bus, car, motorbike, train

feet

Indoor : bottle, chair, dining table, potted
plant, sofa, tv/monitor
30
Mark Everingham (University of Leeds)
Luc van Gool (ETHZ, Zurich)
Chris Williams (University of Edinburgh)
John Winn (Microsoft Research Cambridge)
Andrew Zisserman (University of Oxford))

31. [이미지 마이닝] Visual Object Classes Challenge 2005-2012

The images show the annotation available, consisting of bounding box and set of actions

Jumping / Phoning / PlayingInstrument / Reading / RidingBike / RidingHorse / Running / TakingPhoto / UsingComputer /
Walking
(Visual Object Classes Challenge 2012)
31

32. [이미지 마이닝] 기초 기술
32

33. [이미지 마이닝] The noteworthy techniques 1/2
33

34. [이미지 마이닝] The noteworthy techniques 2/2
34

35. [이미지 마이닝] 페이셜코딩

페이셜 코딩의 역사

사람의 표정은 타고나는 것이며, 얼굴이 감정을 타인에게 전달하는데 사용되는 중
요한 수단이라는 사실이 밝혀졌다.


7년동안 모은 얼굴 표정자료를 기초로 사람은 43개의 안면근육과 이러한 근육들
이 움직여 다양한 방식으로 조합되면 23개의 핵심 움직임 단위(Action Unit, AU)가
만들어지고, 이 움직임 단위들은 감정과 관련된 모든 표정의 가장 기본적인 요소가
된다는 것이 밝혀졌다.


캘리포니아 대학의 폴 에크먼과 의과대학의 윌리프리즌, 2003
에크먼의 FACS 시스템을 이용하여 기업의 행동에 대한 소비자와 직원들의 실제
감정 반응을 파악해주고 기업이 그에 따라 계획을 수립할 수 있게 도와주는 페이셜
코딩을 비즈니스 세계에 접목하기 시작했다.


찰스 다윈, 1872
센서리로직, 2007
페이셜 코딩의 신뢰성

“인간은 지구상의 어떤 동물보다도 많은 안면 근육을 가지고 있다. 이 사실만으로
도 얼굴은 수많은 데이터를 얻어 낼 수 있는 정보의 보고다.”


“얼굴인 신체에서 근육이 직접 피부에 붙어있는 유일한 부분이다. 이 때문에 얼굴
은 대단히 쉽게 움직이며, 피부는 두뇌에서 오는 자극에 빠르게 반응하여 자신의
모양을 바꾼다. 따라서, 얼굴은 감정을 무의식적으로 가장 잘 나타내는 창이다.”


35
애크먼과 프리즌, 2003
맥닐(McNeill), 1998
“얼굴 근육의 풍부한 움직임은 페이셜 코딩의 기본 토대이자 근거다. 두뇌가 감정
적인 자극을 발생시킬 때마다, 이 자극은 모든 안면 근육과 표정을 통제하는 안면
신경을 통해 얼굴로 전달된다.” - 댄 힐(Dan Hill), 2011

36. [이미지 마이닝] 페이셜코딩 핵심감정

표정 패턴



표정은 그것이 형성되고 최고조에 이르렀다가 사라지는 형태로 존재한다. 일반적으로 표정이 지속되는 시간은 0.5초에서
4초 사이이며, 근육 움직임의 지속시간 및 유형, 강도를 모두 종합하여 특정 감정의 강도를 측정하는 기준으로 삼는다.
감정은 하나의 패턴으로 유지되지 않으며, 어떠한 이벤트에도 복합적인 감정의 흐름이 단계적 변화와 혼재되어 나타난다.
7가지 핵심감정
행복(긍정적), 놀라움(중립적), 두려움, 분노, 슬픔, 협오감, 경멸감(부정적)

동영상기반 얼굴인식 및 추적기술 필요
놀라움
눈이 커진다.
눈썹이 올라간다.
입이 벌어진다.
36
두려움
눈썹이 올라가고
미간이 좁아진다.
눈이 커진다.
턱 주변 근육이 긴
장된다.
입술이 가로 방향
으로 당겨진다.
턱이 벌어진다.
분노
눈썹 끝이 내려가
고 미간이 찌푸려
진다.
눈이 가늘어진다.
입술을 힘주어 오
므린다.
슬픔
협오감
이마 중간에 주름
이 생긴다.
눈썹의 바깥쪽은
처지고 안쪽은 약
간 올라간다.
눈가에 주름이 생
긴다.
코와 윗입술 주변
의 팔자 주름이 깊
어진다.
입술 양끝이 처지
거나, 거꾸로 된 미
소모양이 나타난
다.
코끝이 올라가고
주름이 생긴다.
윗입술이 올라가
고 떄로 거꾸로 된
미소모양이 약간
나타난다.
아랫입술이 처진
다.
경멸감
입의 한쪽끝이 올
라가면서 비웃는
듯한 분위기와 함
께 얼굴의 반쪽만
표정이 바뀐다.
윗입술이 올라간
다.
눈이 약간 감기거
나 시선을 돌리기
도 한다.
행복(진짜미소)
눈 바깥쪽 피부에
새발 모양의 주름
이 생긴다.
눈꺼풀의 긴장이
풀어지면서 약간
처지고, 눈아래 피
부가 위쪽으로 당
겨진다.
입꼬리가 크게 올
라가고 빰도 위쪽
으로 당겨진다.
행복(사회적미소)
입꼬리와 뺨의 근
육이 올라가면서
얼굴이 전체적으
로 동그래진다.
반면 눈가 근육은
움직이지 않고 눈
동자에도 밝은 기
운이 감돌지 않는
다.

37. [이미지 마이닝] 페이셜코딩 감정의 다양성

7가지 핵심감정(기본감정)이 결합되면 24개의 2차 감정이 생성된다.

내향적 감정



해당 감정을 느끼는 사람에 의해서 유발되는 감정 또는 내면으로 향하는 감정을 말한다.
일반적으로 이러한 감정은 자존심과 관련되거나, 또는 우리가 갖는 기대치를 토대로 상황변화에 대한 우리의 감정을 내면화
하는 방식과 관련된다.
외향정 감정


37
외부 요인에 의해 유발되거나 또는 감정의 에너지나 그것이 일으키는 행동이 자신이 아닌 다른 누군가를 향한다.
자신의 상태 및 위치에 대한 관심, 다른 사람들의 상황이나 행운등(특히 그것이 우리의 목표실현과 관련되어 있는 경우)이
외향적인 감정을 일으키는 경향이 있다.

38. [이미지 마이닝] 페이셜코딩 분석

페이셜 코딩 데이터를 분석하는데 가장 중요한 데이
터는 청중이 주의를 기울이느냐의 여부이다. 그 이유
는 상업적인 측면에서 사용자들에게 감정적 반응을
유발함으로써 주의를 일깨우지 않는다면 소비자들을
설득할 수 없기 때문이다.

특정 자극에 반응할 때, „그리고/또는‟ 질문에 답변할
때 최소한 한가지 이상의 AU나 정확한 감정을 얼굴에
나타낸 참가자들의 퍼센티지를 조사함으로써 감정적
반응도를 파악한다.

사람들이 감정적으로 반응하는지 여부를 알아냈다면,
그 다음엔 반응의 종류를 파악해야 한다. 페이셜 코딩
을 이용해 기업은 긍정반응이 우세한지 부정 반응이
우세한지 판별할 수 있게 된다.

사람들이 자극에 대한 정확한 반응을 나타내지 못하
는 경우도 많기 때문에 페이셜 코딩과 함께 안구 운동
추적 방법을 병행 사용한다. 안구 운동 추적 방법은
사람들이 보고 있는 지점, 그들이 집중하는 지점을 알
아내 기록하는 것을 말한다. 감정 반응과 시각적 집
중을 동시에 파악하는 것은 사람들의 반응을 유발하
는 요인을 이해하기 위해 효과적인 방법이다.
38

39. [이미지 마이닝] 얼굴검출 기술동향

얼굴 검출 기술은 얼굴인식 이전에 실행되
어야 하는 과정으로 영상에서 얼굴이 있는
곳을 찾아내는 기술이다. 일반적으로 사람
의 얼굴은 조명, 사람의 얼굴이 응시하는 방
향과 각도, 표정, 카메라와 사람 간 거리에
따른 얼굴의 크기, 배경과 얼굴의 색상 차이
등과 같이 환경적인 조건에 따라 민감한 반
응을 하기 때문에, 영상으로부터의 얼굴 검
출 및 얼굴 인식에 관한 연구는 실제 많은 어
려움을 포함하고 있다.
얼굴검출
지식기반
특징기반
규칙기반
템플릿매칭기반
외형기반
얼굴특징
사전정의 얼굴템플릿
Eigenface
텍스쳐
변형하는 템플릿
분산기반
피부색
Neural Network
다양한 얼굴특징
SVM(Support Vector
Machines)
Naïve Bayes
Classifier
Hidden Markov
Model
InformationTheoretical Approach
39

40. [이미지 마이닝] 얼굴추적 및 특징추출 기술동향

얼굴영역이 검출되면 검출된 영역을 추적하면서 얼굴인식에 사용
할 특징값들을 추출하는 과정이 진행된다. 이과정에서 사용하는
알고리즘에 따라 뒤에 얼굴인식 알고리즘에 영향을 미치게 되며,
특징값을 선택하는 알고리즘의 종류들도 바뀌게 된다.
얼굴검출 및 추적 과정
특징값 추출 과정
40

41. 이미지 마이닝 사례 : 얼굴특징 추출 및 특징선택 기술 동향

특징값 선택 과정
41
얼굴인식에 사용되는 가장 작은 단위
의 분류에 오류를 일으킬 수 있는 영향
을 줄 수 있는 특징 값중에서 부분세트
를 선택하는 것이 목적으로 사용되는
것이 바로 특징값 선택과정이다.

42. [이미지 마이닝] 얼굴인식 기술동향

얼굴인식 기술은 크게 3가지 유형으로 분류 할 수 있으며, 하이브리드 방법을 이용한 연구들이 많이 진행되고 있다.
하이브리드 방법에서는 위치 특성과 더불어 하나의 얼굴을 인식하기 위하여 얼굴 전체 영역을 사용하기 때문에 매우
복잡하지만 인식률은 전체론적인 매칭 방법과 특징 기반의 매칭 방법들에 비하여 월등히 우수하다.
얼굴인식
전체론적 방법
특징기반 방법
하이브리드 방법
PCA(Eigenface)
Pure Geometry
Methods
LFA
LDA(Fisherface)
Dynamic Link
Architecture
ShapeNormalized
ICA
Hidden Markov
Model
Componentbased
PCA기반 얼굴학습 단계
Tensorfaces
PDBNN
42
PCA기반 얼굴인식 단계

43. [이미지 마이닝] 얼굴인식 기술동향 (주요기술)

기하학적 방법



특징 : 얼굴의 기하학적 특징점을 추출하여 일치여부를 판단하여 인식
성능 : 얼굴은 3차원이고 회전이 가능하기 때문에 적용에 한계가 있다.
Eigenfaces



특징 : 특징점 추출로 PCA(Principal Component Analysis)를 적용하고 유사도 측정으로 Euclidean 거리 적용.
성능 : 조명이나 환경변화에 민감하게 반응하지만 널리 사용되고 있어 그 성능이 검증된 대표적인 얼굴인식 방법.
Fisherfaces



특징 : FLD(Fisher Linear Discriminant) 분류 알고리즘으로 적용한 얼굴인식 방법.
성능 : 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경변화에 둔감한 특성을 지니고 있어 on-line 상태에서 실시간
으로 적용 가능한 알고리즘.
SVM( Support Vector Machine)에 기초한 방법



특징 : PCA와 SVM(Support Vector Machine)알고리즘을 사용한 알고리즘.
성능 : 비교적 높은 인식률을 높이지만 얼굴인식과 같은 멀티 클래스에 적용하기에는 시간과 메모리가 많이 소모되는 알고
리즘이지만 현재 연구되는 얼굴인식 알고리즘의 대표적인 알고리즘임
신경회로망



특징 : 흑백의 정지영상에서 슬라이딩 윈도우를 이용해 학습된 얼굴모양을 검색
성능 : 두 개 이상의 다수 얼굴의 추출도 가능하나 속도가 느리며 학습이 어려움.
퍼지 + 신경회로망



특징 : 신경회로망회로의 입력으로 픽셀의 밝기 값 대신 퍼지 소속함수를 사용
성능 : 신경회로망만을 이용한 방법보다 성능은 향상되나 처리속도는 떨어짐.
Wavelet + Elastic Matching

특징 : 주파수 변환을 사용하며, 자세 및 표정의 변화를 처리하는데 효과적.

성능 : 인식률에 비해서 연산량이 많음.
43

44. [이미지 마이닝] 얼굴인식 성능평가 기준동향

성능평가 기준

성능평가에 사용하는 얼굴DB


FERET Protocol

Error rate

XM2VTS Protocol

Computational speed.


Hit ratio
Memory usage.
성능에 영향을 주는 중요요인

Illumination / occlusion / expression /
pose invariability

Scalability.

Adaptability (to variable input image
formats, sizes, etc.)

ˆ Automatism (unsupervised processes)

Portability.
• 실제 응용에 있어서는 인식율을
좌우하는 측면에서 DB의 내용이
매우 중요하며 대부분의 상용솔루
션들의 자체 DB를 확보하고 있음
44

45. [이미지 마이닝] 얼굴인식 문제 및 해법연구 동향
문제 vs 해법연구
Illumination
Pose
Occlusion
Heuristic approach
Single-model
based approaches
Light-modeling app
roach
Expression
Multi-image based
approaches
Statistical approac
h
Optical technology
Geometric
approaches
Model-based appro
ach
Multi-spectral imagi
ng approach
45
조명의 차이로 인한 분류 클래스의 변위

46. [이미지 마이닝] 페이셜코딩 응용 – 부주의 측정

요구사항


사용자의 집중도 측정 및 부주의 시에 주의를 상기시켜줄 수 있는 기능
적용분야



운전 부주의 알람 시스템
스마트러닝 교육 집중도 체크 시스템
적용기술

46
하이브리드 기반 단일 카메라 기반 3D 얼굴 특징 요소 인식 및 추적 기술

47. [이미지 마이닝] 시선 추적
47

48. [이미지 마이닝] 시선 추적
48

49. [오디오 마이닝] 기본 과정
49

50. [오디오 마이닝] 스캔소프트 사례
50

51. [비디오 마이닝] 지능형 영상 보안 기본 모델
51

52. [비디오 마이닝] CCTV 영상의 종류
52

53. [비디오 마이닝] 교통사고 사례 (1/2)
53

54. [비디오 마이닝] 교통사고 사례 (2/2)
54

55. [비디오 마이닝 ] 뉴스 사례 (1/2)
55

56. [비디오 마이닝] 뉴스 사례 (2/2)

“제2차 남북 정상회담” 관련 뉴스 기사의 패스파인더 네트워크 분석 결과
56

57. [센서 마이닝] 매장 방문자 분석(SPA : Shopping Path Analyzer) 사례
57

58. [센서 마이닝] SPA 빅데이타 분석 과정
58

59. [센서 마이닝] SPA Phase #1 : RFID Data (1/2)
59

60. [센서 마이닝] SPA Phase #1 : RFID Data (2/2)
60

61. [센서 마이닝] SPA Phase #1 : Data preprocessing (1/2)
61

62. [센서 마이닝] SPA Phase #1 : Data preprocessing (2/2)
62

63. [센서 마이닝] SPA Phase #2 : Distance Indexing (1/2)
63

64. [센서 마이닝] SPA Phase #2 : Distance Indexing (2/2)
64

65. [센서 마이닝] SPA Phase #2 : Clustering
65

66. [센서 마이닝] SPA Phase #2 : Validation (1/2)
66

67. [센서 마이닝] SPA Phase #2 : Validation (2/2)
67

68. [센서 마이닝] SPA Phase #3 : Path pattern Visualization (1/3)
68

69. [센서 마이닝] SPA Phase #3 : Path pattern Visualization (2/3)
69

70. [센서 마이닝] SPA Phase #3 : Path pattern Visualization (3/3)
70

71. [센서 마이닝] SPA Phase #3 : Result Analysis (1/2)
71

72. [센서 마이닝] SPA Phase #3 : Result Analysis (2/2)
72

73. System Architecture
서비스 운영 플랫폼
Image Clawling
산업/생산현장용
보안/관제현장용
정보제공
가상객체
생성관리
정보 서비스용
정보단순화
정보업로드
적
용
사
례
영상정보인식
관제
개발지식 기반
비주얼 개발환경(VPE)
B
#6
#11
A
#10
#5
C
#15
#20
#9
영상인식
컴포넌트 관리
73
응
용
서
비
스
워크스페이스
관리
개발 지식 관리
개
발
플
랫
폼

74. 감사합니다.
74