[논문리뷰] 딥러닝 적용한 EEG 연구 소개

Introduction to EEG-based
Systems with Deep Learning
2018.04.04.
김동현 (dhkim518@gist.ac.kr)

• Background (간단한 배경 설명)
• 뇌전도 신호 & 뇌-컴퓨터 인터페이스
• 뇌-컴퓨터 인터페이스: 대표적인 4가지 패러다임 소개 & 7편 논문 간략 소개
I. Resting State EEG
• [I-1] Seizure Detection
• [I-2] Gender Prediction
II. Mental-task Imagery
• [II-1] Motor Imagery (Left/ Right)
III. Steady-state Evoked Potential (SSEP)
• [III-1] SSVEP Classification
IV. Event Related Potential (ERP)
• [IV-1] P300 Speller
• [IV-2] Transferring Human Visual Capabilities to Machine
• [IV-3] EEG-in/ Image-out
발표 순서
2

• 뇌전도 신호 기반 시스템의 대표적인 패러다임을 소개합니다
• 뇌와 관련된 생물학적 의미에 대해 정리하지는 않습니다 저도 잘 몰라요
• ‘뇌전도 신호에 이런 특징이 있구나/ 어떤 시스템으로 적용이 가능하구나’
• 다양한 뇌파 신호 처리 접근법 중 딥러닝을 적용한 연구를 소개합니다
• 최근 발표된 논문에서 어떤 문제에 어떤 접근방법을 적용하였는지 정리합니다
• 소개해드리는 논문을 선정한 기준은
‘매우 주관적이고 개인적인 이유로 재미있게 읽은 여러 가지 논문들’ 입니다
• 의료 진단, 신경과학, BCI, 시스템 개발 등의 다양한 분야 및 주제
• CNN, LSTM, GAN 등의 다양한 딥러닝 기법 적용
• Temporal, spectral, spatial feature의 적절한 사용 및 해석
이 발표에서는
3

• 뇌전도 (Electroencephalogram, EEG)
• 뇌 신경 사이의 신호가 전달될 때 생기는 전기의 흐름, 두피에서 측정한 뇌의 전기적 활동
• 1929년 Hans Berger에 의해 처음으로 사람 대상으로 측정되었다 [Berger, ‘29]
• 뇌-컴퓨터 인터페이스(Brain-computer interface, BCI)의 주요 수단으로 사용되는 신호
• BCI: 사람과 컴퓨터의 의사소통 수단, 뇌의 활동을 반영하는 사용자 인터페이스
• 뇌전도 신호의 특징 3가지; 시간, 주파수, 공간
Background
4
시간 자극이 주어진 이후의 변화, 또는 어떤 작업을 하는 동안의 시간적 특징 분석
주파수 δ (0.1-4 Hz), θ (4-8 Hz), α (8-13 Hz), β (13-30 Hz), γ (30-50 Hz) 등에 대한 분석
공간 뇌신호가 활성화되는 뇌 영역 분석
[Berger, ‘29] Berger, H. (1929). Ueber das Elektroenkephalogramm des Menschen. Archiv für Psychiatrie und Nervenkrankheiten, 87(1), 527-570.
International 10-20 System

• 일반적인 뇌파 기반 시스템 개요
• 대표적인 뇌전도 신호 종류
• I. Resting state EEG
• II. Mental-task Imagery
• III. Steady-state Evoked Potential (SSEP)
• IV. Event Related Potential (ERP)
Background
5
Signal ProcessingSignal Acquisition Applications
• Feature extraction/ pattern recognition
• Machine learning based approaches
• Brainwave • Entertainments (Game)
• Therapy/ healthcare
• Prostheses
• Authentication

• Resting EEG
• 가만히 있는 상태에서의 뇌전도 신호
• 주로 EO (Eye-open)이나 EC (Eye-closed) 상태의 뇌파를 측정하고 이를 이용
• 소개하는 논문
• [I-1] Seizure Detection
• [I-2] Gender Prediction
6
. . . .

• 용어 정리
• Seizure: 발작, 대뇌 신경세포의 일시적인 과동조 전기방전에 의한 임상 증상
• Epilepsy: 간질, 대뇌의 전기적 과흥분 상태로 인해 발생하는 질환
[I-1] Seizure Detection
7
Acharya, U. R., Oh, S. L., Hagiwara, Y., Tan, J. H., & Adeli, H. (2017). Deep convolutional neural network for the automated detection and diagnosis of seizure using
EEG signals. Computers in biology and medicine.

• Motivation & Objective
• EEG는 뇌의 전기적 활동 정보를 가지고 있어 간질 진단에 유용하게 사용되고 있다
• 비유발성 발작 (unprovoked seizure)이 2회 이상 있을 때 간질로 진단된다
• 기존의 진단 방식: ‘direct visual inspection’
• 기존 방법의 한계, 제약이 많다
‘time-consuming’, ‘technical artifact’, ‘variable results’, ‘limitation to identifying abnormality’
• 새로운 Computer-aided diagnosis (CAD) 알고리즘 제안
• 13-layer Convolutional Neural Network
• Normal, Pre-ictal (발작 전의 상태), Seizure 3가지 상황을 검출 가능한 알고리즘
8

• Dataset
• Public dataset [Andrzejak, ‘01]
• 3 states: Normal, Pre-ictal, and Seizure
• 100 segments for each class
• 각각의 EEG segment 형태
• Single channel EEG signals
• 23.6 sec, Ns = 4097 (Ns: 샘플 수)
• Z-score normalization (mean 0, std. 1)
• Architecture
• 13-layer CNN
9
[Andrzejak ’01] R.G. Andrzejak, K. Lehnertz, C. Rieke, F. Mormann, P. David, C.E. Elger, Indications of nonlinear deterministic and finite dimensional structures
in time series of brain electrical activity: dependence on recording region and brain state, Phys. Rev. E 64 (2001) 061907.
Color information
- Kernel size
- Max-pooling
- Fully connected layer

• Experimental Validation
• 10-fold cross-validation
• EEG signals를 10 그룹으로 나누어, 9 그룹 train 뒤 남은 1 그룹 test 하는 과정을 10회 반복
• Train 과정에서 70 % 데이터를 이용하여 150 runs* 반복하고 (batch size: 3),
30 % 데이터를 validation에 사용 (overfitting 방지 목적)
• Results & Discussion
• Accuracy: 88.67%, Sensitivity: 95.00%, and Specificity: 90.00%
 기존 연구에 비해 압도적인 성능을 보이지는 않는다
• 본 논문의 ‘Novelty’는 EEG 기반의 Seizure detection에 처음으로 딥러닝을 적용한 점
• 더 많은 데이터 셋이 주어지면 더 좋은 성능을 보일 것으로 예상
10
*Run: one iteration of the full training set

• 일반적으로 사람들의 외모로부터 성별을 유추한다.
• 남자와 여자의 뇌는 구조적으로, 기능적으로도 구별되며 신경정신질환의 발달이나 치료
에 대한 반응도 서로 다른 것으로 알려져 있다
• 뇌파에 ‘sex-specific information’ 이 존재할 것이라는 가정하지만, 뇌신호로부터 성별에
따른 특징을 visual inspection/ quantitative inspection 하기가 쉽지 않다
• 목표: 뇌전도 신호에 남녀 성별에 따라 구분되는 특징이 존재하는지 딥러닝을 통해 탐구
[I-2] Gender Prediction
11 Putten, M. J., Olbrich, S., & Arns, M. (2018). Predicting sex from brain rhythms with deep learning. Scientific reports, 8(1), 3069.

• Dataset
• EEG data from 6 different Labs*
• 1308 subjects (mean age 43.38 (18.42 SD) y; range 18–98 y; 47% males)
• Eye-closed (EC) Resting EEG 2 min.
• 24 channels/ 2 sec, Fs = 128 Hz, Ns = 256 (샘플 수)/ 1 피험자당 40 EEG segments 추출
• Band-pass filtering [0.5, 25]
• Architecture
• 6-layer Convolutional Neural Network
12 *Brain Resource International Database (New York, Rhode Island, Nijmegen, London, Adelaide and Sydney).

• 충분한 수의 데이터 셋을 기반으로 cross-validation은 하지 않음
• 1000명 피험자의 데이터 (40,000 EEG segments, 47% male)를 train하고,
308명 피험자의 데이터 (12,320 EEG segments, 49% male)를 test
• 학습 과정 150 runs* 반복 (batch size: 70)
• Accuracy: 81 % (p < 10-5)
• 파라미터 변경 시, 더 낮은 성능을 보였음 (적은 layer, 더 큰 filter size, 좌/우뇌 따로 등)
• Visualization
of six convolutional layers
• Deep dream algorithm
사용 [Mahendran, ’15][Mahendran, ’16]
• 학습된 CNN 필터에서
베타파 (12-25 Hz) 특징 확인
• 베타파 파워와
logistic regression model 결과
70 % accuracy
13
[Mahendran, ’15] Mahendran, A. & Vedaldi, A. Understanding deep image representations by inverting them. in IEEE Conference on Computer Vision and Pattern
Recognition (CVPR) (2015).
[Mahendran, ‘16] Mahendran, A. & Vedaldi, A. Visualizing Deep Convolutional Neural Networks Using Natural Pre-images. Int. J. Comput. Vis. 120, 233–255 (2016).

• Mental-task Imagery
• 상상하는 상황에서 나타나는 뇌파 신호
• 주로 동작 상상 (motor imagery), 말 상상 (speech imagery) 관련 연구 진행
• [II-1] Motor imagery: Imagination of moving a body part without actual movement
II. Mental-task Imagery
14

• BCI 시스템의 운동 상상 신호 분류는 전통적으로 진행되어온 중요한 문제다
• 지금까지의 연구에서는 ‘Feature Extraction’ 단계와 ‘Classification’ 단계에 적합한 알고리
즘을 찾는 것이 주 목적이었다
• Common Spatial Pattern (CSP), Principal Component Analysis (PCA), Linear Discriminant
Analysis (LDA), Support Vector Machine (SVM) 등이 적용되어왔다
• 최근 training data 가 많은 환경에서 딥러닝이 좋은 결과를 내는 것이 알려졌는데,
일상 생활에서 활용되는 BCI 시스템이 만들어진다면 지속적으로 생성되는 수많은 데이터
를 이용할 수 있어서 딥러닝을 적용하기 적합할 것이다
• 본 연구에서는 딥러닝 기술을 통해 기존의 분류 성능을 향상 시키는 것이 목표
[II-1] Motor Imagery
15 Tabar, Y. R., & Halici, U. (2016). A novel deep learning approach for classification of EEG motor imagery signals. Journal of neural engineering, 14(1), 016003.

• Dataset
• Public dataset (BCI Competition IV dataset 2b)
• 9명 피험자를 대상으로 왼손 또는 오른손 동작 상상
• 3 channels (C3, Cz, C4)
• 2 sec (cue가 주어진 뒤 0.5~2.5초 사이 데이터 사용), Fs = 250 Hz
• 1 피험자당 400 EEG segments 추출
• Input image form
• 시간 (time), 주파수 (frequency), 공간 (channel location) 정보를 결합한 형태의 입력 값
• Short-time Fourier transform (STFT) 적용 (window size: 64, time lapses = 14)
• 1 channel EEG segment (Ns = 500)  STFT  frequency-time image (257 x 32)
• 주파수 축에서 운동상상에 관련있는 mu 대역(8-13 Hz) 과 beta 대역(17-30 Hz) 만 추출
• 3채널 (C3, Cz, C4) 각각에 대한
Frequency-Time images (size of 31 x 32)
• 최종 input
• 3채널을 모두 합쳐서 한 이미지로 구성
(size of 93 x 32)
16

• Architecture
• Convolutional Neural Network (CNN)
• 시간 축으로만 Convolution 진행  필터 30개 사용, 각 필터 사이즈는 (93 x 3) 가 최적
• Max-pooling은 (10 x 1) 에 대해 진행
• Batch size = 50으로 300 runs 동안 학습
17

• Architecture
• Stacked Auto Encoder (SAE)
• 6 개의 중첩된 AE로 구성된 네트워크
• SAE를 구성하는 각각의 AE 층은 unsupervised 방식을 통해 개별적으로 학습한다
• 각각의 AE는 Batch size = 20의 200 runs 동안 학습한 뒤,
Fine tuning 과정으로 batch size = 40의 200 runs 동안 학습한다
18

• Architecture
• Combined CNN-SAE
• CNN에서 추출한 convolutional layer 특징과 SAE를 결합한 형태
19

• Architecture
• 시간 축으로만 Convolution 진행  필터 30개 사용, 각 필터 사이즈는 (93 x 3) 가 최적
• Max-pooling은 (10 x 1) 에 대해 진행
• Batch size = 50으로 300 runs 동안 학습
• 6 개의 중첩된 AE로 구성된 네트워크
• SAE를 구성하는 각각의 AE 층은 unsupervised 방식을 통해 개별적으로 학습한다
• 각각의 AE는 Batch size = 20의 200 runs 동안 학습한 뒤,
Fine tuning 과정으로 batch size = 40의 200 runs 동안 학습한다
• Combined CNN-SAE
• CNN에서 추출한 convolutional layer 특징과 SAE를 결합한 형태
20

• 10 x 10 Fold Cross-validation
• 각 피험자의 400 Trials를 Random하게 10 그룹으로 나누어,
9 그룹 train 뒤 남은 1 그룹 test 하는 과정을 모든 그룹에 대하여 10회 반복
• Random 하게 10 그룹으로 나누는 과정부터 테스트 과정을 10번 반복
• CNN-SAE 가 가장 좋은 성능을 보였으며, 기존의 방법보다도 높은 성능을 보였다.
• CNN에서 학습된 필터 30개 확인
• 복잡한 Feature를 찾는 구조, 특정 주파수 대역 및 채널에 가중치를 주는 구조 등을 확인했다
21

• Steady-state Evoked Potential (SSEP)
• 시각/ 청각/ 촉각 자극이 주기적으로 반복될 때 나타나는 반응
• 주로 주파수 축에서의 분석을 많이 진행
• [III-1] SSVEP Classification
III. Steady-state Evoked Potential
22
Flickering Light
(20 Hz)
Oscillatory Response
(20 Hz)

[III-1] SSVEP Classification
23
Kwak, N. S., Müller, K. R., & Lee, S. W. (2017). A convolutional neural network for steady state visual evoked potential classification under ambulatory
environment. PloS one, 12(2), e0172578.

• Dataset
• 7명 피험자를 대상으로 실험 진행
• 시나리오
• Random auditory cue가 주어지고 3초 뒤에 start beep이 울리면 피험자는 5초간 해당 LED 집중
• Cue: 직진 9 Hz, 좌회전 11 Hz, 일어나기 13 Hz, 우회전 15 Hz, 앉기 17 Hz (5 classes)
• Task 1 (Static SSVEP): 가만히 서있는 상태에서 cue에 반응 (각 class 별 10회씩, 총 50회)
• Task 2 (Ambulatory SSVEP): 피험자 의도대로 걷다가 cue 에 반응 (각 class 별 50회씩, 총 250 회)
• 8 channels (시각 피질 영역만)
• BPF [4 - 40 Hz] 처리한 EEG 신호를 2 sec (Fs = 1000 Hz) 길이의 segment로 나눔
• 각각의 채널 별 신호를 FFT  [5 - 35 Hz]에 해당하는 120 samples 추출  0-1 Normalization
• 한 EEG segment의 size는 (120 x 8)
• 서로 다른 데이터 사이즈에 대한 분석도 진행
• 2 sec sliding window with different shift sizes (60, 30, 20, 15, 12, 10 msec)
 데이터 수 (50, 100, 150, 200, 250, 300 data samples)
24
…
Shift size

• Architecture
• CNN-1
• [C1] Convolution을 공간적으로 8개 channels 사이에서 진행
• [C2] Convolution을 주파수적으로 11 frequency samples 사이에서 진행
25

• Architecture
• CNN-1
• CNN-2
• CNN-1과 거의 같은 구조이지만, F3 layer의 3개 노드가 재미있는 Visualization 효과를 준다
26

• Architecture
• CNN-1
• CNN-2
• NN
27

• Architecture
• CNN-1/ CNN-2/ NN
• 각 피험자 별로 2가지 static/ ambulatory SSVEP 환경에 대하여 10-fold CV 진행
• 서로 다른 데이터 사이즈에 따른 차이도 확인
• Learning rate = 0.1 / Learning iterations = 50회
(10회 반복 후부터 error rate가 0.5 % 이하로 떨어지면 학습 완료)
28

• static/ ambulatory 환경에서 충분히 데이터가 있을 때, 기존의 방법보다 향상된 성능 확인
• Feature Representation (CNN-2 구조 사용 결과)
[IV-1] SSVEP Classification
29

• Event Related Potential (ERP)
• 시각/ 청각/ 촉각 등의 자극이 주어졌을 때 반응
• 전통적으로는, P300 이라는 특징을 사용한 연구가 많이 진행
• [IV-1] P300 Speller
• [IV-2] Transferring Human Visual Capabilities to Machine
• [IV-3] EEG-in/ Image-out
IV. Event Related Potential
30

• P300 Speller를 위한 두 단계의 문제
(a) P300 detection: 주어진 신호 내에 P300 신호가 있나 없나?
(b) Character Recognition: 사용자는 어떤 문자를 응시하고 있나?
[IV-1] P300 Speller
31
Cecotti, H., & Graser, A. (2011). Convolutional neural networks for P300 detection with application to brain-computer interfaces. IEEE transactions on pattern
analysis and machine intelligence, 33(3), 433-445.

• Dataset
• Public dataset (Data set II from the third BCI competition)
• 2명 피험자를 대상으로 P300 Speller 실험 진행
• Training database: 총 85 characters / Test database: 총 100 characters
• 12번 (6 rows, 6 columns) 빛이 들어오는데, 이 12번 깜빡임을 15회 반복
• 64 channels
• 650 msec (cue가 주어진 뒤 0 ~ 650 msec 데이터 사용), Fs = 120 Hz
• 각 채널 별 신호 Standardization
• Architecture
• [L0] Input size: 64 Ch. x 78 Ns
• [L1] Convolution
• (1x64) 공간적 필터 10개
• 10@78x1
• [L2] Convolution + Subsampling
• (13x1) 시간적 필터 5개
• 50@6x1
• [L3, L4] Fully connected
• 300 nodes – 100 nodes – 2 output
[IV-1] P300 Speller
32

• 각 피험자 별로 주어진 training dataset 으로 학습하고, test dataset으로 테스트 진행
• Training dataset 중 95 % training, 5 %로 validation
• Validation 데이터에 대해 least mean square error 가 최소화될 때까지 학습 진행
(CNN 구조에 몇가지 variation 을 준 모델들도 있지만 자세한 설명은 생략합니다)
• 기존의 전통적인 방법보다 향상된 성능 확인
• (A) P300 Detection (B) Character Recognition
[IV-1] P300 Speller
33

• CNN이 참 좋지만 사람만 못하니, 사람을 이용한 visual object classifier 만들자
[IV-2] Transferring Human Visual Capabilities to Machine
34
Spampinato, C., Palazzo, S., Kavasidis, I., Giordano, D., Souly, N., & Shah, M. (2017, July). Deep learning human mind for automated visual classification. In
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 6809-6817).

• Objective & Contribution
• 여러 종류의 시각 이미지 자극을 받는 동안의 ERP 신호를 분류할 수 있는 딥러닝 제안
• ERP 분류 딥러닝에서 얻은 visual descriptor를 적용한 computer vision 접근법 제안
• 본 연구의 EEG 데이터셋과 관련 소스코드 및 trained model 은 publicly release 아멘
35

Part 1. 시각 이미지 자극에 대한 ERP 분류기
• Dataset
• 6명 피험자를 대상으로 실험 진행
• 시나리오
• ImageNet 으로부터 40 classes 2,000 images (50 from each class) 준비
• 10 초 간격으로 각각의 이미지를 0.5 초씩 보여주는 상황에서 EEG Recording
• 128 channels
• BPF [14 - 71 Hz] 처리한 EEG 신호를 440 msec (Fs = 1000 Hz) 길이
• Beta (15-31 Hz), Gamma (32-70 Hz) 대역이 시각 인지 및 cognitive process에 관련
• 이미지 자극을 받는 0.5 초 중에서 자극 직후 40 msec 다음의 440 msec 데이터 사용
• 한 EEG segment의 size는 (128 x 440)
36

• Architecture
• a) Common LSTM
• Common의 의미: 모든 EEG 채널(128개)의 신호들이 같은 LSTM layer에 입력되는 구조
37

• Architecture
• a) Common LSTM
• b) Channel LSTM + Common LSTM
• 각각의 single EEG 채널마다 LSTM 연산을 수행하고, 이후에 inter-channel analysis 를 수행하기
위한 common LSTM 이 연결된 구조
38

• Architecture
• a) Common LSTM
• b) Channel LSTM + Common LSTM
• c) Common LSTM + output layer
• 앞서 설명한 a) common LSTM과 유사하지만, 뒷 부분의 output layer는 LSTM이 아닌 input들의
선형 조합 (ReLU) 으로 이루어져 있다
39

• Training 80 % (1,600 images), validation 10 % (200), test 10 % (200)
40

Part 2. 이미지를 EEG 기반 Feature에 매핑하는 CNN-based Regression
• 접근 방법 2가지
• Approach 1. End-to-end training
• Pre-trained AlexNet CNN의 weights를 initialization에 사용
• GoogleNet, VGG는 훨씬 복잡한 구조; 작은 데이터셋에 오버피팅이 우려되어 사용 안 함
• 마지막 layer에 있는 softmax 분류기를 regression layer로 변경
• Regression layer 내의 노드 수는 EEG feature vector dimension과 같게 두기
• 목적 함수를 Euclidean loss로 두고 학습 진행
41

• 접근 방법 2가지
• Approach 2. Deep feature extraction followed by regressor training
• Pre-trained AlexNet, GoogleNet, VGG의 weights를 initialization에 사용
• 기 학습된 CNN 모델을 사용해서 이미지 특징을 추출하고 regression methods 를 사용
• k-NN regression, ridge regression, random forest regression
• CNN 모델에서 추출한 이미지 특징과 EEG feature vector를 매핑
42

• 앞서 Part 1에서 최고 성능을 보인 128 Common + 128 Output 의 feature vector 사용
• 총 2000 장의 이미지에 대해, CNN이 regression 하는 동안 ‘confusing’ 을 방지하기 위해서
각각의 이미지별로 하나의 EEG feature vector를 제공해야 한다
• 두 가지 방법으로 실험을 진행
• Average: 6 명 피험자가 한 이미지에 대해 반응한 feature vector를 average 취함
• Best: 각각의 이미지에 대하여, 6 명 피험자의 EEG feature vectors 중에서 가장 작은
classification loss를 보인 대표 feature vector 하나를 사용
• Result & Discussion
• Mean-square error를 통해 비교
• Approach 2의 [GoogleNet + k-NN regression + Average EEG feature vector]가 가장 우수
43

Part 3. Automated Visual Classification
• 앞서 Part 1, Part 2에서 최고 성능을 보인 네트워크 구조 사용
• GoogleNet + k-NN + Average EEG feature vector + 128 Common, 128 Output
• 학습에 사용된 적 없는 Test data (10 %, 200장 이미지)에서 89.7 % 분류 정확도
• 일반화를 위해 Caltech-101의 30 class에 대해 실험 추가 진행
• GoogleNet/ VGG/ 제안한 방법을 feature extractor로 사용
• Multiclass SVM classifier를 새로 학습하고 분류 정확도 비교
• Result & Discussion
• Human Brain-driven Automated Visual Classification
• GoogleNet과 비교할만한 수준의 성능이자, VGG보다 뛰어난 성능 확인
• EEG encoder와 regressor가 직접적인 관련 없는 데이터에서 학습된 것임에도 불구하고
‘impressive’ 결과 확인
44

• Read the Mind, Generate the Image
이미지를 보는동안 측정한 뇌 신호로부터  역으로 관찰한 이미지를 생성해보자
[IV-3] EEG-in/ Image-out
45
Palazzo, S., Spampinato, C., Kavasidis, I., Giordano, D., & Shah, M. (2017, October). Generative Adversarial Networks Conditioned by Brain Signals. In
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3410-3418).

• Objective & Contribution
• Generative model에 충분한 의미를 전달할 수 있는 이미지에 대한 뇌 신호를 학습하기
• 관찰한 이미지와 관련 있는, 유사한 샘플을 생성해내기
• 접근 방법
• Condition Generative Adversarial Network (cGAN)
46

• Architecture
• A. Learning EEG Manifold
• B. Image Generation
• B-1. Generator
• B-2. Discriminator
47
Input G1 G2 G3 G4 G5
1 x 100
(Random Noise)
+
1 x 128
(EEG Feature)
4 x 4 x 512 8 x 8 x 256 16 x 16 x 128 32 x 32 x 64 64 x 64 x 3
Input DC1 DC2 DC3 DC4 DFC5 DFC6
64 x 64 x 3 32 x 32 x 64 16 x 16 x 128 8 x 8 x 256
4 x 4 x 512
+
4 x 4 x 8
(EEG Feature)
1024 1

• Condition GAN 네트워크를 학습하기에, 뇌파 신호가 너무 적다 (40 class, 50 images)
• 따라서, 두 단계로 나누어 학습 진행하였다
• 1단계: EEG feature를 zero vector로 두고, non-conditional GAN 학습을 100 epochs 동안 진행
• 2단계: EEG feature vector가 있는 상태에서 conditional GAN 학습을 50 epochs 진행한다
• 생성된 이미지를 평가: inception score 와 inception classification accuracy
• 생성된 이미지에 대해 inception network classification 결과 43 % 정확도 확인
• 낮은 성능으로 보이지만, 40 class 에 대해 43 % 분류 성공률임을 감안 (1/40 = 2.5 %)
48
Good Results: Jack-o’-Lantern & Panda Bad results: Banana & Bolete

• 뇌전도 신호를 이용한 시스템의 대표적인 4가지 패러다임과 7편의 논문 소개
Conclusive Remarks
49
대표 패러다임 논문 키워드 딥러닝 구조 EEG domain
1. Seizure Detection 1-D 13-L CNN 시간
2. Gender Prediction 6-L CNN 시간-공간
II. Mental-task Imagery 3. Motor Imagery (L/ R) CNN + SAE 시간-공간-주파수
III. Steady-state
Evoked Potential
4. SSVEP Classification
CNN & Visualization
using 3 nodes
주파수-공간
IV. Event Related Potential
5. P300 Speller CNN 시간-공간
6. Human Visual
Capabilities to Machine
LSTM &
CNN-regression
시간-공간
7. EEG-in/ Image-out
LSTM &
(conditional) GAN
시간-공간

[논문리뷰] 딥러닝 적용한 EEG 연구 소개

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a [논문리뷰] 딥러닝 적용한 EEG 연구 소개

Semelhante a [논문리뷰] 딥러닝 적용한 EEG 연구 소개 (20)

[논문리뷰] 딥러닝 적용한 EEG 연구 소개