1. 모바일 플랫폼 기반
계획 및 학습 인지 모델 프레임워크계획 및 학습 인지 모델 프레임워크
2 0 1 0 . 7 . 2 6 .
박영택
숭실대학교

2. Agenda
01 Research Goal
02 Scenario
03 Overall System Structure
04 Mobile Task Manager
05 Mobile Activity Aware
06 Mobile Context Log
07 Mobile Social Service
08 Android Environment

3. Mobile Awareness
Local Ad-hoc
Social Service
Activity Log Learning
Social Datamining
Social Learning
Social Dynamics
Activity Log Learning
Incremental Learning
Personal Activity Profile Personalized Reasoning
Automated Planning
Robust Agent
Contextual
Service
Delegation
Personalized
Activity
Learning
3 / 29

4. Research Scopes
상황인지 추론
및 계획 엔진
Ad-hoc 모바일
소셜 서비스
행위인지
기계학습 소셜 서비스기계학습
사용자
행위모니터
모바일
지능프레임워크
Smart
Assistant
4 / 29

5. Research Goal
모바일 사용자의 cognitive load를 최소화하기 위한
인공지능 기반 프레임워크 및 응용 시스템 구축
5 / 29

6. 연구 내용
Machine
Learning
Reasoning&
Planning
Social
Service
안드로이드기반 지능형 시스템 구조
Context Log 및 Ad-hoc 네트워크
Text Mining 영상 인식
6 / 29

7. Related Works
7 / 29

8. Application
주요 지능 Modules
Smart Agent
Annoy
Free
Smart
Calendar
Themis
Smart
Call
Social Agent
Social
Recommender
Social
Ad-hoc
Social
Magazine
지능 Infra
Text
Miner
Context
Broker
Scene Text
Analyzer
Social
Engine
RDFS
Inference
Engine
User
Model
Context
Logger
Planning
Engine
8 / 29

9. 주요 지능 Modules
Application
Smart Agent
Annoy
Free
Calendar
Themis Call
Social Agent
Social
Recommender
Social
Ad-hoc
Social
Magazine
Smart Agent
Server
User
Model
지능 Infra
Text
Miner
Context
Broker
Scene Text
Analyzer
Social
Engine
Inference
Engine
User
Model
Context
Logger
Panning
Engine
RDFS IE.
Planning
Engine
Context
Logger
Model
Learner
Context
DB
9 / 29

10. 주요 지능 Modules
Smart Agent
Server
User
Model
SA
RDFS IE
PE
CL
RDFS IE.
Planning
Engine
Context
Logger
Model
Learner
Context
DB
SA
RDFS IE
PE
CL
SA
RDFS IE
PE
CL
SA
RDFS IE
PE
CL
Social Ad-hoc
10 / 29

11. Context Logger
GPS
Accelerometer
Illuminometer
Sensor Abstraction
Location
Mobility
Brightness
Home
Slow
Dark
Context
Office
Stationary
Bright
Context
School
Fast
Bright
Context
…
…
…
Bluetooth
Proximity
Time
Social
Object
Device
Activity
POI
Family
Yes
Smartphone
Drinking
Starbucks
Colleagues
No
Smartphone
-
-
Friends
No
Computer
Watching
CGV
…
…
…
…
…
time 1 time 2 time 3
11 / 29

12. HOME
Family 1
Family 2 Family 3
Learning Personal User Model
COMPANY
Colleague 1
Colleague 2 Colleague 3
12 / 29

13. Friday
17:00
Rainy
Coffee Shop
Saturday
10:00
Sunny
Central Park
Saturday
20:00
Any Weather
Cinema
Tuesday
17:00
Sunny
Shopping Mall
Learning Activity Aware Model
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
6:00
7:30
9:00
10:30
12:00
13:30
15:00
16:30
18:00
19:30
21:00
22:30
0:00
0
5
10
15
20
SampleCount(Total)
NOT
SEE
DO
EAT OUT
SHOP
Sunday
60%
70%
80%
90%
100%
15
20
25
SampleCount(Total)
NOT
SEE
Saturday
Sunday
18:30
Sunny
Restaurant
Monday
20:00
Cloudy
Home
Monday
09:00
Any Weather
Meeting Room
Sunday
10:00
Cloudy
Home
Mobile
User
Model
Activity
Learning
10:30
12:00
13:30
15:00
16:30
18:00
19:30
21:00
22:30
Time of Day
0%
10%
20%
30%
40%
50%
60%
6:00
7:30
9:00
10:30
12:00
13:30
15:00
16:30
18:00
19:30
21:00
22:30
0:00
Time of Day
0
5
10
15
SampleCount(Total)
SEE
DO
EAT OUT
SHOP
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
6:00
7:30
9:00
10:30
12:00
13:30
15:00
16:30
18:00
19:30
21:00
22:30
0:00
Time of Day
0
5
10
15
20
SampleCount(Total)
NOT
SEE
DO
EAT OUT
SHOP
Friday
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
6:00
7:30
9:00
10:30
12:00
13:30
15:00
16:30
18:00
19:30
21:00
22:30
0:00
Time of Day
0
10
20
30
40
50
60
70
80
SampleCount(Total)
NOT
SEE
DO
EAT OUT
SHOP
Mon-Thu
13 / 29

14. Activity Prediction Model
Friday
Prediction Ranking
01 Coffee Shop
Learning Activity Prediction Model
Friday
17:00
Rainy
Prediction03 Restaurant
02 Cinema
14 / 29

15. RDFS 추론 엔진 연구 내용Smart Assistance – Calendar with Email
Inbox
Time 2010 JUNE 12 SAT 09:42 AM
From rdfs@gmail.com
Subject 세미나 일정
안녕하세요.
세미나
다음 주 월요일
일 월 화 수 목 금 토
12
13 14 15 16 17 18 19
Calendar
안녕하세요.
모바일인지프레임워크에 대한 세미나가
다음 주 월요일 오후 2시부터 4시까지
601호 회의실에서 있을 예정입니다.
모바일팀원들의 많은 참여 부탁 드립니다.
오후2시부터 4시까지
601호 회의실
모바일팀
13 14 15 16 17 18 19
2010년 6월 14일 (월)
2:00 ~ 4:00 p.m.
601호 회의실
세미나
모바일팀
Text Mining
자연어처리
15 / 29

16. Smart Assistance – Smart Call
Text Mining
Regular
Expression
Smart Call
GPS
서울시 강남
자동 지역번호
02 123 - 4567~9
123 - 4567
123 - 4568
123 - 4569
Calling통화중
123 - 4567
123 - 4568
123 - 4569
연결됨
16 / 29

17. Context Aware 시나리오
헛!!
발표 중에 …
17 / 29

18. RDFS 추론 엔진 연구 내용Smart Assistance – AnnoyFree
Calendar
2010 JULY 06 Tue
08:30 – 09:00
Daily Meeting at Office
AnnoyFree
Activated
19:00 – 21:00
Dinner with Friends
Daily Meeting at Office
10:00 – 17:00
Workshop at COEX
10:00 – 17:00
Workshop at COEX
Time 09:55
Location 480m from COEX
Time 10:00
Location 150m from COEX
Time 10:15
Location COEX
Bluetooth 5 Colleagues
18 / 29

19. Planning 시나리오
무엇을 도와 드릴까요?
Say it!Speak now...Thinking...
I think you said…
사무실 근처에 있는
근사한 이탈리아 식당에
가고 싶다.
Planning 시나리오
Restaurants
“근처에 괜찮은 한식당”
Movies
“오후에 액션 영화 한편”
Concerts
“요즘 인기 있는 콘서트는”
무엇을 도와 드릴까요?가고 싶다.
Tap text to edit
That’s right!
Go
19 / 29

20. Planning 시나리오
I think you said…
사무실 근처에 있는
근사한 이탈리아 식당에
가고 싶다.
강남구 사무실 근처에 있는
근사한 이탈리아 식당을
찾는 중…
사무실 근처에 있는 근사한
이탈리아 식당에 가고 싶다.
OK! 사무실 근처에 있는
근사한 이탈리아 식당을
다음과 같이 찾았습니다:Restaurants by location, rating
비아디나폴리
강남구 삼성동, 500m Call
Restaurants by location, rating
서울시 강남구 삼성동
154-10 융전빌딩 B1
Planning 시나리오
가고 싶다.
Tap text to edit
That’s right!
Go
찾는 중…다음과 같이 찾았습니다:
비아디나폴리
강남구 삼성동, 500m
La pizza
강남구 논현동, 450m
비엘차퍼스
강남구 신사동, 820m
Call
Call
Call
Restaurants by location, rating
20 / 29

21. 비아디나폴리
강남구 삼성동, 500m Call
Restaurants by location, rating
서울시 강남구 삼성동
154-10 융전빌딩 B1
Speak now...Thinking...
I think you said…
비아디나폴리에
내일 저녁 7시
2명 예약하고 싶다.
Planning 시나리오
Say it!
2명 예약하고 싶다.
Tap text to edit
That’s right!
Go
21 / 29

22. Planning 시나리오
비다디나폴리에 내일 저녁 7시
2명 예약하고 싶다.
잠시만 기다리세요…
비다니나폴리에
내일 저녁 7시 2명 예약가능.
Confirm Reservation
Reservation
Planning 시나리오
Confirm Reservation
Reservation Details
일시 및 시간 내일 7:00 pm
인원 2명
위치 강남구 삼성동
154-10 융전빌딩 B1
수정
이름 장동건
22 / 29

23. Bird’s Eye View
Context
AI Module Interface
Application Application Application. . .
Bird’s Eye View of Proposed System
ServerServer
WebWeb
Mining
SmartPhone Sensor
Context
Broker
Context
Generator
RDFS
Inference
Engine
ML
Interface
Text
Mining
Logger
Planner
Web
Service
Interface
Sensor
WebWeb
23 / 29

24. Overall Structure
User Model
Activity Aware
Social
Service
Android Task Manager
Mobile
Mobile Task Manager
Local ad-hoc Machine Learning
Activity AwareService
ContextLog
Mobile
RDFS
Inference
Engine
Planner
Text Miner
Context
Server
Sensor, Map, Web, PIMS
24 / 29

25. Client-Server Architecture
Intelligent Application
Annoy
Free
Smart
Script
Smart
Reservation
Social
Service
Smart
Magazine
AI Engine
Ranking
Learner
RDFS
Inference
Engine
Planner
Social
Engine
Web
Twitter Facebook
Android Mobile Platform
Engine
Knowledge Representation
FOPC TRIPLE
Android Application Framework
PIMS Data
Context
Activity
Profile
Social
Profile
Context Logger
Calendar Contacts
Machine Learning
Service
Activity
-Aware
Learner
Social
Learner
Activity History
25 / 29

26. Integrated System View
지능형 응용 서비스
3rd Party
Smart
Call
Smart
PIM
Smart
Guider
Smart
Reservation
Social
Caster
Social
Recommender
Social
Finder
Match
Maker
개인화
에이전트 구동
사회화
에이전트 구동
콘텐츠 및
서비스 합성
외부 서비스
연계
사회화
통합 서비스 인터페이스
지능형 서비스 프레임워크
어플리케이션
인공지능 컴포넌트 관리
사회화학습추론 계획
외부
어플리케이션
어댑터
통합 정보 중재
모바일 플랫폼 서비스 구동
Ad-hoc 네트워크 구동
사용자 행위 모니터링
모바일 통합 프레임워크
개방형 모바일 플랫폼 (Android)
단말 하드웨어
26 / 29

27. Smart Assistant in Android Environment
Intelligent Applications
Android
Application
Android
Service
AI Engines
Android Application Framework
RDFS
Inference
Engine
LearnerPlanner
Social
Engine
Content Provider
Context ProfileRule
Legend
a Service
a Activity
a Content Provider
27 / 29

28. System Integration
Mobile Artificial Intelligence Framework
.apk Services
RDFS I.E. Planner
Another
Services
AIDL
.jar
Application
Mobile Artificial Intelligence Framework
Server Interface
Context Information
Interface
RDFS
Axiom
Context
Rule
ServerServer
User
Model
Meta
Data
Learned
Activity
Model
28 / 29

29. Thank you!!Thank you!!