LinkedData는 기존의 의료, 문헌 도메인을 벗어나 콘텐츠, 정부 데이터 등 그 폭이 커질 뿐만 아니라 데이터량도 폭발적으로 증가하고 있다. 일반적으로 특정 도메인의 시맨틱 웹 데이터 검색 서비스를 제공하기 위해 운영되는 RDF 데이터 처리 및 SPARQL 엔진 기반 포털 서비스는 대용량의 데이터를 다루기 어렵다. 본 발표에서는 기존 방식을 탈피하여 클라우드 컴퓨팅 환경에서 Hadoop 기반 MapReduce를 이용한 대용량 데이터 처리 방식을 이용하여 관계 기반 질의 확장을 통한 사용자 친화적인 Linked Data 검색 서비스 개발 사례를 소개한다. 현재 대용량 Linked Data를 처리하기 위한 Billion Triple Challenge의 아이디어와 현황을 살펴 보고 향후 방향을 전망해 본다.

1. Linked Data 기반
데이터 검색 서비스의 현황과 과제
윤석찬
서울대 BikeLab · 다음커뮤니케이션
channy@snu.ac.kr
http://bike.snu.ac.kr

2. 목차
1. 시맨틱 웹 킬러 애플리케이션의 현황
2. 시맨틱 검색 서비스 출현과 LinkedData의 성장
3. 대용량 LOD 기반 시맨틱 검색 방식
4. 클라우드 기반 시맨틱 웹 데이터 처리 사례
5. 대용량 LOD 검색 서비스의 한계

3. Web 3.0 Buzz

4. Only Three Company?

5. Why Semantic Web
failed?
Difficult to use
No Killer application
Only specific domains

6. Back to the Search

7. Semantic Search
vs.
Semantic Web Search

8. Emerging Semantic Web
Search = Structured Data on the Web

9. Linked Data with TBL

11. What’s Linked Data?
. In October 2007, datasets consisted of over two
billion RDF triples, which were interlinked by over
two million RDF links. By September 2010 this had
grown to 25 billion RDF triples, interlinked by
around 395 million RDF links.
http://en.wikipedia.org/wiki/Linked_Data

12. LinkedData 애플리케이션

13. • 데이터 브라우저
– Tabulator Browser (MIT, USA)
– Marbles (FU Berlin, DE)
– OpenLink RDF Browser (OpenLink, UK)
– Zitgist RDF Browser (Zitgist, USA)
– Disco Hyperdata Browser (FU Berlin, DE)
– Fenfire (DERI, Irland)

17. DBPedia Mobile

18. • 검색 엔진
– Falcons (IWS, China)
– Sig.ma (DERI, Ireland)
– Swoogle (UMBC, USA)
– VisiNav (DERI, Ireland)
– Watson (Open University, UK)

22. 검색 기술 비교 및 변화
기존 웹 검색 엔진 방법 시맨틱 웹 검색
외부 웹 문서 및 링크드데이터(LinkedData) 및
사내 콘텐츠 DB
대상 사내 콘텐츠 DB
웹 크롤러를 통해 수집 수집 RDF 수집
랭킹에 따라 문서 인덱스 저장 관계에 따라 RDF Triple 변환
IR 알고리즘 결과 SPAQL 쿼리 응답
키워드 기반 랭킹 기반 검
색
서비스 그래프 기반 의미 검색
Google(1조) 데이터 용량 LinkedData(250억)
Google, 네이버, 다음 대표 기업 Bing, Hakia

23. LOD 검색 개발 방식
1. 웹 기반 구조적 데이터 수집
– 반 구조적 데이터: HTML내 RDFa, Microformat 혹은 HTML5
Microdata, 구조적 데이터: XML 및 JSON, 시맨틱 데이터: RDF/RDFs
• 예) LDspider (GPL license) http://code.google.com/p/ldspider
2. 데이터 저장
– Virtuoso (GPL), Sesame (BSD), Jena TDB (BSD) 혹은 RDB
– c.f Berlin SPARQL Benchmark (Nov 2009)
3. 퀴리 및 데이터 분석
– SPAQL을 이용한 Query Engine
4. 랭킹 및 결과 제공
– 결과에 대한 시맨틱 네비게이션 및 링크만 제공

24. 기존 시맨틱 웹 처리 방법
1. 모델 만들기
개념과 관계 속성에 대한 정의
최대한 현실에 부합하는 모델을
만들며 확장 유연성
2.RDF 처리
대개 기존 DB에서 변환
RDF, Triple, N-Triple 형태 저장
처리 시간이 길다!
3. SPARQL 질의
원하는 답을 얻기 위한 추론
응답 시간이 길다!

25. RDF Store
DB Memory File

26. 검색에서 클라우드 플랫폼의 장점
1. 사회적 이슈가 발생했을 때, 클라우드 동적 제어 API를 이용하
여 크롤링 및 인덱싱 작업을 비주기적으로 시행.
2. UCC 검색 콘텐츠 DB에 대해서 신규 작업 시 클라우드 기반으
로 테스트 가능
3. Hadoop, Hbase 등 각종 분산 컴퓨팅 자원을 필요 시 이용.
4. 실시간 웹(Realtime Web) 검색을 대응하기 위한 검색 엔진
및 처리 시스템 필요

27. 클라우드 기반 LOD 검색 방식
1. 웹 기반 구조적 데이터 수집
2. 데이터 저장
– Hadoop을 이용한 분산 컴퓨팅 플랫폼
– 대용량 RDF 변환 및 처리
– NoSQL을 이용한 검색 데이터 저장소
3. 퀴리 및 데이터 분석
– 사용자 쿼리에 해당하는 질의어 분석
– 질의어를 통한 SPARQL 쿼리 생성
– 쿼리에 대한 서브 쿼리 자동 생성 및 AnswerSet 추출
4. 랭킹 및 결과 제공
– 관계 기반 질의어 확장 및 추천

28. 1. RDF processing

29. 2. Auto AnswerSet
c.f. SPARQL speed

30. 3. Relation-based keyword expansion
MJ’s birthday Actors same of MJ’s birthday
– Subject Predicate
– Subject Predicate sameAs Subject
– Subject Predicate sameAs Subject Predicate…

31. 4. Key Value DB for heavy update
Update Heavy job, Real-time incremental Update
http://research.yahoo.com/Web_Information_Management/YCSB

32. System
- MR Job Scheduler
Music
Music People Movie
Movie
DB People DB
DB DB DB Map/Reduce
DB
RDF
RDF
Search Service Hadoop M/R
-Incremental
Update
N3
N3
{"Name": "Cheeso",
Internet REST APIs "Rank": 7} NoSQL M/R
{"Name": "Cheeso",
"Rank": 7}
{"Name": "Cheeso",
"Rank": 7}
-
Hbase
Answer
Answer
Search Service Cassandra Set
Set
iCube Storage
Front-end Cloud Clould

33. • 기존 시맨틱 웹 검색 서비스와 차별점
– 사용자에게 친숙한 검색 인터페이스 제공
– 속성 중심의 질의어 확장을 통한 검색 시간 증가
• 의미 검색 서비스 특징
– 사용자가 원하는 질의어 확장을 통한 콘텐츠 의미 검색
– 기존 스마트 앤서에 대한 보강 데이터 확보
– 클라우드 플랫폼을 이용 영화/인물/음악을 기반한 RDF
Triple/Answer Set 등 5억~10억 규모 데이터 실시간 처리 처리
• 몇 십분안에서 처리 가능
• 향후 대규모 LOD 검색 서비스를 위한 프로토타입

34. LOD 검색 서비스의 한계
• 상용 대용량 데이터 처리가 필요하다
– 전 세계 여러 연구 기관에서 최근 관심 급증
– ISWC 차원에서 Billion Triples Challenge 진행중
– 사용 데이터셋
• 2010년 3~4월에 수집된 3.2 billion triples (27GB gzipped)
• http://challenge.semanticweb.org
– 제출 현황
• Creating voiD Descriptions for Web-scale Data
• HadoopRDF : A Scalable RDF Data Analysis System
• Scalable Online Analysis of Semantic Web Data
• High Performance Semantic Factoring of Giga-Scale Semantic
Graph Databases

35. • 구조적 데이터 규모가 작다
– 기존의 Annotation용 Vocaburary 적극 활용 필요
– 자동 솔루션 이용
• Open Calais (Thomsons Reuters) for news
• Zemanta (startup) for blog posts
• LOD간 링크가 적다 (only 5% in LOD)
– 수작업, 데이터 마이닝 (고전적인 방법)
– Google Base API (데이터 입력으로 연결 작업)
– R2R 프레임웍 (SPARQL 기반 맵핑 솔루션)
• 서비스 방법이 없다
– 시맨틱 네비게이션의 이상이 랭킹 방법이 필요
– 데이터가 너무 전문적이어서 킬러 앱이 없음
– 의료 및 콘텐츠 분야 적극 육성 필요

36. 결론
• LOD 기반 검색 서비스의 한계
– 사용자에게 친숙한 검색 UI 및 킬러 앱 부재
– 대용량 RDF 처리 시간 및 SPARQL 쿼리 처리 시간
– LOD의 데이터 규모 및 링크의 문제
• 해결 방안
– 기존 검색 서비스와 연계한 서비스 창출 필요
– 클라우드 기반 시스템을 이용한 데이터 처리 적극 활용
– LOD 기반 데이터의 링크 솔루션 활용

37. Announcement!
• Daum에서 국내 최초로 영화 LinkedData
레포지터리 제공 예정 (2011년 1월)
• 서울대 BikeLab에서는 대용량 LOD 검색 서
비스 연구 중
http://bike.snu.ac.kr