RDBを中核としたXMLDBの開発

RDBを中核とした
XMLDBの開発

情報科学類 200711429 井上寛之
アドバイザ教官：北川博之, 天笠俊之, 川島英之

Tuesday, January 15, 13

XMLとは
拡張可能なマークアップ言語

データや文書を論理的な構造として表現できる

<筑波大学>
<情報学群>
<情報科学類>
<学生学籍番号= 200711429 >
<名前>井上寛之</名前>
......


XMLとは
筑波大学
情報学群
拡張可能なマークアップ言語
学生
情報科学類
井上寛之
データや文書を論理的な構造として表現できる

<筑波大学>
<情報学群>
<情報科学類>
<学生学籍番号= 200711429 >
<名前>井上寛之</名前>
......


データベースとは

特定のテーマに沿ったデータを集めて
管理し、容易に検索・抽出などの再利
用をできるようにしたもの

from Wikipedia: データベース


関係データベース
（Relational Database)

昨今「データベース」と言えば、「関係データベース」

関係モデルに従った厳密なテーブル設計

SQLによる問い合わせ
列名データ型 Nullの許容
Id int FALSE
Name nvarchar(100) TRUE
Belong int TRUE

SELECT Name FROM Person WHERE Belong = 3


XMLデータベース
（XML Database)

XML文書をそのままデータ構造として持つDB

または、そのまま持っているように見えるDB

厳密なデータ構造を必要としない → 非常に柔軟

問い合わせ言語には「XPath」「XQuery」を用いる
<?xml version="1.0" encoding="utf-8"?>
<Persons>
<Person id="0">
//Belong[@id= 3 ]/Name
<Name>Hiroyuki Inoue</Name>
<Belong id="3" />
</Person>


XMLデータベースの種類
ネイティブXMLデータベース

XML文書をそのまま管理する

リレーショナルXMLデータベース

XML文書をそのまま管理しているように見えるだけ

実はXML文書をテーブル形式に変換し、RDBに格納


目的
XMLDBがよくわからない


目的
XMLDBがよくわからない

作るのが手っ取り早い


作ったもの

RDB
SQL

Record


作ったもの
XMLDB
RDB
SQL XPath

Record XML


作ったもの
リレーショナル X M L データベース
XML文書をそのまま管理しているように見えるXMLDB

1. XMLから関係テーブルへの出力

2. CSVファイルからRDBテーブルへの入力

3. XPathからSQLへの変換

4. 最終的なXML出力


環境
Mac OS X 10.5（Mono)

Emacs/Mono Develop(IDE)

Windows Vista / XP（VMware Fusion)

Visual Studio 2008（Visual C#）

SQL Server 2005 Express Edition

Transact-SQL


1.XMLから関係テーブルへの出力

SAX : Simple Api for Xml
スタックを用いて効率的にXMLを処理する

文書の始まり/終わり ,
要素の始まり/終わり ,
属性 , テキストなどを見つけて、
イベント駆動的に処理をする

→ 省メモリで巨大なXMLを読む事ができる


<Persons>
<Person id="0">
<Belong id="3" />
</Person>
<Person id="1">
<Name>いのうえひろゆき</Name>
<Belong id="2" />
</Person>
</Persons>



Persons

Person id= 0 Person id= 1

Name Belong Name Belong

深さ

通し番号、深さ、ノードタイプ、名前、値、ノード番号、パス
0,0,StartElement,Persons,null,1,/Persons
1,1,StartElement,Person,null,1.1,/Persons/Person
2,1,Attribute,id,0,1.1,/Persons/Person
3,2,StartElement,Name,null,1.1.1,/Persons/Person/Name
4,3,Text,null,Hiroyuki Inoue,1.1.1.1,/Persons/Person/Name
5,2,StartElement,Belong,null,1.1.2,/Persons/Person/Belong
6,1,Attribute,id,3,1.1.2,/Persons/Person
10,3,Text,null,いのうえひろゆき,1.2.1.1,/Persons/Person/Name


2,1,Attribute,id,0,1.1,/Persons/Personencoding="utf-8"?>
<?xml version="1.0"
<Persons>
4,3,Text,null,Hiroyuki<Person id="0">
Inoue,1.1.1.1,/Persons/Person/Name
<Belong id="3" />
</Person>
<Person id="1">
<Belong id="2" />
</Person>
</Persons>


2,1,Attribute,id,0,1.1,/Persons/Personencoding="utf-8"?>
<?xml version="1.0"
<Persons>
<Persons>
4,3,Text,null,Hiroyuki<Person id="0">
Inoue,1.1.1.1,/Persons/Person/Name
<Person id="0">
<Belong id="3" />
<Belong id="3" />
</Person>
</Person>
<Person id="1">
<Person id="1">
<Belong id="2" />
<Belong id="2" />
</Person>
</Person>
</Persons>
</Persons>


2.CSVファイルからRDBテーブルへの入力



3.XPathからSQLへの変換

Jay と呼ばれるパーサジェネレータを用いた

が、使い方がよくわからない


3.XPathからSQLへの変換

Jay と呼ばれるパーサジェネレータを用いた

が、使い方がよくわからない

結局自分で簡単なパーサーを書きました


3.XPathからSQLへの変換 - 例1

//Belong

文章内のすべての「Belong」要素を取ってこい

SELECT * FROM Table WHERE Path LIKE '/%/Belong%'


3.XPathからSQLへの変換 - 例2

/Persons/Person[1]

Persons要素の子要素の、1番目のPerson要素を取ってこい

SELECT TOP(1) * FROM Table WHERE Path LIKE '/Persons/Person%'


4.最終的なXML出力

実装が不十分

出力されるが正しいXMLではない


まとめ

コード量

4000行前後（GUI部分を除く）

プロジェクトはオープンソースに

http://www.codeplex.com/ﬂoridum


まとめ
これまであまり意識しなかった「巨大なXML文書」
を意識したコードを書く事ができた

1GByte級のXMLを変換する事も大丈夫！

XML関連だけではなく、パーサ／パーサジェネレー
タなどの知識も身に付いた

しかし作り込みが甘いので、改善したい


RDBを中核としたXMLDBの開発

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (19)

Mais de Hiroyuki Inoue

Mais de Hiroyuki Inoue (7)

RDBを中核としたXMLDBの開発