OSC 2013 kansai @kyoto

栗元憲一
http://k2-garage.com
FPGAキット上のオープンソースソフト・
オープンソースハードを用いたシステム開発
13年8月2日金曜日

Agenda
introduction
1. 発表概要
2. FPGAって何?
main
3. JPEGアルゴリズム
4. softwareのみでmotionJPEG再生
5. 一部処理をhardware化
6. JPEG処理をhardware化
7. まとめ

自己紹介
SoC
カスタムデータパスハードマクロ
static timing analyzer
大学院で論理合成アルゴリズム研究
SoCの物理実装
不揮発メモリ開発
トランジスタばらつき測定システム
物理実装に近い分野を10年以上やってました。

android + hardware
http://k2-garage.com

書籍出版しました
表テーマ
ソフトウェア処理で重たい部分をハードウェア化
して高速化する手法を学ぶ
実習書です。
対象読者
SoC開発のエッセンスを学びたい人

概要
LAN上にあるサーバからmotionJPEGファイルをスト
リーミング。FPGA上のSoCで動画表示
このようなSoCを開発することでSoC開発のエッセン
ス(ソフト処理をハード処理にすることで高速化する)
を学習します。

こんな感じのSoCをFPGA上で動かします

開発フロー
ソフトウェア処理をハードウェ
ア処理に変更することでfpsが向
上。
ハードウェア処理が何故高速な
のかを学習。

Agenda
introduction
1. 自己紹介
2. FPGAって何?
main
5. YCbCr-RGB変換のみhardware化
6. JPEG処理すべてhardware化
7. まとめ

まずは普通のSoCの中身を知ろう(1)
texus instrumentsのDM3730
ARM Cortex A-8 (processor), GPU,.......
example
これ
beagleboard-xM

SoCはどうやって設計するの？
HDLで記述
-- controller part
if ((count_num = 0 and strobe1 = '1'
v.control_reg.counter :=
if(count_num = 73)then
v.control_reg.counter := (others =>
end if;
end if;
vready1 := '0';
論理合成ツール
テキスト工場毎に設計された
論理セルの接続ネット
(1000万ゲート以上!)
配置配線ツール
工場毎に設計された
論理セルのレイアウトを
自動で配置配線
工場で製造できるレイアウトが完成!

FPGA
FPGA内部構造
前ページのHDLを全く別の
方法で動作させます。
4∼5入力のSRAMの
メモリの中の値と
接続を変更することで
任意のlogicを実現

JPEG decode Algorithmの主な構造
huffman decode
量子化を戻す
2D-DCT変換
YCbCr-RGB変換

YCbCr-RGB変換
R = Y + 1.40200(Cr-128)
G = Y -0.34414(Cb-128) - 0.71414(Cr-128)
B = Y +1.77200(Cb-128)
単なる色空間の変換演算です！
今日はここにFocus!

Agenda
introduction
1. 自己紹介
2. FPGAって何?
main
5. YCbCr-RGB変換のみhardware化
6. JPEG処理すべてhardware化
7. まとめ

FPGA上にSoCを実現!

開発するSoC
SPARC V8 CPU, AHB・APBバス, ethernet mac......

最初にFPGA上にSoCをインプリ
Linuxをブートしてソフトウェアのみで
システムを動作させる。

aeroﬂex gaisler社からGPLライセンスのSoCが
公開されていて、前出の図からjpegモジュールを除
いたSoCが40種類ぐらいのボードでmakeコマンド
一つで実装できます。
この状態でrepositoryに含めてます

linuxについてもconﬁgurationさえすれば
動作するsnapgear-linuxが公開されてます。
この状態でrepositoryに含めてます

jpegソフトウェアについては定評のある
IJG(International Jpeg Group)のjpeg library
を使用します。
linuxのユーザランドアプリのディレクトリとして
repositoryに含めてます

softもhardもgitで管理
sourceforgeの MJPEG-LEON-FPGA に
repositoryがあります。
xilinx
altera
actel
ASICでも!
動作します

Boot!
とりあえず、フレームバッファにコンソール出力するとこうな
ります。以降はコンソールはUART。

IJG付属のjpeg表示ソフトを少し変更すると
motionJPEG表示できます。
遅い!!!!!! (こんなに小さな画面でもカクカク)
(ちなみに動作周波数40MHz)

ちなみにVGAサイズだと、、、

gprofを用いて処理時間を測定
Each sample counts as 0.01 seconds.
% cumulative self self total
time seconds seconds calls ms/call ms/call name
32.26 0.20 0.20 62424 0.00 0.00 decode_mcu
24.19 0.35 0.15 249696 0.00 0.00 jpeg_idct_islow
20.97 0.48 0.13 2448 0.05 0.05 ycc_rgb_convert
8.06 0.53 0.05 1722390 0.00 0.00 jpeg_ﬁll_bit_buffer
8.06 0.58 0.05 1 50.00 50.00 ﬁnish_output_bmp
3.23 0.60 0.02 2448 0.01 0.01 put_pixel_rows
1.61 0.61 0.01 236866 0.00 0.00 jpeg_huff_decode
1.61 0.62 0.01 4896 0.00 0.00 h2v1_fancy_upsample
0.00 0.62 0.00 62424 0.00 0.00 jzero_far
huffman decode, idct, YCbCr-RGB変換が占める

software処理でデータはどう流れる？ (1)
IU,cache,MMU

cache miss とMMU

framebuffer出力も同時動作
memory controllerの入り口もかなり厳しい

memory controller入り口がボトルネックの
場合は回避策を考える

以下の様な要素技術をマスター
・IPコア設計
・AMBAバスの理解とインターフェース設計
・デバイスドライバ開発 (この発表ではふれません)

AMBA busにつながるIPコア
YCbCr
-RGB

YCbCr-RGB演算をハード化
hardwareは並行動作可能
動作周波数を満たす限り直列接続可能

他にも考慮しないといけないものがある
BUS

Busって何? (1)
いつキャッシュミスが起きるかは
Hardware設計時にも分からないし、アプリケーション開発時にも分からない
busにつながるコアには
マスタとスレーブの２種
類ある

Busって何? (2)
bus上にマスタは複数あって要求が出るタイミングは
分からないので当然ぶつかる

Busって何? (3)
アービタが交通整理をしている

Busって何? (4)
どのようなタイミングで要求や応答が起きても
正しく動くように構造やプロトコルを規定したもの

YCbCr-RGBコア概要設計
processorから書き込まれるslave interfaceと
SDRAM上のframe bufferに書き込むmaster interface
両方を持ちます

実行すると
殆どfps変わらない!?

CPU使用時間の変化

データの流れ

huffman, dctもhardware化
FIFOやダブルバッファで接続
シェークハンドで連携

再生!
ソフト処理より遥かに大きな画面サイズで
動画再生

fpsが上がる理由

まとめ(1)

まとめ(2)

OSC 2013 kansai @kyoto

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a OSC 2013 kansai @kyoto

Semelhante a OSC 2013 kansai @kyoto (20)

Mais de Kenichi Kurimoto

Mais de Kenichi Kurimoto (6)

Último

Último (7)

OSC 2013 kansai @kyoto