PIXIV SUMMER BOOT CAMP 2022 成果発表
•
0 gostou•1,498 visualizações
2022年9月に参加した、PIXIV SUMMER BOOT CAMP 2022 ImageFluxコースの成果発表スライドです。Pixiv社からの許可を得て公開しています。
Recomendados
Mais conteúdo relacionado
Último
Último (7)
Destaque
Destaque (20)
PIXIV SUMMER BOOT CAMP 2022 成果発表
- 1. GIFから12倍速くする ImageFluxコース PIXIV SUMMER BOOT CAMP 2022 筑波大学 momeemt / 浅田睦葉 2022.9.28
- 2. 2 自己紹介 ● 筑波大学 情報学群 情報科学類 1年次 ● Nim / FFmpeg ● 趣味: インディーズバンドとお笑い ○ 35.7とダウ90000が好きです ● Twitter: @momeemt momeemt ImageFluxコース
- 3. 3 nontanさん usaさん terryさん hayaさん 配信技術部 メンター サブメンター
- 5. 5 ● GIFとは複数枚の画像をコマ送りにしてアニメーションにできる 画像ファイルフォーマットの こと ● Webブラウザでも標準的にサポート ● ImageFluxもサポートしている GIF？ ▲こういうの
- 6. 6 ● H.264が行うフレーム間予測というメチャクチャ賢い圧縮ができない ○ → ファイルサイズが大きくなるので配信コストが高い ● エンコードが遅い ○ どうして... GIFの問題点 地球も泣いている
- 7. ● H.264とは動画圧縮規格の1つ ● 「.mp4」「.mov」「.m4v」などおなじみ（？）の拡張子を持つ動画は H.264コーデックによっ てエンコード（圧縮）されている ● 軽い！速い！ 7 H.264？
- 8. 8 ● FFmpegは映像や音声を処理できる伝統のライブラリ ● 膨大なコーデックやファイル形式、メディアをサポートしている ● コマンドラインツールとしては有名だが libavcodec等のAPIを直接叩くことも ○ 今回はこっち FFmpeg
- 11. 11 ● H.264コーデックを手に入れる ● エンコードに必要な設定を行う ● 書き出し先である映像ストリームを準備する ● フレームをエンコードしてパケットに格納して書き出す H.264エンコーダを呼び出す
- 12. 12 ● cgoはCとGoを相互運用する仕組み ○ FFmpegの各種APIはCで記述されているのでこれを使って呼び出す ○ GoのFFmpegラッパーではうまくいかなかったので途中で使うのをやめた cgo
- 14. 14 ● VLCやブラウザで視聴可能なmp4ファイルを出力できた ● QuickTimeではブラックスクリーンになり見れない ○ 気難しい できた mp4になった地球 困る
- 15. 15 ● ImageFlux上でGIFをmp4に変換する ● URLで f=mp4 というパラメータを与えるとmp4が返ってくるようにしたい ImageFluxでmp4変換をサポートする
- 16. 16 ● これまでは書き出すためにavio_open 関数を呼んでいた ○ URLを受け取って書き出し先を確立する ● しかし、ImageFluxではHTTPのレスポンスとして書き出す必要があるので、io.Writer に書 き出さなければならない ● そこでカスタムなAVIOContext を作成して io.Writer を繋ぎ合わせる I/Oを繋ぎ合わせる
- 17. AVIOContext *allocIOContext(void *bridge) { int bufferSize = 4096; uint8_t *buffer = (uint8_t *)av_malloc(bufferSize); return avio_alloc_context( buffer, bufferSize, 1, bridge, 0, golibmp4BridgeWriterWrite, golibmp4BridgeSeek ); } void freeIOContextBuffer(AVIOContext *ctx) { av_free(ctx->buffer); } I/Oを繋ぎ合わせる C側から関数ポインタを渡す 17
- 20. ● ImageFluxは io.Writer を受け取る関数が処理の基本単位になっている ○ io.Writer はシークできることが保証されていないのでシークできない ● エンコードする時にシーク可能なバッファに書き込んで、まとめて書き出す ○ メンターのnontanさんが seekbuf を実装してくださった 実装しておきました 20 I/Oを繋ぎ合わせる ありがとうございます🙏
- 22. 22 ● 利用しやすいOpenH264に差し替える ● libopenh264をビルドしてインストール（pkg-configファイルの生成） ● libopenh264が生成した共有ライブラリを削除して Ciscoがビルドして頒布している共有ラ イブラリに差し替える ● OpenH264を有効にしてFFmpegをビルド OpenH264への差し替え
- 28. 28 ● color.NRGBA 型が color.Color 型にBoxingされる際にメモリアロケーションがされまくっ ていた ○ → image.NRGBA 型にアサーションすることでアロケーションを回避 エンコード最適化
- 29. ● 元のGIFエンコードよりも12.2倍 高速になった ● また、メモリ確保回数はGIFエンコードと比べて0.013% になった 29 結果 1回の実行に46ミリ秒 爆速
- 31. ● 色空間の変換で毎フレーム確保されていたバッファを使い回す ● 元のGIFエンコードよりも14.8倍 高速になった 31 NRGBA32→YUV420P変換 1回の実行に38ミリ秒
- 33. ● 自前の色空間変換を捨ててlibswscale を使ってみる ○ SWS_FAST_BILINEAR フラグで変換するとかなり速かった（約 17ms） ● 元のGIFエンコードよりも19.1倍 高速になった 33 libswscaleを使う 1回の実行に29ミリ秒
- 34. ● なったが、かなり変換時間にはブレがある ○ 自前の場合は安定して37ms〜42msかかっていた ○ swscaleでは27〜32msかかることは多いが、たまに60msになったりする 34 libswscaleを使う 1回の実行に29ミリ秒
- 35. 35 感想 ● 複数の環境で問題なく動作すること、いずれ本番環境に乗せることを見据えて品質を保 つことなどを強く意識させられた 8日間でした ● FFmpegを延々と触っていられて楽しかったです ○ 実装のためにドキュメントを普段よりじっくりと読めたので解像度がなんとなく上がった 気がします ● シェルが書けないとこんなに辛いんだなと思いました ○ 8日間で一番苦労したのはシェルスクリプトでした