Enviar pesquisa
Carregar
高度に最適化された移植可能なメモリマネージャ
•
Transferir como PPTX, PDF
•
22 gostaram
•
8,031 visualizações
D
DADA246
Seguir
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 31
Baixar agora
Recomendados
カスタムメモリマネージャと高速なメモリアロケータについて
カスタムメモリマネージャと高速なメモリアロケータについて
alwei
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
PPL 2022 招待講演: 静的型つき函数型組版処理システムSATySFiの紹介
PPL 2022 招待講演: 静的型つき函数型組版処理システムSATySFiの紹介
T. Suwa
よくわかるHopscotch hashing
よくわかるHopscotch hashing
Kumazaki Hiroki
モジュールの凝集度・結合度・インタフェース
モジュールの凝集度・結合度・インタフェース
Hajime Yanagawa
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
Glibc malloc internal
Glibc malloc internal
Motohiro KOSAKI
Paxos
Paxos
Preferred Networks
Recomendados
カスタムメモリマネージャと高速なメモリアロケータについて
カスタムメモリマネージャと高速なメモリアロケータについて
alwei
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
PPL 2022 招待講演: 静的型つき函数型組版処理システムSATySFiの紹介
PPL 2022 招待講演: 静的型つき函数型組版処理システムSATySFiの紹介
T. Suwa
よくわかるHopscotch hashing
よくわかるHopscotch hashing
Kumazaki Hiroki
モジュールの凝集度・結合度・インタフェース
モジュールの凝集度・結合度・インタフェース
Hajime Yanagawa
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
Glibc malloc internal
Glibc malloc internal
Motohiro KOSAKI
Paxos
Paxos
Preferred Networks
条件分岐とcmovとmaxps
条件分岐とcmovとmaxps
MITSUNARI Shigeo
地理分散DBについて
地理分散DBについて
Kumazaki Hiroki
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Koichiro Matsuoka
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
CODE BLUE
Rustに触れて私のPythonはどう変わったか
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
できる!並列・並行プログラミング
できる!並列・並行プログラミング
Preferred Networks
CuPy解説
CuPy解説
Ryosuke Okuta
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
Marp Tutorial
Marp Tutorial
Rui Watanabe
C++でできる!OS自作入門
C++でできる!OS自作入門
uchan_nos
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Preferred Networks
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
Golangにおける端末制御 リッチなターミナルUIの実現方法
Golangにおける端末制御 リッチなターミナルUIの実現方法
Masashi Shibata
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
HCPC: 北海道大学競技プログラミングサークル
π計算
π計算
Yuuki Takano
目grep入門 +解説
目grep入門 +解説
murachue
20分でわかるgVisor入門
20分でわかるgVisor入門
Shuji Yamada
Akkaで分散システム入門
Akkaで分散システム入門
Shingo Omura
20111028ssmjp
20111028ssmjp
Takeshi HASEGAWA
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Chiho Otonashi
Mais conteúdo relacionado
Mais procurados
条件分岐とcmovとmaxps
条件分岐とcmovとmaxps
MITSUNARI Shigeo
地理分散DBについて
地理分散DBについて
Kumazaki Hiroki
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Koichiro Matsuoka
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
CODE BLUE
Rustに触れて私のPythonはどう変わったか
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
できる!並列・並行プログラミング
できる!並列・並行プログラミング
Preferred Networks
CuPy解説
CuPy解説
Ryosuke Okuta
メタプログラミングって何だろう
メタプログラミングって何だろう
Kota Mizushima
明日使えないすごいビット演算
明日使えないすごいビット演算
京大 マイコンクラブ
Marp Tutorial
Marp Tutorial
Rui Watanabe
C++でできる!OS自作入門
C++でできる!OS自作入門
uchan_nos
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Preferred Networks
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
Golangにおける端末制御 リッチなターミナルUIの実現方法
Golangにおける端末制御 リッチなターミナルUIの実現方法
Masashi Shibata
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
HCPC: 北海道大学競技プログラミングサークル
π計算
π計算
Yuuki Takano
目grep入門 +解説
目grep入門 +解説
murachue
20分でわかるgVisor入門
20分でわかるgVisor入門
Shuji Yamada
Akkaで分散システム入門
Akkaで分散システム入門
Shingo Omura
Mais procurados
(20)
条件分岐とcmovとmaxps
条件分岐とcmovとmaxps
地理分散DBについて
地理分散DBについて
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Discordから バーチャルオフィス「Teamflow」 に乗り換えてみた 雑談を生む工夫
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
Master Canary Forging: 新しいスタックカナリア回避手法の提案 by 小池 悠生 - CODE BLUE 2015
Rustに触れて私のPythonはどう変わったか
Rustに触れて私のPythonはどう変わったか
できる!並列・並行プログラミング
できる!並列・並行プログラミング
CuPy解説
CuPy解説
メタプログラミングって何だろう
メタプログラミングって何だろう
明日使えないすごいビット演算
明日使えないすごいビット演算
Marp Tutorial
Marp Tutorial
C++でできる!OS自作入門
C++でできる!OS自作入門
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Golangにおける端末制御 リッチなターミナルUIの実現方法
Golangにおける端末制御 リッチなターミナルUIの実現方法
グラフネットワーク〜フロー&カット〜
グラフネットワーク〜フロー&カット〜
π計算
π計算
目grep入門 +解説
目grep入門 +解説
20分でわかるgVisor入門
20分でわかるgVisor入門
Akkaで分散システム入門
Akkaで分散システム入門
Semelhante a 高度に最適化された移植可能なメモリマネージャ
20111028ssmjp
20111028ssmjp
Takeshi HASEGAWA
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Chiho Otonashi
Linux の hugepage の開発動向
Linux の hugepage の開発動向
Naoya Horiguchi
Basic of virtual memory of Linux
Basic of virtual memory of Linux
Tetsuyuki Kobayashi
ファイルの隠し方
ファイルの隠し方
mfumi
ドメイン駆動で開発する ラフスケッチから実装まで
ドメイン駆動で開発する ラフスケッチから実装まで
増田 亨
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント
Kentaro Matsui
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
TechEd2010_T2-401_EffectiveHyper-V
TechEd2010_T2-401_EffectiveHyper-V
Kuninobu SaSaki
スマートフォン対応、気をつけたいトラブル
スマートフォン対応、気をつけたいトラブル
Hiroaki Wakamatsu
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Takano Masaru
Code Reading at Security and Programming camp 2011
Code Reading at Security and Programming camp 2011
Hiro Yoshioka
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
mmisono
Memcachedの仕組みと設定
Memcachedの仕組みと設定
Tatsuya Akashi
Programming camp code reading
Programming camp code reading
Hiro Yoshioka
Lars George HBase Seminar with O'REILLY Oct.12 2012
Lars George HBase Seminar with O'REILLY Oct.12 2012
Cloudera Japan
Programming camp 2008, Codereading
Programming camp 2008, Codereading
Hiro Yoshioka
Cloud os techday_0614
Cloud os techday_0614
Takano Masaru
コンテナで作る開発環境 (20161104 CodeIgniter Night)
コンテナで作る開発環境 (20161104 CodeIgniter Night)
智之 大野
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
infinite_loop
Semelhante a 高度に最適化された移植可能なメモリマネージャ
(20)
20111028ssmjp
20111028ssmjp
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Linux の hugepage の開発動向
Linux の hugepage の開発動向
Basic of virtual memory of Linux
Basic of virtual memory of Linux
ファイルの隠し方
ファイルの隠し方
ドメイン駆動で開発する ラフスケッチから実装まで
ドメイン駆動で開発する ラフスケッチから実装まで
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント
トランザクションの設計と進化
トランザクションの設計と進化
TechEd2010_T2-401_EffectiveHyper-V
TechEd2010_T2-401_EffectiveHyper-V
スマートフォン対応、気をつけたいトラブル
スマートフォン対応、気をつけたいトラブル
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Code Reading at Security and Programming camp 2011
Code Reading at Security and Programming camp 2011
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
Memcachedの仕組みと設定
Memcachedの仕組みと設定
Programming camp code reading
Programming camp code reading
Lars George HBase Seminar with O'REILLY Oct.12 2012
Lars George HBase Seminar with O'REILLY Oct.12 2012
Programming camp 2008, Codereading
Programming camp 2008, Codereading
Cloud os techday_0614
Cloud os techday_0614
コンテナで作る開発環境 (20161104 CodeIgniter Night)
コンテナで作る開発環境 (20161104 CodeIgniter Night)
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
Último
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
Último
(8)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
高度に最適化された移植可能なメモリマネージャ
1.
高度に最適化された移植可能 なメモリマネージャ
@DADA246
2.
自己紹介 • ゲームプログラマやってます • 得意分野
C++,C#,GPU,javascript,PHP • 低レベル係とか描画関係とかCIとかwebと か • Steam、Origin、iPhoneで海外ゲームを遊ん でいます
3.
はじめに • 元ネタはGame Engine
Gems2の A Highly Optimized Portable Memory Managerです • Kindle Editionが$55.92で買えます
4.
アジェンダ •
ゲームでのメモリマネージャについて • Small Block Allocator • Medium Block Allocator • Large Block Allocator
5.
メモリマネージャ • メモリマネージャは重要 • 悪いメモリマネージャは処理速度の低下
や、フラグメンテーションによるクラッ シュを引き起こす →枯れたコードを参考にする →dlmalloc
6.
dlmalloc • Doug Lea’s
malloc • http://g.oswego.edu/dl/html/malloc.html • 非常に良い実装だが、汎用的である →ゲーム用にカスタマイズする
7.
dlmalloc • 確保サイズごとにリストが用意されてい
る 確保サイズ(byte) チャンク 16 24 32 40 … 2^31
8.
ゲーム用メモリマネージャ •
キャッシュラインを意識する • 空き領域を検索しない • 高速なアロケート • デバッグの容易性 • バッファオーバーフローしても管理領域 が壊れにくい • フラグメンテーションが起きにくい
9.
管理領域 ✕
○ 確保領域A 確保領域A 管理領域A 確保領域B 確保領域B 管理領域A 管理領域B 管理領域B 確保領域Aがバッファオー 確保領域Aがバッファオー バーフローすると、管理領 バーフローしても、管理領 域を破壊してしまう 域は破壊されない →バグの追跡が困難になる
10.
フラグメンテーション • 大きなメモリアロケーションの中に小さ
なメモリアロケーションが混ざると発生 する 使用 空き alloc x2 free 空き 使用 使用 空き 空き
11.
フラグメンテーション対策 • ページングを活用する WindowsのVirtualAlloc() • VirtualAllocは処理が重いので、 多発する小さなメモリ確保には適さない →メモリ確保量によってアロケータを分 ける
12.
複数のアロケータ メモリ確保量(byte)
メモリ確保頻度 0 少ない Small Block Allocator 256 Medium Block Allocator 4096 Large Block Allocator 多い
13.
基本設計 • 各種アロケータはページ単位で動作する →x86を考えて4kbyte単位にする • ページ同士はリンクリストで管理する
14.
Small Block Allocator •
4kbyte/ページで構成 • 32byte/block • 1ページごとに 管理領域として1ブロック使用 →127ブロックの空き
15.
Small Block Allocator •
確保サイズごとにページを用意する 確保サイズ(byte) 16 24 32 40 … 256
16.
管理領域 • 32byte=1ブロック • ブロックの空き状態をビット列で管理す
る struct Header { uint32_t emptyBlockBit[4];//空きブロックのビットマスク uint32_t emptyBlockCount;//空きブロック数(ベリファイ用) uint32_t blockSize;//ブロックサイズ uint32_t* pPrePage;//前ページへのポインタ uint32_t* pNextPage; //次ページへのポインタ }
17.
alloc • 空きブロックのあるページを探す • 空きブロックがあるページが見つかったら、
空きブロックのビットマスクをスキャンして 確保アドレスを確定する → x86ならbsf命令が使える • 空きブロックが無かったらOSからページアロ ケーションする
18.
ページ管理 • 空き領域の有無でページのリンクリストを分
ける →空き領域を検索しない 空き領域無し 空き領域あり 16 16 24 24 32 32 … …
19.
free • freeするアドレスからページを算出する →管理領域を見つけられる
int32_t pageAddress=(address/4096)*4096; • 空きブロックがなくなったらOSにページ を返す
20.
パフォーマンス • x86のキャッシュラインは64byte → Small
Block Allocatorの管理領域は32byteな ので、キャッシュラインをまたがない • 1ページ 4kbyteなので、今時のL1キャッ シュに載る
21.
Medium Block Allocator •
16kbyte/ページで構成 • 128byte/block • 1ページごとに 管理領域として1ブロック使用
22.
Medium Block Allocator •
1ページで複数の確保サイズを扱う →メモリの利用効率を上げるため 確保サイズ(byte) 384 512 640 768 … 4096
23.
allocとfree • Small Block
Allocatorとほぼ同じ • allocは可変長のメモリサイズを扱っている ため、Small Block Allocatorよりは処理が重 め • freeは空きブロックがなくなったらOSに ページを返す
24.
ページ管理 • どれだけ空き領域があるかをリンクリス
トで管理する →空き領域のあるページを高速に探す 空き領域(byte) 0 128 256 384 …
25.
Large Block Allocator •
allocごとにページアロケーションする →大きなメモリ確保なので発生頻度が低い • シンプルなリンクリストで実装できる
26.
応用 • Small Block
Allocatorのアプローチで Mediumサイズのメモリ確保も行えるの では? • 1ブロックサイズをメモリ確保サイズに よって変えても良いのでは?
27.
まとめ • dlmallocなどの枯れたコードを参考にす
る • ページアロケーションでフラグメンテー ションを抑える • アロケーションサイズによってアルゴリ ズムを分けることで高速化する
28.
まとめ • メモリマネージャを扱ってみました • 良いメモリマネージャがあれば高レベル
ライブラリも使いやすくなります
29.
次のステップ • マルチスレッド化 http://www.gdcvault.com/play/1014602/Multic ore-Memory-Management-Technology-in • メモリデバッグツール
30.
Question?
31.
ご清聴ありがとうございました
Baixar agora