C Extension and GC in Ruby

1. メモリアロケーションからみた
拡張ライブラリに大切な
こと
または、Ruby内部構造の基礎知識
日本Rubyの会 etc.
樽家 昌也

2. 自己紹介
• 樽家 昌也 (MasayaTARUI)
• twitter id: @taru
• ircnet: tal_
• freenode: tarui
• 平日はふつうに？サラリーマン。
• 年に1,2度、networkと無縁な生活を求めて旅に
• 仕事で直接Rubyが対象になることは今のところない
• Rubyを使い始めてから13年目ぐらい?

3. これまで
1. Rubyを使い始める
2. よくわからない不具合はRubyレベルのWorkaroundで適当にごまかす
3. メモリリークとかSEGVに泣かされる
4. 仕方がなく、Cコードに手を入れる
5. Rubyの独特な構成が面白くてCコードに手を入れる ← Now!!

4. 今日の対象者・・・
『NKT77さん「Hadoop with Ruby-僕がPythonを選んだ理由」』
『初心者からコミッターまで、更にPythonistaやらC#erなど幅広い言語
経験を元に、日頃のふとした疑問や事例を紹介できたらとおもいま
す。』
Σ(ﾟдﾟ;)
どうやらawayらしい。。。
.rbなのに、おかしくね？
(http://kawasakirb.doorkeeper.jpから引用)

5. なに話そう…
Rubyがよくわからない人にもわかるプレゼン
＝C言語コードについてのプレゼン。
これしかない

6. メモリアロケーションからみた
拡張ライブラリに大切なこと
アジェンダ
• 拡張ライブラリ書き方復習
• Ruby のGC
• 拡張ライブラリ by C++ 準備不足によりキャンセル ﾎﾝﾄｳﾆｽｲﾏｾﾝ
• おまけ：最近のGC事情

7. 拡張ライブラリ
•RubyにC言語など他言語で書かれたプログラムを
リンクさせて動かす仕組み
•Rubyは拡張ライブラリが書きやすい言語と言われて
いる [誰]
•プロトタイピングをPure Rubyで行ってその後不満が
あれば拡張ライブラリを書けばいいと思います！

8. はじめての拡張ライブラリ
1. Cコードを用意する
2. ruby –r mkmf –e ”create_makefile(’sample’)”
3. make
4. ruby –r ./sample –e”p JUST_CLASS”
5. 出来上がり

9. サンプルライブラリAYB
• 全ての基地を頂くライブラリ
• AYBのオブジェクトのbelong_toメ
ソッドに文字列を渡すと、その中
のbaseをXXXXと塗りつぶして最後
に”All your base are belong to us”と
のたまってくれます
• C拡張ライブラリなのに中でsplitと
かconcatとか呼んでますが今回は
気にしないでください・・・
• “base”で分割してforループ
で”XXXX”つけて最後だけ特別な
メッセージを付ける

10. 実行してみる
を実行
めでたく全部の基地をいただけました。

11. もっと基地がほしい
error！ これはrubyのbugですか？
いいえ。拡張ライブラリのです。

12. 悪いところ
RubyのGCってmark&sweep
だから保守的でmark漏れな
んて起こらないんじゃない
の！？
大体この辺が悪くて、利用中のデータが
Garbage Correct されてしまっている
Arrayの中身を走査している最中に
Arrayが消されてお亡くなりに。
※こんな恣意的なコードになったのはなかなかチェックから漏れなかったから・・・

13. ここで、あまり世間で聞かない話をひとつ
• RubyのGCはRubyオブジェクトの先頭に対してしか調査をしない！
• ArrayとかStringの大きな配列はGCで管理されていない領域に確保される。
(多分、もう当たり前すぎてだれも言及しない…のか？)
Ruby
Object
ただ単に
mallocで
確保され
た領域
保護対象ここだけ
RARRAY_PTR

14. どうしてmark漏れが発生し、Rubyが落ちる
のか
Ruby
Object
ただ単に
mallocで
確保され
た領域
保護対象ここだけ
RARRAY_PTR
1. RARRAY_PTRで配列の
先頭アドレスをもらう
2. もうこちらのアドレスは使わないので、
レジスタorスタックは再利用可能！
4. このオブジェクトは使われてないと判断。
オブジェクトに関係するものを
RARRAY_PTR先も含めて全部回収。
3. GC発生
5. RARRAY_PTR先の
内容が壊れる

15. Why?
Ruby
Object
normal
• 単純に言えば効率のため
Ruby
Object
Ruby
Object
Ruby
Object
normal normal
normal
normal
norm
al
小さい
固定長
heaps_slot
名前すらない？
malloced memory？
こちらの領域の
データが何を意味
するかはRubyObject
が管理
こちらのアドレスに関係するデータだけを見ればいい
固定長なので簡単に枝切可能

16. 対処方法
Ruby
Object
ただ単に
mallocで
確保され
た領域
保護対象ここだけ
RARRAY_PTR
1. RARRAY_PTRで配列の
先頭アドレスをもらう
2. もうこちらのアドレスは使わないので、
レジスタorスタックは再利用可能！
4. このオブジェクトは使われてないと判断。
オブジェクトに関係するものを
RARRAY_PTR先も含めて全部回収。
3. GC発生
5. RARRAY_PTR先の
内容が壊れる
ちょっと
待った！！

17. 使っているよマークの挿入
RB_GC_GUARDを挿入することにより、そのオブジェクトを利用する事を
コンパイラに通知
無事に基地をいただけた（忘れかけてたけど）

18. RB_GC_GUARD() とは
•そこに広がって
いるのは黒魔術。
余人は決して手
を出してはいけ
ない。。。
• 正直、何をしているのかよくわからない
• コンパイラに値をスタックに残しておくように出せる指示はない
• いつコンパイラの最適化によって無効になるかわからない過酷な世界

19. 気をつけるべき点
• RubyのAPIにはいくつかchar *を引数にとるものがありますが…
(rb_str_newやrb_reg_newなど)
• ふつうにあります
• ただ、これに関してはRubyのAPI側で何とかすべきじゃないかと
思わなくもない。 malloced memoryに対して一部保護を入れるなど
GC！ObjectAの中身
ObjectAの回収
Ruby Core
ObjectAの中身を使おうとする
死亡！

20. 所で500000回廻さないと出てこないBugと
か
やってられない
GC.stress = true
1回で十分に

21. まとめ
• 拡張ライブラリは簡単にかけるよ
• たまには気をつけておかないと、GCで痛い目をみるよ
• でも、たまにだけだよ
• RubyのGCは完全に保守的なわけではなくて、Ruby Objectが入ってる
Heapsしかみないよ
• RB_GC_GUARDは今の所、コンパイラの最適化とのおにごっこ
• 拡張ライブラリを書いたら一度はGC.stress=1で走らせておこう
• mallocで確保しているだけの領域にもなんらかの手当てがほしいなー
• (最近もRuby本体で今回の例と同じバグがありました…)
Rubyの書きやすさ＋C言語のスピードの世界へようこそ！

22. おまけ： 最近のGC事情
•がんがん 手が入ってます
•Bitmap marking すばらしい
•RGenGC すばらしい

23. hashベンチマーク(ソースは後)
mark user system total real
193p374 22.004 30.46 0.54 31 31.08143
200p195 17.09916 25.79 0.3 26.09 26.1964
r41094 14.4588 28.12 1.34 29.46 29.62575
r41095 12.13761 25.9 1.29 27.19 27.27527
r41097 7.250059 18.98 1.05 20.03 20.10459
r41128 6.633022 18.35 1.12 19.47 19.59778
r41325 1.272689 10.79 0.64 11.43 11.52074
r41634 0.870261 9.07 0.37 9.44 9.456588
0
5
10
15
20
25
30
35
193p374 200p195 r41094 r41095 r41097 r41128 r41325 r41634
mark
user
system
total
real
一部

24. 回数 r41634 Python 2.7.4
1000000 2.809293 1.559357
2000000 5.932282 3.421049
3000000 8.812863 5.801263
Pythonと適当に比較してみた(ソースは後)
Oprofile 取ってみたところ、
支配的なのはst_lookupとsiphashが半々ぐらい

25. ご静聴ありがとうございました

26. hashベンチマーク ソース

27. Pythonとの比較用ソース