جلسه سوم سلسله نشست های تحلیل با رویکرد یادگیری ژرف بر بستر کلان داده

1. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3)
‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬1
Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬
22‫دی‬1395
‫محسن‬‫فیاض‬

2. ‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
2
‫مروری‬
‫گذشت‬ ‫مباحث‬ ‫بر‬‫ه‬
‫متصل‬ ‫تمام‬ ‫شبکه‬‫محلی‬ ‫متصل‬ ‫شبکه‬‫کانولوشن‬ ‫شبکه‬

3. ‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
3
‫آموزش‬
‫عصب‬‫های‬‫شبکه‬‫ی‬

4. ‫شبکه‬ ‫آموزش‬
‫اولیه‬ ‫های‬ ‫وزن‬
‫اولیه‬ ‫بینی‬ ‫پیش‬
‫هدف‬ ‫با‬ ‫اختالف‬
‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬4 ‫محسن‬‫فیاض‬

5. ‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬5 ‫محسن‬‫فیاض‬

6. ‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬6 ‫محسن‬‫فیاض‬

7. ‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬7 ‫محسن‬‫فیاض‬

8. ‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬8 ‫محسن‬‫فیاض‬

9. ‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬9 ‫محسن‬‫فیاض‬

10. ‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬10 ‫محسن‬‫فیاض‬

11. ‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬11 ‫محسن‬‫فیاض‬

12. ‫محوشدگی‬‫گرادیان‬
•‫های‬ ‫تابع‬‫فعالساز‬
Sigmoid
o‫محوشدگی‬‫گرادیان‬
o‫خروجی‬ ‫میانگین‬ ‫بودن‬ ‫صفر‬ ‫غیر‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬12 ‫محسن‬‫فیاض‬
1
( )
1 t
S t
e


𝜕𝑆(𝑡)
𝜕𝑥
= 𝑆(𝑡)(1 − 𝑆 𝑡 )

13. ‫محوشدگی‬‫گرادیان‬
•‫های‬ ‫تابع‬‫فعالساز‬
Tanh
o‫مشکل‬ ‫دارای‬‫محوشدگی‬
o‫صفر‬ ‫غیر‬ ‫میانگین‬ ‫مشکل‬ ‫رفع‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬13 ‫محسن‬‫فیاض‬
tanh x = 2𝑆 2𝑥 − 1
S(x) = Sigmoid(x)
𝜕tanh(𝑥)
𝜕𝑥
= 1 − 𝑡𝑎𝑛ℎ2
(𝑥)

14. ‫محوشدگی‬‫گرادیان‬
•‫تابع‬‫های‬‫فعالساز‬
•ReLU
•‫افزایش‬‫سرعت‬‫همگرایی‬‫گرادیان‬
•‫عملیات‬‫ریاضی‬‫ساده‬
•‫مشکل‬:‫مرگ‬‫غیر‬‫قابل‬‫احیا‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬14 ‫محسن‬‫فیاض‬
( ) max(0, )f x x
𝑥 > 0,
𝜕𝑓(𝑥)
𝜕𝑥
= 1
𝑥 = 0,
𝜕𝑓(𝑥)
𝜕𝑥
= 0
𝑥 < 0,
𝜕𝑓(𝑥)
𝜕𝑥
= 0
*‫برای‬x=0‫مشتق‬ReLU‫شود‬ ‫می‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫صفر‬ ‫با‬ ‫برابر‬

15. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
‫محسن‬‫فیاض‬‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬15

16. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬16 ‫محسن‬‫فیاض‬

17. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
GMP
Fully Convolutional VGG + GMP
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬17 ‫محسن‬‫فیاض‬

18. ‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
18
‫انواع‬‫مختلف‬
‫های‬ ‫شبکه‬‫عصب‬‫ی‬

19. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫متصل‬ ‫تمام‬ ‫عصبی‬ ‫شبکه‬
‫بازنمایی‬ ‫فضای‬ ‫تغییر‬ ‫برای‬ ‫مناسب‬
‫بندی‬ ‫دسته‬ ‫برای‬ ‫مناسب‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬19 ‫محسن‬‫فیاض‬

20. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫کانولوشن‬ ‫عصبی‬ ‫شبکه‬
‫تصویر‬ ‫پردازش‬ ‫برای‬ ‫مناسب‬
‫صوت‬ ‫و‬ ‫متن‬ ‫پردازش‬ ‫در‬ ‫استفاده‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬20 ‫محسن‬‫فیاض‬

21. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫بازگشتی‬ ‫عصبی‬ ‫شبکه‬
‫متغیر‬ ‫طول‬ ‫با‬ ‫دادگان‬ ‫برای‬ ‫مناسب‬
‫متن‬ ‫پردازش‬
‫صوت‬ ‫پردازش‬
RNN [2] LSTM [2]
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬21 ‫محسن‬‫فیاض‬

22. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫ها‬ ‫خودرمزکننده‬
‫نظارت‬ ‫بدون‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫یادگیری‬
‫ها‬ ‫زمینه‬ ‫تمامی‬ ‫در‬ ‫استفاده‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬22 ‫محسن‬‫فیاض‬

23. ‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
23
‫کارهای‬ ‫بررسی‬
State of the Art

24. ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫آموزش‬
‫از‬ ‫استفاده‬ ‫با‬ ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫یادگیری‬CNN‫ها‬
•Multiple Labeling
•Weakly Localization
•‫اینترنت‬ ‫در‬ ‫موجود‬ ‫دادگان‬ ‫از‬ ‫استفاده‬ ‫امکان‬
Is object localization for free? - Weakly-supervised learning with convolutional neural networks,
Oquab et. al., CVPR 2015
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬24 ‫محسن‬‫فیاض‬

25. ‫نظارت‬ ‫بدون‬ ‫آموزش‬
‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫از‬ ‫تصویری‬ ‫های‬ ‫بازنمایی‬ ‫بینی‬ ‫پیش‬
•‫اینترنت‬ ‫روی‬ ‫بر‬ ‫موجود‬ ‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫عظیم‬ ‫حجم‬ ‫روی‬ ‫بر‬ ‫آموزش‬
•‫نظارت‬ ‫بدون‬ ‫سامانه‬ ‫خروجی‬ ‫روی‬ ‫بر‬ ‫بندها‬ ‫دسته‬ ‫آموزش‬
Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬25 ‫محسن‬‫فیاض‬

26. Distributed Training:
From Karpathy’s slides
‫شده‬ ‫توزیع‬ ‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬26 ‫محسن‬‫فیاض‬

27. ‫شده‬ ‫توزیع‬ ‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬27 ‫محسن‬‫فیاض‬
[Large Scale Distributed Deep Networks, Jeff Dean et al., 2013]
‫دادگان‬ ‫توزیع‬ ‫شبکه‬ ‫توزیع‬

28. ‫منابع‬
• [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation-
algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017
• [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬28 ‫محسن‬‫فیاض‬

29. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3)
‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫داده؛‬ ‫کالن‬ ‫کارگروه‬
‫تشکر‬ ‫با‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬29
Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬
22‫دی‬1395
‫محسن‬‫فیاض‬