PBL1-v1-005j.pptx
27 de Dec de 2022•0 gostou•4 visualizações
Baixar para ler offline
Denunciar
Dispositivos e hardware
IMAX3: Amazing Dataflow-Centric CGRA and its Applications I present this slide to all hungry engineers who are tired of CPU, GPU, FPGA, tensor core, AI core, who want some challenging one with no black box inside, and who want to improve by themselves.
NAISTSeguir
Mais conteúdo relacionado
Similar a PBL1-v1-005j.pptx
搜狐Pv insight(py)技术交流bj
Ch5 範例hungchiayang1
Avm2虚拟机浅析与as3性能优化（陈士凯）FLASH开发者交流会
![[Flash开发者交流][2010.05.30]avm2虚拟机浅析与as3性能优化（陈士凯）](https://cdn.slidesharecdn.com/ss_thumbnails/flash2010-05-30avm2as3-101007221113-phpapp01-thumbnail.jpg?width=384&height=256&fit=bounds)
[Flash开发者交流][2010.05.30]avm2虚拟机浅析与as3性能优化（陈士凯）Shanda innovation institute
2012.xciting400 fi使用手冊(12.10.29)Lamb Chan
系統程式 -- 第 2 章鍾誠 陳鍾誠
![[Flash开发者交流][2010.05.30]avm2虚拟机浅析与as3性能优化（陈士凯）](https://cdn.slidesharecdn.com/ss_thumbnails/flash2010-05-30avm2as3-101007221113-phpapp01-thumbnail.jpg?width=2048&height=1162&fit=bounds)
![[嵌入式系統] MCS-51 實驗 - 使用 IAR (1)](https://cdn.slidesharecdn.com/ss_thumbnails/mcs51iarpart1-150613071712-lva1-app6892-thumbnail.jpg?width=2048&height=1162&fit=bounds)
Mais de NAIST
PBL1-v1-200j.pptxNAIST
PBL1-v1-200e.pptxNAIST
PBL1-v1-100j.pptxNAIST
PBL1-v1-100e.pptxNAIST
PBL1-v1-013j.pptxNAIST
PBL1-v1-013e.pptxNAIST
Último
OSU毕业证成绩单uytrfhf
PITT毕业证成绩单trefdgfd
UF成绩单hgkgfhf
Cornell毕业证学位证trefdgfd
UTD毕业证学位证uytrfhf
NAU学位证-文凭hnghfd
PBL1-v1-005j.pptx
- 1. CPU GPU Ultimate CGRA w/ high-speed compiler CGRA for Energy-efficient Cryptography Beyond-Neuromorphic Systems Non-Deterministic Computing 1 ナレータ VOICEVOX:もち子(cv 明日葉よもぎ) はらぺこエンジニアに贈るCGRAの世界2022 （5. 機械学習編） スパコンからIoTまで 省エネ社会に AI+BCだけじゃない超効率計算手法
- 2. 20220202 2 機械学習＝トレーニング＋インファレンス
- 3. 20220202 3 みんな知ってる畳み込み演算 for (ic=0; ic<IC; ic++) { /* set input channel */ ip0 = &in[ic*M*M]; /* top of input */ for (row=1; row<M-1; row++) { /* image loop */ for (col=1; col<M-1; col++) { for (oc=0; oc<OC; oc++) { /* set output channel */ op = &out0[oc*M*M+row*M+col]; /* top of output */ kp = &ker[(oc*IC+ic)*K*K]; kidx = 0; for (y=-((K-1)/2); y<=(K-1)/2; y++) { /* kernel loop */ for (x=-((K-1)/2); x<=(K-1)/2; x++) { if (ic == 0 && kidx == 0) *(float*)&*op = *(float*)&ip0[(row+y)*M+col+x] * *(float*)&kp[kidx]; else *(float*)&*op += *(float*)&ip0[(row+y)*M+col+x] * *(float*)&kp[kidx]; kidx++; } } } } } } In-ch#0,1,2 Out-ch row In-ch#3,4,5 In-ch#6,7,8 In-ch#9,A,B
- 4. GPU: unpack and matrix-multiplication (x9 memory space) 1 -1-1-1 1 -1-1-1 1 1 -1-1-1 1 -1-1-1 1 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 unpack_patch2col 1.0 1.1 1.1 1.2 1.2 1.3 1.0 1.1 … 1.1 1.2 : 1.2 1.3 … 1:25 2.0 2.1 1.26 2.1 2.2 1.27 2.2 2.3 … 1.25 25.0 :… 1.26 25.1 … 1.27 25.2 25.1 … 25.25 25.2 … 25.26 25.3 … 25.27 … 2.25 26.0 : 2.26 26.1 … 2.27 26.2 26.1 … 26.25 26.2 : 26.26 26.3 … 26:27 : : : 2.2 2.3 … : : : 2.27 3.4 3.5 : : : … 3.27 27.2 : : : 27.3 … 27:27 3x3 26x26 28 28 … … … … : … : : : : 4.5 4.27 4.4 x100 x100 copy 0.0 0.1 … 0.25 0.1 0.2 … 0.26 0.27 … 0.3 0.2 1 -1 -1 -1 1 -1 -1-1 1 C M&A CPU/GPUの畳み込み演算 20220216 4
- 5. 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 … … … … : … : : : : 4.5 4.27 4.4 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : … … … … … 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : … … … … … 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : … … … … … -1 -1 1 -1 1 1 1 -1 -1 … 1 -1 … 1 1 … 1 : : : : … … … … … 1 -1 1 -1 1 1 1 -1 -1 … 1 -1 … 1 1 … 1 : : : : … … … … … 1 -1 -1 1 -1 1 1 1 -1 -1 … -1 … 1 1 … 1 : : : : … … … … … 0.0 0.1 -1 1 OCH#0 OCH#1 OCH#2 OCH#0 OCH#1 OCH#2 OCH#0 OCH#1 OCH#2 0.0 0.1 0.2 1.0 1.1 1.2 0.25 1.25 : : : … … … 0.0 0.1 0.2 1.0 1.1 1.2 0.25 1.25 : : : … … … 0.0 0.1 0.2 1.0 1.1 1.2 0.25 1.25 : : : … … … 0.0 0.1 0.2 1.0 1.1 1.2 0.25 1.25 : : : … … … １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ １ -１ -１ -１ １ -１ -１ -１ １ 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 … … … … : … : : : : 4.5 4.27 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 … … … … : … : : : : 4.5 4.27 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 … … … … : … : : : : 4.5 4.27 4.4 ICH#0 ICH#0 ICH#1 ICH#2 ICH#3 ICH#0 ICH#1 ICH#2 ICH#3 OCH#0 OCH#1 1 1 FMUL FMA ICH#1 ICH#5 54 units Kernel bcast ICH#0 bcast ICH#1 bcast Drain 4 columns 20220202 5 IMAXの畳み込み演算
- 6. 20220101 6 IMAXの畳み込み演算
- 7. 20220101 7 IMAXの行列積
- 8. for (row=0; row<M1; row++) { for (col=0; col<M2; col++) { for (n=0; n<L; n++) { if (n==0) C0[row*M2+col] = A[row*L+n] * B[n*M2+col]; else C0[row*M2+col] += A[row*L+n] * B[n*M2+col]; }}} 20220202 8 IMAXの行列積 32bit load⇒64bit hi/lo 64bit load⇒align free
- 9. imax() { Ull CHIP; Ull LOOP1, LOOP0; Ull INIT1, INIT0; Ull AR[64][4]; Ull BR[64][4][4]; Ull r0, r1, r2, r3, r4, r5, r6, r7, r8, r9, r10, r11, r12, r13, r14, r15; Ull r16, r17, r18, r19, r20, r21, r22, r23, r24, r25, r26, r27, r28, r29, r30, r31; Ull cc0, cc1, cc2, cc3, ex0, ex1; Ull cofs, rofs, oofs, k; for (top=0; top<M1/NCHIP; top+=RMGRP) { /* will be parallelized by multi-chip (M/#chip) */ for (blk=0; blk<L; blk+=H) { typedef struct {Uint i[8]} Ui8; Uint *a0[NCHIP]; Uint *a[H][NCHIP]; Ui8 *b[H], *b0[H], *b1[H], *b2[H], *b3[H]; Ui8 *c0[NCHIP]; Ui8 *c00[NCHIP], *c01[NCHIP], *c02[NCHIP], *c03[NCHIP]; for (k=0; k<H; k++) { b[k] = B+(blk+k)*M2; b0[k] = b[k]; b1[k] = (Uint*)b[k]+2; b2[k] = (Uint*)b[k]+4; b3[k] = (Uint*)b[k]+6; } for (CHIP=0; CHIP<NCHIP; CHIP++) { /* will be parallelized by multi-chip (M/#chip) */ a0[CHIP] = A+(CHIP*M1/NCHIP+top)*L; for (k=0; k<H; k++) a[k][CHIP] = a0[CHIP]+blk+k; c0[CHIP] = C1+(CHIP*M1/NCHIP+top)*M2; c00[CHIP]= (Uint*)c0[CHIP]+0; c01[CHIP]= (Uint*)c0[CHIP]+2; c02[CHIP]= (Uint*)c0[CHIP]+4; c03[CHIP]= (Uint*)c0[CHIP]+6; } //EMAX5A begin mm mapdist=0 /*3*/ for (CHIP=0; CHIP<NCHIP; CHIP++) { /* will be parallelized by multi-chip (M/#chip) */ /*2*/ for (INIT1=1,LOOP1=RMGRP,rofs=(0-L*4)<<32|((0-M2*4)&0xffffffff); LOOP1--; INIT1=0) { /* stage#0 *//* mapped to FOR() on BR[63][1][0] */ /*1*/ for (INIT0=1,LOOP0=M2/W/2,cofs=(0-W*8)<<32|((0-W*8)&0xffffffff); LOOP0--; INIT0=0) { /* stage#0 *//* mapped to FOR() on BR[63][0][0] */ exe(OP_ADD, &cofs, INIT0?cofs:cofs, EXP_H3210, (W*8)<<32|(W*8), EXP_H3210, 0LL, EXP_H3210, OP_AND, 0xffffffffffffffffLL, OP_NOP, 0LL); exe(OP_ADD, &rofs, rofs, EXP_H3210, INIT0?(L*4)<<32|(M2*4):0, EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe(OP_ADD, &oofs, rofs, EXP_H3210, cofs, EXP_H3210, 0, EXP_H3210, OP_AND, 0xffffffff, OP_NOP, 0LL); /* stage#1 */ mop(OP_LDR, 3, &BR[1][0][1], (Ull)b0[0], (Ull)cofs, MSK_W1, (Ull)b[0], M2/2, 0, 0, (Ull)NULL, M2/2); /* stage#1 */ mop(OP_LDR, 3, &BR[1][0][0], (Ull)b1[0], (Ull)cofs, MSK_W1, (Ull)b[0], M2/2, 0, 0, (Ull)NULL, M2/2); /* stage#1 */ mop(OP_LDR, 3, &BR[1][1][1], (Ull)b2[0], (Ull)cofs, MSK_W1, (Ull)b[0], M2/2, 0, 0, (Ull)NULL, M2/2); /* stage#1 */ mop(OP_LDR, 3, &BR[1][1][0], (Ull)b3[0], (Ull)cofs, MSK_W1, (Ull)b[0], M2/2, 0, 0, (Ull)NULL, M2/2); /* stage#1 2KB */ mop(OP_LDUWR,1, &BR[1][2][1], (Ull)a[0][CHIP], (Ull)rofs, MSK_W1, (Ull)a0[CHIP], L*RMGRP/2, 0, 0, (Ull)NULL, L*RMGRP/2); /* stage#1 16KB */ exe(OP_FML, &AR[2][0], BR[1][0][1], EXP_H3210, BR[1][2][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); /* stage#2 */ exe(OP_FML, &AR[2][1], BR[1][0][0], EXP_H3210, BR[1][2][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); /* stage#2 */ exe(OP_FML, &AR[2][2], BR[1][1][1], EXP_H3210, BR[1][2][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); /* stage#2 */ exe(OP_FML, &AR[2][3], BR[1][1][0], EXP_H3210, BR[1][2][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); /* stage#2 */ sgemm00_core1( 2, 1, 3); sgemm00_core1( 3, 2, 4); : sgemm00_core1(59, 58, 60); sgemm00_core1(60, 59, 61); sgemm00_final(61, 62); } } } //EMAX5A end } } //EMAX5A drain_dirty_lmm } Just repeating following macros IMAXの行列積 20220202 9
- 10. #define sgemm00_core1(r, rm1, rp1) mop(OP_LDR, 3, &BR[r][0][1], b0[rm1], cofs, MSK_W1, b[rm1], M2/2, 0, 0, NULL, M2/2); mop(OP_LDR, 3, &BR[r][0][0], b1[rm1], cofs, MSK_W1, b[rm1], M2/2, 0, 0, NULL, M2/2); mop(OP_LDR, 3, &BR[r][1][1], b2[rm1], cofs, MSK_W1, b[rm1], M2/2, 0, 0, NULL, M2/2); mop(OP_LDR, 3, &BR[r][1][0], b3[rm1], cofs, MSK_W1, b[rm1], M2/2, 0, 0, NULL, M2/2); mop(OP_LDUWR,1, &BR[r][2][1], a[rm1][CHIP], rofs, MSK_W1, a0[CHIP], L*RMGRP/2, 0, 0, NULL, L*RMGRP/2); exe (OP_FMA, &AR[rp1][0], AR[r][0], EXP_H3210, BR[r][2][1], EXP_H3210, BR[r][0][1], EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FMA, &AR[rp1][1], AR[r][1], EXP_H3210, BR[r][2][1], EXP_H3210, BR[r][0][0], EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FMA, &AR[rp1][2], AR[r][2], EXP_H3210, BR[r][2][1], EXP_H3210, BR[r][1][1], EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FMA, &AR[rp1][3], AR[r][3], EXP_H3210, BR[r][2][1], EXP_H3210, BR[r][1][0], EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL) #define sgemm00_final(r, rp1) exe(OP_CMP_LT, &cc1, cofs, EXP_H3210, cofslimit1, EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe(OP_CMP_LT, &cc2, cofs, EXP_H3210, cofslimit2, EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe(OP_CMP_LT, &cc3, cofs, EXP_H3210, cofslimit3, EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); mop(OP_LDUWR, 1, &BR[rp1][0][1], c00[CHIP], oofs, MSK_W0, c0[CHIP], Clen, 0, 1, NULL, Clen); mop(OP_LDUWR, 1, &BR[rp1][1][1], c01[CHIP], oofs, MSK_W0, c0[CHIP], Clen, 0, 1, NULL, Clen); mop(OP_LDUWR, 1, &BR[rp1][2][1], c02[CHIP], oofs, MSK_W0, c0[CHIP], Clen, 0, 1, NULL, Clen); mop(OP_LDUWR, 1, &BR[rp1][3][1], c03[CHIP], oofs, MSK_W0, c0[CHIP], Clen, 0, 1, NULL, Clen); exe (OP_FAD, &AR[rp1][0], AR[r][0], EXP_H3210, BR[rp1][0][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FAD, &AR[rp1][1], AR[r][1], EXP_H3210, BR[rp1][1][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FAD, &AR[rp1][2], AR[r][2], EXP_H3210, BR[rp1][2][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); exe (OP_FAD, &AR[rp1][3], AR[r][3], EXP_H3210, BR[rp1][3][1], EXP_H3210, 0LL, EXP_H3210, OP_NOP, 0LL, OP_NOP, 0LL); mop(OP_STWR, 1, &AR[rp1][0], oofs, c00[CHIP], MSK_D0, c0[CHIP], Clen, 0, 1, NULL, Clen); cex (OP_CEXE, &ex1, 0, 0, 0, cc1, 0xaaaa); mop(OP_STWR, ex1, &AR[rp1][1], oofs, c01[CHIP], MSK_D0, c0[CHIP], Clen, 0, 1, NULL, Clen); cex (OP_CEXE, &ex2, 0, 0, 0, cc2, 0xaaaa); mop(OP_STWR, ex2, &AR[rp1][2], oofs, c02[CHIP], MSK_D0, c0[CHIP], Clen, 0, 1, NULL, Clen); cex (OP_CEXE, &ex3, 0, 0, 0, cc3, 0xaaaa); mop(OP_STWR, ex3, &AR[rp1][3], oofs, c03[CHIP], MSK_D0, c0[CHIP], Clen, 0, 1, NULL, Clen) One physical (four logical) unit One physical (four logical) unit マクロの中身 Prefetching Length of area Top of area LD/ST offset LD/ST base addr. 20220202 10
- 11. #define sgemm00_core1 mop(OP_LDUWR, 1, &BR[r][0][1] mop(OP_LDUWR, 1, &BR[r][0][0] mop(OP_LDUWR, 1, &BR[r][1][1] mop(OP_LDUWR, 1, &BR[r][1][0] mop(OP_LDUWR, 1, &BR[r][2][1] exe(OP_FMA, &AR[rp1][0] exe(OP_FMA, &AR[rp1][1] exe(OP_FMA, &AR[rp1][2] exe(OP_FMA, &AR[rp1][3] #define sgemm00_final exe(OP_CMP_LT, &cc1 exe(OP_CMP_LT, &cc2 exe(OP_CMP_LT, &cc3 mop(OP_LDUWR, 1, &BR[rp1][0][1] mop(OP_LDUWR, 1, &BR[rp1][1][1] mop(OP_LDUWR, 1, &BR[rp1][2][1] mop(OP_LDUWR, 1, &BR[rp1][3][1] exe(OP_FAD, &AR[rp1][0], AR[r][0] exe(OP_FAD, &AR[rp1][1], AR[r][1] exe(OP_FAD, &AR[rp1][2], AR[r][2] exe(OP_FAD, &AR[rp1][3], AR[r][3] mop(OP_STWR, 1, &AR[rp1][0] cex(OP_CEXE, &ex1, cc1 mop(OP_STWR, ex1, &AR[rp1][1] cex(OP_CEXE, &ex2, cc2 mop(OP_STWR, ex2, &AR[rp1][2] cex(OP_CEXE, &ex3, cc3 mop(OP_STWR, ex3, &AR[rp1][3] 20220202 11 行列積のコンパイル結果
- 12. 20220202 12 畳み込み演算と行列積のコンパイル結果先頭部分
- 13. (conv_backward(nhidden, Ki2h, g_Ki2h, ninput, ksize, kstride, tmp_col, tmp_dst)) unpack_patch2col(tmp_col:25x[100x24x24] <-- ninput:■100x28x28, ksize, kstride) reshape nhidden:100x[8x24x24] --> tmp_dst:8x[100x24x24] multiply_float2D(▲g_Ki2h:8x25 <-- tmp_dst:8x[100x24x24], tmp_col:25x[100x24x24]^T) multiply_float2D(tmp_col:25x[100x24x24] <-- Ki2h:8x25^T, tmp_dst:8x[100x24x24]) pack_col2patch(ninput:■100x28x28 <-- tmp_col:25x[100x24x24], 5, 1) 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 … 0.27 1.3 … 1.27 2.3 … 2.27 : : : : : : 27.0 27.1 27.2 : … : : : 27.3 … 27:27 unpack_patch2col 0.0 0.1 … : : … 0.4 0.5 … 0.23 1.0 1.1 : : : 0:27 1.4 1.5 1.0 1.1 … : : : 1.4 1.5 … 1:23 2.0 2.1 : : : 1.27 2.4 2.5 … 1.23 23.0 :… : : … 1.27 23.4 23.1 … 23.23 : … : 23.5 … 23.27 … 2.23 24.0 : : : … 2.27 24.4 24.1 … 24.23 : : : 24.5 … 24:27 : : : 4.4 4.5 … : : : 4.27 5.4 5.5 : : : … 5.27 27.4 : : : 27.5 … 27:27 5x5 xIC 24x24 28 28 … … … … : … : : : : 4.5 4.27 4.4 pack_col2patch x100 xICx100 copy merge 0.0 0.1 0.2 0.3 0.23 0.1 0.2 0.3 0.24 … … 0.27 0.4 ninput tmp_col 20220202 13 トレーニングに使うバックプロパゲーション
- 14. /* g_kernel <- out, in */ for (oc=0; oc<OC; oc++) { /* set output channel */ for (img=0; img<BATCH; img++) { op0 = &out0[(img*OC+oc)*M*M]; /* top of output image */ for (ic=0; ic<IC; ic++) { /* set offset of input channel */ kp = &g_ker[(oc*IC+ic)*K*K]; kidx = 0; for (y=-(K/2); y<K-(K/2); y++) { /* kernel loop */ for (x=-(K/2); x<K-(K/2); x++) { ip0 = &in0[(img*IC+ic)*IM*IM+(y+K/2)*IM+(x+K/2)]; /* top of input */ kp0 = kp+kidx; for (rofs=0; rofs<M; top++) { for (cofs=0; cofs<M; cofs++) { /* image loop (cofs) */ float in = *(float*)&ip0[rofs*IMX+cofs]; float out = *(float*)&op0[rofs*M+cofs]; *(float*)kp0 += out * in; } } kidx++; } } } } } 20220202 14 IMAXの重み用バックプロパゲーション
- 15. unpack_patch2col(tmp_col:25x[100x24x24] <-- ninput:■100x28x28, ksize, kstride) reshape nhidden:100x[8x24x24] --> tmp_dst:8x[100x24x24] (C1)multiply_float2D(▲g_Ki2h:8x25 <-- tmp_dst:8x[100x24x24], tmp_col:25x[100x24x24]^T) (C2)multiply_float2D(tmp_col:25x[100x24x24] <-- Ki2h:8x25^T, tmp_dst:8x[100x24x24]) pack_col2patch(ninput:■100x28x28 <-- tmp_col:25x[100x24x24], 5, 1) 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 … … 0.27 … … 1.27 … … 2.27 : : : : : : 27.0 27.1 27.2 … … : : : 27.3 … 27:27 28 28 0:23 1:23 2:23 : : … 23:0 23:1 23:2 … … 4.27 23.23 xICx100 24 24 x100x8 tmp_dst ninput (original) g_Ki2h (C1) 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.23 1.23 2.23 : : : 23.0 23.1 23.2 : 23.23 … … … … … 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 … : : … 0.4 0.5 … 0.23 1.0 1.1 : : : 0:27 1.4 1.5 1.0 1.1 … : : : 1.4 1.5 … 1:23 2.0 2.1 : : : 1.27 2.4 2.5 … 1.23 23.0 :… : : … 1.27 23.4 23.1 … 23.23 : … : 23.5 … 23.27 … 2.23 24.0 : : : … 2.27 24.4 24.1 … 24.23 : : : 24.5 … 24:27 : : : 4.4 4.5 … : : : 4.27 5.4 5.5 : : : … 5.27 27.4 : : : 27.5 … 27:27 5x5 xIC 24x24 x100 tmp_col (reshaped for GPU) copy 5x5xICx8 nhidden 24 x8x100 20220202 15 IMAXの重み用バックプロパゲーション
- 16. /* in <- kernel, out */ memset(in0, 0, sizeof(in0[0])*BATCH*IC*IM*IM); if (K == 1 || IM-K+1 == M) { y0 = 0; x0 = 0; } else if (IM == M) { y0 = -K/2; x0 = -K/2; } for (ch=0;ch<IC*K*K;ch++) { /*5x5, 8x3x3*/ ic = ch/(K*K); y = ch%(K*K)/K + y0; x = ch%(K*K)%K + x0; for (img=0;img<BATCH;img++) { /*100, 100*/ for (oc=0; oc<OC; oc++) { op0 = &i_out[img*M*M*OC+oc*M*M]; ip0 = &i_inp[(img*IC+ic)*IM*IM+y*IM+x]; float cker = *(float*)&i_ker[oc*IC*K*K+ch]; for (rofs=0;rofs<M;rofs+) { /*24, 10*/ for (cofs=0;cofs<M;cofs++) { /*24, 10*/ if (0<=rofs+y && rofs+y<IM && 0<=cofs+x && cofs+x<IM) *(float*)&ip0[rofs*IM+cofs] += cker * *(float*)&op0[rofs*M+cofs]; } } } } } 20220202 16 IMAXの入力用バックプロパゲーション
- 17. unpack_patch2col(tmp_col:25x[100x24x24] <-- ninput:■100x28x28, ksize, kstride) reshape nhidden:100x[8x24x24] --> tmp_dst:8x[100x24x24] (C1)multiply_float2D(▲g_Ki2h:8x25 <-- tmp_dst:8x[100x24x24], tmp_col:25x[100x24x24]^T) (C2)multiply_float2D(tmp_col:25x[100x24x24] <-- Ki2h:8x25^T, tmp_dst:8x[100x24x24]) pack_col2patch(ninput:■100x28x28 <-- tmp_col:25x[100x24x24], 5, 1) 24 24 x8x100 nhidden Ki2h ninput (C2) 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.3 1.3 2.3 : : : : 0.4 1.4 2.4 : : : : : 4.4 0.0 0.1 0.0 0.2 1.0 1.1 1.2 2.0 2.1 2.2 … … 0.27 … … 1.27 … … 2.27 : : : : : : 27.0 27.1 27.2 … … : : : 27.3 … 27:27 28 28 0:23 1:23 2:23 : : … 23:0 23:1 23:2 … … 4.27 23.23 xICx100 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.23 1.23 2.23 : : : :23.0 23.1 23.2 : 23.23 … … … … … 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.23 1.23 2.23 : : : :23.0 23.1 23.2 : 23.23 … … … … … 0.0 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.23 1.23 2.23 : : : :23.0 23.1 23.2 : 23.23 … … … … … 0.1 0.2 1.0 1.1 1.2 2.0 2.1 2.2 0.23 1.23 2.23 : : : 23.0 23.1 23.2 : 23.23 … … … … … 0.0 0.0 0.1 … : … 0.4 0.5 … 0.23 1.0 1.1 : 1.1 : 0:27 1.4 1.5 1.0 1.1 … 1.1 : : 1.4 1.5 … 1:23 2.0 2.1 : : : 1.27 2.4 2.5 … 1.23 23.0 :… : : … 1.27 23.4 23.1 … 23.23 : … : 23.5 … 23.27 … 2.23 24.0 : : : … 2.27 24.4 24.1 … 24.23 : : : 24.5 … 24:27 : : : 4.4 4.5 … : : : 4.27 5.4 5.5 : : : … 5.27 27.4 : : : 27.5 … 27:27 5x5 xIC 24x24 x100 contribution of pixel/ninput : merge 5x5xICx8 Integration of OC(8) 0.1 tmp_col (reshaped for GPU) 20220202 17 IMAXの入力用バックプロパゲーション
- 18. ０．５０×０．５０≒０．２０ ００００１１１１０１ ０１１１１１００００ ００００１１００００ Multiplier by AND gate ０．５０＋０．５０≒０．５０＊２ ００００１１１１０１ ０１１１１１００００ ０１０１１１１０００ Scaled adder by random selector 20220202 18 ストカスティック積和演算 ０．５０＋０．５０＝１．００ Adder by population counter Tati Erlina, Yan Chen, Renyuan Zhang and Yasuhiko Nakashima: "An Efficient Time-based Stochastic Computing Circuitry Employing Neuron-MOS", GLSVLSI2019, pp.51-56, May. (2019)
- 19. 20220202 19 A B7,B6,..,B0 C7,C6,..,C0 Random number generators Stochastic number generator Tree of small adders Population counter D D=A+B7*C7+B6*C6+…+B0*C0 Stochastic Multiply and Add Register file stage0 stage1 stage2 stage3 Multiply by AND logic Accumulator IMAXのストカスティック積和演算器 64bit random number registers 64bit random number registers 64bit random number registers 64bit random number registers 64bit random number registers 64bit random number registers 64bit random number registers 64bit random number registers 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit 8bit AND AND AND AND AND AND AND AND Population counter Population counter Population counter Population counter Population counter Population counter Population counter Population counter adder adder adder adder adder adder adder x4cycle: 32 element multiply & add
- 20. 20220202 20 IMAXのストカスティック積和演算
- 21. 20220202 21 今回のおさらい
Notas do Editor
- 様々なアプリケーションを取りあげて、アイマックスのポテンシャルを説明するシリーズです。第5回は、機械学習です。
- 世の中では、機械学習アクセラレータがおおはやりですが、アイマックスは、機械学習の専用ハードウェア、ではないところが売りです。しかも、厳密計算だけでなく、ストカスティック積和演算も使えます。べつに、機械学習向けに作ったわけじゃないけど、機械学習も速くて当然だよねー、という、軽いノリで終わらせることにします。
- では、インファレンスで最も計算量の多い、畳み込み演算から始めます。入力チャネルがたくさんあって、5かける5とか、3かける3などの、カーネルと呼ぶ重みとの積和演算をします。入力チャネルを串刺しにして、全部足すと、出力チャネルの1つのデータが求まるという、誰でも知ってる、あれです。積和演算まで、よく見えるように、ブラックボックスに頼らず、C言語で書いたプログラムがこれです。とても深い多重ループ構造になっています。そして、赤字の部分が、最も実行される積和演算部分です。ステンシル計算に似ています。敢えて言うなら、多次元ステンシル計算ですが、普通は、テンソル計算と呼びます。1つの結果を求めるのに必要なデータの並びは、とても複雑です。
- コンピュータは，規則的に並んだデータを扱うのが得意です。ただ，AIのプログラムには，特にノイマン型コンピュータにとって不都合な性質があります。300人の生徒が，修学旅行で飛行機に乗るとします。空港の出発ゲートに一列に並んで，そのまま機内に入ったとします。前半の生徒の座席番号が通路側で，後半の生徒の座席番号が窓側だったら何が起こるでしょう。先に入った生徒が通路側に座ると，あとから来た生徒が窓側にはいれないので，大混乱しますね。ノイマン型コンピュータには，キャッシュメモリと呼ぶ，一時的にメモリの内容を保存して，CPUの中で高速にデータを供給する仕組みがありますが，狭いので，必要なデータが互いに追い出し合うことがあります。特に，AIのプログラムは，データが規則的に並んではいますが，必要なデータの場所がとびとびなので，追い出しあいが簡単に起こって、処理速度がものすごく下がってしまいます。そこで，とびとびのデータを一旦，きれいに並べ替える作業が必要になります。余計な作業が増えますが，全体として見ると，実行時間が短くなります。ただし，1つのデータを複数の場所にコピーすることになるので，メモリの使用効率は下がります。メモリをたくさん使って，代わりに，実行時間を短くすることになります。
- 一方、この図は，アイマックスの畳み込みです。左下が画像データ，左うえが重みデータで，ホストCPUのメモリにあります。CPUは，複数箇所へのコピーはせず，アドレス情報とデータを1度だけ，右のアイマックスに送信します。アイマックスの各ユニットは，アドレス情報を見て，自分に必要なデータであれば取り込みます。複数のユニットが同じデータを取り込めば，アイマックスの内部で複数箇所にコピーされたことになりますが，CPUから見れば手間は増えません。乗客が何人いようと，機内アナウンスで1回放送、ブロードキャストすれば，全員に伝わるのと同じです。コンピュータ用語でも，ブロードキャストと呼びます。その後，CGRAとしての連続演算が始まり，計算結果をCPU側に戻します。
- 配列要素と、CGRAの対応関係は、このようになります。いくら説明しても、なんでそうなるのか、わからない人にはわからないです。まず、自分ならどうするかを考えてから、この図を見ると、たぶん、これが最適だとわかります。
- 次は、インファレンスの後半、全結合層と呼ぶ層で使われる、行列積です。配列要素と、CGRAの対応関係は、このようになります。行列積の高速化には、一般的に、計算前の転置が必要です。また、深層学習の場合、行列積の先頭アドレスは、ワード単位で変化し、例えばツーウェイSIMD命令が効率よく動くために必要な、ダブルワード境界である保証がありません。
- これに対し、アイマックスでは、2つの特長を生かした高速化が可能です。1つは、CGRAでは本質的に転置が要らないこと。もう1つは、デュアルポートローカルメモリの機能を使って、ダブルワードが、ダブルワード境界にあってもなくても、同じ速度でロードできることです。
- これは、CPUで動くプログラムに、アイマックスのコードを埋め込んだものです。上のほうは，CPUが実行します。そして、イーマックス5エイビギンと、イーマックス5エイエンドで挟まれた、青字部分と赤字部分をアイマックスが実行します。このコードは、普通のCPUでもコンパイルして動かせる仕掛けになっています。そうすれば、プログラムが思ったように動かない時に、アルゴリズムが悪いのか、アイマックスの使い方が悪いのかを区別することができます。アルゴリズムが正しいことをCPUで確認し、その後、アイマックスコンパイラを使って動かします。
- 赤字部分には、マクロと呼ばれる記述が2種類入っています。上のエスジェム00コア1は，アイマックスの中を縦方向に，下へ向かって積和演算を繋いでいく、ユニット毎の部品です。下のエスジェム00ファイナルは、最後のユニットにセットされて、上から落ちてきた積和演算結果をメモリの内容に足し込みます。2つの赤枠部分が、それぞれ、CGRAの1行4列分の機能がある、アイマックスの1個の物理ユニットにセットされます。
- コンパイル結果です。論理ユニットが横に4列並んでいます。これが，プログラムを書く際のアイマックスのモデルです。1つが論理ユニットに対応していて、ユニットのじょうたんとかたんには、レジスタが4本ずつしかありません。プログラマは、物理ユニットにレジスタが32本あることは気にせず、レジスタが4つある論理ユニットの世界で、プログラムを書きます。
- 黒い部分は，ハードウェアの機能を使っていないこと，紫は，3入力演算器が使われていることを示しています。左は畳み込み、右は行列積です。1行目と2行目に黒が多いのは，積和演算に必要なカウンタやアドレス計算を初期化しているためです。はじめのうちは，この図を見ながら，どう書いたら，どうなるのかをいろいろ試してみるのがよいでしょう。
- インファレンスの次は、トレーニングです。インファレンスに使う重みを求める、バックプロパゲーションと呼ぶ計算です。ここでも、データがとびとびなので、コピーと並べ替えが必要です。コピーによるデータの増え方は，インファレンスよりもトレーニングのほうが激しいです。また，トレーニングのほうが、計算時間も消費電力も圧倒的に大きいので、別のトレーニングで作った重みを流用するなどなるべく学習しない工夫をしたりします。
- このプログラムは、重みを求めるバックプロパゲーションを、アイマックス用にアレンジしたものです。これを元に，アイマックス用に書き換えていきます。書き換え後のプログラムは、仕様書に入っているし、ダウンロードもできます。
- 図の下は、GPUを使う時に、同じデータをコピーしてデータを整列する手順です。しかし、アイマックスでは、この作業を経由せず、元の複雑な形のデータのまま、直接、重みを計算することができます。
- 同様に、入力を求めるバックプロパゲーションをアイマックス用にアレンジしたものです。
- さっきと同様に、図の下は、同じデータをコピーしてデータを整列する手順です。アイマックスでは、この作業を経由せず、元の複雑な形のデータのまま、直接、入力を計算することができます。ここまでが、浮動小数点演算器を使った、厳密計算です。
- 次は、非厳密計算の一種である、ストカスティック積和演算です。この計算方法は、計算精度を落としても大丈夫な応用の、インファレンスに利用できます。まず、2進数の乱数列を2系統用意します。乱数列は互いに独立している必要があります。上の乱数列を少しずらして下の乱数列にするといった、手抜きをしてはいけません。乱数列に相関関係があると、偏った計算結果しか得られません。そして、図の左側から、論理ゲートに入力します。ここで使うのは、入力がすべて1の場合に1を出力するアンドゲートです。上の乱数列が0000111101、下が0111110000です。配線は1本しかないので、右の桁から順にアンドゲートに入力します。赤字の部分が、両方とも1の場合です。ゲートの右側には0000110000が出力されます。これが乗算結果です。仕掛けは簡単。上の乱数列では、1の確率が0.5、下も同じです。確率の授業を思い出して下さい。両方が1になる確率は、0.5掛ける0.5と計算しますね。両方が1になる時に1を出力することと同じ意味です。ただし、正確な乗算結果は0.25ですが、アンドゲートの出力では1が2つなので、乗算結果は0.20になりました。すこしずれています。でも、入力が独立した乱数列なので、何度も繰り返せば、0.25に近付くことがわかりますね。確率的とはいえ、これだけで乗算ができるなんて、便利です。 では、加算はどうでしょう。乗算の場合、0から1までのあたいを入力すると、結果も0から1の範囲に入ります。でも、たとえば、0.7+0.7の結果は1を超えてしまいます。乗算と同じようにできるでしょうか。そこで、ひとひねりです。平均値を思い出して下さい。加算結果を入力数で割ったのが算術平均ですよね。算術平均であれば、結果が1を超えることはありません。これを利用すれば、確率的加算器を作ることができます。右の図では、上の乱数列が赤字になっています。そして、出力には、上と下の乱数列から交互に取り出したビット列が並んでいます。上下のどちらを選ぶかを乱数で決めてもよいです。これが確率的平均値の求め方です。出力には1が5個あるので0.5ですね。入力数が2なので、結果を2倍します。運よく1になりました。これが加算結果です。でも、入力数が10だと、何が起こるでしょう。出力の1の数は、0から10までの10通りしかありません。平均値が10通りしかなく、最後に10倍するので、結果は、0、10、20から、100のどれかにしかなりません。もう少し正確さが欲しい場合は、ポピュレーションカウンタを使って、1の数を正確に数えます。最後に、従来型のデジタル回路で加算をします。これなら、0から100まで100通りの結果になります。
- 前の例は、ハードウェアは小さいですが、1本の配線を使ってデータを順に入れるので、計算にとても時間がかかります。確率的計算の考え方はそのまま使って、もっと高速にできないでしょうか。図は、配線数を増やして高速化する方法です。左の図を見ましょう。うえにあるレジスタファイルが、普通のコンピュータで使う2進数で表現した、8個の被乗数B0からB7と、8個の乗数C0からC7が置いてある場所です。ここでは、DイコールA+Σbi掛けるCiという積和演算を確率的に行うことを考えます。まず、B7とC7をそれぞれ、別系統の乱数列、ランダムナンバージェネレータを使ってエンコードします。元の2進数をさっき説明した確率的表現、ストカスティックナンバーに変換する作業のことです。具体的な変換方法は、みなさんへの宿題としましょう。いろんな方法が見つかるはずです。変換できたら、B7とC7に対する確率的表現をアンドゲートに入力します。さっきの例では10ビットの確率的表現と、1個のアンドゲートを使いました。今度は、10ビットの確率的表現を縦に並べて、10個のアンドゲートに一斉に入力します。配線数は増えますが、一度に乗算できますね。そして、ポピュレーションカウンタを使って1の数を数え、2つずつ加算します。これを4回繰り返すと、32要素の確率的積和演算ができます。アイマックスには、浮動小数点積和演算器に加えて、この演算器も搭載されていて、256ビットロードと組み合わせることで、1命令で、32要素の積和演算が可能です。
- ストカスティック積和演算には、オペコードにSFMAと指定します。これがコンパイル結果です。前に説明した、普通の積和演算は、縦方向に空間展開されていました。しかし、ストカスティック積和演算の場合、せっかく、256ビットに連続している32要素を縦に分解しなければならなくなり、本末転倒です。各ユニットは、計算結果を下に送るのではなく、ユニット内部で、ロード、演算、ストアを完結させます。左から2番目が、256ビットのデータＡ、3番目が、256ビットのデータＢ、右端が、8ビットのデータＣに対応し、Cに、AかけるBの積和演算結果を連続的に累算していきます。
- 今回は、機械学習を題材に、畳み込み演算、行列積、ついでに、ユニークな、ストカスティック積和演算機能を説明しました。では、今回はここまでです。おつかれさま。