study Streaming Multigrid For Gradient Domain Operations On Large Images
•Transferir como PPT, PDF•
1 gostou•1,088 visualizações
![Abstract ,[object Object],[object Object],[object Object],[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a study Streaming Multigrid For Gradient Domain Operations On Large Images
Semelhante a study Streaming Multigrid For Gradient Domain Operations On Large Images (20)
Mais de Chiamin Hsu
Mais de Chiamin Hsu (12)
study Streaming Multigrid For Gradient Domain Operations On Large Images
- 1. Streaming Multigrid for Gradient-Domain Operations on Large Images Michael Kazhdan , Johns Hopkins University Hugues Hoppe , Microsoft Research SIGGRAPH 08
- 10. Standard multigrid V-cycle
- 17. Gradient-domain image processing Poisson Equation
- 18. ▽ u x 0 x 1 x i x N u 0 u 1 u i u N h u i+1
- 19. Δ U x i+1 x i-1 x i x N u i-1 u N h u i+1 u i
- 20. Δ U= f
- 21. Lu=f U u 1,1 u 1,2 u 1,3 u 2,1 u 2,2 u 2,3 u 3,1 u 3,2 u 3,3
- 27. 2D stencils of the multigrid 2D Restriction 2D Prolongation 2D Relaxation (Laplacian)
- 29. Standard multigrid V-cycle f l-1 =R l l -r l u l =P l l-1 u P l-1 +u R l L lmin u lmin =f lmin Base solution
- 33. 2 nd order B-spline 1D case
- 34. 2 nd order B-spline 2D case
- 39. Full data pipeline for gradient-domain processing
- 43. (n, v) Plot of the rms and max errors vs. # of multigrid V-cycles 2 nd -order element give the fastest convergence !
- 44. (n, k=2, v=1)
- 50. Image stitching 19,588 x 4,457 (87 MB) panorama form 9 photos Copy the image gradients and solving the Poisson eq.
- 51. Image stitching SM: streaming multigrid solver QT: quadtree (AT) solver of Agarwala [07]
- 52. Tone-mapping (HDR normal tone) before after
- 53. Tone-mapping (HDR normal tone) Stream multigraid is the first one to solve Poisson eq in time that is linear on the # of pixels
- 54. GB stitching and tone-mapping May not capture the true scene contrast
- 55. GB stitching and tone-mapping
Notas do Editor
- Johns Hopkins University : 美國醫界著名大學
- . 本文就是用 multi-streaming 完成 multigrid 演算法 . 特別針對這種 out-of-core , 即演算過程中 , 不僅只在 main memory, 還需要用到 disk 的大影像 , 在 gradient domain 上處理的數值分析方法 .multigrid method 早在 19?? 年由 ? 俄國數學家 ?? 發展於 finite difference ( f(x+b)-f(x+a) ), 用來解偏微分方程式 (Partial differential equation) 的數值分析方法之一 . . 本文設計了的 streaming multigrid solver, 有 2 passes. 1. 對每個 multigrid method 的 V-cycle 計算 , 用二階的 finite elements 去達到逐夠的正確性 . 這個說法很怪 ? Gradient domain 是說 ▽ U=G. 而二階是對 G 作 divergence, ▽ ．▽ U ＝▽． G ＝ f 這樣當然是 Poisson equation. Uxx + Uyy = f , 也就是二階的偏微分 作二階偏微分的當然是希望在 V-cycle (multi-grid 的演算過程 ) 內做 2 nd order finite elements 2. temporally blocked relation: 回憶 CA 課程 , 以 cache 來增加 temporal 和 special 的 locality. ㄧ次處理數行的方法 ( 而非整張 image 計算 ), 保證計算的數行在 L1 內 , 發揮 cache temporal locality 的優點 3. multi-level streaming, 是用來對 multi-grid 中的兩個必要 phase -restriction 和 prolongation – 作 pipeline. restriction 是高解析度到低解析度的運算 . 而 prolongation 相對來說是低解析度到高解析度的運算 . 怎麼 pipeline, 就要分別分割 restriction 和 prolongation. 實作上 , 本文是利用 GPU 多個 streaming 達成 . 能完成上式的 key component – 過去這種 forward-difference gradient 的方法 ( 我想就是指 Gauss-Seidel 或 multigrid 了 ) 而 multigrid 間高低解析度之間的轉換 , 不外乎就是些高解析度是低解析度內插 , 低解析度是高解析度 mean 之類的 . 這裡卻用上了 B-spline finite-element. 將 ⊿ U(x)=sum ( ui * Bi(x)) ( 其中⊿ , 是▽． ▽ ) 也就是說 , x 點上的 , ⊿U(x), 是 B-spline basis 的集合 . 所以我們對 multigrid 的高低解析度轉換對象 , 成為不同解析度間的 B-spline Basis 轉換
- 以偏微方程式再對 image 寫一遍 minimize |gradient U– G| =: partial derivation (gU-G)=0 d g (U)- d G = 0
- Lighting removal HDR tone-mapped by attenuating ( 衰減 ) luminance gradient Image stitching – 影像縫合 Shadow removal Refection removal HDR tone management
- Paint: 大 meet, 小 meet 上次 present Large image:
- Out-of-core image 沒有效率 , 在於 disk-IO
- 1. 可在
- Rms: root mean square error
- 就是用數值方法逼近 Poisson eq 這類的偏微分方程式
- 1. Toledo [1999] presents an excellent survey of out-of-core algorithms for large linear systems
- 本文要處理的對象 , gradient-domain image processing U is the 2D image ▽ U = G. 是 vector function 不過 , 我們要運算的對象是 scalar, ▽ ． ▽ U=▽ ． G=f 在 image processing 的課題上 , 通常是設定 f, 解 U 提醒自己： 1. Lapalicain eq: Δ 2 u = 0 Δ 2 u = 0 2. Poisson eq: Δ 2 u = f Δ u = f
- 後註：以這種方式理解數值分析法對 u x 的處理 . u xx = u(x+h)-u(x) 教科書通常是用 Taylor seriers 展開後相減
- 後註：以這種方式理解數值分析法對 u x 的處理 . 教科書通常是用 Taylor seriers 展開後相減
- 本文碎碎念 forward difference : h * f’(x) = f(x+h) – f(x) Backward difference : h * f’(x) = f(x) – f(x-h)
- 詳細內容請參照 , 所以針對這個特例 , 可以得到以下的 Lu=f, Each row of the matrix L cor
- 這種反覆地求 u, 被稱為 relaxation 他們是這麼說 , the pressure of constraint is relaxed 若本題的 constrain 是 e 0 則逐次逼進 e = 0, 使得 e 的壓力變少 本文的 relaxation 都用 Gauss-seidel method !!
- 1. Error 和 residual 的定義 2. 目的 : e 0. 這是一種 relaxation problem. 將 error 變小 , 也就是將限制放鬆 ( 開山祖師的奇妙想法…其實和答案越接近 , 和答案越緊更直覺 ) 要注意到兩件事 , e k 是不是 smooth function ? 有沒有好 initial e 0 ?
- 完整的說法是 , Gauss-Seidel relaxation converges slowly on the low-frequency components of the solution. . 作 R J 的 Fourier transform (or series?). 可以分析出是 R J 的低頻成分的確要多次才收歛
- L H 和 L h 一樣嗎 ? 不一樣 !
- 將之前的整合成 V-cycle, 直接改用本 paper 圖文說明 [figure 1] Restriction: 由 residual 求得 coarse-grid 的 f ( 很奇怪吧 .. 應該也只能求 coarse-grid 的 residual) Base solution: 足夠 coarse level 後 , 直接 求 u 於 Lu = f Prolongation: 由 coarse-grid 的 u, 求得 fine-grid u ( 很難接受 , 仍然應該是 u = u + P e) 至於 data flow, 則改為本 multi-grid 的說法
- Bi(x) is the B-spline basis B(x) of ith index
- forward difference : h * f’(x) = f(x+h) – f(x)
- 由 B-spline, 1D P = ¼ (3 1), 1D R = ¼ (1 3)
- 分別說明 , 為何 relaxation 不能 pipeline, 也不好作平行化 以低解析度的 l-1 level, Relaxation 需要 laplacian stencil 內的 neighborhood. ( 同解析度 ) 雖然 row (n-1) 已經作了 , 但 row (n+1) 還沒有生成 l-1 level 的資料 所以過去是整 level 算完後再算另外一層 改為下方 , 一次讀入 2k 行 . 而執行一次為 整個移動完畢 . 就作完一次 V-pass ( 先不管 R, P) 使 out-of-core image 如同 in-memory 一樣 , 都在 main memory 內執行 . 執行速度不因
- k 是用在 k times relaxations
- N=2, k=3, 3 times Gauss-Seidel relaxations update, 2 V-cycles
- MAX ERROR: dash Rms (root mean square error) : solid line V-cycles : 表示 幾次 v-cycle. 越多當然越精確 神奇的是 , 2nd order B-spline 收斂最快 . 3rd order B-spline 反而收斂慢
- 很多都是細節 : 像是用半精度存 u, f, 就可以加快一半速度
- Panorama: 全景圖
- HDR normal tone : 求 log-luminance gradient, apply non-linearly attenuation ( 衰減 ) Tone mapping 比 stitching 更難 ! adaptive method can not be applied full resolution over the entire grid of Poisson eq !!!
- 收集不同光圈下的 photos
- Dirichlet boundary condition, 像是在邊界加值 如 d 2 y/dx 2 ＋ 3y=1, x = [0,1], y[0]=a, y[0]=b