Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

1. ` 1 TRƯỜ Ạ Ọ Ộ NG Đ I H C BÁCH KHOA HÀ N I LUẬN VĂN THẠC SĨ Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại PHẠM VĂN TIỆP gacon0211bk@gmail.com Ngành K thu ỹ ật điề ể ự độ u khi n và T ng hóa Khoa T ng hóa ự độ Giảng viên hướ ẫ ng d n: TS. Đào Quý Thịnh Trường: Đi Đi ệ – n ệ ử n t HÀ NỘI, 04/2022 ký c a GVHD Chữ ủ

2. ` 2 Lời cảm ơn Đề Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng tài “ trong công nghệ sản xuất màn hình điện thoại” là ộ n i dung tôi ch nghiên c ọn để ứu và làm lu t nghi p cao h c chuyên ngành T ng hóa t ận văn tố ệ ọ ự độ ại trường đại học Bách Khoa Hà N Tôi xin chân thành c n TS. nh ội. ảm ơn sâu sắc đế Đào Quý Thị ngành Kỹ thuật điều khi n và T ể ự động hóa, Khoa Tự độ , Trườ ệ ệ ng hóa ng Đi n-Đi n t i h c Bách Khoa Hà N i. Th c ti p ch b o ng d ử – Trường đạ ọ ộ ầy đã trự ế ỉ ả và hướ ẫn tôi trong su t quá trình nghiên c ố ứu để tôi hoàn thi n lu ệ ận văn. Ngoài ra tôi xin chân thành c y, Cô trong B ng ý ki n quý báu cho ảm ơn các Thầ ộ môn đã đóng góp nhữ ế luận văn. ọ ảm ơn! Trân tr ng c Tóm tắt nội dung luận văn N i dung lu bày v vi c phát hi n các s c ng ộ ận văn trình ề ệ ệ ự ố chất lượ liên quan t i các l i ngo ng hay x y v t, bóng khí, dán l ch trong ớ ỗ ại quan thườ ả ra như dị ậ ệ công đoạ ắ ằ ị ời ngăn chặ ả ỗ ả n l p ráp. Nh m k p th n và c nh báo l i trong quá trình s n xu n tho i t i nhà máy s n xu n tho i thông minh. ất màn hình điệ ạ ạ ả ất điệ ạ M m thi u m t cách t i liên quan t s c ng ục đích: Giả ể ộ ối đa lỗ ới ự ố chất lượ nh m chi phí phát sinh, t n, gi m giá thành s n ph ằm giả ối đa hóa lợi nhuậ ả ả ẩm. M c tiêu: Phát hi n các l i ngo i quan ụ ệ ỗ ạ sau đó đưa ra cảnh báo b ng cách s ằ ử d ng công c trong x t v vi ụ ụ ử lý ảnh để đưa ra những phán đoán chính xác nhấ ề ệc có hay không có l i trong quá trình s n xu nh báo. ỗ ả ất và đưa ra cả Phương pháp thự ệ ử ụ ậ ừ ả c hi n: S d ng thu t toán tr nh btrack background) (su nh m phát hi n các d v i trong quá trình s n xu ằ ệ ị ật phát sinh mớ ả ất. Công cụ ử ụng: Microsoft Visual 2017, Office 2013, OpenCV… s d K xây d ng thành công h ng áp d ng vào nhà máy. ết quả đạt được: ự ệ thố ụ Định hướ ển đề ở ộ ệ ỗi khác như đứt, gãy… ng phát tri tài: M r ng phát hi n các l Học viên Phạm Văn Tiệp

3. ` 3 M C ỤC LỤ CHƯƠNG 1. Ổ Ứ T NG QUAN NGHIÊN C U...................................................... 10 1.1. t v ........................................................................................... 10 Đặ ấn đề 1.1.1. c v quá trình s n xu t t i các nhà máy s n xu t màn hình Sơ lượ ề ả ấ ạ ả ấ điệ ạ n tho i.................................................................................. 11 1.1.2. ng c a s c t i ch ng s n ph n .. Ảnh hưở ủ ự ố ớ ất lượ ả ẩm trong công đoạ ................................................................................................. 14 1.1.3. Tính c p bách c ................................................................ 16 ấ ủ ề a đ tài 1.2 n ch ng b ng x nh............................ 18 . Phương pháp phát hiệ ấ ợ t lư ằ ử lý ả 1.2. Không gian màu, chuy i gi a các không gian màu ............... 18 1. ển đổ ữ 1.2.2 nh nh phân, nh phân hóa v ng.............................. 21 . Ả ị ị ới ngưỡng độ 1.2.3 Phóng to, thu nh , xoay nh.......................................................... 22 . ỏ ả 1.2.4 M phép toán s d ng trong n i dung lu ...................... 23 . ột số ử ụ ộ ận văn 1.3 Các thu t toán liên quan và l n ................................................. 29 . ậ ựa chọ 1.3.1 n (Background subtraction)......................... 29 . Phương pháp tách nề 1.3.2. ................................................. 31 Phương pháp Template Matching CHƯƠNG 2. Ế Ế CƠ KHÍ TÍNH TOÁN THI T K ................................................ 35 2.1. tính toán l a ch n Camera cho h n và phát hi n Cơ sở ự ọ ệ thống ngăn chặ ệ s c .................................................................................................... 35 ự ố 2.1.1. c nghi a ch i nh n phát hi n...... 40 Thự ệm lự ọn kích thước lỗ nhỏ ất cầ ệ 2.2. Thông s , v .............................................. 41 ố thiết bị ị trí lắp đặt Camera 2.3. u sáng( lightning)............................................. 45 Chọn phương án chiế CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể THI T K THU U KHI N................................... 47 3.1. u khi n. .............................................................. 47 Yêu cầu bài toán điề ể 3.2. Xây d thu u khi n h ng giám sát ch ng ựng sơ đồ ật toán điề ể ệ thố ất lượ ................... ......................................................................................... 48 3.3. K t i mô hình thi t b nghi m ................................ 52 ết quả thực tế ạ ế ị thử ệ K N.......................................................................................................... 61 ẾT LUẬ TÀI LIỆ Ả U THAM KH O.................................................................................... 63

4. ` 4 DANH M NH Ụ Ả C HÌNH Hình 1.1 Các đườ ấ ng song song xu t hiệ ở ố n tr thành con d c.................. 11 Hình 1.2 Process s n xu n tho i...................................... 12 ả ất màn hình điệ ạ Hình 1.3 Layer các dòng điệ ạ n tho i........................................................ 12 Hình 1.4 n xu t màn hình............................................... 13 Phương thức sả ấ Hình 1.5 C u t n c a màn hình OLED ....................................... 13 ấ ạo cơ bả ủ Hình 1.6 Sơ lược process dán ................................................................. 13 Hình 1.7 Sơ đồ ố kh i thiế ị ớ t b dán Window v i Panel.............................. 14 Hình 1.8 Loại hình dị ậ v t........................................................................ 15 Hình 1.9 Loại hình bóng khí................................................................... 15 Hình 1.10 Ý tưở ệ ự ố ng camera giám sát và phát hi n s c ........................... 17 Hình 1.11 l u khi n............................................ 17 Sơ đồ ắp đặt hệ thống điề ể Hình 1. Không gian màu RGB 12 ............................................................. 19 Hình 1. Không gian màu YMC 13 ............................................................. 20 Hình 1. Không gian màu HSV 14 .............................................................. 21 Hình 1.15 nh v i giá tr Threshold khác nhau ....................................... 22 Ả ớ ị Hình 1.16 t toán thu phóng nh ........................................................ 23 Thuậ ả Hình 1.17 t toán xoay ................................................................. 23 Thuậ ảnh Hình 1.18 Phép giãn n ............................................................................ 24 ở Hình 1.19 Phép giãn n ............................................................................ 24 ở Hình 1. Gradient 20 ................................................................................... 26 Hình 1.21 nh g l c Candy ............................................................. 26 Ả ốc bộ ọ Hình Ví d 1.22 ụ ề v phép tìm biên Candy ................................................. 27 Hình 1.23 i Hough................................................................... 28 Chuyển đổ Hình 1.24 ng tròn ................................................ 28 Chuyển đổi Hough đườ Hình 2.1 camera Vision..................................................... 36 Lý thuyết về Hình 2.2 và v Camera vision .......................... 42 Sơ đồ thiết bị ị trí lắp đặt Hình Khu v 2.3 ự ệ c làm vi c của Camera................................................. 42 Hình 2.4 Sơ đồ ạ ộ ủ nguyên lý ho t đ ng c a hệ ố th ng................................. 42 Hình 2.5 Base light............... 43 Robot loading màn hình từ conveyer vào

5. ` 5 Hình 2.6 Step 2 c a chu trình làm vi c................................................... 43 ủ ệ Hình 2.7 ng h p phát sinh l ng ............................. 44 Step 3 trườ ợ ỗi chấ ợ t lư Hình 2.8 L p l chu trình làm vi c ........................................................ 45 ặ ại ệ Hình 2.9 u sáng.................................................... 46 Các phương thức chiế Hình 2.10 u sáng..................................... 46 Thực nghiệm phương thức chiế Hình 3.1 Sơ đồ ắp đặ l t hệ ống điề ể th u khi n............................................ 47 Hình 3.2 Sơ đồ ậ thu t toán ....................................................................... 49 Hình 3.3 Tiề ử ả n x lý nh.......................................................................... 49 Hình 3.4 Điểm đăng kí ngoại lệ dùng làm đặ ả ………… c tính hình nh ..50 Hình 3.5 Ả ị nh live b xoay trong quá trình loading................................. 51 Hình 3.6 Giả ở ậ i thích ý tư ng thu t toán ................................................... 52 Hình 3.7 Thiết bị đánh giá chương trình Vision..................................... 53 Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 ......................... 56 Hình 3.9 K tính toán DOE ............................................................ 56 ết quả Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4..................................... 57 Hình 3.11 Data đánh giá kích thước lỗi 0.956*0.776............................... 57 Hình 3.12 Biểu đồ ỷ ệ so sánh các phương pháp ngoạ t l i quan................. 60 Hình 3.13 Ả ả ẩ nh s n ph m bị xoay trước khi Vision check........................ 60 Hình 3.14 Camera check d v c 0.24mm................. 61 ị ật bóng khí kích thướ Hình 3.15 Camera check d v c 0.23mm................. 62 ị ật bóng khí kích thướ

6. ` 6 DANH M C T NG ANH Ụ Ừ Ế TI Visual Inspection Kiểm tra trực quan Process Công đoạn Step by step Bước trong bước Liquid Crystal Display (LCD) Màn hình tinh thể lỏng Active Matrix Organic Light Emitting Diode (AMOLED) DDiot phát sáng hữu cơ ma trận động (Plane, Rollable, Bended, Foldable ( ) YOUM Phẳng, cuộn tròn, uốn cong, gập Curved Rolling Cán cong Flat Rolling Cán phẳng Sheet Rolling Cán dính Section Mặt cắt Auto Clave Nồi hấp Loading Mang Unloading Dỡ Stage Bàn đặt (để) Black light Đèn chiếu sáng Alarm Lỗi thiết bị Controller Bộ điều khiển Computer Máy tính Red, Green, Blue (RGB) Đỏ, xanh, vàng Hue, Saturation, Value (HSV) Màu sắc, sự bão hòa, giá trị cường độ Cyan, Megenta, Yellow, Black ( ) CMYK Xanh lơ, hồng sẫm, vàng, đen Threshold Ngưỡng cửa Dilation Giãn nở Image structuring element Cấu trúc phần tử ảnh Upper threshold Ngưỡng trên Lower threshold Ngưỡng dưới Background subtraction Phương pháp tách nền Template matching So sánh mẫu Field of view (FOV) Vùng làm việc Working distance Khoảng cách từ Lén tới đối tượng

7. ` 7 L U ỜI NÓI ĐẦ c s ng ngày càng hi i g n li n v i t ng hóa, công ngh s thì Cuộ ố ện đạ ắ ề ớ ự độ ệ ố nhu c u v s d ng các thi t b n t , s n ph m công ngh cao và g n li n v ầ ề ử ụ ế ị điệ ử ả ẩ ệ ắ ề ới đờ ố ạ ủa con ngườ ều hơn. Vì thế ệ ế ế ả i s ng sinh ho t c i ngày càng nhi vi c thi t k , s n xu và liên t c c i ti a các thi t b n t ph c v nhu c u cu ất ụ ả ến hơn nữ ế ị điện, điệ ử ụ ụ ầ ộc s ng hàng ngày c ố ủa con người là r t c n thi t và không ng ng di n ra quanh chúng ấ ầ ế ừ ễ ta. Nh chính sách m c a c c nên các công ngh ững năm gần đây, nhờ ở ử ủa nhà nướ ệ s n xu t, thi t b hi i ph c v s n xu t t c nh p kh u tr c ti p, ả ấ ế ị ện đạ ụ ụ ả ấ ự động hóa đượ ậ ẩ ự ế ho c nh ặ ận đầu tư rất l n t các t ớ ừ ập đoàn công nghệ hàng đầu th gi ế ới tăng lên đáng k c bi t ph i k t i nh ng t n v công ngh n t t B n, Hàn ể, đặ ệ ả ể ớ ữ ập đoàn lớ ề ệ đế ừ Nhậ ả Quố ốc… Hưở ợ ừ ệ ậ ẩ ệ ả ấ c, Trung Qu ng l i t vi c nh p kh u linh ki n máy móc s n xu t thiế ị điệ ử đượ ả ất trong nướ ớ ấ ạo cơ hộ ệ t b n t c s n xu c v i chi phí th p và t i vi c làm cho nh ng nhân l c h c h i, trau d i công ngh t các ữ ực trong nước, qua đó đượ ọ ỏ ồ ệ ừ đối tác nước ngoài ngày càng tr nên thu n ti n. Trong nh ng ngành s n xu t thi ở ậ ệ ữ ả ấ ết b n t nói chung ngành s n xu t màn hình, thi t b s d ng màn hình hi n ị điệ ử thì ả ấ ế ị ử ụ ể thị ngày càng phát tri n t i ể ạ Việ , đặ ệt theo xu hướ t Nam c bi ng ngày m t hoàn thi n ộ ệ hơn và chất lượ ử ụng cao hơn hướ ớ ầ ủ ị trường. Do đó, ng s d ng t i nhu c u cao c a th v ki m soát t t c ch ng s n ph m trong quá trình s n xu t s giúp ấn đề ể ố đượ ất lượ ả ẩ ả ấ ẽ gi m thi u t nhi nh tranh c a s n ph c s ả ể chi phí đi rấ ều, giúp tăng tính cạ ủ ả ẩm đượ ản xu c và k thu t c a nhân l c s n xu t lên m cách ất trong nướ nâng cao trình độ ỹ ậ ủ ự ả ấ ột đáng kể. Hơn nữa, xu hướ ủ ả ấ ế ị ử ng c a các công ty s n xu t màn hình và các thi t b s d ng màn hình là ngày càng m ụ ỏng hơn và có thể ậ g p, u n cong nh ố ằm đáp ứng nhu c u th ng nên vi c s n xu t hàng lo t trong khi v n ph m b o ch ng ầ ị trườ ệ ả ấ ạ ẫ ải đả ả ất lượ đòi hỏi công đoạn giám sát chất lượ ả ng ph i ngày một chính xác hơn và nhanh hơn. Việc kiể ấ ợ ả ẩ m soát ch t lư ng s n ph m b ng các công nhân ngo ằ ại quan do đó không còn đáp ứng đượ ầ ả ấ ế ầ ả ệ ế ỗ c nhu c u s n xu t vì th c n ph i có các công ngh tiên ti n h trợ để ể tăng cao độ ả ối đa thờ ể ỗ ị có th xác và gi chính m t i gian ki m tra hàng l i, k p thời x lý trong quá trình s n xu t nh m gi m t ử ả ấ ằ ả ối đa thiệt h i và th i gian s n xu t. ạ ờ ả ấ M t trong nh ng công ngh tiên ti n h r t t t cho quy trình giám sát ch ộ ữ ệ ế ỗ trợ ấ ố ất lượng đượ ể ạ ẽ năm gần đây phả ể đế ệ c phát tri n m nh m trong vài i k n công ngh

8. ` 8 Computer Vision ( giác máy tính). Công ngh này n u phát tri n t t và thị ệ ế ể ố ứng d ng ụ phù h p thì hoàn toàn có th thay th i trong vi c t ng phát hi n các ợ ể ế con ngườ ệ ự độ ệ l i nh nh t v i th i gian nhanh nh t do vi c ki m soát hoàn toàn t ng và các ỗ ỏ ấ ớ ờ ấ ệ ể ự độ camera đang ngày càng hoàn thiện hơn cho phép phát hiệ ậ ể ớ n ra các v t th v i kích thước c c nh mà m ự ỏ ắt người cũng không thể nhìn thấy được. M t trong nh ng y ộ ữ ếu t c c k quan tr ng, mang tính s ng còn c n giám sát trong các công ty s n xu ố ự ỳ ọ ố ầ ả ất màn hình hi i chính là d v t bóng khí và dán l , m ng s n ện đạ ị ậ ệch ặc dù môi trườ ả xu t là phòng s v t và các l i bóng khí, dán l c nh ấ ạch nhưng dị ậ ỗ ệch có kích thướ ỏ khó ki m soát m t khi l t vào quy trình s n xu t s l p t c gây l ể ộ ọ ả ấ ẽ ậ ứ ỗi đặc tính cho s n ả ph m. Thông qua hình th c ki m soát hình nh trong th i gian th c b ng cách s ẩ ứ ể ả ờ ự ẳ ử d phân gi i cao k p v i thu lý tín hi u hình ụng camera có độ ả ết hợ ớ ật toán xử ệ ảnh để phân tích, cho ra k t qu chính xác giúp nh có hay không d v t hay các l ế ả phán đị ị ậ ỗi ch ch ất lượ ả ấ ẽ ấ ố ự ố ng các quy trình s trong n xu t s giúp phòng tránh r t t t các s c ất lượ Độ ủa phương pháp xử ả ờ ự ụ ộ ấ ng. chính xác c lý nh th i gian th c này ph thu c r t nhi u vào ph n c ng c a thi t b ề ầ ứ ủ ế ị như vi xử lý, card đồ h a c a máy tính hay camera ọ ủ ghi l i hình nh thu ạ ả cũng như là phụ thuộc vào ật toán tối ưu hay không… Trướ ầ ầ ủ ự ễ ận văn đã lên ý tưở ề ệ ế c yêu c u c u c a th c ti n, lu ng v vi c ti n hành l t h ng giám sát ch n tho i thông qua vi c phát ắp đặ ệ thố ấ ợng trên màn hình điệ t lư ạ ệ hi n, nh báo khi xu t hi n các s c liên quan t i l i ch ệ ngăn chặn và đưa ra cả ấ ệ ự ố ớ ỗ ất lượ ị ậ ệ ng (có d v t, bóng khí, dán l ch). “Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại” Thuyết minh đồ ồm 3 chương, nội dung như sau: án g ▪ Chương 1. T NG QUAN NGHIÊN C U Ổ Ứ - c v quá trình s n xu t c a các nhà máy s n xu n Sơ lượ ề ả ấ ủ ả ất màn hình điệ tho i. ạ - ng c a c a các s c ng trong nhà máy s n xu t màn Ảnh hưở ủ ủ ự ố chất lượ ả ấ hình điệ ạ n tho i. - Lý do lựa chọn đề tài - n s c ng. Các phương pháp phát hiệ ự ố chất lượ - Lý thuy t v x lý nh và các ng d ng th s áp d tài. ế ề ử ả ứ ụ ực tế ẽ ụng trong đề

9. ` 9 - Vai trò c a h ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công ớ ả ấ nghi p ệ ▪ Chương 2. TÍNH TOÁN THI T K Ế Ế CƠ KHÍ - tính toán l n Camera cho h ng giám sát ch ng. Cơ sở ựa chọ ệ thố ấ ợ t lư - linh ki n phù h p v i yêu c Thông số ệ ợ ớ ầu đặt ra. - ng ho ng c ng giám sát ch ng. Mô phỏ ạ ộ t đ ủa hệ thố ấ ợ t lư - u sáng. Phương thức chiế ▪ Chương 3. T K U KHI THIẾ Ế THUẬT TOÁN ĐIỀ ỂN - u khi n. Yêu cầu bài toán điề ể - u khi n h ng giám sát ch ng. Xây dựng sơ đồ thuật toán điề ể ệ thố ấ ợ t lư - toán tìm ki m d v t ,bóng khí , dán l ch phát sinh d a trên gi Thuật ế ị ậ ệ ự ải thuật Template Matching và Subtract background. - u ki n th m t t áp d Kiểm thảo tìm điề ệ ực nghiệ ốt nhấ ụng cho đề tài. g tài v làm vi c cao, k ng cùng Dù đã cố ắng hoàn thành đề ới cường độ ệ ỹ lưỡ sự hướng d n r t c ẫ ấ ụ thể, nhi t tình c a các th y trong ệ ủ ầ ngành Điều khi n và T ể ự động hóa, Khoa T ng hóa ng d ng th c ti n t ự độ cũng như ứ ụ ự ễ ại cơ quan làm việc, nhưng do hi u bi t còn h n ch c ng v u ki m th c nghi m còn gi i h n v ể ế ạ ế ộ ới điề ện đo kiể ự ệ ớ ạ ề m t thi nên ch c ch n lu c kh t sót ặ ết bị ắ ắ ận văn này không tránh khỏi đượ ả năng thiế và b t c p. Vì v y em r t mong s s a ch a và góp ý c a h ấ ậ ậ ấ ự ử ữ ủ ội đồng, quý thầy cô để em rút ra kinh nghi cho b ệ ổ ế ứ m và b sung thêm ki n th c ản thân. Hà Nộ tháng 4 năm 2022 i, ngày 01 H hi n: ọc viên thực ệ p Phạm Văn Tiệ

10. ` 10 CHƯƠNG 1. Ổ Ứ T NG QUAN NGHIÊN C U Chương ồ ội dung như sau: 1 bao g m các n - c v quá trình s n xu t c a các nhà máy s n xu n Sơ lượ ề ả ấ ủ ả ất màn hình điệ tho i. ạ - ng c a c a các s c ng trong nhà máy s n xu t màn Ảnh hưở ủ ủ ự ố chất lượ ả ấ hình điệ ạ n tho i. - Lý do lựa chọn đề tài - n s c ng. Các phương pháp phát hiệ ự ố chất lượ - Lý thuy t v x lý nh và các ng d ng th s áp d tài. ế ề ử ả ứ ụ ực tế ẽ ụng trong đề - Vai trò c a h ủ ệ thống giám sát chất lượng đối v i nhà máy s n xu t công ớ ả ấ nghi p ệ 1.1. Đặt vấn đề X c phát tri n và ng d ng r ng rãi ử lý ảnh là lĩnh vực mà ngày nay đượ ể ứ ụ ất rộ trong nhiều lĩnh vự ờ ự ể ạ ẽ ủ c khác nhau nh vào s phát tri n ngày càng m nh m c a các h ng máy tính, các thu t toán và công trình nghiên c u khác nhau c a nhi u ệ thố ậ ứ ủ ề nhà khoa h c trên th ọ ế giới. Ở Việt Nam, cùng v i s phát tri n c a k nguyên công ớ ự ể ủ ỷ nghi p 4.0 các ng d ng v x c tri n khai vô cùng m nh ệ ứ ụ ề ử lý ảnh đã và đang đượ ể ạ mẽ trên nhiều lĩnh vực như ứ ụ ng d ng qu n lý giao thông ả đô thị [4], ứ ụ ng d ng quản lý d u sinh tr c h c , ng d ng trong các h ng giám sát ch ng, h ữ liệ ắ ọ [5] ứ ụ ệ thố ất lượ ệ thố ậ ệ ử ỉ ủa con ngườ … ng nh n di n thông qua c ch c i [12] Trên đà phát triển đó c a x ủ ử lý ảnh, ph i k n ng d ng c ả ể đế ứ ụ ủa nó trong lĩnh v c ki m tra tr c quan( Visual Inspection) liên quan t i vi c phân tích các s n ự ể ự ớ ệ ả ph m ho ng s n xu t khác trên dây chuy n cho m m soát ch ẩ ặc đối tượ ả ấ ề ục đích kiể ất lượ ể ng. Ki m tra trự ể đượ ử ụng để đánh giá bên trong và bên c quan cũng có th c s d ngoài c a các thi t b khác nhau trong m s n xu a, bình ch ủ ế ị ột cơ sở ả ất như bể chứ ịu áp l ng ng và các thi t b t quá trình di n ra trong kho ng ực, đườ ố ế ị khác. Đó là mộ ễ ả thời gian đều đặ ỗ ầ ệ ầ ế ả ế ế n m i ngày góp ph n phát hi n ra h u h t c khi m khuy t trong quá trình s n xu m tra tr h u h c c hi n th công, ả ất. Việc kiể ực quan ầ ết đang đượ thự ệ ủ đòi hỏ ự ệ ệ ủ ại quan đánh giá và thự ệ i s hi n di n c a các công nhân ngo c hi n theo các đào tạ ặ ế ứ ận đượ ừ ớc đó. Mắt thườ ế ố o ho c ki n th c nh c t trư ng chính là là y u t then chố ủ ệ ể ự ủ ứ ệ ọ t c a vi c ki m tra tr c quan th công, tuy nhiên theo nghiên c u vi c l t lõi

11. ` 11 khi ti ng t 20% ~ 30% [6]. M t s khi ến hành theo phương pháp này dao độ ừ ộ ố ếm khuy t có th quy cho l i c a công nhân ngo i quan( tâm tr ng, s c kh e,.. t i th ế ể ỗ ủ ạ ạ ứ ỏ ạ ời điể ể ộ ố ớ ạ ề m ki m tra), trong khi m t s khác là do gi i h n v không g ( ánh sáng, ian kho ng cách ngo i quan,...); m c dù có th gi m b ả ạ ặ ể ả ớt được vi c l t l i do công nhân ệ ọ ỗ ngo o và th c lo i b hoàn ại quan thông qua đào tạ ực hành, nhưng không thể đượ ạ ỏ toàn. Đặc biệt, trong môi trườ ả ng s n xuất khi con người m t m i có th d n t i k ệ ỏ ể ẫ ớ ết qu ngo i quan x y ra nhi u sai sót. L i ki m tra tr c quan trong s n xu ng ả ạ ả ề ỗ ể ự ả ất thườ có hai hình th c là u m t khi m khuy t hi n có ho ứ thiế ộ ế ế ệ ặc xác định không chính xác m t khi m khuy t t n t i t ví d v h n ch c a m i trong ộ ế ế ồ ạ , dưới đây là mộ ụ ề ạ ế ủ ắt ngườ quá trình ki c quan: ểm tra trự Hình 1.1 ng song song xu n tr thành con d Các đườ ất hiệ ở ốc. 1.1.1. Sơ lượ ề ả ấ ạ ả ấ c v quá trình s n xu t t i các nhà máy s n xu t màn hình điệ ạ n tho i. s n xu t ra m n tho i hoàn ch nh ph i tr i qua r Để ả ấ ột màn màn hình điệ ạ ỉ ả ả ất nhi n step by step k thu t l p ráp, dán các t m v t lý v i nhau m ều công đoạ ỹ ậ ắ ấ ậ ớ ột cách t m , chính xác nh t. Vi c dán các l p này v ỉ ỉ ấ ệ ớ ới nhau đượ ế c ti n hành theo một chu trình khép kín và hoàn toàn t ng b ng các cánh tay Robot và thi t b t ự độ ằ ế ị ự động hóa. Process s n xu i n tho ả ất 1 màn hình đ ệ ại như sau:

12. ` 12 Hình 1.2 Process s n xu n tho i ả ất màn hình điệ ạ a. L ch s hình thành các l n tho ị ử ớ ệ p đi ại như sau : ✓ 2014 tr v n tho i dòng LCD g m 6 l p ở ề trước : Điệ ạ ồ ớ p ,màu s c s ng. + Ưu điểm : Design tương đố ẹ i đ ắ ống độ t dày và n ng ,do c u t o b ng kính nên d v . + Nhượ ể c đi m : Rấ ặ ầ ạ ằ ễ ỡ ✓ 2014 n tho p – 2020 : Điệ ại dòng AMOLED gồm 4 lớ m : Thi t k m p ,màu s c s ng + Ưu điể ế ế ỏng đẹ ắ ống độ v ,không có kh p + Nhượ ể c đi m : Dễ ỡ ả năng gậ ✓ → 2020 n tho p Nay : Điệ ại ong YOUM gồm 4 lớ + Ưu điểm : Thi t k p ,màu s c s ế ế đẹ ắ ống động, tăng độ ể hi n th ngoài ị trời ✓ + Nhượ ể c đi m : Giá thành cao Hình 1.3 n tho i Layer các dòng điệ ạ

13. ` 13 b. M n tho ỗi lớ ệ p đi ại có phương thức dán như sau Hình 1.4 n xu t màn hình Phương thức sả ấ Hình 1.5 C u t n c a m t màn hình OLED ấ ạo cơ bả ủ ộ c. Quy trình sả ất sơ lượ n xu c giới hạn trong đề ại công đoạ tài t n : Hình 1.6 c process dán Sơ lượ

14. ` 14 Quy trình s n xu c gi i h tài t n bao g m các khâu ả ất sơ lượ ớ ạn trong đề ại công đoạ ồ như sau: - C p nguyên v u ( Panel, T m dính d n, Window) ấ ật liệ ấ ẫn điệ - ) nguyên v t li Loading( đặt, để ậ ệu lên các Stage( bàn chân không đặt Panel) - d ng công ngh Vision Aligment ) Dán( Sử ụ ệ - c) bán thành ph m kh i các Stage( bàn chân không) Unloading( nhấ ẩ ỏ - ) bán thành ph m vào Tray( khuôn ch a Panel) Loading( đặ ể t, đ ẩ ứ - conveyer vào máy kh b ng hóa Loading từ ử ọ ờ t khí/cư - Check ngo i quan hàng thành ph n, Window ) ạ ẩm ( Panel ,tấm dính dẫn điệ - ành ph m vào tray ( khuôn ch a Window ) Loading th ẩ ứ Hình 1.7 kh t b dán Window v i Panel Sơ đồ ối thiế ị ớ 1.1.2. Ả ở ủ ự ố ớ ấ ợ ả ẩm trong công đoạ nh hư ng c a s c t i ch t lư ng s n ph n S c ng phát sinh trong quá trình s n xu t có th gây ra r t nhi ự ố chất lượ ả ấ ể ấ ều l i nghiêm tr ng lên s n ph c bi t là các th h n tho i thông minh s ỗ ọ ả ẩm, đặ ệ ế ệ điệ ạ ử d ng t m n c hi n th nh dày m i k n là ụ ấ ền có kích thướ ể ị ỏ và độ ỏng. Hơn cả phả ể đế l v l i bóng khí và l n ph ỗi dị ật, ỗ ỗi dán lệch sả ẩm . Trung bình s n xu t /tháng : Capa 3,200,000 s n ph m, giá thành m t s ả ấ ả ẩ ộ ản ph 100$ ( Công b ) ẩm là ố năm 2021 L i d v t ( T l l i 1.2% ): là l i phát sinh khi có d v t n m gi a m t trong ỗ ị ậ ỷ ệ ỗ ỗ ị ậ ằ ữ ộ các l p v t lý c a màn hình, d v t có th phát sinh trong quá trình dán do ô nhi ớ ậ ủ ị ậ ể ễm v t li u vào,trong thi t b s n xu m b s ch theo tiêu ậ ệu đầ ế ị ả ất không đả ảo 100% độ ạ chuẩ ị ậ ới có kích thướ ớn hơn 0.3 ức là kích thướ ỏ ấ n. D v t nói t c l mm t c nh nh t mà mắt thường có thể quan sát được ở c ly s d n tho i. G p l i này không th ự ử ụng điệ ạ ặ ỗ ể

15. ` 15 tái s d c mà ph i x lý h i v i s ử ụng đượ ả ử ủy đố ớ ản phẩm. Theo như tính toán thì thiệt h s n ph t VND/ Tháng ạị theo giá trị ả ẩm 3,6M ( USD)~ 82.8 ỷ Hình 1.8 v t Loại hình dị ậ L i bóng khí ( t l l i 0.2% ) là l i phát sinh do trong hình thành quá trình ỗ ỷ ệ ỗ ỗ dán m n tho i ( Window ) vào b m t Panel d n t s n ph m sau khi hoàn ặt điệ ạ ề ặ ẫ ới ả ẩ thành chu trình dán xu t hi n tho i . G p l ấ ện các bóng khí li ti trên màn hình điệ ạ ặ ỗi này không th tái s d ể ử ụng được mà ph i x lý h ả ử ủy đố ớ i v i s n ph ả ẩm Theo như tính toán thì thi t h ệ ạị theo giá tr s n ph m 0.6 M ( USD)~ 13.8 t VND/ Tháng ị ả ẩ ỷ Hình 1.9 Loại hình bóng khí L i dán l ch s n ph m ( T l l i 0.1% ): là là l i phát sinh do trong hình ỗ ệ ả ẩ ỷ ệ ỗ ỗ thành quá trình dán m i ( Window ) vào b t Panel d i s ặ ệ ạ t đi n tho ề ặ m ẫ ớ n t ả ẩ n ph m sau khi hoàn thành chu trình dán không kh p nhau màn n tho i . D n t ớ hình điệ ạ ẫ ới kh p ráp và hi n th màn hình các module phía sau dây chuy n s n xu ả năng lắ ể ị ở ề ả ất không đáp ứng được tiêu chí đầ ủ ặ ỗ ể ử u ra c a nhà máy. G p l i này không th tái s dụng đượ ả c mà ph i h i v i s n ph ủy đố ớ ả ẩm. Theo như tính toán thì thiệt hạị theo giá trị ả ẩ ỷ s n ph m 0.3 M ( USD)~ 6.9 t VND/ Tháng Qua li t kê m t s v nghiêm tr ng do s c gây ra gây ra nêu trên thì ệ ộ ố ấn đề ọ ự ố vi c phát tri n m t h ng t ng giám n các s c ng ệ ể ộ ệ thố ự độ sát và ngăn chặ ự ố chất lượ t n xu t quan tr u vô cùng c n thi t và c i v i các ại các bước sả ấ ọng là điề ầ ế ấp bách đố ớ nhà máy s n xu t màn hình. ả ấ

16. ` 16 1.1.3. Tính cấ ủa đề p bách c tài T quy trình s n xu t s n ph m t trên có th y r ng ừ ả ấ ả ẩ ại công đoạn đã nêu ở ể thấ ằ chu trình s n xu t hoàn toàn khép kín, m ả ấ ỗi 1 quá trình dán đều có thể nguy cơ gây ra l i hàng lo t ( d v t/ bóng khí / dán l ch s n ph m ) n u không phát hi n và ỗ ạ ị ậ ệ ả ẩ ế ệ ngăn ngừ ự ố ỗ ể ệ ạ ấ a các s c hay các l i phát sinh thì hoàn toàn có th gây ra thi t h i r t l n cho nhà máy, vì th m m tra liên t c tình ớ ế ột phương pháp kiể ục, giám sát đượ trạng c a hàng thành ph ủ ẩm, trước khi tiến hành công đoạn sau là vô cùng c n thi ầ ết nh m phòng tránh l i phát sinh. Áp d ng x lý nh v i ch m t vision camera có ằ ỗ ụ ử ả ớ ỉ ộ nhi m phù h ều ưu điể ợp để áp dụng như sau: - i gian x lý nhanh, phù h p v i dây chuy n s n xu ng Thờ ử ợ ớ ề ả ất tự độ M i s n ph m hi n t i có th i gian hoàn thành ch kho ng 5s, trong th ỗ ả ẩ ệ ạ ờ ỉ ả ời gian 5s con ngườ ể ỹ đượ ị ậ ệ i khó có th quan sát k c d v t/bóng khí/ dán l ch có kích thướ ỏ c nh kho ng t 0.3 mm tr lên, tuy nhiên v ng d ng c a x lý nh ch c n ả ừ ở ới ứ ụ ủ ử ả ỉ ầ 10 camera vision /2 stage cho m thì hoàn toàn có th phát hi n toàn b 3 ỗi thiết bị ể ệ ộ l i k nh báo kh n c p cho k t viên có th x lý ỗ ể trên phát sinh, đưa ra các cả ẩ ấ ỹ thuậ ể ử k p th ị ời. - g n, có th p trong thi t b Kích thước nhỏ ọ ể tích hợ ế ị c ph n trong thi t b hi n t i khá nh kho ng 800mm x Kích thướ ầ ế ị ệ ạ ỏ chỉ ả 800mm, v i nhi u chi ti t linh ki n ph c t p; tuy nhiên m i camera vision ch ớ ề ế ệ ứ ạ ỗ ỉ có kích thướ ả ể ắp đặ ảnh hưở c kho ng 50mm x 50mm hoàn toàn có th l t mà không ng t i v n hành chung c a các chi ti c tính nh g n này th c s phù ớ ậ ủ ết máy khác. Đặ ỏ ọ ự ự h p v i thi hi n t ợ ớ ết bị ệ ại. - Có th qu c l ch s ng d a trên d ể ản lý đượ ị ử hoạt độ ự ữ liệu được đưa lên hệ thống i v i m i h ng làm vi c thì vi c qu n lý l ch s là r t quan tr ng. Đố ớ ỗ ệ thố ệ ệ ả ị ử ấ ọ D a trên d u thu th c v các l i phát hi c hàng ngày chúng ta có ự ữ liệ ập đượ ề ỗ ện đượ thể ắ ắt đươc tình trạ ậ ệu đầu vào đang ở xu hướ ố n m b ng nguyên v t li ng t t lên hay xấu đi, có thể ểu đượ hi c t i sao l i phát sinh v i các th ạ ỗ ớ ời điểm phát hiện được, nắm b n tr ng ch n,... ắt chính xác hiệ ạ ấ ợng công đoạ t lư ng xây d tài, s l Bên dưới đây là hình ảnh tưởng minh ý tưở ựng đề ẽ ắp đặt camera vision t i thi t b nh m quan sát nh m phát hi n phân tích hình nh xem ạ ế ị ằ ằ ệ ả có hay không có các l c nh báo cho nhân viên k p th i x lý, v ỗi hay phát sinh để ả ị ờ ử ị

17. ` 17 trí l t cho phép quan sát rõ b m t s n ph t qu d a trên thu ắp đặ ề ặ ả ẩm và đưa ra kế ả ự ật toán x lý ử ảnh. Hình 1.10 Ý tưở ệ ự ố ng Camera Vision giám sát và phát hi n s c Hình 1.11 l u khi n Sơ đồ ắp đặt hệ thống điề ể Các thành ph n c a h u khi n bao g ầ ủ ệ thống điề ể ồm: - Camera Vision: ch p nh t trí ch ụ ả ại vị ỉ định - u sáng: T ng ánh sáng thu n l nh ch c có Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ d dàng x ng t i thì nh ch c s khó x lý d n đế ế ả ố n k t qu không mong mu n. - u khi m các tham s c u sáng Controller: Điề ể ố ủa đèn chiế - Computer: ch a ph m m m h hình c. Ph m m m có ch ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức năng xử lý hình ảnh, phát hi n d v ệ ị ật và đưa ra cảnh báo sau đó truyền thông tin v thi ề ế ị t b .

18. ` 18 1.2 n ch ng b ng x Phương pháp phát hiệ ấ ợ t lư ằ ử lý ảnh V u xây d ng thu nh ta c n n ới yêu cầ ự ật toán và viết chương trình xử lý ả ầ ắm được m t cách v ng ch c các lý thuy t v x lý nh và ộ ữ ắ ế ề ử ả ứng d ng c a nó trong th ụ ủ ực t ng m n n ng và ngu n tài li u tham kh ế. Dướ ạ i đây là h ục các lý thuyết cầ ắm vữ ồ ệ ảo ph n [1], [3]. ục vụ ội dung đề tài X nh và th c mà ngày n c phát tri n và ng ử lý ả ị giác máy là lĩnh vự ay đượ ể ứ d ng r t r ng rãi trong nhi c khác nhau nh vào s phát tri n ngày càng ụ ấ ộ ều lĩnh vự ờ ự ể m nh m c a các h ạ ẽ ủ ệ thố ậ ng máy tính, các thu t toán và công trình nghiên c u khác ứ nhau c a nhi u nhà khoa h gi i . ủ ề ọc trên thế ớ [16] Xử lý ảnh là ph n c ầ ốt lõi c a k thu t th giác máy tính . Nhi m v chính ủ ỹ ậ ị [13] ệ ụ c a x nh là nâng cao ch ng thông tin hình nh theo m ủ ử lý ả ất lượ ả ục đích và xử lý những thông tin đó đưa ra kế ả ố t qu , s liệ ằ ụ u nh m ph c v c k p có th ụ các bướ ế tiế ể là hi n th u khi u ch p hành h d u. ể ị, điề ển cơ cấ ấ ệ thống, lưu trữ vào cơ sở ữ liệ Quá trình b u t vi c thu nh n nh ngu n ng nh s máy tính. D u ắt đầ ừ ệ ậ ả ồ (dạ ả ố) ở ữ liệ ảnh được lưu trữ ở đị ạ ợ ớ ử lý. Ngườ ậ ẽ đưa nh d ng phù h p v i quá trình x i l p trình s ra các thu t toán lên d u nh nh i c u trú nh phù h p v i các ng ậ ữ liệ ả ằm thay đổ ấ c ả ợ ớ ứ d ng khác nhau. Các thu n nh ng là: Histogram, Canny Edge, ụ ật toán cơ bả ất thườ l c màu RGB, l . ọ ọc màu HSV, … 1.2.1 a các không gian màu Không gian màu, chuyể ổ n đ i giữ Không gian màu là m t mô hình toán h mô t các màu s c trong ộ ọc dùng để ả ắ th c t c bi u di i d ng s h c ]. Trên th c t có r t nhi u không gian ự ế đượ ể ễn dướ ạ ố ọ [7 ự ế ấ ề màu khác nhau được mô hình để ử ụ ữ ục đích khác nhau. Trong s d ng vào nh ng m bài này ta s tìm hi u qua v c nh i và ng ẽ ể ề ba không gian màu cơ bản hay đượ ắc tớ ứ d ng nhi không gian màu RGB, HSV và CMYK. ụ ều, đó là hệ Không gian màu RGB RGB là không gian màu r t ph bi h a máy tính và ấ ổ ến được dùng trong đồ ọ nhi u thi t b t s ng chính c a không gian màu này là s k ề ế ị kĩ thuậ ố khác. Ý tưở ủ ự ết h p c a ba màu s Red), xanh l ợ ủ ắc cơ bản: màu đỏ (R, ục (G, Green) và xanh lơ (B, Blue) để ả ấ ả ắ ếu như mộ ả ố đượ ằ mô t t t c các màu s c khác. N t nh s c mã hóa b ng 24bit, nghĩa là 8 ỗ bit cho kênh R, 8 bit cho kênh G, 8 bit cho kênh B, thì m i kênh này màu này s nh n giá tr t 0 t 255. V i m i giá tr khác nhau c a các kênh ẽ ậ ị ừ ới ớ ỗ ị ủ

19. ` 19 màu k t h p v i nhau ta s c m y ta s có t ng c ng ế ợ ớ ẽ đượ ột màu khác nhau, như vậ ẽ ổ ộ 255 x 255 x 255 = 1.66 tri u màu s ệ ắc. Ví d k t h a các kênh màu (R, G, B) v i giá tr ụ: màu đen là sự ế ợp củ ớ ị tương ứ ắ ị ị ng (0, 0, 0) màu tr ng có giá tr (255, 255, 255), màu vàng có giá tr (255, 255, 0), màu tím đậ ị ế bit để ộ m có giá tr (64, 0, 128) ...N u ta dùng 16 mã hóa m t kênh màu tr (48bit cho toàn b 3 kênh màu) thì d i màu s ộ ả ẽ ả ộ ớ i r ng lên t i 3x216 ... Một con số ấ r t lớn. Hình 1.12 Không gian màu RGB Không gian màu CMYK: CMYK là không gian màu được s d ng ph bi n trong ử ụ ổ ế ngành công nghi p ệ in ấ ởng cơ bả ủ n. Ý tư n c a hệ ố ắc cơ bản để ụ không gian này là dùng b n màu s ph c v cho vi c pha tr n m c in. Trên th c t , ụ ệ ộ ự ự ế người ta dùng ba màu là C = Cyan: xanh lơ, M ồ ẫ Yellow: vàng để ể ễ ắ = Magenta: h ng x m và Y = bi u di n các màu s c khác nhau. N u l y màu h ng x m c ng v i vàng s , màu x m k t h p v ế ấ ồ ẫ ộ ớ ẽ ra màu đỏ ẫ ế ợ ới xanh lơ sẽ ự ế ợ ủ ẽ đen, tuy cho xanh lam ... S k t h p c a ba màu trên s cho ra màu nhiên màu đen ở đây khôn ải là đen tuyệ ối và thường có độ tương phả ớ g ph t đ n l n, nên trong ngành in, để ế ệ ực in người ta thêm vào màu đen để ữ ti t ki m m in nh ng chi ti t i k p ba màu s y ta có h ế có màu đen thay vì phả ết hợ ắc trên. Và như vậ ệ màu CMYK. ch K kí hi ( y c dùng ữ ở đây là để ệu màu đen Black), như vậ chữ B đã đượ để ể ễ nên ngườ ấ ữ ối K để ể ễn màu đen. bi u di n màu Blue i ta l y ch cái cu bi u di Nguyên lý làm vi c c a h ệ ủ ệ màu này như sau: trên m t n n gi y tr ng, khi m i màu ộ ề ấ ắ ỗ này được in lên sẽ loại b d n ỏ ầ đi thành ầ ph n màu tr ng. Ba màu C, M, Y khác nhau ắ in theo nh ng t l khác nhau s i b t cách khác nhau và ữ ỉ ệ ẽ loạ ỏ đi thành phần đó mộ

20. ` 20 cuố ắ ầ ầ màu đen, thay vì phả ả i cùng cho ta màu s c c n in. Khi c n in i in c ba màu người ta dùng màu đen để ớ ệ ủ in lên. Nguyên lý này khác v i nguyên lý làm vi c c a h RGB ệ ở ỗ ệ ch h RGB là s k t h p c a các thành ph n màu, còn h CMYK là s ự ế ợ ủ ầ ệ ự lo i b ạ ỏ ẫ ủ ầ l n nhau c a các thành ph n màu. Hình 1.13 Không gian màu YMC Không gian màu HSV: HSV và cũng gần tương tự như HSL là không gian màu đượ ề c dùng nhi u trong vi c ch nh s ệ ỉ ửa hình nh, phân tích ả ảnh và m t ph n c ộ ầ ủa lĩnh vực th giác máy ị tính. H mô t ệ ự ố sau để không gian này d a vào ba thông s ả ắ màu s c H = Hue: màu s c, s b o hòa, V = value: giá tr ắc, S = Saturation: độ đậm đặ ự ả ị cường độ sáng. Không gian c bi u di i d ng hình tr c hình nón. màu này thường đượ ể ễn dướ ạ ụ hoặ Theo đó, đi theo vòng tròn từ ớ 360 độ là trườ ể ễ ắ 0 t i ng bi u di n màu s c (Hue). Trườ ắt đầ ừ màu đỏ đầ ớ ục đầ ng này b u t u tiên (red primary) t i màu xanh l u tiên (green primary) n m trong kho ng t 0 t i , t 120 t i là màu xanh ằ ả ừ ớ 120 độ ừ ớ 240 độ l c t blue primary). T 240 t i 360 là d i ụ ới xanh lơ (green primary – ừ ớ ả màu đen tới lại màu đỏ. Việ ắm rõ đượ c n c khái ni m c a màu s c, cách th c t o ra các màu s ệ ủ ắ ứ ạ ắc trong t t l n trong vi c hi u và chuy i gi ừng không gian màu có ý nghĩa rấ ớ ệ ể ển đổ ữa các không gian màu tùy theo t ng tình hu ng bài toán x ừ ố ử lý ả ầu, dưới đây nh yêu c tiế ụ ớ ệ ề ế ển đổ ữ ậ p t c gi i thi u v lý thuy t chuy i gi a các không gian màu và thu t toán h trong OpenCV. ỗ trợ

21. ` 21 Hình 1.14 Không gian màu HSV Chương trình chuyển đổi các không gian màu Trong OpenCV, các không gian màu được đượ ển đổ ạ ờ c chuy i qua l i nh hàm cvtColor(convert color), nguyên mẫu hàm này như sau: cv::cvtColor(cv::InputArray src, cv::OutputArray dst, int code) Trong đó: src, dst là ảnh g c và ố ảnh thu được sau khi chuyển đổi không gian màu; code là mã chuy u ển đổi không gian màu. OpenCV định nghĩa khá nhiề chuyển đổ ữ ẳ ạn như ẽ i gi a các không gian màu ch ng h Code = CV_BGR2GRAY s chuyể ả ở ả ẽ n nh không gian màu RGB sang nh xám, Code = CV_HSV2 s BGR chuyể ả ở không gian màu HSV sang không gian màu RGB … n nh 1.2.2 phân, nh phân hóa v Ảnh nhị ị ới ngưỡng động Ả ị ả ị ủa các điể ả ỉ đượ ể ễ ằ nh nh phân là nh mà giá tr c m nh ch c bi u di n b ng hai giá tr 0 ho ng v c tr ng. Nh phân hóa m ị ặc 255 tương ứ ới hai màu đen hoặ ắ ị ột ả ế ộ ả ả ị ọ ị ờ nh là quá trình bi n m t nh xám thành nh nh phân. G i f(x,y) là giá tr cư ng độ ủ ột điể ả ở ị là ngưỡ ị ị phân. Khi đó, ả sáng c a m m nh v , trí (x,y) T ng nh nh nh xám s c chuy n thành nh nh phân d a vào công th f(x,y) = 0 n u f ẽ đượ ể ả ị ự ức ế f(x,y) ≤ T và f(x,y) = 255 n u f(x,y) > T. ế Hàm để chuy n nh phân hóa ể ị ảnh trong OpenCV là hàm threshold(). Nguyên m threshold(cv::InputArray src, ẫu hàm như sau: cv::OutputArray dst, double thresh, int maxval, int type). Trong đó, ảnh đầ src là u vào m t kênh màu ( d là c nh phân hóa, thresh ộ ảnh xám …), st ảnh sau khi đượ ị là

22. ` 22 ngưỡ ị ị ớ ấ ảnh (maxval = 255 đố ớ ả ng nh phân, maxval là giá tr l n nh t trong i v i nh xám), là ki u nh phân có th là: type ể ị ể CV_THRESH_BINARY,CV_THRESH_BINARY_INV,CV_THRESH_OTSU … lần lượt là nh phân hóa thông ị thường, nhị phân hóa ngược và nh phân hóa theo ị thu t ật toán Otsu … Kế ả ủ ệ ị ộ t qu c a vi c nh phân hóa m ả ụ ộc vào ngưỡ nh ph thu ng T, có nghĩa là vớ ỗi ngưỡ ữ ả ị i m ng T khác nhau thì ta có nh ng nh nh phân khác nhau. Hình sau mô t nh nh ng v ng T = 50, T =100. ả ba ả ị phân tương ứ ớ ỡ i ngư Hình 1.15 nh v i giá tr Threshold khác nhau Ả ớ ị 1.2.3 , xoay Phóng to, thu nhỏ ảnh Ả ố ự ấ ộ ận các điể ảnh, do đó để ể nh s th c ch t là m t ma tr m có th phóng to, thu nh t t m ỏ ộ hay xoay m ấ ả ể ử ụ ật toán tương ứ nh ta có th s d ng các thu ng trên ma trậ ẽ ử ụ ển đổi affine để quay và thay đổ ỉ ệ ỏ ủ ộ n. Ta s s d ng bi i t l to, nh c a m t ma trận. Biến đổi affine: Giả ử s ta có vector = [ x, y]T và ma tr n M 2x2. Phép bi i affine trong ậ ể ổ n đ không gian hai chi u có th ề ể được định nghĩa p’ = Mp trong đó p’ = [ x’, y’]T . Viết m ng minh ta có: ộ ờ t cách tư ' ' x x y y         =           (1.1) Hay x’ = αx + δy, y’ = γx + βy Xét ma tr n ậ           Nếu δ = γ = 0, khi đó x’ = αx và y’ = βy, phép biến đổi này làm thay đổ ỉ ệ ủ ậ ế ả ẽ ặ ỏ i t l c a ma tr n. N u là trong nh nó s phóng to ho c thu nh ả ả ến đổ ớ ỉ ệ α = β = 2 nh. Hình sau mô t phép bi i v i t l

23. ` 23 Hình 1.16 t toán thu phóng nh Thuậ ả N n: ếu ta định nghĩa ma trậ cos( ) sin(      sin( ) cos( )   −    (1.2) thì phép bi i s ến đổ ẽ quay p thành p’ với góc quay là θ. Hình 1.17 t toán xoay Thuậ ảnh 1.2.4 M phép toán s d ng trong n i dung lu ột số ử ụ ộ ận văn Phép giãn n (dilation) ở C u trúc ph n t nh (image structuring element) là m t hình kh ấ ầ ử ả ộ ối được định nghĩa sẵ ằm tương tác vớ ả ỏ ộ ố ấ n nh i nh xem nó có th a mãn m t s tính ch t nào đó không, mộ ố ấ ầ ử ặ ấ ố t s c u trúc ph n t hay g p là c u trúc theo kh i hình vuông và hình ch p. ữ thậ

24. ` 24 Hình 1.18 Phép giãn nở Ta hãy xét m nh v ng trong c bi u di n b ng màu n n ột ả ới đối tượ ảnh đượ ể ễ ằ ề nâu, sau đó dùng cấ ầ ử hình vuông (màu đỏ) để ở ả ế u trúc ph n t làm giãn n nh, k t qu ãn n n giãn n u là d u x. ả là ảnh được gi ở ra và phầ ở ra ta đánh dấ ấ Hình 1.19 Phép giãn nở Ứ ụ ủ ở là làm cho đối tượ ảnh được tăng lên ng d ng c a phép giãn n ng trong v c, các l trong c l y, n i li ng biên v ề kích thướ ỗ nhỏ ảnh đượ ấp đầ ố ền đườ ảnh đối ới nh n r ững đoạ ời nhỏ … Tìm biên ả ự ộ ọ nh d a trên b l c Canny B l c Canny là s k t h p c a nhi tìm và t ộ ọ ự ế ợ ủ ều bước khác nhau để ối ưu đườ ế ả ột đườ ả ng biên, k t qu là cho ra m ng biên khá m nh và chính xác. Quá trình tìm biên sử ụng phương pháp canny có thể ợ d đư c th c hi c sau: ự ệ ố bướ n qua b n Bước 1: i b u trong nh Loạ ớt nhiễ ả Ngườ ạ i ta lo i nhi u trong nh, làm cho nh m ng cách nhân ch p nh ễ ả ả ờ đi bằ ậ ả v l c Gause, ch ng h n b l c Gause 5x5 v i h s ới một bộ ọ ẳ ạ ộ ọ ớ ệ ố σ = 1.4:

25. ` 25 (1.3) Bước 2: Tính toán giá tr gradient trong ị ảnh Vì đườ ảnh là nơi phân cách giữa các đối tượ ng biên trong ng khác nhau, nên t a nó s bi i m nh m nh tính toán gradient trong ại đó gradient củ ẽ ến đổ ạ ẽ ất. Để ả ể ử ụ ộ ọ ặ ự ế ậ ậ ả ớ nh, ta có th s d ng b l c Sobel, ho c tr c ti p nhân ch p ma tr n nh v i các m t n ng x v y, ng h n: ặ ạ theo hướ à chẳ ạ (1.4) Sau đó tính độ ớ ả l n gradient trong nh: 2 2 x y G G G = + và arctan y x G G   =   (1.5) Bước 3: Loạ ỏ ị ả ực đạ i b các giá tr không ph i là c i Bước này s tìm ra nh ẽ ững điểm ảnh có khả năng là biên ả ấ nh nh t b ng cách ằ lo trên. ạ ỏ đi ữ ị ả ực đại trong bướ ả ở i b nh ng giá tr không ph i là c c tìm gradient nh Ta th y r ng, v i giá tr c a góc trên thì biên c ng có th tuân theo ấ ằ ớ ị ủ θ ở ủa đối tượ ể b ng, và ta có b n kh ốn hướ ố ả năng sau: 4. N m A s c xem là m m trên biên n ếu θ = 00, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A3, A7. ớ ạ ớn hơn độ ớ ủa các điểm tạ 5. N m A s c xem là m m trên biên n ếu θ = 450, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A4, A8. ớ ạ ớn hơn độ ớ ủa các điểm tạ 6. N m A s c xem là m m trên biên n ếu θ = 900, khi đó, điể ẽ đượ ột điể ếu độ l n gradient t i A l l n gradient c i A1, A5. ớ ạ ớn hơn độ ớ ủa các điểm tạ 7. Nếu θ = 1350, khi đó, điể ẽ đượ ộ ể ếu độ m A s c xem là m t đi m trên biên n l n gradient t i A l l n gradient c i A2, A6. ớ ạ ớn hơn độ ớ ủa các điểm tạ

26. ` 26 Hình 1.20 Gradient Bước 4: Chọ ủ ố ợ ả n ra biên c a đ i tư ng trong nh Sau bướ ẽ thu đượ ập các điểm tương ứng trên đườ c trên s c t ng biên khá m ng. Vì nh m có giá tr gradient l n bao gi t là biên th ỏ ững điể ị ớ ờ cũng có xác suấ ật s m có giá tr gradient nh , d ự hơn những điể ị ỏ o đó để xác định chính xác hơn nữa biên c ng, ta s d l c canny s s d ng ủa các đối tượ ử ụng các ngưỡng. Theo đó, bộ ọ ẽ ử ụ m ng trên (upper threshold) và m i (lower threshold), n u ột ngưỡ ột ngưỡng dướ ế gradient t i m m trong nh có giá tr l ng trên thì ta xác nh ạ ột điể ả ị ớn hơn ngưỡ ận đó là m i ộ ể ả ế ị này bé hơn ngưỡng dưới thì đó không phả t đi m biên trong nh, n u giá tr điểm biên. Trong trườ ợ ị ằ ữa ngưỡng trên và ngưỡ ng h p giá tr gradient n m gi ng dướ ỉ được tính là điểm trên biên khi các điể ế ạ ủ i thì nó ch m liên k t bên c nh c a nó có giá tr gradient l ng trên. ị ớn hơn ngưỡ Hình 1.21 nh g l c Candy Ả ốc bộ ọ

27. ` 27 Hình 1.22 Ví dụ ề ộ ọ v phép tìm biên b l c Candy Chuyển đổ ện đườ ẳng, đườ ả i Hough, phát hi ng th ng tròn trong nh Chuyển đổi Hough (Hough transformation) là một phương pháp được dùng nhi u trong phân tích và x ề ử lý ả ục đích chính của phương pháp này là tìm ra nh, m nh nh b ng cách chuy i không gian nh ban ững hình dáng đặc trưng trong ả ằ ển đổ ả đầu sang m t không gian c a các tham s nh ộ ủ ố ằm đơn giản quá trình tính toán, trong bài này ta xét chuy ng th ng tròn. ển đổ ờ i Hough cho đư ẳng và đườ Chuyển đổi Hough cho đườ ẳ ng th ng. Ta đã biế ằ ột đườ ẳ ề ể đượ t r ng, m ng th ng trong không gian hai chi u có th c bi u di i d ng y = kx + m và c p h s góc k, giá tr có th c ch ể ễn dướ ạ ặ ệ ố ị m ể đượ ọ ể n đ làm đặc trưng cho một đường th ng. Tuy nhiên, cách bi u di n theo c p (k, m) khó ẳ ể ễ ặ th t s ỏa mãn vớ ững đườ ẳ ẳng đứ ệ ố ộ i nh ng th ng th ng khi mà h s góc là m ố vô cùng. Để ờ ợ ẽ ể ễn đườ ẳ ệ ọ ộ ự tránh trư ng h p này, ta s bi u di ng th ng trong h t a đ c c. Phương trình đườ ẳ ệ ọ ộ ự ạng như sau: ng th ng trong h t a đ c c có d cos( ) ysin( ) r x   = + (1.6) Trong đó, r là khoả ừ ố ọ ộ ới đườ ẳ ự ng cách t g c t a đ O t ng th ng, θ là góc c c. Như vậ ớ ỗi điể ộ ọ các đườ ẳng đi qua thõa mãn y, v i m m (x0, y0) ta có m t h ng th phương trình: cos( ) sin( ) o o o r x y   = + (1.7) Phương trình này bi u di n m ể ễ ột đường cong, như vậy trong m t t ộ ấm ảnh có n điể ẽ có n các đườ m (n pixel) ta s ng cong.

28. ` 28 Hình 1.23 i Hough Chuyển đổ N ng cong c m này cùng ếu đườ ủa các điểm khác nhau giao nhau, thì các điể thu m này, ta s ộc về ộ ờ ẳ ằng cách tính các giao đ ể m t đư ng th ng. B i ẽ xác định được đườ ẳng, đó là nội dung ý tưở ủ ật toán Hough cho đườ ẳ ng th ng c a thu ng th ng. Chuyển đổi Hough cho đường tròn Chuyển đổi Hough cho đường tròn cũng tương tự như với đườ ẳ ng th ng, phương trình đường tròn đượ ị ở c xác đ nh b i: (1.8) Trong đó, (u,v) là tâm đường tròn, R là bán kính đường tròn, θ là góc có giá trị ừ t 0 t . M ng tròn s ới 360 độ ột đườ ẽ hoàn toàn được xác đị ế ết đượ ộ nh n u ta bi c b ba thông s (u,v,R ố ). Từ phương trình trên ta có thể chuyển đổi tương đương: (1.9) Ta xét v ng h ới trườ ợp đã biết trướ ị ủ c giá tr c a R i m nh . Khi đó, vớ ỗ ể i đi m ả (x,y) ta sẽ xác định đượ ộ c m t giá tr (u,v ị ) và lưu nó vào mộ ả t m ng. Tâm của đường tròn s là giá tr t hi n trong m ng v i t n su t l n nh ng h ẽ ị xuấ ệ ả ớ ầ ấ ớ ất. Trong trườ ợp R chưa biết, ta tăng giá trị ủ ừ ột ngưỡ ới ngưỡng max nào đó và tiế c a R t m ng min t n hành như với trườ ợp đã biết trướ ị ng h c giá tr R. Hình 1.24 ng tròn Chuyển đổi Hough đườ

29. ` 29 1.3 t toán liên quan và l a ch n Các thuậ ự ọ 1.3.1 n (Background subtraction) Phương pháp tách nề Phương pháp tách cả ề ế nh n n [15] (Ti ng Anh: Background subtraction) hay có th g n ti n c nh (Ti ng Anh: foreground detection) là ể ọi phương pháp phát hiệ ề ả ế m t k c x nh và th giác máy tính khi mà ti n c nh ộ ỹ thuật trong lĩnh vự ử lý ả ị ề ả (foreground) sẽ được tách ra cho nh c x lý ti p theo (ví d ững bướ ử ế ụ như nhận d ng ạ đối tượ ậ ạ ử ỉ ển động, vv). Thông thườ ữ ả ng, nh n d ng c ch , chuy ng nh ng vùng nh quan tâm s c vùng ti n c nh c nh, vì v y vi nh n n hi u qu ẽ thuộ ề ả ủa bức ả ậ ệc tách cả ề ệ ả và chính xác giúp cho các h c s nh và tính nhanh chóng. ệ thống này đạt đượ ự ổn đị Sau bướ ề ử lý, các bướ ử ế ẽ ử ụ ỹ ậ ề c ti n x c x lý ti p theo s s d ng k thu t tách n n này. Tách cả ền đượ nh n c ứ ụ ộ ều lĩnh vực như camera giám sát, ng d ng r ng rãi trong nhi nh n d ng, nh n d ng c ng [12] ậ ạng đối tượ ậ ạ ử chỉ đối tượ , giao thông để theo dõi lưu lư i các phương pháp ti ợ ớ ng xe [10], [11] … v ế ận như: p c 1.3.1.1 Phương pháp frame diffirencing Trong t t c ấ ả các phương pháp background subtraction thì phương pháp Frame Differencing được xem là phương pháp đơn giả ấ n nh t. Chi phí tính toán thấ ốc độ ự p, t th c thi thu t toán nhanh. Tuy nhiên k t qu c khi ta áp d ng ậ ế ả đạt đượ ụ thu i th ật toán này là tương đố ấp. |𝐹𝑡+1−𝐹𝑡|<𝑡ℎ (1.10) Trong đó: - Ft+1: frame nh th - 1 ả ứ t - Ft: frame nh th ả ứ t - c ch chính xác c a thu t toán ph thu c vào giá tr th: ngưỡng đượ ọn. Độ ủ ậ ụ ộ ị ngưỡng này. 1.3.1.2 c trung bình Mean filter Phương pháp lọ Lo và Velastin trong xu t s d ng giá tr trung bình c a n frame cu đề ấ ử ụ ị ủ ối cùng làm mô hình nền. Bước đầu tiên của phương pháp Median là xây dựng ra mô hình background qua quá trình h c trên n frame. Giá tr pixel t i v trí (x, y) c ọ ị ạ ị ủa mô hình background được xây d ng b ng cách ch n ra giá tr trung v c a n frame ự ằ ọ ị ị ủ t trí (x, y). ại vị

30. ` 30 Giá trị ị được xác đị ằ trung v nh b ng cách sau: Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel ụ ớ ộ ừ ớ ở v trí (x, y) thì các giá tr F1(x, ị ị y), F2(x, y) Fn(x,y) s t o thành m t dãy giá tr c a pixel (x, y) ng v i t ng ,…, ẽ ạ ộ ị ủ ứ ớ ừ frame ả ớ ầ ắ ế ứ ự tăng dầ nh. Bư c đ u tiên ta s p x p dãy pixel này theo th t n. Giá tr trung v chính là ph n t n m chính gi a c p x p ị ị ầ ử ằ ữ ủa dãy pixel đã sắ ế th t . ứ ự Sau khi đã xây dựng được mô hình background theo phương pháp trên thì nh c th ững bước sau đượ ực hiện tương tự như thuật toán Running Average. 1.3.1.3 Phương pháp Running Gaussian average Trong phương pháp frame differencing đã đề ậ ở ệ xác đị c p trên. Do vi c nh các đối tượ ỉ ng ch d a vào s khác bi hai frame liên ti p nhau. Do v ự ự ệt ở ế ậy độ chính xác c a thu ủ ật toán tương đố ấp. Để i th khắ ục nhược điểm này thì phương pháp c ph Running Average đề ra hướ ả ế ự ng gi i quy t là xây d ng nên mô hình background. Wrenetal. xu c l i m i v trí pixel(i,j). Giá đã đề ất mô hình hóa background độ ập tạ ỗ ị tr i v trí (x,y) c ị ạ pixel t ị ủ ợ a mô hình background này đư c tính bằ ấ ng cách l y trung bình c ng c các giá tr pixel t trí (x,y) c ộ ủa tất cả ị ại vị ủa n frame đã học. 𝐵 𝑥 𝑦 𝑥 𝑦 𝑛 ( , )=Σ𝐹𝑖( , )𝑛𝑖=1 (1.11) B(x, y): giá trị ạ ị ủ pixel t i v trí (x, y) c a mô hình background - Fi(x, y): giá tr pixel t i v a frame th ị ạ ị trí (x, y) củ ứ i - n: t ng s ổ ố frame học Sau khi đã xây dựng đượ ệc xác định ra được đâu là c mô hình background, vi đối tượ foreground đượ ự ệ ằ ừ ả ớ ng c th c hi n b ng cách so sánh t ng frame nh v i mô hình background. D a vào giá tr c c ch ự ị ủa ngưỡng đã đượ ọn trước tương tự như phương pháp frame differencing. |𝐹𝑡−𝐵|<𝑡ℎ (1.12) - n là 0.05. thường được chọ Như vậy, mô hình background sẽ đượ ậ c c p nh t liên t c sau m i frame. Vì v ậ ụ ỗ ậy s chính xác c ẽ giúp tăng độ ủa phương pháp. 1.3.1.4 n h p (GMM) Phương pháp mô hình gausian hỗ ợ

31. ` 31 Phương pháp này do Wren, Azarbayejani, Darrell, Pentland đưa ra vào năm 1997. Phương pháp này đặ ộ ố ự ế ị ủ t m t phân ph i Gaussian lên s bi n thiên giá tr c a m n video. Ví d , v i m t dãy frame t F1 t i Fn, ta xét pixel ỗi pixel trong đoạ ụ ớ ộ ừ ớ ở v trí (x, y) thì các giá tr t o thành m t dãy giá ị ị F1(x, y), F2(x, y), …, Fn(x,y) sẽ ạ ộ trị ủ ứ ớ ừ ả ằng cách tính trung bình và phương c a pixel(x, y) ng v i t ng frame nh. B sai c nh c pixel background (giá tr trung bình) và ủa dãy pixel này ta xác đị đượ ị ngưỡng (độ ệ ớ ộ ằ ố nào đó). l ch nhân v i m t h ng s 𝜇𝑡 𝜇𝑡 +1= ) 𝛼∗ 𝛼 𝐹𝑡+ (1− ∗ (1.13) 𝜎𝑡 𝜎𝑡 +12= ( 𝛼∗ 𝐹𝑡− 𝜇𝑡)2+ (1− 𝛼 ∗ ) 2 (1.14) 1.3.2 Phương pháp Template Matching Template matching [14] là m t x lý hình n t tìm m t ột kĩ thuậ ử ảnh điệ ử để ộ hình nh nh trong m t b nh l n sao cho vùng nh này gi ng v nh m ả ỏ ộ ức ả ớ ả ố ới ả ẫu (template) nhất. Template matching có thể ứng d ng trong s n xu ụ ả ất để qu n lý ch ả ất lượng s n ph ả ẩm, dùng để điều khi n mobile robot, ho ể ặc để tìm ra các c nh c a m t ạ ủ ộ b nh. Nh ng th thách l n nh ức ả ữ ử ớ ất trong phương pháp Template Matching là: tìm s p, phát hi n các bi i trong hình nh v m t ánh sáng, màu n n, xáo ự ăn khớ ệ ến đổ ả ề ặ ề tr i t ộ ề ảnh và thay đổ n n n ỷ ệ ủ l c a c. ả ố nh g Các phương pháp tiế ận phương pháp Template Matching: p c 1.3.2.1 i Laplacian c a Gaussian Biế ổ n đ ủ M t trong nh ng b phát hi bi n nh ộ ữ ộ ện blob đầu tiên và cũng phổ ế ất được d a trên Laplacian of Gaussian (LoG). Cho m t hình ự ộ ảnh đầu vào f (x, y), hình nh ả này đượ ậ ổ ợ ậ ớ ộ c nhân ma tr n t h p ch p v i m t nhân Gaussian. 𝑔 𝑥 𝑦 𝑡 𝜋𝑡𝑒 𝑥 𝑦 𝑡 ( , , )= 12 − 2+ 22 (1.15) K t qu ế ả các đốm màu tối cho ra đều r t n i b ấ ổ ật, các đốm màu t i này có bán ố kính 𝑟 = √ (2𝑡) 𝑟 = ( i v i hình nh 2 chi u), Đố ớ ả ề √ ( ) 𝑑𝑡 i v i hình nh nhi u (Đố ớ ả ề chiề ế ả hoàn toàn ngượ ạ ới các đốm màu sáng có kích thước tương u) và k t qu c l i v t . M ự ột cách đơn giản để có đượ ộ c m t b phát hi ộ ện Blob đa tỷ ệ l v i vi c l a ch ớ ệ ự ọn t l t c xem xét l n hóa. ỷ ệ ự động đượ các phép tính Laplacian theo tỷ ệ chuẩ 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑡 𝐿𝑥𝑥 𝐿𝑦𝑦 2 = ( + ) (1.16)

32. ` 32 Để phát hi n t l không gian l n nh t/nh nh ệ ỷ ệ ớ ấ ỏ ất, đó là các điểm mà lần lượt là l n nh nh t c a phép tính Laplacian 2 ng v i không gian ớ ất/nhỏ ấ ủ 𝛻𝑛𝑜𝑟𝑚 𝐿 tương ứ ớ và t l t hình u vào hai chi u ỷ ệ (Lindeberg 1994, 1998). Do đó, khi cho mộ ảnh đầ ề r i r c f(x,y) và 3 chi u r i r c v i t l ờ ạ ề ờ ạ ớ ỷ ệ không gian L(x,y,t) đượ ộ c tính toán và m t điểm đượ ột đố ố ế ị ại điể ớn hơn (hoặ ỏ c coi là m m sáng (t i) n u giá tr t m này l c nh hơn) giá trị ủ ấ c a t t c m liên k c l a ch ng th ả 26 điể ề nó. Do đó, việ ự ọn đồ ời các điểm c n quan tâm ( ) và t l n theo công th ầ 𝑥, ỷ ệ 𝑡 được thực hiệ ức. ( , , ( , , 2 , , 𝑥 𝑦 𝑡)=𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝛻𝑛𝑜𝑟𝑚 𝐿)(𝑥 𝑦 𝑡)) (1.17) Các thu c tính d a trên s l a ch n t l c a phép bi i Laplacian và ộ ự ự ự ọ ỷ ệ ủ ến đổ các phương pháp dò tìm điể ầ ặ ẽ khác đượ m c n quan tâm có quy mô ch t ch c phân tích chi tiế ợ t trong (Lindeberg 2013a). Trong (Lindeberg 2013a, 2015) nó đư c thể hi n r ng t n t i các b tìm ki m quan tâm trong không gian khác, ch ng h ệ ằ ồ ạ ộ ếm điể ẳ ạn như yế ố ết đị ủ ến đổ ạt độ ốt hơn so vớ ử u t quy nh c a bi i Hessian, ho ng t i toán t Laplacian hoặc x p x khác bi t c a Gaussians cho phù h p d a trên hình ấ ỉ ệ ủ ợ ự ảnh b ng ằ cách sử ụ ộ ả ảnh như SIFT. d ng b mô t hình 1.3.2.2 Gaussian Phương pháp sai lệch T c t i di ừ thự ế là các đạ ện không gian quy mô L(x,y,t) đáp ứng các phương trình khuếch tán. 𝜕𝑡𝐿 𝛻 𝐿 = 12 2 (1.18) Nó tuân theo đị ậ ủ ến đổ nh lu t Laplacian c a phép bi i Gausian 2 L (x, y, t) ∇ cũng có thể được tính toán như là trườ ợ ớ ạ ủ ự ệ ữ ng h p gi i h n c a s khách bi t gi a hai Gausian hình ảnh đã được làm mị ạ n (đ i diện quy mô trong không gian). 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡 𝑡 𝐿 𝑥 𝑦 𝑡 2 ( , , ) ≈ Δ ( ( , , +Δ )− ( , , ) (1.19) Trong lý thuy t v giác máy, cách ti p c c g i là s khác bi ế ề thị ế ận này đượ ọ ự ệt c a Gaussians (DoG). Bên c t nh , tuy nhiên phép bi i này là ủ ạnh các kĩ thuậ ỏ ến đổ trong b n ch p x c a các ả ất tương tự như Laplacian và có thể được xem như là xấ ỉ ủ phép bi i Laplacian. ến đổ 1.3.2.3 c Hessian Định thứ

33. ` 33 B ng vi c xem xét quy nh quy mô n hoá c ằ ệ ết đị chuẩ ủa Hessian, cũng được g i Monge-Ampère. ọi là phép biến đổ 𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿 𝑡 𝐿𝑥𝑥𝐿𝑦𝑦 𝐿𝑥𝑦 = 2( − 2) (1.20) T n Hessian c i di n không gian quy mô L và sau rong đó H l là ma trậ ủa đạ ệ đó phát hiện quy mô-không gian Maxima của nhà điều hành này, m t trong nh ng ộ ữ nh c m t máy dò blob khác bi n v i l a ch n quy mô t ng mà ận đượ ộ ệt đơn giả ớ ự ọ ự độ cũng đáp ứ ớ ấ ng v i yên t m (Lindeberg 1994, 1998) ( , , ( , , , , 𝑥 𝑦 𝑡)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦 𝑡)((𝑑𝑒𝑡𝐻𝑛𝑜𝑟𝑚𝐿)(𝑥 𝑦 𝑡)) (1.21) Các blob điể ảy t ^ cũng được xác đị ừ ộ định nghĩa m (x ^, y ^) và v nh t m t vi phân ho ng d n mô t blob là bi n th v i các b n d ch, phép quay và ạt độ ẫn đế ả ế ể ớ ả ị rescalings trong miề ảnh. Trong điề ệ ự ọn quy mô, các đố n hình u ki n l a ch m màu đượ đị ừ ực đoan củ ế ố ế ủ c xác nh t quy mô không gian c a các y u t quy t c a Hessian (DoH) cũng ự ọ ốt hơn mộ ộ ến đổ có quy mô l a ch n t t chút thu c tính theo bi i không Euclidean afin hơn so với các nhà điều hành Laplacian thường đượ ử ụ c s d ng ( rong hình th n hóa, y u t quy nh Lindeberg1994, 1998, 2015). T ức đơn giả ế ố ết đị quy mô c a Hessian tính t Haar wavele ủ ừ ts được s d ử ụng như là nhà điều hành điểm quan tâm cơ bả ả SURF (bay et al. 2006) để ợ ớ ả n trong mô t phù h p v i hình nh và nh n d ng. ậ ạng đố ợ i tư 1.3.2.4 Phép lai gi a toán t a toán t Hessian ữ ử Laplacian và định thức củ ử Một nhà điều hành lai gi a Laplacian và các y u t quy nh c a các máy ữ ế ố ết đị ủ phát hi n các blob Hessian xu a ch n không gian ệ cũng đã được đề ất, trong đó lự ọ được ti n hành b i quy ế ở ết định c a các l a ch ủ ự ọn Hessian và quy mô đượ ự c th c hi n ệ v i quy mô- n hóa Laplacian (Mikolajczyk và Schmid 2004). ớ chuẩ ( , ( , , , 𝑥 𝑦)= 𝑎𝑟𝑔𝑚𝑎𝑥𝑙𝑜𝑐𝑎𝑙 𝑥 𝑦)(( )( 𝑑𝑒𝑡𝐻𝐿 𝑥 𝑦 𝑡)) (1.22) 𝑡 𝑎𝑟𝑔𝑚𝑎𝑥𝑚𝑖𝑛𝑙𝑜𝑐𝑎𝑙 𝑡 𝛻𝑛𝑜𝑟𝑚 𝐿 𝑥 𝑦 𝑡 = ( )(( 2 )( , ,  )) (1.23) 1.3.2.5 Phát hi ng theo vi sai thích nghi v i bi i affine ệ ối tượ n đ ớ ế ổ n đ Mô tả blob thu đượ ừ c t các máy dò blob v i l ớ ựa chọn quy mô t ng là b ự độ ất bi d ch, quay và rescalings th ng nh t trong mi n không gian. Tuy nhiên, ến để ị ố ấ ề hình nh t ả ạo thành đầu vào cho h ng t ệ thố ầm nhìn máy tính, cũng tùy thuộc vào sự bi n d ng ph c mô t blob m nh m bi i qua m, ế ạ ối cảnh. Để có đượ ả ạ ẽ hơn để ến đổ n điể

34. ` 34 m t máy dò blob là b t bi bi ột phương pháp tự nhiên là để đưa ra mộ ấ ến để ến đổi af e. Trong th c t fin ự ế, các điểm quan tâm b t bi n aff e có th ấ ế in ể thu đượ ằ c b ng cách áp d ng thích ng v i hình d mô t ng c a h t nhân ụ ứ ớ ạng afin để ả blob, nơi hình dạ ủ ạ làm m n là l p l phù h p v i c u trúc hình ị ặ ại để ợ ớ ấ ảnh địa phương xung quanh blob, ho t hình ặc tương đương mộ ảnh địa phương Patch là vào Warped trong khi hình d ng c t nhân làm m n v n còn ng. ạ ủa hạ ị ẫ rotationally đối xứ K n : ết luậ chương 1 Công ngh x nh vision computer có nhi t tr ệ ử lý ả ều ưu điểm vượ ội hơn so v m tra tr c quan b ng m ng do có th phát hi c các ới phương áp kiể ự ằ ắt thườ ể ện đượ l i ch ng (d v t, bóng khí, dán l c nh i gian ng ỗ ất lượ ị ậ ệch) ở kích thướ ỏ hơn, thờ ắn hơn và tính ổn định cao. Để ể ứ ụ ử ả ệ ố ấ có th ng d ng x lý nh vào h th ng giám sát ch t lượng thì c n áp d ng r t nhi u ki n th c lý thuy t liên quan t i vi c ti n x ầ ụ ấ ề ế ứ ế ớ ệ ề ử lý ảnh và các thu t toán so sánh hình xây d ng h ậ ảnh. Chương hai sẽ ự ệ thống cơ khí(hardware) bao g m vi c ch n camera, chi u sáng phù h t ồ ệ ọ ế ợp để có thể ối ưu đượ ộ ủ ậ ử ả c đ chính xác c a thu t toán x lý nh.

35. ` 35 CHƯƠNG 2. Ế Ế CƠ KHÍ TÍNH TOÁN THI T K bao g m các n i dung: Chương hai ồ ộ - Cơ sở ự ọ ệ ố ấ ợ tính toán l a ch n Camera cho h th ng giám sát ch t lư ng. - Thông số ệ ợ ớ ầu đặ linh ki n phù h p v i yêu c t ra. - L c chi u sáng ựa chọn phương thứ ế 2.1. Cơ sở tính toán l a ch n Camera cho h ng ự ọ ệ thố ngăn chặn và phát hi n s ệ ự cố V i yêu c u tính toán, l a ch n linh ki n phù h p ta c n ph i tìm hi ớ ầ ự ọ ệ ợ chúng ầ ả ểu chi ti t v lý thuy t vision camera và các khái ni m liên quan t i vision camera. ế ề ế ệ ớ Trong m t h ng machine vision thì vi c ch nào cho ộ ệ thố ệ ọn camera, lens như thế phù h p là c c k quan tr có l a ch n chính xác thì chúng ta c n d a trên ợ ự ỳ ọng. Để ự ọ ầ ự nh lý thuy t v ng ch c tiên, chúng ta c n tìm hi u m t s khái ững cơ sở ế ữ ắc. Trướ ầ ể ộ ố ni ng khái ni m quan tr ng nh t, liên quan t i tính toán mà ệm cơ bản, cũng là nhữ ệ ọ ấ ớ n c khái ni n ph ội dung luận văn sẽ đề ập. Sau đây là một số ệm cầ ải biết: Field of view (FOV): là vùng làm vi a camera hay là vùng nh mà camera ệc củ ả c n ph i ch l y h t n i dung nh c n x lý. FOV ph c vào kích ầ ả ụp được để ấ ế ộ ả ầ ử ụ thuộ thước đối tượ ầ ệ ử lý. FOV thườ ạ ữ ậ ặ ng c n phát hi n và x ng có d ng hình ch nh t, ho c hình vuông. Ví d , N u mu n detect( phát hi n) m ng kính là ụ ế ố ệ ột hình tròn có đườ 3mm thì FOV c n ph ầ ải có kích thước sao cho l n h ớ ơn 3mm. Mục đích là để ể có th bao h ng c n ch p. ế ợ ố ợ t đư c đ i tư ầ ụ Smallest feature: là kích thước nhỏ nhất ngườ ử i s d ng mu ụ ốn detect được trong ảnh. Thông thường, đây cũng chính là sai số ờ ần đạt đượ ế mà ngư i dùng c c khi ti n hành x nh. ử lý ả Working distance (hay còn g i là Object Distance là kho ng cách t ọ ): ả ừ trước lens t i m ớ ặ ố ợ ầ ụ t trên đ i tư ng c n ch p.

36. ` 36 Hình 2.1 Camera vision Lý thuyết về Giả Có hai bước tính toán chính để giúp ngườ ử ụ ọn đượ i pháp: i s d ng ch c camera có độ ả ợ ọn đúng ự phân gi i phù h p và ch focal length (tiêu c ): • 1. phân gi C n bi hai thông s Tính toán độ ải: ầ ết trước ố đầu vào là độ chính xác (accuracy) và FOV (field of view). • 2. L a ch n camera: Khi ch c camera thì c n ph i dùng các ự ọ ọn đượ ầ ả thông số camera như sensor size để ự tính toán l a chọn lens. Độ ả ả ế ả phân gi i c m bi n nh (Sensor Resolution): Độ ả ủ ộ ứ ả ố ố ứ ả ụ phân gi i c a m t b c nh là s pixels phân b trên b c nh. Ví d , camera có độ ả ố ị ủ phân gi i 5 megapixels thì con s 5 megapixels là giá tr c a phép tính c a (2592x1944 ho c 2590x2048, v.v ...). V phân gi i ph ủ ặ ậy là độ ả ụ thuộc vào hai kích thướ ụ 480. Tính toán độ ả ề ặ ế ầ c; ví d 640x phân gi i v m t lý thuy t c n ph c vào c n hóa vi c tính toán khá ụ thuộ ả hai kích thước đó, nhưng để đơn giả ệ ph c t ng ch c n dung m tính. Ví d v phân ứ ạp thì ta thườ ỉ ầ ột kích thước để ụ ới độ gi i là 2592x1944 thì s l y giá tr 2592 tính (chú ý l y giá tr l ả ẽ ấ ị ấ ị ớn hơn, vì nếu

37. ` 37 l y nh , l s ng ấ ỏ hơn thì có thể không đủ ớn hơn có thể dư nhưng ẽ chắc chắn đáp ứ đượ ầu bài toán đặ c yêu c t ra). Để đả ả ột phép đo chính xác trên bứ ả ầ ố ể m b o m c nh, ta c n dùng t i thi u hai pixels trên độ chính xác (smallest feature) mà b n mu ạ ốn phát hi n. Hay hi ệ ểu đơn gi n là c n ít nh t hai pixels thì m c kho tính toán ả ầ ấ ới xác định đượ ảng cách. Để được độ ả ố phân gi i t i thi u c ể ủa camera (pixels/smallest feature), kích thước thật (in real-world units) c chính xác. Thông s linh ki n phù ủa FOV chia cho độ ố ệ h p v i yêu c u bài toán. ợ ớ ầ D a trên tình hình th c t và u ki n thi t b hi n có, ự ự ế điề ệ ế ị ệ đã chọn các linh ki n ệ để ợ ớ ầ ử ụng như bả ổ ợp dưới đây: phù h p v i nhu c u s d ng t ng h Danh sách linh ki a ch n ện lự ọ Chi tiết giá ESC Vision Image 2 port) Unit Price $ (1 thiết bị Cable AG2500M-14R 850*10 $ = 8,500 $ LEN TV1614-5MP 1125*10 $ = 11,250 $ Đèn LED CDL-200 White 344*2 = 688 $ Light controller CDP-4ch 314 $ IMAGE Grabber card T vi d ự ết chương trình sử ụng thư viên nh Open CV có s n ả ẵ

38. ` 38 Dongle Key T vi d ự ết chương trình sử ụng thư viên nh Open CV có s n ả ẵ PC S d ng cây vision sub robot ử ụ 0 $ Thông số ế ạ ch t o Camera: General Information Order Number 105392 Product Line ace classic Sensor Sensor Vendor ON Semiconductor Sensor MT9P031 Shutter Rolling Shutter Max. Image Circle 1/2.5" Sensor Type CMOS Sensor Size 5.7 mm x 4.3 mm Resolution (HxV) 2592 px x 1944 px Resolution 5 MP Pixel Size (H x V) 2.2 µm x 2.2 µm Frame Rate 14 fps Mono/Color Mono EMVA Data EMVA Quantum Efficiency (typical) 57.2 %

39. ` 39 EMVA Data Dark Noise (typical) 6.4 e¯ Saturation Capacity (typical) 6.7 ke¯ Dynamic Range (typical) 60.3 dB Signal- -Noise Ratio to (typical) 38.3 dB Camera Data Interface GigE Pixel Bit Depth 12 bits Synchronization hardware trigger free run - Ethernet connection Exposure Control programmable via the camera API hardware trigger Digital Input 1 Digital Output 1 Power Requirements PoE or 12 VDC Power Consumption (typical) 2.2 W Power Consumption PoE 2.7 W Housing Housing Type Box Housing Size (L x W x H) 42 mm x 29 mm x 29 mm Lens Mount C-mount

40. ` 40 Housing Operating Temperature 0 - 50°C Weight (typical) 90g Conformity Conformity CE RoHS GenICam GigE Vision IP30 UL FCC IEEE 802.3af (PoE) KC 2.1.1 Th c nghi m l a ch c l i n phát hi n ự ệ ự ọn kích thướ ỗ nhỏ nhất cầ ệ Để ể đưa ra giá trị kích thướ ị ậ ệ ỏ ấ có th c d v t, bóng khí, dán l ch nh nh t mà nó có thể ảnh hưở ớ ạ ng t i ngo i quan b ng m ng thì ta c n làm ti ằ ắt thườ ầ ến hành đánh giá th c nghi m v l phát sinh l i cho t ng giá tr c nh ự ệ ề nguy cơ và tỷ ệ ỗ ừ ị kích thướ ằm có nh c t nh t. Ti n hành l a ch c m i l i có giá ững đánh giá thự ế ấ ế ự ọn các kích thướ ỗ ỗ tr i v ị ừ ồ ể ứ ỗ ề ệ ẫu xem đố t 0.1 mm r i ki m ch ng m i đi u ki n 100 m ớ ừng kích thướ i t c thì t l l ỷ ệ ỗi công đoạn phát sinh tương ứng là bao nhiêu nhằm qua đó xác định kích thướ ố c t i thiể ầ ắ ủ ế u c n b t c a vision camera thì k t quả ự ệm như bả th c nghi ng sau: Lần thực nghiệm Kích thước m < mm> ẫu Số lượng mẫu Ngoại quan Tỷ lệ lỗi Tương < %> 1 0.1 100 OK (0) 0 2 0.15 100 OK (0) 0 3 0.2 100 OK (0) 0 4 0.25 100 OK (0) 0 5 0.3 100 OK (0) 0 6 0.35 100 NG 100% 7 0.4 100 NG 100%

41. ` 41 8 0.45 100 NG 100% 9 0.5 100 NG 100% D a trên k t qu y t kích th c t 0.3 mm tr nên thì d ự ế ả đánh giá có thể thấ ừ ứ ừ ở ị v bóng khí, dán l ật, ệch đã bắt đầu gây ra l i trên s n ph ỗ ả ẩm, kích thướ ỗ c l i càng lớn thì thì l gây l i sau ngo i quan b n m n ph i phát hi n ra d ệ ỗ ạ ằ ắt càng cao, do đó cầ ả ệ ị v bóng khí, dán l ch có c nh nh t là 0.3 m b o ch ng ật, ệ kích thướ ỏ ấ mm để đả ả ất lượ c n. ủ ạ a công đo T s n xu c Pixcel: ừ thông số ả ất ta tính toán Fov và kích thướ Theo công thức: Focal Length x FOV =Sensor Size x Working Distance x= (5.7 *800)/25 = 182.4 (mm) y= (4.3 *800)/25 = 137.6 (mm) Như vậy FOV (x, y) = 182.2 mm x 137.6 mm Độ phân giải: 2592 x 1944 điểm ảnh của camera cho ta tính được kích thước nh nh i pixel: ỏ ất của mỗ Kích thước pixel: (182.4 mm / 2592) x (137.6 mm/ 1944) Suy ra, kích thướ ỗ ấ ỉ c m i pixel = 0.00498 mm, x p x 4.98 (um) Kích thướ ỏ ầu đặt ra là kích thướ ị ậ ỏ c pixel 4.98um th a mãn yêu c c d v t nh nh t c n phát hi n ít nh t l l phát sinh ra l i t ấ ầ ệ ấ ớn hơn 0.3 mm (mức độ đủ ớn để ỗ ại công đoạn), như vậ ỗ ị ật có kích thướ ỏ ấ ầ ệ ẽ tương y m i d v c nh nh t c n phát hi n s đương vớ ớ ả ớ ể ể i kích thư c kho ng 70 pixels t i 78 pixels, ta hoàn toàn có th chuy n đổ ừ kích thướ ả ố pixel để nâng cao độ i t c theo mm tính kho ng cách sang s chính xác cho thuật toán sau này. 2.2. Thông s thi , v t Camera ố ết bị ị trí lắp đặ Trướ ầ ểu sơ đồ ạt độ ủ ế ị ị c tiên chúng ta c n tìm hi ho ng c a thi t b và các v trí phù h l mô t quy trình ho ng ợp để ắp đặt Camera Vision, bên dưới đây là sơ đồ ả ạt độ c a m t thi t b ng và v trí phù h l t ph ủ ộ ế ị dán thông thườ ị ợp để ắp đặ ần cơ khí cho hệ giám sát ch ng . Các b ph n chính c a h c a h ng giám sát bao ất lượ ộ ầ ủ ệ cơ khí ủ ệ thố gồm các Stage( bàn đặ ả t s n phẩm lên), cơ cấ ển độ u chuy ng linear motion guide sử d m bi n quang( photo sensor) nh m chính xác t ụng động cơ servo, các cả ế ằ ối đa chuyển độ ủ ng c a s n ph ả ẩm và các cơ cấu ch p hành khác nh m m ấ ằ ục đích gia công s n ph ả ẩm.

42. ` 42 Hình 2.2 và v p t Camera Vision Sơ đồ thiết bị ị trí lắ đặ Không gian làm việc của Camera vision: Hình 2.3 Khu vự ệ c làm vi c của Camera Chi tiế ạt độ ủ t nguyên lý ho ng c a hệ ố th ng giám sát: Hình 2.4 nguyên lý ho ng c ng Sơ đồ ạ ộ t đ ủa hệ thố Robot loading sample t conveyer vào Base Light ( Jig) Bước 1: ừ

43. ` 43 Base Light đượ ậ ể ằng động cơ servo dẫn hướ ở c v n chuy n( transfer) b ng b i các trụ ẫn hướ ả ến photo sensor đị ị c d ng( linear motion guide) và có các c m bi nh v chính xác các v t t m màn hình ( sensor 1), v trí ti n hành vision camera( ị trí đặ ấ ị ế sensor 2) và vị ả ẩ trí gia công s n ph m ( sensor 3). Hình 2.5 Robot loading màn hình từ conveyer vào Base Light( Jig) Bước 2: t lên Base, Robot quay tr l i l y màn hình Màn hình đã được đặ ở ạ ấ tiếp theo chu n b ẩ ị cho chu trình mới, màn hình được mang vào v trí ki m tra vision ị ể phát hi n có d v t/b t khí / dán l trí sensor 2). ệ ị ậ ọ ệch hay không ( vị Hình 2.6 Step 2 c a chu trình làm vi c ủ ệ T i Step 2 camera vision s p nh màn hình và tr c trong ạ ẽ chụ ả ải qua các bướ sơ đồ ậ ử ả ẽ đề ậ ở chương sau bao gồ ề ử ọ thu t toán x lý hình nh s c p m: ti n x lý, l c nhi a d v t khí ,dán l ch... ễu, tính toán kích thước vị trí củ ị ật,bọ ệ Bước 3: ng h Được chia thành hai trườ ợp như sau:

44. ` 44 - N u step 2 phát hi n màn hình có l i d v t, b t khí, dán l ch thì t b ế ệ ỗ ị ậ ọ ệ thiế ị c nh báo( Alarm), c nh báo cho k t viên t i x lý (5ea ). Khi ti ả ả ỹ thuậ ớ ử ếp c n thi p ki m tra hi n tr ng l a màn ậ ết bị các kỹ thuật viên sẽ trực tiế ể ệ ạ ỗi củ hình xem d v t khí ,dán l ch phát sinh v ị ật, bọ ệ ở ị trí nào Màn hình có d v t ị ậ + Màn hình có d v c check code xem thi t b nào, sau dó ị ật sẽ đượ ở ế ị cho d ng thi t b m tra nguyên v t li u, thi t b và v sinh ừ ế ị để kiể ậ ệ ế ị ệ 3D5S + L y m n g sau ấ ẫu để mang đi phân tích, tìm ra nguồ ốc phát sinh để này có th l n alarm. ể ngăn chặn trước giảm số ầ Màn hình có bóng khí, ch dán lệ + Màn hình có bóng khí, dán l ch s c check code xem ệ ẽ đượ ở thiết b nào, sau dó cho d ng thi t b ị ừ ế ị để ể ki m tra lo i hình gây ra l ạ ỗi và cơ chế phát sinh + X lý t ng lo i hình l o t ử ừ ạ ỗi theo cơ chế, SOP đã được đào tạ ừ trước. Sau khi k t viên c ch n là d v bóng khí, ỹ thuậ đã chắ ắ ị ật, align được x lý thì s kh ng l i thi t b p t c s n xu t các chu trình ti ử ẽ ởi độ ạ ế ị tiế ụ ả ấ ếp theo, Base light sẽ được quay lạ ị ạ ị i ngay v trí Step 1 t i v trí sensor 1 để ắ ầ ậ ế ệ ử ị ậ ệ b t đ u nh n phôi ti p theo. Vi c x lý d v t, bóng khí, dán l ch và lưu trữ ạ l i m u là vô cùng quan tr ng vì k t qu phân tích s giúp ẫ ọ ế ả ẽ tìm ra ngu n g ồ ốc chính xác để có thể ngăn chặn từ xa, đây cũng chính là m t c tài. ụ ớ ấ c tiêu l n nh ủ ề a đ Hình 2.7 ng h p phát sinh d v t bóng khí, dán l Step 3 trườ ợ ị ậ ệch

45. ` 45 - N u step 3 không phát hi n có d v b t khí, dán l ch thì t i step 4 ( t ế ệ ị ật, ọ ệ ớ ại v 3). ị trí sensor số Bước 4: c Vision ki m tra xong thì s c chuy n t i v Màn hình đượ ể ẽ đượ ể ớ ị trí công đ ạ ớ ị ố Đồ ờ ể ề o n sau ( t i v trí sensor s 3 ). ng th i Base Light di chuy n v v 1, l p l i chu trình ti p theo. ị trí step để ặ ạ ế Hình 2.8 L p l i chu trình làm vi c ặ ạ ệ Trong trườ ợ ị ậ ệ ệ ố ả ng h p phát sinh d v t, bóng khí, dán l ch do h th ng c nh báo thì sẽ phát sinh ra hai trường h p nh khác là c nh báo th t (phát sinh th t) và c nh ợ ỏ ả ậ ậ ả báo gi sinh do tính toán sai ho c do nhi u c a camera). ng h p th ả (phát ặ ễ ủ Ở trườ ợ ứ hai sẽ tiến hành đăng ký ngoạ ệ i l cho các nhi l n sau camera s không l p ễu sai để ầ ẽ ặ l nh báo gi này n ại cả ả ữa. 2.3. Ch u sáng (lightning) ọn phương án chiế Có bốn phương án lắp đặt đèn chiếu sáng như bên dướ ố i th ng kê trong hình 2.9 u ph và , nhưng trong phạm vi đề tài do yêu cầ ải tìm chính xác biên của sample biên của các đặc điể ố m c hữu nên phương án lắp đặt đèn chiếu hướng ngượ ẽ c s hỗ tr t nhi ợ ấ r ề ả năng hoạ ộ ủ ậ u và nâng cao kh t đ ng chính xác c a thu t toán. B u sáng bao g ốn phương pháp lắp đặt chiế ồm: - ánh sánh chi u t i v t th lên trên, phù h p cho Lightning ngược: ế ừ dướ ậ ể ợ đo đạc kích thước, đây là phương pháp lự ọ ễ ắ ợ a ch n do d b t biên, phù h p v i yêu c t ra. Ngoài ra, trong không gian thi t b thì góc ớ ầu bài toán đặ ế ị chiếu sáng này cũng rấ ậ ệ ệ ắp đặ ế t thu n ti n cho vi c l t đèn chi u sáng - a ch n do d b t biên, d l Lightning góc: đây là phương pháp lự ọ ễ ắ ễ ắp đặt nhưng bị ụ … lóa khi áp d ng cho màn hình cong

46. ` 46 - c bi n th r t nh Lightning góc hẹp: phương pháp này phát hiện đượ ế ể ấ ỏ trên b m n hành t i thi t b thì d gây va ch m v i các ề ặt nhưng khi tiế ạ ế ị ễ ạ ớ chi tiế ển độ t chuy ng trong máy. - i b sáng cao không gây méo Lightning chuẩ ự n tr c: loạ ỏ được bóng, độ hình nhưng trùng với hướ ắp đặ ủ ể ế ng l t c a camera nên không th ti n hành trong phạm vi đề tài. Hình 2.9 u sáng Các phương thức chiế Hình 2.10 u sáng Thực nghiệm phương thức chiế Kết luận chương II: Việ ự ế ế ắp đặ ần cơ khí của đề ự c xây d ng và tính toán thi t k l t ph tài d a trên thiết b s n có t i nhà máy nên g p nhi ị ẵ ạ ặ ều khó khăn do một số kích thướ ạt độ c ho ng là không th i ho c h n ch (ph m vi ho ng c ể thay đổ ặ ạ ế ạ ạt độ ủa camera, không gian độ sáng), tuy nhiên qua quá trình nghiên cứu và đưa ra các phương án như trên hệ thống đã hoạ ộ ổn đị t đ ng chính xác và nh.

47. ` 47 CHƯƠNG 3. Ế Ế ẬT TOÁN ĐIỀ Ể THI T K THU U KHI N ▪ N bao g ội dung chương 3 ồm: - u khi n. Yêu cầu bài toán điề ể - Xây d u khi n h ng giám sát ch ựng sơ đồ thuật toán điề ể ệ thố ất lượng Panel. - t toán tìm ki m d v t, bóng khí, dán l ch phát sinh d a trên gi Thuậ ế ị ậ ệ ự ải thuật Template Matching và Subtract Background. - Các k t qu ế ả thự ệ c nghi m và ki m th u ki u ki n t ể ảo điề ện DOE tìm điề ệ ốt nhất 3.1. Yêu cầu bài toán điều khiển. Bài toán: T n hành l t tính toán ừ mô hình cơ khí đã tiế ắp đặ ở chương hai, viết chương trình thuật toán Vision xử lý hình ảnh thu được, xác định chính xác sự c ng phát sinh ( d v t , bóng khí / dán l nh báo cho k ố chất lượ ị ậ ệch ) và đưa ra cả ỹ thuậ ử ố ị ời. Qua đó thiế ậ t viên x lý tình hu ng k p th t l p quy trình( process) hoàn chỉnh cho toàn b chu trình làm vi c t ộ ệ ừ đưa ra cảnh báo t i ki m tra, x lý các tình ớ ể ử hu ng phát sinh trong quá trình ho ng c lý ố ạt độ ủa Vision camera stage như là xử c nh báo o, x lý d v t/bóng khí/ dán l ch th c t ng h p phát sinh ả ả ử ị ậ ệ ự ế, ...Trong trườ ợ quá nhi u c nh báo c u ch nh l c d v t /bóng khí . dán ề ả ảo cũng sẽ ần điề ỉ ại kích thướ ị ậ l cân b ng và s ng c a nhà máy. ệch cảnh báo để ằng được giữa chất lượ ản lượ ủ Kích thướ ị ậ ầ ệ ầ ự ế đặ c d v t c n phát hi n ( yêu c u th c t t ra): > 0.3 mm ( ~ 300 µm). Kích thước bóng khí c n phát hi n( yêu c u c t ầ ệ ầ thự ế đặt ra): > 0.3 mm ( ~ 300 µm). Kích thướ ệ ầ ệ ầ ự ế đặ c dán l ch c n phát hi n( yêu c u th c t t ra): > 0.3 mm ( ~ 300µm). Thờ ử ố ỗ ả i gian x lý t i đa m i hình nh: < 5s ( tacttime s n ph m trong nhà máy ~ 5s/ ả ẩ s n ph ả ẩm) Hình 3.1 l u khi n Sơ đồ ắp đặt hệ thống điề ể Các thành ph n c a h ng u khi n bao g ầ ủ ệ thố điề ể ồm:

48. ` 48 - Camera Vision: ch p nh t trí ch ụ ả ại vị ỉ định - u sáng: T ng ánh sáng thu n l nh ch c có Đèn chiế ạo môi trườ ậ ợi để ả ụp đượ thể ễ ử lý hơn. Môi trườ ố ả ụp đượ ẽ ử ẫ d dàng x ng t i thì nh ch c s khó x lý d n đế ế ả ố n k t qu không mong mu n. - u khi m các tham s c u sáng Controller: Điề ể ố ủa đèn chiế - Computer: ch a ph m m m h hình c. Ph m m m có ch ứ ầ ề ỗ trợ ảnh thu đượ ầ ề ức năng xử lý hình ảnh, phát hi n d v ệ ị ật và đưa ra cảnh báo sau đó truyền thông tin v thi ề ế ị t b . 3.2. Xây d thu u khi n h ng giám sát ch . ựng sơ đồ ật toán điề ể ệ thố ấ ợ t lư ng T yêu c t ra ta c n xây d ng logic làm vi c c a thu ừ ầu bài toán đặ ầ ự lưu đồ ệ ủ ật toán. T u hoàn toàn không có d v bóng khí, dán l ch c n ừ màn hình ban đầ ị ật, ệ ầ được lưu lại ả ạng thái đó để nh tr so sánh v i các ớ ả ế nh ti p theo c a màn hình trong ủ quá trình s n xu t, do các màn hình liên t c c p vào nên vi c camera ki ả ấ ục đượ ấ ệ ểm tra đượ ỗ ị ậ ệ ả ấ ể ả ấ c l i d v t, bóng khí ,án l ch trong quá trình s n xu t là có th x y ra b t c lúc nào vì th sau m i l n c p màn hình vào ki m tra, nh tr ứ ế ỗ ầ ấ ể ả ạng thái lúc đó của màn hình s t so sánh v i tìm ra ẽ được cậ ậ p nh ớ ả ỗi ban đầu để nh màn hình không l các điể ệ ờ ị ậ ệch. Để làm chính xác điề m khác bi t nghi ng là d v t, bóng khí, dán l u này c n ph i l m c h ầ ải đăng ký ngoạ ệ cho các đặc điể ố ữu trên màn hình như vị trí các Mark Panel và Glass có kích thước và biên d ng c ạ ố định Ø0.6 mm và 0.8 mm, các v c c ế ớ ẵ ới kích thướ t xư c có s n v ố đị ột vài phương pháp xử ả nh,... Có m lý nh để ợc chính xác điều này như: làm đư - L y nh màn hình không Partern matching ( hay Template matching): ấ ả có d v t làm g c. So sánh nh ch p m i v nh g c. N u giá tr so sánh ị ậ ố ả ụ ớ ới ả ố ế ị nh v bóng khí, dán l ỏ hơn ngưỡng đưa ra thì là có dị ật, ệch. - i toàn b v trí c a Mark trên màn hình. Check postition partical: Lưu lạ ộ ị ủ Ả ớ ụp đượ ẽ xác đinh tấ ả ậ ể ể ả ỗ ẫ nh m i ch c s t c v t th k c các l i l n Mark. So sánh t ng v t th v i v u không trùng vào ừ ậ ể ớ ị trí được training trước đó. Nế nh ng v n ki ữ ị trí đó là lỗi cầ ểm tra. - L y nh màn hình không có d v t bóng khí, dán Subtract background: ấ ả ị ậ l ch làm g c. Tr t ệ ố ừ ừng điểm ả ớ nh m i l c cho ấy đượ ả ố nh g c ả ủ nh th đượ ẽ c s là t, t, ả ền đen và dị ậ nh n v bóng khí và dán l ch. B nh d v ệ ắt blob để xác đị ị ậ bóng khí, dán lệch.

49. ` 49 Để đạt được độ chính xác cao, nh m gi m t ằ ả ối đa thời gian lãng phí (losstime) cho vi c xác nh n các d v bóng khí, dán l ch nghi v n, c p c ệ ậ ị ật, ệ ấ ần kết hợ ả phương pháp check position partical và subtract background. Dướ lưu đồ ả ậ i đây là mô t thu t toán: Hình 3.2 t toán Lưu đồ thuậ Như vậ ấ ả sáu bướ ể ả ế ấn đề đặ y có t t c c đ gi i quy t v t ra: Bước 1: nh màn hình không có d v t/ bóng khí/ dán l ch, ti n x lý nh Chụp ả ị ậ ệ ề ử ả g c ố Các n i dung ti n x lý bao g ộ ề ử ồm: - nh thành nh xám ( nh ch p b i camera Basler là nh xám) Chuyển đổi ả ả ả ụ ở ả - n hành l c nhi c tính c a hình nh s d ng b l c Median Tiế ọ ễu các đặ ủ ả ử ụ ộ ọ (lọc mu i tiêu), Gaussian ố u nhi u hình d ng). (lọc các nhiễ ề ạ - Đăng ký ngoạ ệ i l các t v t Mark trên t m n n b ng thu t toán tìm biên ọa độ ệ ấ ề ằ ậ Canny. Hình 3.3 n x nh Tiề ử lý ả Bước 2: c tính hình nh s n có. Đăng ký ngoại lệ cho các đặ ả ẵ ROI: X= X0, Y= Y0, Width = W, Height = H

50. ` 50 Sub Pattern 1: (X1, Y1): Sub Pattern 2: (X2, Y2): Main Pattern 1: (X3, Y3): • Chọn vùng ROI cần xử lý • Chọn hai điểm Sub Pattern để tìm ra độ lệch theo góc ø của ảnh mới so với ảnh gốc (origin). Ø = arctan [(X2 – X1)/ – (Y2 Y1)] • Chọn Main Pattern để tìm ra độ lệch theo trục X, Y củ ảnh LIVE so vớ ảnh a i ORIGIN Offset_X = X3 – X1 Offset_Y = Y3 – Y1 Hình 3.4 Điểm đăng kí ngoại lệ ặ ả dung làm d c tính hình nh c 3: Ch p hình nh live, ti n x lý Bướ ụ ả ề ử ảnh… Sau khi ch p nh live vi u tiên ta c n là ph i ti n x ụ ả ệc đầ ầ ả ề ử lý ảnh live tương t nh g ự như ả ốc: - nh thành nh xám Chuyển đổi ả ả - n hành l c nhi u, l c tính c a hình nh s d ng b l Tiế ọ ễ ọc biên các đặ ủ ả ử ụ ộ ọc Median - i l các t l chân không, v c c nh b ng thu Đăng ký ngoạ ệ ọa độ ỗ ết xướ ố đị ằ ật toán tìm biên Candy

51. ` 51 Sau đó ta cầ ậ ạ ủ ả n, xác nh n l i vùng ROI (read of image) c a nh live do trong quá trình ch p thì nh b xoay m t góc r t nh , góc l c này có th làm sai l ch các ụ ả ị ộ ấ ỏ ệ ể ệ giá tr tính toán. ị Hình 3.5 nh live b xoay trong quá trình loading Ả ị D c góc ự ểm Pattern đăng ký sẵn ta xác định đượ a vào các đi Ø củ ảnh live: a Ø’ = arctan [(X2 – X1)/ – Y1)] (Y2 Góc xoay củ ảnh live so vớ ảnh gốc (ogirin) đượ ằng công thứ a i c tính b c: ∆ – Ø: = Ø Ø’ Sử dụng thuật toán xoay ảnh theo góc ∆Ø sau đó dịch chuyển (shift) ảnh theo các giá trị OFFSET tính toán ban đầu ta tìm được vị trí gốc P (X0, Y0) của vùng ROI mới. X0 = X3 - Offset_X Y0 = Y3 Offset_Y Sau khi xác định được chính xác vùng ROI cho ả ớ nh m i ta ti n hành ti n x ế ề ử lý ảnh live: c 4: X nh dùng gi i thu t Template matching và Subtract Bướ ử lý ả ả ậ Background. < giải thích>

52. ` 52 Hình 3.6 Giải thích ý t toán tưở ậ ng thu l i Bước 5: Đưa ra các điểm nghi ngờ ỗ So sánh các t c c trên nh live và nh g ọa độ ủa các đặc tính thu đượ ả ả ốc để tìm ra các tọ ộ đặ a đ c tính khác nhau. Các t c chính là các nghi ng l ọ ộ a đ thu đượ ờ ỗi. c 6: Phát c nh báo t b - Confirm Bướ ả (Alarm) từ thiế ị Nếu Vision camera tìm ra các điểm nghi ng là l i trên màn hình s l p t c ti n ờ ỗ ẽ ậ ứ ế hành d ng kh n c p thi và phát chuông c nh báo cho các k ừ ẩ ấ ết bị ả ỹ thuật viên nhanh chóng n m b t hi n tr ng. Thông qua màn hình hi n th , hình nh l i s c các ắ ắ ệ ạ ể ị ả ỗ ẽ đượ k thu t viên ki m tra tính chính xác c a Visicon camera. N u không ph i là l ỹ ậ ể ủ ế ả ỗi thì s b qua, ti p t c cho thi t b ho ng; n i s n hành x lý sau ẽ ỏ ế ụ ế ị ạt độ ếu đúng là lỗ ẽ tiế ử đó mớ ợ ế ụ ậ ế ị i đư c ti p t c v n hành thi t b . 3.3. K t qu t i mô hình thi t b m ế ả thực tế ạ ế ị thử nghiệ Sau khi ti n hành l nghi ế ắp đặt hệ thống cơ khí và thử ệm thuật toán đã cho ra các k t qu ế ả tương đối chính xác v i t l phát hi n l i ch ớ ỷ ệ ệ ỗ ất lượ ới độ ng v chính xác

53. ` 53 ~ 92.59%; th i gian x lý ng n ( 1 ~ 2 s m i chu trình) không ng t ờ ử ắ ỗ ảnh hưở ới tacttime chung của toàn bộ công đoạn s n xu ả ất. Dưới đây là hình ảnh mô hình thiết b nghi m và các k ki m ch ng th c t : ị thử ệ ết quả ể ứ ự ế Hình 3.7 Thiết bị đánh giá chương trình Vision K c nghi m ki ng 35 m u s n ph m: ết quả thự ệ ểm chứ ẫ ả ẩ No K t qu ế ả Hình ảnh NG Kích thước 1 OK 2 OK 3 OK 4 NG 0.47 mm 5 OK 6 OK 7 OK 8 OK 9 OK 10 OK

54. ` 54 11 OK 12 OK 13 OK 14 OK 15 OK 16 OK 17 OK 18 OK 19 OK 20 OK 21 OK 22 OK 23 OK 24 OK 25 OK 26 OK 27 OK 28 NG 0.28 mm 29 NG 0.56 mm 30 OK 31 OK 32 OK 33 OK 34 NG 0.6 mm 35 NG 0.64 mm

55. ` 55 T l chính xác ng theo ngày: ỷ ệ đánh giá tăng lượ Day Input Qty NG Qty Confirm result Rate 1 1,457 16 14 87.5% 2 1,862 20 18 90.00% 3 2,219 22 19 86.36% 4 2,097 19 18 94.74% 5 2,743 29 25 86.21% 6 1,634 17 15 88.24% 7 2,019 26 24 92.31% 8 2,230 28 25 89.29% 9 1,020 11 10 90.91% 10 1,534 13 12 92.31% Ave 18,815 201 180 89.55% T l chính xác c a Vision camera là ~ 89.55% sau khi ki m ch ỷ ệ ủ ể ứng mười ngày liên p v i s ng s n ph 18815. tiế ớ ố lượ ả ẩm C a Vision Camera ần đánh giá DOE kiểm thảo năng lực củ + ng h p d v t/ dán l gây s c t i nhà máy Trườ ợ ị ậ ệch size (0.73*0.27) thực tế ự ố ạ Threshold Grey Pixel Pixel Vision check Pixel (%) Alarm (YES/NO) EQP 1 0 0.00% B1LAM27N_U11 25 20 74 NO 2 0 0.00% B1LAM27N_U11 25 25 74 NO 3 13.51% B1LAM27N_U11 25 30 74 10 NO 4 24.32% YES B1LAM27N_U11 25 40 74 18 5 36.49% YES B1LAM27N_U11 25 50 74 27 6 48.65% YES B1LAM27N_U11 25 60 74 36 7 0 0.00% B1LAM27N_U11 40 20 74 NO 8 0 0.00% B1LAM27N_U11 40 25 74 NO 9 0 0.00% B1LAM27N_U11 40 30 74 NO 10 40 40 74 10 13.51% B1LAM27N_U11 NO 11 40 50 74 17 22.97% YES B1LAM27N_U11 12 40 60 74 22 29.73% YES B1LAM27N_U11 13 50 20 74 0 0.00% B1LAM27N_U11 NO 14 50 25 74 0 0.00% B1LAM27N_U11 NO 15 50 30 74 0 0.00% B1LAM27N_U11 NO 16 50 40 74 0 0.00% B1LAM27N_U11 NO 17 50 50 74 12 16.22% B1LAM27N_U11 NO 18 50 60 74 17 22.97% YES B1LAM27N_U11 19 70 20 74 0 0.00% B1LAM27N_U11 NO 20 70 25 74 0 0.00% B1LAM27N_U11 NO 21 70 30 74 0 0.00% B1LAM27N_U11 NO 22 70 40 74 0 0.00% B1LAM27N_U11 NO 23 70 50 74 10 13.51% B1LAM27N_U11 NO 24 70 60 74 11 14.86% B1LAM27N_U11 NO 25 90 20 74 0 0.00% B1LAM27N_U11 NO DOE đánh giá Vision No Đầu vào ( 0.73*0.27 ) Đầu ra

56. ` 56 Hình 3.8 Data đánh giá DOE kích thước lỗi 0.73*0.27 Kiểm th t t nh ảo Minitab thu được kế qu u ki n t ả điề ệ ố ất là Grey (50~60), threshold nhỏ hơn 40. Hình 3.9 K tính toán DOE ết quả K t qu u ki c m u khác (0.73*0.4) và ế ả tương tự khi dánh giá các điề ện kích thướ ẫ (0.956*0.776) đề ấ ỏ hơn 40 là ố ấ u cho th y (50~60), threshold nh Grey t t nh t. 26 90 25 74 0 0.00% B1LAM27N_U11 NO 27 90 30 74 0 0.00% B1LAM27N_U11 NO 28 90 40 74 0 0.00% B1LAM27N_U11 NO 29 90 50 74 0 0.00% B1LAM27N_U11 NO 30 90 60 74 0 0.00% B1LAM27N_U11 NO 31 100 20 74 0 0.00% B1LAM27N_U11 NO 32 100 25 74 0 0.00% B1LAM27N_U11 NO 33 100 30 74 0 0.00% B1LAM27N_U11 NO 34 100 40 74 0 0.00% B1LAM27N_U11 NO 35 100 50 74 0 0.00% B1LAM27N_U11 NO 36 100 60 74 0 0.00% B1LAM27N_U11 NO 37 120 20 74 0 0.00% B1LAM27N_U11 NO 38 120 25 74 0 0.00% B1LAM27N_U11 NO 39 120 30 74 0 0.00% B1LAM27N_U11 NO 40 120 40 74 0 0.00% B1LAM27N_U11 NO 41 120 50 74 0 0.00% B1LAM27N_U11 NO 42 120 60 74 0 0.00% B1LAM27N_U11 NO

57. ` 57 Hình 3.10 Data đánh giá kích thước lỗi 0.73*0.4 Hình 3.11 Data dánh giá kích thước lỗi 0.956*0.776

Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

Recomendados

Mais conteúdo relacionado

Similar a Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf

Similar a Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf(20)

Mais de Man_Book

Mais de Man_Book(20)

Último

Último(20)

Ứng dụng xử lý ảnh nhằm phát hiện và ngăn chặn sự cố chất lượng trong công nghệ sản xuất màn hình điện thoại.pdf