Luận văn thạc sĩ Kỹ thuật cơ điện tử: Thiết kế và xây dựng hệ thống đếm bao tự động với kích thước bao khác nhau dùng công nghệ xử lý ảnh

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM

Cán bộ hướng dẫn khoa học: Tiến sĩ Lê Thanh Hải ………

Cán bộ chấm nhận xét 1: PGS TS Nguyễn Thanh Phương ………

Cán bộ chấm nhận xét 2: PGS TS Lê Mỹ Hà ………

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 15 tháng 01 năm 2022

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1 Chủ tịch: PGS TS Nguyễn Duy Anh

2 Thư ký: Tiến sĩ Đoàn Thế Thảo

3 Phản biện 1: PGS TS Nguyễn Thanh Phương 4 Phản biện 2: PGS TS Lê Mỹ Hà

5 Ủy viên: Tiến sĩ Phùng Trí Công

Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn thạc sĩ được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG

PGS TS Nguyễn Duy Anh

TRƯỞNG KHOA CƠ KHÍ

i ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên: NGUYỄN VĂN TÚ MSHV: 1870244 Ngày, tháng, năm sinh: 24/08/1989 Nơi sinh: Hải Dương Chuyên ngành: Kỹ thuật cơ điện tử Mã số: 8520114 I TÊN ĐỀ TÀI:

Thiết kế và xây dựng hệ thống đếm bao tự động với kích thước khác nhau dùng công nghệ xử lý ảnh

Design of bag counter different size by image processing method II NHIỆM VỤ VÀ NỘI DUNG:

1 Tìm hiểu các điểm có thể cải tiến trong hệ thống đếm bao xuất hàng tại Nhà máy Đạm Cà Mau

2 Nghiên cứu lựa chọn lựa các thông số phù hợp cho giải pháp đếm bao mới 3 Nghiên cứu thuật toán xử lý ảnh ứng dụng vào đếm và phân loại bao U rê

4 Nghiên cứu đưa ứng dụng để áp dụng phù hợp với đặc thù Nhà máy Đạm Cà Mau 5 Thực nghiệm kiểm chứng kết quả

III NGÀY GIAO NHIỆM VỤ: 17/06/2021

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/12/2021 V CÁN BỘ HƯỚNG DẪN: TIẾN SĨ LÊ THANH HẢI

Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN

Tiến sĩ Lê Thanh Hải

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

PGS TS Nguyễn Quốc ChíTRƯỞNG KHOA CƠ KHÍ

ii LỜI CẢM ƠN

Luận văn Thạc sĩ này được thực hiện tại trường Đại học Bách Khoa TP Hồ Chí Minh

Để hoàn thành luận văn này, tôi xin tỏ lòng biết ơn sâu sắc và gửi lời cảm ơn chân thành đến Thầy giáo: Tiến sĩ Lê Thanh Hải đã tận tình hướng dẫn, giúp đỡ cho tôi trong suốt quá trình thực hiện luận văn tốt nghiệp

Tôi xin chân thành cảm ơn quý Thầy, Cô trong Bộ môn Cơ Điện Tử đã tận tình truyền đạt kiến thức, tạo điều kiện thuận lợi cho hoạt động học tập, nghiên cứu và thực hiện luận văn của tôi

Tôi cũng xin gửi lời cảm ơn tới các bạn lớp cao học khóa 2018 chuyên ngành Cơ điện tử đã giúp tôi rất nhiều trong quá trình học tập cũng như hoàn thành luận văn

Cuối cùng, tôi xin được bày tỏ lòng biết ơn sâu sắc tới gia đình, bạn bè đã luôn động viên, khích lệ tinh thần để tôi có đủ nghị lực hoàn thành luận văn thạc sỹ

Tp Hồ Chí Minh, tháng 12 năm 2021

NGUYỄN VĂN TÚ

iii TÓM TẮT LUẬN VĂN

Hiện nay, các ứng dụng trong hệ thống kiểm đếm hàng hóa được sử dụng rộng rãi tại các nhà máy, các dây chuyền sản xuất Trong đó, tại Nhà máy Đạm Cà Mau với công suất sản xuất trên 2400 tấn U rê/ngày, tương đương với đó sẽ có hơn 48.000 bao U rê loại 50Kg thành phẩm được xuất bán khỏi Nhà máy (chưa tính các sản phẩm khác của Nhà máy) Chính vì vậy, việc sử dụng bộ đếm có độ chính xác cao sẽ góp phần rất lớn vào việc giảm thiểu thất thoát hàng hóa cũng như tạo dựng niềm tin đối với khách hàng Việc tích hợp các ứng dụng khác trên bộ đếm như: Cùng lúc xuất được nhiều loại sản phẩm với kích thước và mẫu mã bao bì khác nhau, thống kê số lượng của từng loại … sẽ giúp Nhà máy Đạm Cà Mau tinh gọn được các hệ thống khác, từ đó tiết giảm chi phí bảo dưỡng, chi phí vận hành cho Nhà máy

Đề tài nghiên cứu đề xuất giải pháp giải pháp đếm bao sản phẩm tại Nhà máy Đạm Cà Mau được thực hiện để đếm tối thiểu 10.000 bao sản phẩm của Nhà máy Đạm Cà Mau với sai số 0,02%, công suất đếm tối thiểu 9600 bao/giờ, trong một đơn hàng có 03 loại sản phẩm khác nhau với quy cách đóng bao 50Kg/bao và 40Kg/bao Giải thuật áp dụng cho bộ đếm sử dụng phương pháp xử lý ảnh, camera được đặt trong không gian có môi trường ánh sáng không thay đổi (khu vực băng tải đặt trong mái che có ánh sáng điện màu vàng)

iv ABSTRACT

Currently, applications in the goods tallying system are widely used in factories, production lines In particular, at Ca Mau Fertilizer Plant with a production capacity of over 2400 tons of Urea per day, equivalent to that, there will be more than 48,000 bags of Urea type 50Kg finished products sold from the Factory (excluding other products of the Factory) Therefore, the use of high-precision counters will contribute greatly to minimizing loss of goods as well as building trust for customers The integration of other applications on the counter such as: At the same time exporting a variety of products with different sizes and packaging designs, statistics on the number of each type etc will help Ca Mau Fertilizer Plant streamline other systems, thereby reducing maintenance costs and operating costs for the factory The research project proposes a solution to count the product bags at Ca Mau Fertilizer Plant to count at least 10,000 bags of products Ca Mau Fertilizer Plant with a margin of error of 0.02%, minimum counting capacity of 960 bags per hour, in one order there are 03 different types of products with the packaging of 50Kg / bag and 40Kg / bag The algorithm applied to the counter uses the image processing method, the camera is placed in a space with a bright environment unchanged (the conveyor area located in the roof has yellow electric light)

v LỜI CAM ĐOAN

Tôi cam đoan các kết quả nghiên cứu đưa ra trong luận văn này dựa trên các kết quả thu được trong quá trình nghiên cứu của riêng tôi

Nội dung của luận văn có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn sách, tạp chí, website được liệt kê trong danh mục các tài liệu tham khảo

Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình Trường đại học Bách Khoa TP.HCM không liên quan đến những vi phạm (nếu có) về tác quyền, bản quyền do tôi gây ra trong quá trình thực hiện

Tp Hồ Chí Minh, tháng 12 năm 2021

NGUYỄN VĂN TÚ

vi MỤC LỤC

CHƯƠNG 1 TỔNG QUAN 1

1.1GIỚI THIỆU VỀ CÁC SẢN PHẨM CỦA NHÀ MÁY ĐẠM CÀ MAU 1

1.2GIỚI THIỆU ĐỀ TÀI 3

1.3TÌNH HÌNH NGHIÊN CỨU TRONG NƯỚC 6

1.4TÌNH HÌNH NGHIÊN CỨU NGOÀI NƯỚC 8

1.5ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 9

1.5.1Đối tượng nghiên cứu 9

1.5.2Phạm vi nghiên cứu 9

1.6NỘI DUNG NGHIÊN CỨU 9

1.7TIÊU CHI ĐÁNH GIÁ 10

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 11

2.1LÝ THUYẾT XỬ LÝ ẢNH 11

2.1.1Các khái niệm trong xử lý ảnh 11

2.1.2Các hệ màu thông dụng 14

2.1.3Các thuật toán trong xử lý ảnh 17

a Mạng Neural (Neural Network) 17

b Gradient descent 19

c Mô hình mạng Neural tổng quát 19

d Phép tính convolution 20

e Mạng thần kinh tích chập (Convolutional neural network) [9] 25

f Giới thiệu về YOLO [13] 30

2.2NGÔN NGỮ LẬP TRÌNH PYTHON 38

2.2.1Các khái niệm cơ bản và cài đặt Python 38

2.3CAMERA SỬ DỤNG TRONG CÔNG NGHIỆP 43

2.3.1Khái niệm camera công nghiệp 43

2.3.2Các thông số cần biết của camera 45

2.3.3Lựa chọn camera cho các ứng dụng 48

2.4ÁNH SÁNG ẢNH HƯỞNG TỚI CHẤT LƯỢNG XỬ LÝ ẢNH 51

2.4.1Các định nghĩa 51

2.4.2Ánh sáng trong xử lý ảnh công nghiệp 52

3.9Phân tích kết quả thực nghiệm so với yêu cầu ban đầu 77

CHƯƠNG 4 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 78

4.1Kết luận 78

4.2hướng phát triển của đề tài 78

TÀI LIỆU THAM KHẢO 79

PHỤ LỤC 01 : IO LIST PLC 82

PHỤ LỤC 02 : CHƯƠNG TRÌNH LẬP TRÌNH PLC 83

PHỤ LỤC 03 : CHƯƠNG TRÌNH LẬP TRÌNH PLC 89

viii DANH MỤC HÌNH ẢNH

Hình 1 1: Các dòng sản phẩm đơn dòng của Nhà máy Đạm Cà Mau 1

Hình 1 2: Các sản phẩm phân bón NPK của Nhà máy Đạm Cà Mau 2

Hình 1 3: Các sản phẩm phân bón NPK của Nhà máy Đạm Cà Mau 2

Hình 1 4: Hình ảnh hệ thống xuất hàng tại Nhà máy Đạm Cà Mau 3

Hình 1 5: Mật độ các giữa các bao trên băng tải xuất hàng 4

Hình 1 6: Bộ đếm hiện hữu tại Nhà máy Đạm Cà Mau 5

Hình 1 7: Mô hình lắp máy kiểm tra nhãn dán và phân loại 6

Hình 1 8: Đếm con giống sử dụng camera quét ảnh 7

Hình 1 9: Hệ thống phát hiện lỗi sản phẩm sử dụng camera 8

Hình 2 9: Mô tả mạng neuron ở người 17

Hình 2 10: Mô tả mạng neuron ở não người 18

Hình 2 11: Mô hình mạng Neuron tổng quát 19

Hình 2 12: Mô tả thuật toán Kernel 21

Hình 2 13: Mô tả thuật toán padding 22

Hình 2 14: Mô tả thuật toán tăng kích thước ma trận 23

Hình 2 15: Mô tả thuật toán Stride=1, padding=1 23

Hình 2 16: Môt tả thuật toán với giá trị Stride =2, padding =1 24

Hình 2 17: Ảnh giữ nguyên 24

Hình 2 18: Ảnh sau khi xử lý thuật toán kernel 25

Hình 2 27: Tạo bounding quanh đối tượng 32

Hình 2 28: Kích thước bounding đối tượng 32

Hình 2 29: Mô tả các thức hoạt động YOLO 33

Hình 2 30: Minh họa phát hiện vật thể bằng phương pháp YOLO 35

Hình 2 31: Kiến trúc CNN trong xử lý ảnh 36

Hình 2 32: Icon phần mềm Python 39

Hình 2 33: Giao diện download Python tại trang chủ 41

Hình 2 34: Giao diện cài đặt Python 42

Hình 2 35: Giao diện báo cài đặt Python thành công 42

Hình 2 36: Camera công nghiệp chuẩn IP 67 của hãng IMPERX 43

Hình 2 43: Mô tả mối quan hệ giữa tiêu cự và độ rộng của góc nhìn 48

Hình 2 44: Mô tả các thông số của camera 49

x Hình 2 50: Chiếu sáng vật bằng đèn Ringlight góc cao (trái) và đèn Ring light góc thấp

Hình 2 53: Mô hình đèn Telecentric backlight (trên) và hình ảnh vật khi 57

Hình 2 54: Sơ đồ chiếu sáng phía sau Dark light 57

Hình 2 55: Mô hình kết hợp chiếu sáng đèn Dome và Ringlight góc thấp 58

Hình 3 1: Hình ảnh 3 mẫu bao sản phẩm được sử dụng trong đề tài 59

Hình 3 2: Mô phỏng các vị trí bao sản phẩm trên băng tải 60

Hình 3 3: Hình dạng camera Logitech C922 61

Hình 3 4: Hình dạng bên ngoài PLC S7-200 CPU224 62

Hình 3 5: Chân đế băng tải 63

Hình 3 6: Các bát kết nối khung băng tải 63

Hình 3 7: Băng tải sản phẩm sau khi lắp đặt 64

Hình 3 8: Hình dạng chân đế gắn camera 64

Hình 3 9: Sơ đồ kết nối phần cứng hệ thống bộ đếm 65

Hình 3 10: Lưu đồ giải thuật xử lý ảnh 66

Hình 3 11: Lưu đồ giải thuật PLC hệ thống đếm bao 67

Hình 3 12: Hàm Loss trong quá trình huấn luyện 68

Hình 3 13: Giá trị IOU và giá trị mAP kết thúc quá trình huấn luyện 69

Hình 3 14: Hình ảnh mẫu sản phẩm 70

Hình 3 15: Bộ nguồn và PLC điều khiển hệ thống 70

Hình 3 16: Hình ảnh sản phẩm thực tế trên băng tải 71

Hình 3 17: Hình ảnh sản phẩm thu được từ camera 71

Hình 3 18: Giao diện vận hành HMI 72

Hình 3 19: Biểu đồ so sánh thông số thử nghiệm 74

Hình 3 20: Biểu đồ so sánh số lượng các loại mẫu khi thử nghiệm 74

Hình 3 21: Biểu đồ thể hiện kết quả đếm thực nghiệm 76

Hình 3 22: Biểu đồ thông số kết quả thử nghiệm 76

xi

Hình 4 1: Hình ảnh mẫu sản phẩm 70

Hình 4 2: Bộ nguồn và PLC điều khiển hệ thống 70

Hình 4 3: Hình ảnh sản phẩm thực tế trên băng tải 71

Hình 4 4: Hình ảnh sản phẩm thu được từ camera 71

Hình 4 5: Giao diện vận hành HMI 72

xii DANH MỤC BIỂU BẢNG

Bảng 1 1: Bảng tiêu chí đánh giá của đề tài 10

Bảng 2 1: Bảng giá trị và màu sắc thực tế hệ màu RGB 15

Bảng 2 2: Bảng phân chia các bức xạ sóng điện từ 51

Bảng 3 1: Bảng mô tả các trường hợp tiến hành thực nghiệm 73

Bảng 3 2: Kết quả thực nghiệm 75

Bảng 3 3: So sánh kết quả thực nghiệm và tiêu chí đánh giá ban đầu 77

LUẬN VĂN THẠC SĨ

1 CHƯƠNG 1 TỔNG QUAN

1.1 GIỚI THIỆU VỀ CÁC SẢN PHẨM CỦA NHÀ MÁY ĐẠM CÀ MAU Tại Nhà máy Đạm Cà Mau, mỗi loại sản phẩm sẽ có những mẫu mã đặc trưng riêng của từng dòng sản phẩm giúp khách hàng có thể phân biệt được các sản phẩm khác nhau Mỗi loại sản phẩm sẽ có quy cách đóng bao khác nhau để phù hợp với nhu cầu sử dụng và cách thức phân phối, bán hàng Dưới đây là các loại sản phẩm của Nhà máy Đạm Cà Mau:

 Dòng phân đơn bao gồm có 6 loại sản phẩm: U rê hạt đục, N.Humate+TE, U rê Bio, DAP Cà Mau, N46 Plus Cà Mau, Kali Cà Mau

Hình 1 1: Các dòng sản phẩm đơn dòng của Nhà máy Đạm Cà Mau [1]

LUẬN VĂN THẠC SĨ

2  Dòng phân bón NPK gồm có 9 loại sản phẩm với các công thức khác nhau như: NPK 17-7-17, NPK 18-6-18 Gold, NPK 18-6-18, NPK 16-16-10, NPK 16-16-8+TE, NPK 15-15-15+10S, NPK 16-7-17, NPK 20-20-15+TE, NPK 16-16-8

Hình 1 2: Các sản phẩm phân bón NPK của Nhà máy Đạm Cà Mau [1]  Các sản phẩm phân bón cao cấp: Bao gồm 2 loại sản phẩm OM Cà Mau Green và

OM Cà Mau Tech

Hình 1 3: Các sản phẩm phân bón NPK của Nhà máy Đạm Cà Mau [1]

LUẬN VĂN THẠC SĨ

3 1.2 GIỚI THIỆU ĐỀ TÀI

Tại Nhà máy Đạm Cà Mau, hệ thống xuất hàng hiện hữu có 4 line xuất hàng xuống xà lan với công suất tối thiểu 960 bao/giờ Các sản phẩm xuất hàng là các dòng phân bón đơn dòng, phân bón NPK hoặc dòng phân bón cao cấp Hầu hết các dòng phân bón tại Nhà máy Đạm Cà Mau đa số đều là các dòng phân bón từ gốc U rê và được đóng báo thành phẩm với mẫu mã đặc trưng của từng sản phẩm Quy cách đóng bao (quy cách đóng gói gồm có 50Kg/bao, 45Kg/bao, 25Kg/bao) và mẫu mã đa dạng tùy thuộc vào từng loại sản phẩm

Hình 1 4: Hình ảnh hệ thống xuất hàng tại Nhà máy Đạm Cà Mau

Đặc điểm xuất hàng tại Nhà máy Đạm Cà Mau: Hiện tại các sà lan cập cảng sẽ được tạo đơn hàng với duy nhất một loại sản phẩm của Nhà máy Đạm Cà Mau do bộ đếm hiện hữu chỉ đếm được các sản phẩm cùng loại với 1 quy cách đóng bao đồng nhất Nếu cần xuất sản phẩm có quy cách khác thì bộ đếm cần đếm cần phải căn chỉnh lại cấu hình Ngoài ra, các bao sản phẩm chạy trên băng tải có vị trí và mật độ bao không đồng nhất (do việc bốc bao lên băng tải xuất hàng có sử dụng con người bốc

LUẬN VĂN THẠC SĨ

4 từ pallet Các yếu tố này thường gây cho bộ đếm không nhận dạng đúng sản phẩm và đếm sai số lượng hàng hóa

Hình 1 5: Mật độ các giữa các bao tại Nhà máy Đạm Cà Mau trên băng tải xuất hàng

Tổng quan bộ đếm hiện hữu tại Nhà máy Đạm Cà Mau: Các bộ đếm bao hiện hữu tại Nhà máy Đạm Cà Mau là các hệ thống sử dụng PLC S7-200 của hãng Siemens với thành phần cấu thành chính là cảm biến quang học thông thường có kết nối hiển thị giá trị đã đếm được lên bảng LED đặt tại vị trí đếm và vị trí các xà lan có thể quan sát Các bộ đếm được lắp đặt phía trên các băng tải xuất hàng Các bao thành phẩm chạy qua bộ đếm sẽ được bộ đếm ghi nhận số lượng, giá trị số lượng này là cơ sở để bàn giao hàng hóa giữa Nhà máy Đạm Cà Mau và khách hàng Bộ đếm hiện hữu chỉ đếm được một loại sản phẩm cùng một kích thước và mẫu mã bao bì đồng nhất Thông số thống kê duy nhất là số lượng đã đếm qua bộ đếm Ngoài ra, bộ đếm

LUẬN VĂN THẠC SĨ

5 hiện hữu thường gây sai số khi các bao sản phẩm đi sát nhau hoặc vị trí bao đặt lệch trên băng tải

Hình 1 6: Bộ đếm hiện hữu tại Nhà máy Đạm Cà Mau

Dựa trên các vấn đề nêu trên, đề tài nghiên cứu tập trung vào việc thiết kế bộ đếm cho phép đếm được các bao có kích thước khác nhau (quy cách đóng bao khác nhau), mẫu mã khác nhau và đếm chính xác trong các tình huống bao đi sát nhau tại Nhà máy Đạm Cà Mau dựa trên giải thuật xử lý ảnh

Để thực hiện mục tiêu trên, tác giả đã đề xuất phương pháp thực hiện nghiên cứu từ mô phỏng đến áp dụng kiểm chứng thực nghiệm Trong đó, quá trình mô phỏng và thực nghiệm được thực hiện bằng hệ thống đếm bao thực tế với kích thước bao có tỉ lệ thu nhỏ so với bao sản phẩm thực tế tại Nhà máy Đạm Cà Mau Kết quả

LUẬN VĂN THẠC SĨ

6 trên được đánh giá phân tích làm cơ sở cho việc áp dụng lắp đặt hệ thống thực tế trên dây truyền xuất hàng tại Nhà máy Đạm Cà Mau

1.3 TÌNH HÌNH NGHIÊN CỨU TRONG NƯỚC

Trong những năm gần đây, ứng dụng phương pháp xử lý ảnh trong việc kiểm đếm số lượng ngày càng phát triển và được ứng dụng trên nhiều lĩnh vực khác nhau Ứng dụng xử lý ảnh cho máy tự động kiểm tra và phân loại nhãn in trên sản phẩm trong công đoạn đóng gói [2] Bài báo đã trình bày phương pháp phân loại sản phẩm dựa vào nhãn dán và barcode trên các sản phẩm sử dụng xử lý ảnh qua phần mềm Labview Các tác giả của bài báo đã đề cập đến ứng dụng xử lý ảnh vào mục đích kiểm đếm sản phẩm dựa vào nhận biết thông qua nhãn dán và barcode khác nhau

Hình 1 7: Mô hình lắp máy kiểm tra nhãn dán và phân loại [3] Ứng dụng xử lý ảnh trong việc đếm số lượng tôm giống: [4]

Đếm được các vật chuyển động không theo quy luật, đếm được các vật có kích thước nhỏ

Sai số lớn

LUẬN VĂN THẠC SĨ

7 Hình 1 8: Đếm con giống sử dụng camera quét ảnh

Ứng dụng phân loại sản phẩm dựa trên màu sắc bằng phương pháp xử lý ảnh [5]

Đếm được các vật có màu sắc khác nhau, không bị ảnh hưởng bởi kích thước vật đếm

Độ chính xác của phương pháp phụ thuộc vào màu sắc của sản phẩm

Ứng dụng công nghệ xử lý ảnh trong phân loại cà chua sau thu hoạch [6] Trong bài báo, các tác giả sử dụng xử lý ảnh để phân loại cà chua theo độ chín và kích thước khác nhau thay thế cách phân loại bằng tay truyền thống Ngoài ra, phương pháp này đảm bảo chất lượng quả cà chua được đồng đều, thuận tiện trong quá trình vận chuyển và đóng gói sử dụng

Đếm được các vật có màu sắc và kích thước khác nhau, các vật đếm chuyển động không theo quy luật

Sai số lớn trong giải pháp đếm

LUẬN VĂN THẠC SĨ

8 1.4 TÌNH HÌNH NGHIÊN CỨU NGOÀI NƯỚC

Dựa vào các mục đích và loại sản phẩm khác nhau, hiện nay trên thế giới có các loại bộ đếm sau:

 Hệ thống phát hiện sản phẩm lỗi trong các dây chuyền sản xuất

Hình 1 9: Hệ thống phát hiện lỗi sản phẩm sử dụng camera  Hệ thống đếm các sản phẩm có kích thước nhỏ trong dây chuyền đóng gói

Hình 1 10: Hệ thống đếm sản phẩm đóng gói

LUẬN VĂN THẠC SĨ

9  Hệ thống đếm số người ra vào tòa nhà sử dụng camera nhận diện khuôn mặt

Hình 1 11: Hệ thống đếm người ra/vào tòa nhà bằng phương pháp xử lý ảnh 1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU

1.5.1 Đối tượng nghiên cứu

 Nhận dạng đối tượng bằng phương pháp xử lý ảnh 1.5.2 Phạm vi nghiên cứu

 Nghiên cứu giải pháp đếm sản phẩm của Nhà máy Đạm Cà Mau sử dụng phương pháp xử lý ảnh

 Xây dựng mô hình bộ đếm dựa trên các nghiên cứu trên 1.6 NỘI DUNG NGHIÊN CỨU

 Khảo sát phương pháp xuất hàng hiện tại và những nhược điểm của bộ đếm hiện hữu tại Nhà máy Đạm Cà Mau

 Đánh giá các thông số của sản phẩm xuất hàng tại Nhà máy Đạm Cà Mau: Quy cách đóng bao, mật độ bao, tốc độ di chuyển của bao trên băng tải …

LUẬN VĂN THẠC SĨ

10  Xây dựng các thuật toán xử lý ảnh với mục đích đếm các sản phẩm khác loại

 Thu thập, xác định mẫu bao bì sử dụng để nghiên cứu và xây dựng mô hình  Thực nghiệm trên mô hình hệ thống đếm bao bằng phương pháp xử lý ảnh  Đánh giá kết quả sau thực nghiệm

1.7 TIÊU CHI ĐÁNH GIÁ

Tiêu chí đánh giá Giá trị đánh giá Ghi chú Nhận dạng đúng mẫu bao bì

với 2 kích thước khác nhau 2 loại kích thước Theo yêu cầu của Nhà máy

Tần suất đếm trung bình 240 bao/h Theo công suất của Nhà máy

Tỉ lệ bao xếp chồng tính theo

Bảng 1 1: Bảng tiêu chí đánh giá của đề tài

LUẬN VĂN THẠC SĨ

11 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

Nội dung Chương 2 đề cập đến các nội dung cơ sở lý thuyết, kiến thức cơ bản liên quan trực tiếp đến nội dung nghiên cứu của đề tài Luận văn, trong đó bao gồm:

 Mục 2.1: Trình bày về lý thuyết xử lý ảnh

 Mục 2.2: Trình bày về ngôn ngữ lập trình Python

 Mục 2.3: Trình bày về camera sử dụng trong công nghiệp

 Mục 2.4: Trình bày về ánh sáng ảnh hưởng tới chất lượng xử lý ảnh 2.1 LÝ THUYẾT XỬ LÝ ẢNH

2.1.1 Các khái niệm trong xử lý ảnh  Ảnh số

Ảnh số (digital image) có thể được xem là một biểu diễn dữ liệu rời rạc thể hiện thông tin về không gian và cường độ sáng Ảnh số gồm một tập hợp hữu hạn các phần tử được biểu diễn bởi các giá trị số Ảnh số có thể được biểu diễn dưới dạng ma trận hai chiều , mỗi phần tử của ảnh số gọi là điểm ảnh (pixel) [7]

Hình 2 1: Ảnh số

LUẬN VĂN THẠC SĨ

12  Điểm ảnh

Thuật ngữ điểm ảnh được dịch ra từ thuật ngữ gốc là pixel (viết tắt cụm từ picture element) nghĩa là một phần tử của ảnh Phần tử của ảnh được xác định theo tọa độ (x, y) tương ứng với số thứ tự cột và hàng trong ảnh Giá trị mỗi điểm ảnh được xác định bởi giá trị cường độ mức xám hoặc màu nhất định [8]

 Các dạng ảnh

 Ảnh màu: Ảnh màu thường là các ảnh biểu diễn thông tin của đối tượng dưới dạng màu sắc mà mắt thường có thể quan sát được Mỗi điểm ảnh có cấu trúc gồm nhiều kênh khác nhau, thông thường trong máy tính, nó được biểu diễn bởi ba lớp màu cơ bản RGB, gồm màu đỏ (red), màu xanh lá cây (green), và xanh lam (blue) [8]

Hình 2 2: Ảnh màu

 Ảnh đa mức xám: Ảnh đa mức xám thường biểu diễn thông tin liên quan đến độ đa mức xám của đối tượng trong không gian mà không thể hiện được màu sắc thực của nó [8]

Hình 2 3: Ảnh đa mức xám

LUẬN VĂN THẠC SĨ

13  Ảnh nhị phân: Ảnh nhị phân biểu diễn đối tượng bằng hai mức 0 và 1, thường được dùng để biểu diễn, phân biệt đối thượng với nền trong bức ảnh [8]

Hình 2 4: Ảnh nhị phân  Mức xám

Giá trị của mức xám là kết quả của ánh xạ giá trị độ sáng của một điểm ảnh màu trong không gian thực với một giá trị số nguyên dương thể hiện mức độ sáng tối của điểm ảnh đó Các thang giá trị mức xám thường dùng là 2, 16, 32, 64, 128, 256 Ảnh đa mức xám thường dùng là 256, như vậy mức xám thường được xác định trong khoảng [0, 255] tùy thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn [8]

 Độ phân giải của ảnh

Kích thước của lưới pixel hai chiều cùng với kích thước dữ liệu lưu trữ cho mỗi pixel xác định độ phân giải không gian và chất lượng màu của hình ảnh Xét về mặt không gian thì số cột và số hàng của ảnh xác định số lượng pixel được sử dụng để biểu diễn hình ảnh thu được từ thế giới thực Như vậy độ phân giải không gian (spatial resolution) của ảnh là mật độ pixel được xác định trên một ảnh số [8]

LUẬN VĂN THẠC SĨ

14 Một số ảnh độ phân giải thông thường được sử dụng trong các thiết bị hiển thị và lĩnh vực xử lý ảnh như 320x240, 640x480, 800x600, 1024x768 (HD), 1920x1080 (full HD), 3840x2160 (UHD)

Độ phân giải bit liên quan đến chất lượng ảnh, nó được định nghĩa là số lượng các giá trị khác nhau có thể biểu diễn về cường độ sáng hoặc màu sắc [8] Ảnh nhị phân chỉ biểu diễn được hai trạng thái giá trị khác nhau (đen hoặc trắng) mỗi pixel loại này dùng 1 bit Ảnh đa mức xám thường dùng 8 bit cho mỗi pixel, biểu diễn 256 giá trị từ 0 đến 255 với giá trị 0 là màu đen và 255 là màu trắng Ảnh màu RGB dùng 24 bit có thể biểu diễn được hơn 16 triệu màu

Hình 2 5: Sự khác biệt giữa 2 ảnh có độ phân giải khác nhau 2.1.2 Các hệ màu thông dụng

 Hệ màu RGB

Ảnh số trong hệ màu RGB (Red- Green- Blue) được biểu diễn bơi 3 kênh màu, gồm đỏ (red), xanh lá cây (green) và xanh lam (blue) [8] Hệ màu RGB là hệ màu được sử dụng trong kỹ thuật hiển thị ảnh trên các thiết bị điện tử như máy tính, tivi Trong biểu diễn và xử lý hệ màu RGB, mỗi kênh thường được mã hóa bằng 1 byte (8 bit) thể hiện 256 giá trị cường độ sáng khác nhau Trong trường hợp mỗi kênh được mã hóa bằng 1 byte, ảnh thường được gọi là ảnh 24 bit màu

LUẬN VĂN THẠC SĨ

15 Hình 2 6: Hệ màu RGB

Trong mô hình này, hệ tọa độ hình trụ thường được dùng để biểu diễn không gian màu với bộ ba thông số:

LUẬN VĂN THẠC SĨ

16  Hue là giá trị thể hiện sắc màu của hình ảnh (hay còn gọi là vùng màu) Sắc màu thông thường được dùng để chỉ tên gọi của màu như đỏ, lục, lam, chàm, tím, … Các sắc màu khác nhau được biểu diễn trên một vòng tròn chỉ màu, giá trị từ 00 đến 3600

 Saturation là giá trị thể hiện mức độ bão hòa màu Giá trị của nó để chỉ mức độ thuần khiết của màu Nói cách khác, khi ảnh có độ bão hòa cao, màu sẽ trong rực rỡ hơn ảnh có độ bão hòa thấp Giá trị S nằm trong khoảng [0, 1], trong đó S đạt giá trị 1 là màu tinh khiết nhất, hoàn toàn không pha trắng, nghĩa là S càng lớn thì màu càng tinh khiết, nguyên chất

 Value là giá trị đo độ sáng của màu Thành phần V có giá trị trong đoạn [0, 1] Với giá trị đặc biệt V=0 thì ảnh hoàn toàn tối và ngược lại V=1 thì ảnh hoàn toàn sáng Giá trị của V càng lớn thì màu càng sáng

Hình 2 7: Hệ màu HSV  Hệ màu Lab

Không gian màu Lab thể hiện mô hình toán học của tất cả các màu mà con người có thể cảm nhận được trong không gian ba chiều Giá trị L thể hiện cho màu sáng, a thể hiện cho thành phần màu xanh đỏ (green- red) và b thể hiện cho thành phần màu xanh vàng (blue- yellow) [8] Hệ màu Lab được xem là mô hình độc lập đối với thiết bị và thường được sử dụng làm cơ sở tham chiếu khi chuyển đổi từ không gian màu này sang một không gian màu khác Theo mô hình Lab, tất cả các màu có cùng độ sáng sẽ nằm trên cùng một mặt phẳng có dạng hình tròn theo 2 trục a và b Màu có

LUẬN VĂN THẠC SĨ

17 giá trị a dương ngã đỏ, màu có giá trị a âm ngã lục Tương tự b dương ngả vàng và b âm ngả lam Còn độ sáng thì thay đổi theo trục dọc

Hình 2 8: Hệ màu Lab 2.1.3 Các thuật toán trong xử lý ảnh

a Mạng Neural (Neural Network)

Neural Network là mô hình toán học mô phỏng nơron trong hệ thống thần kinh con người Mẫu đó biểu hiện cho một số chức năng của nơron (neuron) thần kinh con người

Hình 2 9: Mô tả mạng neuron ở người

LUẬN VĂN THẠC SĨ

18 Đầu tiên là tính chất truyền đi của thông tin trên neuron, khi neuron nhận tín hiệu đầu vào từ các dendrite, khi tín hiệu vượt qua một ngưỡng(threshold) thì tín hiệu sẽ được truyền đi sang neuron khác (Neurons Fire) theo sợi trục (axon) Neural của mẫu toán học ở đây cũng được mô phỏng tương tự như vậy

Hình 2 10: Mô tả mạng neuron ở não ngườiTrong đó:

 w: trọng số (Weights)  Tính tổng

𝑧 = ∑ 𝑥 𝑤 = 𝑥 𝑤 + 𝑥 𝑤 + ⋯ + 𝑥 𝑤

 Hàm activation: Output = f(z) Hàm f(z) là một trong các hàm dưới tùy vào mục đích của bài toán

Áp dụng sigmoid function: 𝑦= 𝜎(z)

LUẬN VĂN THẠC SĨ

19 b Gradient descent

Gradient descent là thuật toán tìm giá trị nhỏ nhất của hàm số f(x) dựa trên đạo hàm

Thuật toán:

 Khởi tạo giá trị x = x0 tùy ý

 Gán x = x - α * f’(x) (α là hằng số dương rất nhỏ ví dụ α = 0.01)  Tính lại f(x): Nếu f(x) đủ nhỏ thì dừng lại, ngược lại tiếp tục bước 2

c Mô hình mạng Neural tổng quát

Hình 2 11: Mô hình mạng Neuron tổng quát

Layer đầu tiên là input layer, các layer ở giữa được gọi là hidden layer, layer cuối cùng được gọi là output layer Các hình tròn được gọi là node

Mỗi mô hình luôn có 1 input layer, 1 output layer, có thể có hoặc không các hidden layer

Mỗi node trong hidden layer và output layer :

 Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng  Mỗi node có 1 hệ số bias b riêng

 Diễn ra 2 bước: tính tổng linear và áp dụng activation function  Đầu ra của layer trước là đầu vào của layer sau

LUẬN VĂN THẠC SĨ

20 d Phép tính convolution

 Kí hiệu phép tính convolution (⊗), kí hiệu Y = X ⊗W

 Với mỗi phần tử xij trong ma trận X lấy ra một ma trận có kích thước bằng kích thước của kernel W có phần tử xij làm trung tâm (đây là vì sao kích thước của kernel thường lẻ) gọi là ma trận A Sau đó tính tổng các phần tử của phép tính element-wise của ma trận A và ma trận W, rồi viết vào ma trận kết quả Y kích thước 4x5

1x1 + 1x0 + 6x1 + 4x1 + 3x5 + 3x1 + 2x0 + 3x1 + 3x2 = 38

LUẬN VĂN THẠC SĨ

21 1x1 + 6x0 + 7x1 + 3x1 + 3x5 + 6x1 + 3x0 + 3x1 + 5x2 = 45

Hình 2 12: Mô tả thuật toán KernelPadding

 Padding = k nghĩa là thêm k vector 0 vào mỗi phía (trên, dưới, trái, phải) của ma trận

LUẬN VĂN THẠC SĨ

22  Như ta, nêu thực hiện phép tính như ở trên thì giá trị ngoài viền sẽ bị mất đi

và ma trận Y không còn giữ được kích thước của X

 Giờ ta muốn ma trận Y thu được có kích thước bằng ma trận X và không làm mất đi thông tin của các giá trị ngoài viền => thêm các giá trị 0 vào khi thực hiện phép tính

LUẬN VĂN THẠC SĨ

23 Hình 2 14: Mô tả thuật toán tăng kích thước ma trận

Stride

 Stride = k (k > 1) thì ta chỉ thực hiện phép tính convolution trên các phần tử x1+i∗k;1+j∗k

 Trường hợp trên: stride = 1(bước nhảy), padding = 1

Hình 2 15: Mô tả thuật toán Stride=1, padding=1

LUẬN VĂN THẠC SĨ

24  Trường hợp trên: stride = 2 (bước nhảy), padding = 1 như sau:

Hình 2 16: Mô tả thuật toán với giá trị Stride =2, padding =1 Convolution

 Mỗi kernel khác nhau sẽ có ý nghĩa khác nhau phụ thuộc vào các giá trị trong kernel mà ta có thể trích xuất được đặc trưng của ảnh, tìm cạnh, làm mờ …  Giữ nguyên ảnh:

Hình 2 17: Ảnh giữ nguyên

LUẬN VĂN THẠC SĨ

25  Kernel phát hiện cạnh:

Hình 2 18: Ảnh sau khi xử lý thuật toán kernel  Làm mờ - tính giá trung bình của một vùng:

Hình 2 19: Ảnh đã dùng thuật toán làm mờ  Tùy vào mục đích thì giá trị của kernel sẽ khác nhau

e Mạng thần kinh tích chập (Convolutional neural network) [9] Convolutional layer

 Fully connected neural network (FCN) là mô hình mỗi node trong hidden layer được kết nối với tất cả các node trong layer trước

LUẬN VĂN THẠC SĨ

26  Giả sử ảnh đầu vào có kích thước 16x16x3 (RGB), để biểu thị hết nội dung của bức ảnh thì cần truyền vào input layer tất cả các pixel (16x16x3 = 768) Tức là input layer có 768 (nodes) đầu vào

 Ảnh màu có tới 3 channels red, green, blue nên khi biểu diễn ảnh dưới dạng tensor 3 chiều (tensor chỉ dữ liệu có liều lớn hơn 2) Nên ta cũng sẽ định nghĩa kernel là 1 tensor 3 chiều kích thước k*k*3

Hình 2 20: Mô tả tensor 3 chiều kích thước

 Ta định nghĩa kernel có cùng độ sâu (depth) với biểu diễn ảnh, rồi sau đó thực hiện di chuyển khối kernel tương tự như khi thực hiện trên ảnh xám Convolutional layer tổng quát

 Giả sử input của 1 convolutional layer tổng quát là tensor kích thước H * W * D

 Kernel có kích thước F * F * D (kernel luôn có depth bằng depth của input và F là số lẻ), stride: S, padding: P

 Convolutional layer áp dụng K kernel

 Output của layer là tensor 3 chiều có kích thước: + 1 ×+ 1 × 𝐾