Thiết kế mô hình phân loại sản phẩm sử dụng công nghệ xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HỒ CHÍ MINH ~~~~~~*~~~~~~ ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: THIẾT KẾ MƠ HÌNH PHÂN LOẠI SẢN PHẨM SỬ DỤNG CÔNG NGHỆ XỬ LÝ ẢNH Ngành: Kỹ thuật điện Giảng viên hướng dẫn: TS Bùi Minh Dương Sinh viên thực hiện: MSSV: Lớp: Lê Quang Phương 1915781002 19HDCA2 Nguyễn Tuấn Kiệt 1711020498 17DDCB1 Cao Quốc Đạt 1711040519 17DCKA2 TP HỒ CHÍ MINH NĂM 2021 Đồ Án Tốt Nghiệp LỜI CAM ĐOAN Chúng em xin cam đoan cơng trình nghiên cứu nhóm hướng dẫn khoa học TS Bùi Minh Dương Các nội dung nghiên cứu đề tài “Thiết kế mô hình phân loại sản phẩm sử dụng cơng nghệ xử lý ảnh” nhóm trung thực chưa cơng bố hình thức trước Những tài liệu trích dẫn đề tài nhóm thu thập từ nguồn khác có ghi rõ nguồn gốc Nhóm xin hồn tồn chịu trách nhiệm nội dung đồ án Nhóm thực đề tài Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: i Đồ Án Tốt Nghiệp LỜI CẢM ƠN  Để có thành học tập hơm nay, nhóm chúng em xin cảm ơn thầy côViện kỹ thuật HUTECH tạo điều kiện tốt có dạy tận tình giúp chúng em hồn thành khóa học Đặc biệt, nhóm chúng em xin chân thành cảm ơn thầy TS Bùi Minh Dương định hướng đề tài cho nhóm, dẫn ân cần thầy giúp chúng em hoàn thành đề tài thời hạn Mặc dù nhóm nổ lực cố gắng để hoàn thành đề tài cách hoàn chỉnh song khơng thể tránh sai sót Rất mong nhận đóng góp ý quý thầy cô bạn Chúng em xin chân thành cảm ơn! Nhóm thực đề tài Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: ii Đồ Án Tốt Nghiệp TĨM TẮT Đề tài “Thiết kế mơ hình phân loại sản phẩm sử dụng công nghệ xử lý ảnh” dựa công nghệ AI để nhận dạng sản phẩm thơng qua ngơn ngữ lập trình Python với thư viện OpenCV, TensorFlow nhận dạng sản phẩm theo nhiều hình thức khác như: màu sắc, hình dáng, mãcode hay mãQR ….với tỷ lệ xác cao Kết phân tích ảnh xử lý NVIDIA Jetson Nano Developer Kit xuất tín hiệu cấp cho ngõ vào điều khiển lập trình PLC Chương trình điều khiển viết cho PLC tác động đến động Servo điều khiển cần gạt phân loại xác sản phẩm băng tải thơng qua tín hiệu phản hồi Encoder Băng tải truyền động dùng động chiều không chổi than (Brushless Motor) tốc độ băng tải điều trực tiếp từ hình HMI SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: iii Đồ Án Tốt Nghiệp MỤC LỤC TRANG BÌA NHIỆM VỤ ĐỒ ÁN LỜI CAM ĐOAN i LỜI CÁM ƠN .ii TÓM TẮT iii MỤC LỤC iv CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Nội dung nghiên cứu 1.4 Giới hạn đề tài CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan xử lýảnh 2.1.1 Thu nhận ảnh (Image Acquisition) 2.1.2 Tiền xử lý (Image processing) 2.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 2.1.4 Biểu diễn ảnh (Image Representation) 2.1.5 Nhận dạng vànội suy ảnh (Image Recognition and Interpretation) 2.1.6 Cơ sơ tri thức (Knowledge Base) 2.1.7 Mô tả 2.2 Giới thiệu ngôn ngữ Python thư viện OpenCV 2.2.1 Ngôn ngữ Python 2.2.2 Thư viện OpenCV 2.2.3 Thư viện TensorFlow 12 2.3 Giới thiệu Camera Logitech 13 2.4 Giới thiệu NVIDIA Jetson Nano Developer Kit 13 2.5 Giới thiệu LCD Waveshere Inch 14 SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: iv Đồ Án Tốt Nghiệp 2.6 Giới thiệu hình cảm ứng HMI 16 2.7 Giới thiệu động Servo 16 2.8 Giới thiệu động chiều không chổi than (Brushless motor) 17 2.9 Giới thiệu Encoder 17 2.10 Giới thiệu PLC CP1H Omron 18 2.11 Giới thiệu chuẩn giao tiếp 19 2.11.1 Chuẩn giao tiếp RS232 19 2.11.2 Chuẩn giao tiếp Ethernet 24 2.11.3 Mạng truyền thông công nghiệp 25 CHƯƠNG 3: TÍNH TỐN VÀ THIẾT KẾ 27 3.1 Dữ liệu thiết kế 27 3.2 Sơ đồ khối hệ thống 27 3.3 Chức khối 27 3.4 Lưu đồ điều khiển hệ thống 29 3.5 Chương trình Python dạng sản phẩm 30 3.5.1 Chương trình Python nhận dạng theo màu sắc 30 3.5.2 Chương trình Python nhận dạng theo hình dáng 32 3.5.3 Chương trình Python nhận dạng theo mã code mã QR 35 3.6 Chương trình điều khiển phân loại sản phẩm dùng PLC 38 3.7 Thiết kế giao diện hình điều khiển HMI 46 3.8 Tính chọn cơng suất động truyền động băng tải 50 CHƯƠNG 4: THI CÔNG VẬN HÀNH THỬ NGHIỆM 52 4.1 Sơ đồ bố trí, lắp đặt thiết bị 52 4.2 Danh sách vật tư, thiết bị 52 4.3 Sơ đồ đấu nối NVIDIA Jetson Nano Developer Kit với thiết bị ngoại vi 55 4.4 Thử nghiệm nhận dạng sản phẩm 56 4.4.1 Kết nhận dạng màu sắc 56 4.4.2 Kết nhận dạng hình dáng 60 4.4.3 Kết nhận dạng mã code, mã QR 63 SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: v Chương Thi cơng Vận hành thử nghiệm Hình 4.4: Kết huấn luyện nhận dạng sản phẩm theo màu đỏ Hình 4.5: Kết thực tế nhận dạng sản phẩm theo màu đỏ SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 57 Chương Thi công Vận hành thử nghiệm Hình 4.6: Kết huấn luyện nhận dạng sản phẩm theo màu vàng Hình 4.7 : Kết thực tế nhận dạng sản phẩm màu vàng SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 58 Chương Thi công Vận hành thử nghiệm Hình 4.8: Kết huấn luyện nhận dạng sản phẩm theo màu xanh Hình 4.9: Kết thực tế nhận dạng sản phẩm màu xanh SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 59 Chương Thi công Vận hành thử nghiệm 4.4.2 Kết nhận dạng hình dáng Hình 4.10: Kết huấn luyện nhận dạng sản phẩm theo hình dạng xe Lu Hình 4.11 : Kết thực tế nhận dạng sản phẩm theo hình dạng xe Lu SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 60 Chương Thi cơng Vận hành thử nghiệm Hình 4.12: Kết huấn luyện nhận dạng sản phẩm theo hình dạng xe Nâng Hình 4.13: Kết thực tế nhận dạng sản phẩm theo hình dạng xe Nâng SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 61 Chương Thi cơng Vận hành thử nghiệm Hình 4.14: Kết huấn luyện nhận dạng sản phẩm theo hình dạng xe Xúc Hình 4.15: Kết thực tế nhận dạng sản phẩm theo hình dạng xe Xúc SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 62 Chương Thi công Vận hành thử nghiệm 4.4.3 Kết nhận dạng mã code, mã QR Hình 4.16: Q trình phân tích nhận dạng mã code Hình 4.17: Q trình phân tích nhận dạng mãQR SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 63 Chương Thi cơng Vận hành thử nghiệm Hình 4.18: Kết nhận dạng mã code Hình 4.19: Kết nhận dạng mã QR SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 64 Chương Thi công Vận hành thử nghiệm 4.5 Sơ đồ kết nối PLC với thiết bị ngoại vi Sơ đồ kết nối PLC - Động Servo điều khiển cần gạt phân loại sản phẩm 24 VDC PU+ PUDR+ DRMF+ MFV+ VA A B B NC NC COM 00 01 02 03 04 05 06 07 08 09 10 11 Servo Motor A NC A COM 00 2,2K 01 2,2K B B Ecoder COM COM 02 2,2K DRIVER ESD-2505M 2,2K 03 PU+ 04 PUDR+ COM 05 DR- 06 MF+ 07 MFV+ V- PLC OMRON CP1H A A B B A Servo Motor A B B Ecoder DRIVER ESD-2505M TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP HCM VIỆN KỸ THUẬT HUTECH SƠ ĐỒ KẾT NỐI PLC VỚI THIẾT BỊ NGOẠI VI SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Thiết kế: LÊ QUANG PHƯƠNG Kiểm tra: Số: Ngày: Trang: 65 Chương Thi công Vận hành thử nghiệm Sơ đồ kết nối PLC - Động Brushless điều khiển băng tải 24 VDC L 220 VAC N Brushless PLC CP1H OMRON DRIVER FBLD120CW TRƯỜNG ĐẠI HỌC CƠNG NGHỆ TP HỒ CHÍ MINH VIỆN KỸ THUẬT HUTECH 4.6 SƠ ĐỒ KẾT NỐI PLC - DRIVER BRUSHLESS MOTOR Thiết kế: Kiểm tra: Số: LÊ QUANG PHƯƠNG Ngày: Thử nghiệm phân loại sản phẩm Hình 4.20: Giao diện hình cảm ứng HMI SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 66 Chương Thi công Vận hành thử nghiệm Hình 4.21: Chọn chế độ vận hành Hình 4.22: Chế độ RUN SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 67 Chương Thi công Vận hành thử nghiệm Hình 4.23: Chế độ TEST Hình 4.24: Chế độ SETTING SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 68 Chương Kết luận CHƯƠNG 1: KẾT LUẬN 5.1 Nội dung thực Nhóm thực đề tài “Thiết kế mơ hình phân loại sản phẩm sử dụng công nghệ xử lý ảnh” dựa công nghệ AI để nhận dạng sản phẩm thơng qua ngơn ngữ lập trình Python với thư viện chí nh làOpenCV, TensorFlow Kết phân tích ảnh xử lý NVIDIA Jetson Nano Developer Kit xuất tín hiệu cấp cho ngõ vào điều khiển lập trình PLC Chương trình điều khiển phân loại viết cho PLC tác động đến động Servo điều khiển cần gạt phân loại xác sản phẩm băng tải thơng qua tín hiệu phản hồi Encoder Băng tải truyền động dùng động chiều không chổi than (Brushless Motor) tốc độ băng tải điều trực tiếp từ hình HMI Trong quátrình thực đề tài ảnh hưởng dịch bệnh COVID phải thực giãn cách xã hội, nhóm chúng em gặp nhiều khó khăn khơng thể trực tiếp làm việc nhau, việc thu thập vật tư thiết bị để thực Tuy nhiên, nhóm nhận nhiều động viên người, đặc biệt hướng dẫn khích lệ tin thần thầy hướng dẫn Nhóm hồn thành mục tiên đề ra: - Thiết kế chương trình nhận dạng sản phẩm theo nhiều hình thức khác như: màu sắc, hình dáng, mãcode hay mãQR …dùng ngơn ngữ lập trình Python, thư viện OpenCV máy tính NVIDIA Jetson Nano Developer Kit - Thiết kế chương trình phân loại sản phẩm dùng điều khiển lập trình PLC, hình giám sát HMI - Lắp đặt đấu nối động Servo điều khiển cần gạt phân loại sản phẩm, điều khiển tốc độ động Brushless truyền động băng tải 5.2 Đánh giá kết Mơ hình lắp đặt bàn làm từ vật liệu nhơm định hình chắn, chi tiết gia công tiếp cận với yêu cầu thực tế công nghiệp SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 70 Chương Kết luận Sản phẩm nhận dạng theo nhiều hình thức khác như: màu sắc hì nh dáng, mãcode hay mãQR với tỷ lệ xác 95% Quá trình nhận dạng sản phẩm băng tải theo thời gian thực, băng tải liên tục chuyển động mà không dừng để camera chụp xử lý ảnh Tốc độ băng tải v = (0,1  0,6) m/s, tải trọng mmax = 30 kg truyền động dùng động chiều không chổi than Brushless Motor, đảm bảo tốc độ băng tải điều khiển cách linh hoạt, điều chỉnh thời gian tăng tốc giảm tốc tránh gia tốc đột ngột làm rơi sản phẩm Quá trình phân loại sản phẩm băng tải phụ thuộc vào tốc độ băng tải, dùng PLC tác động đến động Servo điều khiển cần gạt phân loại xác sản phẩm thơng qua tín hiệu xung phản hồi Encoder 5.3 Những hạn chế đề tài Khả nhận dạng sản phẩm phụ thuộc nhiều vào kết thu thập hình ảnh: ánh sáng môi trường, thiết bị thu ảnh camera, nhiệt độ màu nguồn sáng Do đó, mơ hình cần bố trí nơi có ánh sáng phù hợp, chống chói sáng Hình ảnh sản phẩm “học máy” lưu trữ thông tin thư viện Để tăng khả nhận dạng số lưởng ảnh cần lấy mẫu để huấn luyện phải nhiều Chiều dài mơ hình băng tải hạn chế, khoảng cách bố trí động Servo điều khiển cần gạt phân loại sản phẩm đặt gần nhau, ảnh hưởng nhiều đến hiệu suất hệ thống tăng tốc độ truyền động băng tải 5.4 Hướng phát triển đề tài Sử dụng truyền thông Ethernet (TCP/IP), Web Server để cảnh báo từ xa thông qua SMS mạng điện thoại… giúp việc điều khiển giám sát hoạt động hệ thống linh hoạt dễ dàng lúc nơi thông qua mạng điện thoại, Internet thiết bị di động (Laptop điện thoại thông minh) SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 71 Đồ Án Tốt Nghiệp TÀI LIỆU THAM KHẢO [1] Lê Ngọc Bích, Trần Thu Hà, Phạm Quang Huy “Điều Khiển Và Giám Sát Với PLC OMRON VàWINCC” NXB Bách Khoa Hà Nội 2016 [2] Hà Quang Phúc, Phạm Quang Huy “Tự Động Hóa Với Cơ Điện Tử” NXB Thanh Niên 2021 [3] TS Võ Minh Huân, KS Phạm Quang Huy “Lập Trình Điều Khiển Với Raspberry” NXB Thanh Niên 06-2017 [4] TS ThS Nguyễn Trần Minh Nguyệt, KS Phạm Quang Huy “Xử Lý Ảnh Với Arduino VàRaspberry” NXB Thanh Niên 2020 [5] Phạm Quang Huy, Lê Ngọc Bích “Mạng Truyền Thơng Công Nghiệp Scada” NXB Thanh Niên 2019 [6] Nguyễn Trọng Thắng “Giáo Trình Máy Điện Đặc Biệt” Trường đại học sư phạm kỹ thuật HCM” [7] Cấu tạo phân loại ứng dụng băng tải, http://www.cokhimha.com/, 2018 [8] Doxygen, “OpenCV – Python Tutorials”, https://docs.opencv.org/, 2018 SVTH: Lê Quang Phương Nguyễn Tuấn Kiệt Cao Quốc Đạt Trang: 72