(Đồ án hcmute) nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ NGHIÊN CỨU THIẾT KẾ PHẦN MỀM XỬ LÝ ẢNH PHÂN LOẠI SẢN PHẨM GVHD: ThS TUỞNG PHUỚC THỌ SVTH: TRỊNH THÁI HOÀI LONG S KL 0 8 Tp Hồ Chí Minh, tháng 07 năm 2016 an MSSV: 13146115 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH  KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP Đề tài: “NGHIÊN CỨU THIẾT KẾ PHẦN MỀM XỬ LÝ ẢNH PHÂN LOẠI SẢN PHẨM” Giảng viên hướng dẫn: THS TƯỞNG PHƯỚC THỌ Sinh viên thực hiện: TRỊNH THÁI HOÀI LONG MSSV: 13146115 Lớp: 131462A Khóa: 2013-2017 Tp Hồ Chí Minh, tháng 07/2016 an BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH  BỘ MÔN CƠ ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP Đề tài: “NGHIÊN CỨU THIẾT KẾ PHẦN MỀM XỬ LÝ ẢNH PHÂN LOẠI SẢN PHẨM” Giảng viên hướng dẫn: THS TƯỞNG PHƯỚC THỌ Sinh viên thực hiện: TRỊNH THÁI HOÀI LONG MSSV: 13146115 Lớp: 131462A Khóa: 2013-2017 Tp Hồ Chí Minh, tháng 07/2016 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc Bộ môn Cơ điện tử NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: ThS Tưởng Phước Thọ Sinh viên thực hiện: Trịnh Thái Hoài Long MSSV: 13146115 Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm Các số liệu, tài liệu ban đầu: Nội dung đồ án: Thiết kế phần mềm xử lý ảnh, phân loại sản phẩm theo màu sắc, kích thước, xuất tọa độ sản phẩm phân loại để robot thực thi nhiệm vụ phân loại sản phẩm Các sản phẩm dự kiến: Phần mềm xử lý ảnh Ngày giao đồ án:…………… Ngày nộp đồ án: …………… TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)  Được phép bảo vệ………………… (GVHD ký, ghi rõ họ tên) an KẾ HOẠCH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: ThS Tưởng Phước Thọ Sinh viên thực : Trịnh Thái Hoài Long MSSV:13146115 Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm Yêu cầu đề tài: Thiết kế phần mềm xử lý ảnh, phân loại sản phẩm theo màu sắc, kích thước, xuất tọa độ sản phẩm phân loại để robot thực thi nhiệm vụ phân loại sản phẩm Giới hạn đề tài: Thiết kế phần mềm xử lý ảnh phân loại sản phẩm, thực nghiệm xử lý ảnh phân loại sản phẩm với cà chua chanh dây Dự kiến tiến độ thực Tuần Thời gian Nội dung 07/03-13/03 Đọc liệu, tách đối tượng 14/03-20/03 Đọc liệu, tách đối tượng 21/03-27/03 Xác định tọa độ thực 28/03-03/04 Xác định tọa độ thực 04/04-10/04 Xác định tọa độ thực 11/04-17-04 Xác định tọa độ thực 18/04-24/04 Xác định tọa độ thực 25/04-01/05 Xác định màu sắc 02/05-08/05 Xác định màu sắc 10 09/05-15/05 Thực nghiệm 11 16/05-22/05 Thực nghiệm 12 23/05-29/05 Thực nghiệm 13 30/05-05/06 Hoàn thành báo cáo 14 06/06-12/06 Hoàn thành báo cáo 15 13/06-19/06 Hoàn thành báo cáo an Dự kiến kết đạt Chữ ký ý kiến GV hướng dẫn Ghi LỜI CAM KẾT - Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm - GVHD: ThS Tưởng Phước Thọ - Họ tên sinh viên: Trịnh Thái Hoài Long - MSSV: 13146115 Lớp: 131462A - Địa sinh viên: 484 Lê Văn Việt, Quận 9, Tp.HCM - Số điện thoại liên lạc: 01693255925 - Email: trinhthaihoailong@gmail.com - Ngày nộp khoá luận tốt nghiệp (ĐATN): 27/07/2016 - Lời cam kết: “Tơi xin cam đoan khố luận tốt nghiệp (ĐATN) cơng trình tơi nghiên cứu thực Tôi không chép từ viết công bố mà khơng trích dẫn nguồn gốc Nếu có vi phạm nào, tơi xin chịu hồn tồn trách nhiệm” Tp Hồ Chí Minh, ngày 27 tháng 07 năm 2016 Ký tên Trịnh Thái Hoài Long an LỜI CẢM ƠN Được phân công Bộ môn Cơ điện tử, Khoa Cơ khí Chế tạo máy, trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, đồng ý thầy giáo hướng dẫn Thạc sỹ Tưởng Phước Thọ, thực đề tài “Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm” Để hồn thành khóa luận Đầu tiên, xin chân thành cảm ơn tới tất thầy cô giáo trường Đại học Sư phạm Kỹ thuật thành phố Hồ Chí Minh nói chung thầy giáo khoa Cơ khí chế tạo máy, mơn Cơ điện tử nói riêng tận tình truyền đạt cho tơi kiến thức, kinh nghiệm quý báu suốt trình học tập, nghiên cứu rèn luyện trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh Đặc biệt tơi xin gửi lời cảm ơn đến thầy giáo hướng dẫn Thạc sỹ Tưởng Phước Thọ Trong suốt trình thực đề tài này, thầy hướng dẫn tận tình, trực tiếp bảo, tạo điều kiện giúp đỡ tơi suốt q trình làm đồ án tốt nghiệp Trong thời gian làm việc với thầy, không ngừng tiếp thu thêm nhiều kiến thức bổ ích mà cịn học tập tinh thần làm việc, thái độ nghiên cứu khoa học nghiêm túc, hiệu quả, điều cần thiết cho tơi q trình học tập công tác sau Tôi xin chân thành cảm ơn! TP Hồ Chí Minh, ngày 27 tháng 07 năm 2016 Người thực Trịnh Thái Hoài Long an TÓM TẮT ĐỒ ÁN TÊN ĐỀ TÀI “Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm.” Khoa học kỹ thuật ngày phát triển tất lĩnh vực, ngành sản xuất Việc đòi hỏi cải tiến, nâng cao chất lượng hệ thống sản xuất ưu tiên lên hàng đầu để nâng cao suất Một hệ thống hệ thống phân loại sản phẩm tự động Hệ thống giúp cho sản xuất linh hoạt hơn, tiết kiệm thời gian nhân lực, nâng cao suất, đem lại lợi ích kinh tế cao Để phân loại sản phẩm có nhiều phương pháp, nhiên phương pháp phân loại sản phẩm công nghệ xử lý ảnh mang lại chất lượng cao mà phương pháp khác chưa làm Do đề tài “Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm” đề tài mang tính nghiên cứu ứng dụng cao, phù hợp với phát triển ngành sản xuất Phần mềm xử lý ảnh phân loại sản phẩm thu thập hình ảnh từ camera, xử lý hình ảnh, đánh dấu phân loại theo yêu cầu kích thước, màu sắc xuất tọa độ sản phẩm để robot thực việc phân loại sản phẩm Trịnh Thái Hoài Long an MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP I KẾ HOẠCH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP II LỜI CAM KẾT III LỜI CẢM ƠN IV TÓM TẮT ĐỒ ÁN V MỤC LỤC VI DANH MỤC BẢNG BIỂU X DANH MỤC SƠ ĐỒ, HÌNH ẢNH XI DANH MỤC TỪ VIẾT TẮT XV CHƯƠNG 1: TỔNG QUAN .1 1.1 Giới thiệu chung 1.2 Lý chọn đề tài 1.3 Tính thiết thực đề tài 1.4 Ý nghĩa khoa học thực tiễn đề tài 1.5 Mục tiêu nghiên cứu đề tài 1.6 Giới hạn đề tài 1.7 Phương pháp nghiên cứu CHƯƠNG 2: XỬ LÝ ẢNH VỚI THƯ VIỆN OPENCV 2.1 Tổng quan công nghệ xử lý ảnh 2.2 Những vấn đề xử lý ảnh 2.2.1 Một số khái niệm 2.2.2 Nắn chỉnh biến dạng 2.2.3 Khử nhiễu 2.2.4 Chỉnh số mức xám 2.2.5 Phân tích ảnh 2.2.6 Nhận dạng phân loại ảnh .8 2.2.7 Nén ảnh .8 2.3 Các thiết bị thu nhận ảnh 2.4 Một số phương pháp biểu diễn ảnh an 2.4.1 Mơ hình Raster 10 2.4.2 Mơ hình Vector .11 2.5 Các định dạng .11 2.5.1 Định dạng ảnh IMG 11 2.5.2 Định dạng ảnh PCX 12 2.5.3 Định dạng ảnh TIFF 14 2.5.4 Định dạng file ảnh BITMAP 15 2.6 Khái niệm ảnh trắng đen ảnh màu .17 2.6.1 Phân loại ảnh số 18 2.6.2 Màu sắc .18 2.6.2.1 Mơ hình màu RGB (Red, Green, Blue) 19 2.6.2.2 Mô hình màu CMY (Cyan, Magenta, Yellow) 19 2.6.2.3 Mơ hình màu HSV (Hue, Saturation, Value) 20 2.6.2.4 Mơ hình màu HSL (Hue, Saturation, Lightness) 21 2.7 Xử lý nâng cao chất lượng ảnh 21 2.7.1 Cải thiện ảnh sử dụng toán tử điểm 21 2.7.1.1 Tăng giảm độ sáng 21 2.7.1.2 Tách ngưỡng .22 2.7.1.3 Cân tần suất 22 2.7.1.4 Kỹ thuật tách ngưỡng tự động 23 2.7.2 Cải thiện ảnh sử dụng tốn tử khơng gian 24 2.7.2.1 Lọc trung vị 24 2.7.2.2 Lọc trung bình 26 2.8 Biên phương pháp tìm biên 27 2.8.1 Các phương pháp phát biên trực tiếp 28 2.8.1.1 Kỹ thuật phát biên Gradient .28 2.8.1.2 Kỹ thuật phát biên Laplace .31 2.8.2 Các phương pháp phát biên gián tiếp .32 2.8.2.1 Một số khái niệm 32 2.8.2.2 Chu tuyến đối tượng ảnh 33 an Hình 3.52 Tọa độ thực chanh dây 3.3.4 Xác định diện tích thực Vì sản phẩm cần phân loại có nhiều hình dạng khác có hình dạng phức tạp nên việc xác định diện tích thực tạo sai số lớn đồng thời phân loại theo diện tích Pixel không làm ảnh hưởng đến hoạt động robot, nhóm định xử dụng diện tích Pixel để phân loại sản phẩm thay cho diện tích thực STT Diện tích 2585.5 2617.5 2634.5 2387.5 2445 2471.5 2622.5 2254 2479.5 10 2323 11 2540.5 12 2079 13 2354 14 2801 15 2333 Bảng 3.8 Diện tích chanh dây 68 an CHƯƠNG 4: HƯỚNG DẪN SỬ DỤNG PHẦN MỀM Bước 1: Khởi động phần mềm xử lý ảnh phần mềm Sparkocam Hình 4.1 Phần mềm xử lý ảnh Hình 4.2 Phần mềm Sparkocam 69 an Bước 2: Chọn camera phần mềm Sparkocam Hình 4.3 Chọn camera phần mềm Sparkocam Bước 3: Chọn camera phần mềm xử lý ảnh Hình 4.4 Chọn camera phần mềm xử lý ảnh 70 an Bước 4: Chọn vùng làm việc Chọn select frame -> chọn vùng làm việc -> chọn Crop Hình 4.5 Chọn vùng làm việc Bước 5: Chọn size cần phân loại Hình 4.6 Thiết lập size sản phẩm Bước 6: Chọn ngưỡng màu cần phân loại 71 an Hình 4.7 Thiết lập màu sản phẩm Bước 7: Thiết lập thơng số Brightness, Contrast, Median Hình 4.8 Thiết lập thông số Brightness, Contrast, Median Bước 8: Nhập hệ số K Hình 4.9 Hệ số K Bước 9: Chọn Serial Port xuất liệu cho Robot Hình 4.10 Serial Port 72 an Bước 10: Ấn Run để chạy chương trình Hình 4.11 Chạy chương trình Ngồi ra, người sử dụng cịn load thiệt lập lưu, tạo file thiết lập chỉnh sửa để thuận tiện cho việc sử dụng Hình 4.12 Thao tác file thiết lập 73 an CHƯƠNG 5: KẾT LUẬN Trong trình thực đề tài, với góp ý thầy hướng dẫn nhóm hồn thành cơng việc sau:  Thiết kế thuật toán xử lý ảnh phân loại sản phẩm theo màu sắc kích thước  Tiến hành thực nghiệm phân loại sản phẩm cà chua chanh dây  Phần mềm có ưu điểm bật hoạt động mà không cần che sáng, đồng thời tùy chỉnh cách linh hoạt để phù hợp với nhu cầu thực tế Tuy nhiên nhóm gặp phải nhiều khó khăn q trình thực như:  Băng tải bị xê dịch sản phẩm khỏi vùng kiểm sốt camera khơng thể kiểm soát tọa độ sản phẩm  Ánh sáng thay đổi trình xử lý làm thay đổi giá trị ngưỡng màu RGB sản phẩm cần phân loại 74 an TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] PGS.TS Nguyễn Quang Hoan, Xử lý ảnh, Học viện Cơng nghệ bưu viễn thơng, 2006 [2] PGS.TS Đỗ Năng Toàn, Bài giảng môn học Xử lý ảnh, Học viện Cơng nghệ bưu viễn thơng, 2013 TIẾNG ANH [3] http://doc.edu.vn/tai-lieu/de-tai-tim-hieu-ma-nguon-mo-opencv-lap-trinh-visualc-va-xay-dung-giao-dien-dieu-khien-tren-may-tinh-6931/ [4] http://www.bogotobogo.com/cplusplus/files/OReilly%20Learning%20OpenCV pdf 75 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc Bộ môn Cơ điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ tên sinh viên: Trịnh Thái Hoài Long MSSV: 13146115 Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm Ngành đào tạo: CNKT Cơ điện tử Họ tên GV hướng dẫn: ThS Tưởng Phước Thọ Ý KIẾN NHẬN XÉT Nhận xét tinh thần, thái độ làm việc sinh viên: Nhận xét kết thực ĐATN: 2.1.Kết cấu, cách thức trình bày ĐATN: 2.2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) 2.3.Kết đạt được: an 2.4 Những tồn (nếu có): Đánh giá: Điểm tối đa Mục đánh giá TT Hình thức kết cấu ĐATN Điểm đạt được 3.0 Đúng format với đầy đủ hình thức nội dung mục 1.0 Mục tiêu, nhiệm vụ, tổng quan đề tài 1.0 Tính cấp thiết đề tài 1.0 Nội dung ĐATN 5.0 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… 0.5 Khả thực hiện/phân tích/tổng hợp/đánh giá 1.0 Khả thiết kế chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 1.5 Khả cải tiến phát triển 1.5 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… 0.5 Đánh giá khả ứng dụng đề tài 1.0 Sản phẩm cụ thể ĐATN 1.0 Tổng điểm 10.0 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày tháng năm 20… Giảng viên hướng dẫn (Ký, ghi rõ họ tên) an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự – Hạnh phúc Bộ môn Cơ điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên phản biện) Họ tên sinh viên: Trịnh Thái Hoài Long MSSV: 13146115 Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm Ngành đào tạo: CNKT Cơ điện tử Họ tên GV phản biện: ThS Nguyễn Việt Thắng Ý KIẾN NHẬN XÉT 1.Kết cấu, cách thức trình bày ĐATN: Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) 3.Kết đạt được: Những thiếu sót tồn ĐATN: an Câu hỏi: Đánh giá: Điểm tối đa Mục đánh giá TT Hình thức kết cấu ĐATN Điểm đạt được 3.0 Đúng format với đầy đủ hình thức nội dung mục 1.0 Mục tiêu, nhiệm vụ, tổng quan đề tài 1.0 Tính cấp thiết đề tài 1.0 Nội dung ĐATN 5.0 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… 0.5 Khả thực hiện/phân tích/tổng hợp/đánh giá 1.0 Khả thiết kế, chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 1.5 Khả cải tiến phát triển 1.5 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… 0.5 Đánh giá khả ứng dụng đề tài 1.0 Sản phẩm cụ thể ĐATN 1.0 Tổng điểm 10.0 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày tháng năm 20 Giảng viên phản biện (Ký, ghi rõ họ tên) an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA CƠ KHÍ CHẾ TẠO MÁY CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc Bộ môn Cơ điện tử PHIẾU CHẤM ĐIỂM ĐỒ ÁN TỐT NGHIỆP Tên đề tài: Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm Tên sinh viên: Trịnh Thái Hoài Long MSSV: 13146115 A ĐÁNH GIÁ Mục đánh giá TT Hình thức kết cấu ĐATN Điểm tối đa 2.0 Đúng format với đầy đủ hình thức nội dung mục 0.5 Mục tiêu, nhiệm vụ, tổng quan đề tài 1.0 Tính cấp thiết đề tài 0.5 Nội dung ĐATN Điểm chấm 5.0 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… 0.5 Khả thực hiện/phân tích/tổng hợp/đánh giá 1.0 Khả thiết kế chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 1.5 Khả cải tiến phát triển 1.5 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… 0.5 Kỹ thuyết trình 3.0 Thuyết trình hiệu quả, tự tin, trình bày rõ ràng, mạch lạc, truyền cảm hứng cho người nghe,có khả làm việc nhóm,… 1.0 Trả lời câu hỏi phản biện với kiến thức vấn đề liên quan, hiểu ảnh hưởng giải pháp 1.5 Hiểu trách nhiệm nghề nghiệp đạo đức nghề nghiệp 0.3 Trang phục chỉnh tề nghiêm túc 0.2 TỔNG ĐIỂM 10.0 B CÁC Ý KIẾN NHẬN XÉT KHÁC (Nếu có) an C KẾT LUẬN (Ghi rõ cần phải bổ sung, chỉnh sửa mục ĐATN) Ngày tháng năm 20… Người nhận xét (Ký ghi rõ họ tên) an S an K L 0 ... đồ án: Thiết kế phần mềm xử lý ảnh, phân loại sản phẩm theo màu sắc, kích thước, xuất tọa độ sản phẩm phân loại để robot thực thi nhiệm vụ phân loại sản phẩm Các sản phẩm dự kiến: Phần mềm xử lý. .. tài: Thiết kế phần mềm xử lý ảnh, phân loại sản phẩm theo màu sắc, kích thước, xuất tọa độ sản phẩm phân loại để robot thực thi nhiệm vụ phân loại sản phẩm Giới hạn đề tài: Thiết kế phần mềm xử lý. .. 1.5 Mục tiêu nghiên cứu đề tài Với đề tài ? ?Nghiên cứu thiết kế phần mềm xử lý ảnh phân loại sản phẩm? ?? nhóm nghiên cứu thực với mục đích áp dụng kiến thức xử lý ảnh vào phân loại sản phẩm Qua nhóm