(Đồ án tốt nghiệp) mô phỏng hệ thống nhận dạng hình dáng vật thể trong ảnh tĩnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ÐIỆN TỬ-TRUYỀN THÔNG MƠ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH GVHD: LÊ MINH THÀNH SVTH: BÙI ÐẶNG KHẮC HỮU MSSV: 15141027 SVTH: ÐẶNG TRUNG HIẾU MSSV: 12141079 SKL005466 Tp Hồ Chí Minh, tháng 07/2019 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP MÔ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH GVHD: ThS LÊ MINH THÀNH SVTH : BÙI ĐẶNG KHẮC HỮU ĐẶNG TRUNG HIẾU MSSV: 15141027 MSSV: 12141079 Khóa : 2015-2019 Ngành: CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ-TRUYỀN THÔNG TP Hồ Chí Minh, tháng 07 năm 2019 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP MÔ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH GVHD: ThS LÊ MINH THÀNH SVTH : BÙI ĐẶNG KHẮC HỮU ĐẶNG TRUNG HIẾU MSSV: 15141027 MSSV: 12141079 Khóa : 2015-2019 Ngành: CƠNG NGHỆ KỸ THUẬT ĐIỆN TỬ-TRUYỀN THƠNG TP Hồ Chí Minh, tháng 07 năm 2019 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tư – Hạnh phúc *** Tp Hồ Chí Minh, ngày tháng năm 2019 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 2: Đặng Trung Hiếu MSSV: 15141027 MSSV: 12141079 Ngành: Công nghệ kỹ thuật Điện tử-Truyền thông Lớp:15141CLVT-12141CLVT Giảng viên hướng dẫn: ThS Lê Minh Thành ĐT Nhóm: 0837888870 Ngày Ngày nhận đề tài: 9/3/2019 nộp đề tài: 11/7/2019 Họ tên sinh viên 1: Bùi Đặng Khắc Hữu Tên đề tài: Mơ hệ thống nhận dạng hình dáng vật thể ảnh tĩnh Các số liệu, tài liệu ban đầu: Kiến thức mơn Xử Lý Ảnh, Kỹ Thuật Lập Trình Và Giao Tiếp Nội dung thưc đề tài: • • • Thiết kế hệ thống Mô hệ thống Viết báo cáo Sản phẩm: Hệ thống nhận dạng hình dáng vật thể ảnh tĩnh GIẢNG VIÊN HƯỚNG DẪN ThS Lê Minh Thành CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tư – Hạnh phúc *** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên 1: Bùi Đặng Khắc Hữu MSSV: 15141027 Họ tên Sinh viên 2: Đặng Trung Hiếu MSSV: 12141079 Ngành: Công nghệ kỹ thuật Điện tử - Truyền thông Tên đề tài: Mô hệ thống nhận dạng hình dáng vật thể ảnh tĩnh Họ tên Giảng viên hướng dẫn: ThS Lê Minh Thành NHẬN XÉT Về nội dung đề tài & khối lượng thưc hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2019 Giảng viên hướng dẫn Lê Minh Thành CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên 1: Bùi Đặng Khắc Hữu MSSV: 15141027 Họ tên Sinh viên 2: Đặng Trung Hiếu MSSV: 12141079 Ngành: Công nghệ kỹ thuật Điện tử - Truyền thông Tên đề tài: Mô hệ thống nhận dạng hình dáng vật thể ảnh tĩnh Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thưc hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp.HCM, ngày tháng năm 2019 LỜI CẢM ƠN Để hoàn thành đề tài nghiên cứu này, lời chúng em xin chân thành cảm ơn thầy cô giáo Trường Đại Học Sư Phạm Kỹ Thuật TP.HCM nói chung thầy cô Khoa Điện – Điện tử nói riêng, người dạy dỗ, trang bị cho chúng em thưc đề tài với kiến thức tảng chuyên ngành bổ ích, giúp chúng em có sở lý thuyết vững vàng tạo điều kiện giúp đỡ chúng em trình học tập Đặc biệt, chúng em xin chân thành cảm ơn thầy ThS Lê Minh Thành tận tình giúp đỡ, trưc tiếp bảo, đưa định hướng nghiên cứu hướng giải số vấn đề cho chúng em suốt thời gian nghiên cứu thưc đồ án Trong thời gian làm việc với thầy, chúng em không ngừng tiếp thu thêm nhiều kiến thức, thái độ nghiên cứu khoa học nghiêm túc, hiệu quả, điều cần thiết trình học tập cơng tác sau Nhóm xin chân thành gửi lời cảm ơn đến Thầy Cô hội đồng bảo vệ dành chút thời gian để xem luận văn tốt nghiệp này, giúp em mặt tích cưc hạn chế Nhóm thưc xin gửi lời cảm ơn chân thành sâu sắc đến bậc cha mẹ, người thân động viên giúp đỡ nhóm suốt chặng đường học tập trình nghiên cứu đồ án tốt nghiệp Do thời gian thưc đề tài ngắn, kiến thức cịn hạn hẹp, dù nhóm cố gắng không tránh khỏi sai sót, hạn chế Nhóm mong nhận lời dẫn, góp ý q báu từ q thầy bạn bè Xin chân thành cảm ơn! Tp.HCM, ngày 08 tháng 07 năm 2019 SV thưc đồ án Bùi Đặng Khắc Hữu Đặng Trung Hiếu i TÓM TẮT Khoảng mười năm trở lại đây, phần cứng máy tính thiết bị liên quan có sư tiến vượt bậc tốc độ tính tốn, dung lượng chứa lớn, khả xử lý nhanh, v.v giá giảm đến mức máy tính thiết bị liên quan đến xử lý ảnh không thiết bị chuyên dụng Khái niệm ảnh số trở nên thông dụng với hầu hết người xã hội việc thu nhận ảnh số thiết bị cá nhân hay chuyên dụng với việc đưa vào máy tính xử lý trở nên đơn giản Nhận dạng ảnh việc làm cần thiết để trích xuất nội dung ảnh cho nhiều mục đích khác Vấn đề đặt đề tài cần xây dưng hệ thống nhận dạng vật thể ảnh tương tư đảm bảo tốc độ đặc biệt độ xác Một phương pháp theo lý thuyết áp dụng cho việc nhận dạng hình dáng vật thể ảnh dưa việc trích xuất màu sắc, cấu trúc hình dáng đề xuất để cải thiện tính xác đề tài Với luận văn này, người thưc kế thừa phát triển phương pháp theo lý thuyết để nhận dạng đối tượng ảnh tĩnh để trích xuất đặc trưng cục hình ảnh, đặc trưng cục bao gồm tên vật thể, phân loại đối tượng nêu thông số chi tiết Các bước cần thưc đề tài: Đầu tiên với ảnh ngõ vào tùy vào độ đẹp giá trị ảnh, dùng phương pháp xử lý ảnh để chuyển ảnh sang màu xám, sau chuyển thành ảnh nhị phân trắng đen Bước khử nhiễu ảnh lấp đầy chỗ trống ảnh rỗ Sau xác định đường biên ảnh, phương pháp xử lý thưc nhằm trích xuất đặc trưng để nhận dạng vật thể Dưa thông số ảnh xử lý, tiến hành gán tên, phân loại hình dáng ảnh xuất kết ngõ ii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT v DANH SÁCH CÁC HÌNH ẢNH, BẢNG SỐ LIỆU vi CHƯƠNG 1: TỔNG QUAN 1.1 TÌNH HÌNH NGHIÊN CỨU 1.2 MỤC TIÊU NGHIÊN CỨU 1.3 GIỚI HẠN NGHIÊN CỨU 1.4 BỐ CỤC ĐỒ ÁN CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ QUÁ TRÌNH XỬ LÝ ẢNH 2.1.1 Khái niệm ảnh số 2.1.2 Sơ đồ khối trình xử lý ảnh 2.1.3 Các vấn đề xử lý ảnh 2.2 KỸ THUẬT TÁCH BIÊN 2.2.1 Khái niệm tách biên 2.2.2 Các phương pháp tách biên 2.2.2.1 Kỹ thuật phát biên Canny 2.2.2.2 Kỹ thuật phát biên Gradient 10 2.2.2.2.1 Toán tử Sobel 10 2.2.2.2.2 Toán tử Robert 11 2.2.2.2.3 Mặt nạ đẳng hướng 11 2.2.2.2.4 Toán tử điểm lân cận 12 2.2.2.3 Kỹ thuật phát biên Laplace 12 2.3 CÁC KỸ THUẬT PHÁT HIỆN VÀ PHÂN LOẠI VẬT THỂ 12 2.3.1 Phát vật thể dưa vào màu sắc 12 2.3.2 Dưa vào chuyển động 14 2.3.3 Dưa vào hình dạng 14 iii 2.3.4 Phát đối tượng dưa vào cấu trúc 15 2.3.4.1 Phân đoạn cấu trúc 16 2.3.4.2 Dưa vào khu vưc 16 2.3.4.3 Dưa vào biên 17 2.3.4.4 Phát cạnh 17 2.4 ỨNG DỤNG CỦA PHÁT HIỆN VẬT THỂ 18 CHƯƠNG 3: MƠ PHỎNG HỆ THỐNG NHẬN DẠNG HÌNH DÁNG VẬT THỂ TRONG ẢNH TĨNH 19 3.1 YÊU CẦU HỆ THỐNG 19 3.2 SƠ ĐỒ KHỐI HỆ THỐNG 19 3.3 THIẾT KẾ PHẦN MỀM 20 3.4 THIẾT KẾ TỪNG KHỐI 23 3.4.1 Khối đọc ảnh 23 3.4.2 Khối chuyển ảnh màu thành ảnh xám 23 3.4.3 Khối chuyển ảnh xám thành ảnh nhị phân 24 3.4.4 Khối lấp đầy lỗ trống ảnh nhị phân 25 3.4.5 Khối lọc trung vị để loại bỏ nhiễu 26 3.4.6 Khối tìm thuộc tính ảnh 26 3.4.7 Khối nhận dạng đối tượng ảnh 27 3.5 THIẾT KẾ GIAO DIỆN GUI 27 CHƯƠNG 4: KẾT QUẢ 29 4.1 KẾT QUẢ MÔ PHỎNG 29 4.2 MÔ PHỎNG TRÊN GIAO DIỆN GUI 42 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44 5.1 KẾT LUẬN 44 5.2 HƯỚNG PHÁT TRIỂN 44 TÀI LIỆU THAM KHẢO 46 PHỤ LỤC 47 iv ➢ Trường hợp 7: Ba vật thể khác với điều kiện đủ độ sáng khơng có nhiễu Hình 4.7: Kết với ba vật thể khác Hình dạng vật thể Vng Trịn Tam giác Bảng 4.7: Các thơng số mơ với ba vật thể hình khác Trong trường hợp ảnh có ba vật thể khác nhau, kết thu tốt độ xác vật thể với thông số xuất riêng biệt cụ thể 35 ➢ Trường hợp 8: Nhiều vật thể khác với điều kiện đủ độ sáng nhiễu Hình 4.8: Kết với nhiều vật thể khác Hình dạng vật thể Tam giác Vng Tam giác Vng Tam giác Trịn Trịn Trịn Bảng 4.8: Các thơng số chi tiết ảnh Trong trường hợp ảnh có nhiều vật thể khác với số lượng vật thể tách rời rõ ràng, hệ thống nhận dạng khơng xác đối tượng hình vng, độ nén khơng nằm ngưỡng cho phép mà hệ thống [1] nêu 36 ➢ Trường hợp 9: Hai vật thể giống chồng lên Hình 4.9: Kết với hai vật thể hình vng chồng lên Hình dạng vật thể Tam giác Bảng 4.9: Thông số mô với hai vật thể hình vng chồng lên Với trường hợp vật thể có màu sắc chồng lên nhau, hệ thống nhận dạng sai vật thể ảnh 37 ➢ Trường hợp 10: Ba vật thể khác chồng lên Hình 4.10: Ba vật thể hình trịn, vng, tam giác chồng lên Hình dạng vật thể Tam giác Bảng 4.10: Thông số mô với ba vật thể khác chồng lên Trong trường hợp vật thể khác có màu sắc khác chồng lấn lên ảnh, hệ thống nhận dạng sai hình dạng đối tượng đưa thơng số khơng xác 38 ➢ Trường hợp 11: Nhiều vật thể khác ảnh thiếu độ sáng Hình 4.11: Kết với nhiều vật thể khác ảnh thiếu độ sáng Hình dạng vật thể Vng Trịn Vng Trịn Trịn Bảng 4.11: Các thơng số vật thể ảnh thiếu độ sáng Trong trường hợp ảnh ngõ vào có nhiều vật thể khác độ sáng vật thể sư tương đồng số vật thể có màu sáng gần giống so với nền, hệ thống nhận dạng hai hình vng sư phân tách hình vng khác biệt 39 ➢ Trường hợp 12: Ba vật thể khác với điều kiện ảnh đủ độ sáng, có nhiễu muối hạt tiêu với mật độ nhiễu 0.02 Hình 4.12: Kết với ba vật thể khác ảnh có nhiễu Hình dạng vật thể Vng Trịn Vng Với trường hợp ảnh ngõ vào có ba vật thể khác bị nhiễu muối hạt tiêu với mậ độ 0.02, hệ thống nhận dạng xác đối tượng ảnh đưa tên hình dạng xác 40 So với kết nghiên cứu [1], tác giả nêu giới hạn độ nén hình trịn từ đến 14, độ nén hình vng từ 15-19 tam giác từ 20 đến 40 So với kết mơ nhóm độ nén hình trịn hình tam giác với [1] nêu độ nén hình vng có sai số không đáng kể Tuy kết mô nhóm chưa đạt điều kiện sau mơ xong kết nhóm đạt yêu cầu nhận dạng xác đối tượng hình trịn, hình vng hình tam giác Đề tài nhóm thưc có thêm chức đếm số lượng vật thể có ảnh ❖ So sánh kết hai mơ hình Số vật thể Một vật thể Ba vật thể giống Ba vật thể khác Nhiều vật thể khác Bảng 4.13: So sánh kết hai mô hình Trong Bảng 4.13 thấy độ xác nhóm so với [1] cải thiện rõ rệt độ xác nhận dạng vật thể Thêm vào thống mà nhóm thiết kế cịn cải tiến thêm việc đếm số lượng đưa tên thơng số xác đối tượng ảnh Với trường hợp vật thể chồng lên ảnh thiếu độ sáng, hệ thống nhóm thiết kế nhận dạng sai vật thể ảnh nhược điểm mà nhóm chưa làm đề tài Với trường hợp ảnh có nhiễu muối hạt tiêu, 41 qua Lọc trung vị ảnh loại bỏ nhiễu nhận dạng xác vật thể Như vậy, hệ thống mà nhóm thưc có độ xác cao hơn, hiệu nhận dạng đối tượng nhiễu 4.2 MƠ PHỎNG TRÊN GIAO DIỆN GUI Sau mơ Matlab, nhóm thưc lấy kết đạt với nhiều vật thể khác để thiết kế giao diện GUI Giao diện hệ thống gồm nút nhấn tương ứng với chức sau: - Nút nhấn “Đọc ảnh” dùng để chọn file cần nhận dạng, file chọn với hai định dạng có “.jpg” “.png”, sau thưc bước nêu sơ đồ khối hệ thống để xuất ảnh kết - Nút nhấn “Kết quả” dùng để hiển thị ảnh kết hệ thống - Nút nhấn “Chọn ảnh” cho biết số lượng vật thể có ảnh - Nút nhấn “Chi tiết” hiển thị thông số diện tích, chu vi, trọng tâm, đường kính độ nén - Nút nhấn “Thốt” dùng để đóng ứng dụng Hình 4.13: Giao diện mơ hệ thống nhận dạng vật thể 42 ➢ Kết chương trình sau thưc giao diện GUI Hình 4.14: Kết nhận dạng sai vật thể Hình 4.15: Kết nhận dạng hoàn toàn vật thể 43 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Sau trình tìm hiểu, thưc với thời gian kiến thức cịn hạn hẹp, nhóm thưc đề tài đạt nội dung sau: - Trình bày lý thuyết tổng quan ảnh số, hệ thống xử lý ảnh, phân tích ảnh, giới thiệu phương pháp phát biên, tách biên nhận dạng vật thể ứng dụng đề tài thưc tế - Trình bày phương pháp phát vật thể ảnh dưa vào màu sắc, cấu trúc, hình dạng chuyển động - Thiết kế chương trình mơ cơng cụ matlab phát nhận dạng vật thể với độ xác cao - So sánh với phương pháp phát vật thể tác giả Mohd Firdaus Zakaria, Hoo Seng Choon, Srishtee Jain phương pháp nhóm thưc có sư cải thiện độ xác là: + Nhận dạng ảnh có nhiều vật thể có tỉ lệ xác cao + Nhận dạng vật thể ảnh bị nhiễu có sư xác mạnh Mặc dù hệ thống mà nhóm thiết kế cịn nhiều nhược điểm như: - Không nhận dạng vật thể bị chồng lấn lên nhau, vật thể sáng tối so với ảnh 5.2 HƯỚNG PHÁT TRIỂN Đề tài mở rộng theo hướng sau: - Cải thiện nâng cao hệ thống phát nhiều vật thể ảnh video trưc tiếp - Nhận dạng nhiều loại hình dáng phức tạp hình đa giác, loại hình dạng phức tạp lập trình sẵn để phát lỗi sản xuất ví dụ dây chuyền sản xuất bánh quy với số lượng hình dáng đa dạng 44 - Tăng sư xác tốc độ hệ thống, nhận dạng hình dáng vật thể ảnh góc độ ảnh chụp bị thay đổi lớn nhiễu nhiều độ tương phản ảnh thấp vật thể chồng lấn lên - Dưa vào nhận dạng vật thể để phát triển ứng dụng nhiều lĩnh vưc lớn như: phát đánh giá bề mặt hành tinh ngành hàng không vũ trụ, phát lỗi bề mặt ngành luyện kim, phát triển ứng dụng nhận dạng vật thể môi trường xung quanh điện thoại nhằm giáo dục cho trẻ nhỏ 45 TÀI LIỆU THAM KHẢO [1] Mohd Firdaus Zakaria, Hoo Seng Choon, and Shahrel Azmin Suandi, “Object Shape Recognition in Image for Machine Vision Application’’, International Journal of Computer Theory and Engineering, Vol 4, No 1, February 2012 [2] K Rasool Reddy, K Hari Priya, N Neelima, “Object Detection and Tracking – A Survey”, 2015 International Conference on Computational Intelligence and Communication Networks [3] J.M.S Prewitt and M L Mendelsohn, “The analysis of cell images”Annals of the New York Academy of Sciences, vol 128, pp 1035–1053, 1966 [4] T Gevers, A Smeulders, “Color-based object recognition” Pattern Recognition, 1999 [5] Phan Thanh Tao “Giáo trình Matlab” Đà Nẵng: Nxb.Đà Nẵng, 2004 46 PHỤ LỤC Code chương trình close all; clear all; clc; a =3; %so hang b =3; %so cot %doc anh ngo vao I = imread('done.jpg'); %chuyen qua anh xam I2 = rgb2gray(I); originalImage = mat2gray(I2); figure(1); subplot(a, b, 1); imshow(I); title('Anh ngo vao'); I_eq = adapthisteq(originalImage); subplot(a, b, 2); imshow(I_eq); title('Anh xam'); %chuyen qua nhi phan bi_img= 255-I2; bw= im2bw(bi_img); subplot(a, b, 3); imshow(bw); title('Anh nhi phan'); BW = imopen(bw, strel('square', 25)); subplot(a, b, 4); imshow(BW); %lap day lo cua anh Fi_img=imfill(bw,'holes'); subplot(a, b, 4); imshow(Fi_img) title('Dien vao lo cho anh'); %loc trung vi Med_img=medfilt2(Fi_img,[3 3]); subplot(a, b, 5); imshow(Med_img) title('Loc trung vi'); % -%% Blob blobMeasurements = regionprops(Med_img, Med_img, 'all'); numberOfBlobs = size(blobMeasurements, 1); % bwboundaries() tra ve mot mang o, moi o chua toa hang/cot cho moi doi tuong anh % ve duong vien cua tat ca cac vat the tren anh xam ban dau bang cac su dung toa duoc tra ve boi cac bien subplot(a, b, 6); imagesc(Med_img); title('Duong vien cua cac vat the'); axis square; hold on; boundaries = bwboundaries(Med_img); numberOfBoundaries = size(boundaries); for k = : numberOfBoundaries 47 thisBoundary = boundaries{k}; plot(thisBoundary(:,2), thisBoundary(:,1), 'g', 'LineWidth', 2); end hold off; figure(1); subplot(a, b, 7); imshow('done.jpg'); title('Ket qua'); fontSize = 12; %duoc su dung de kiem soat kich thuoc cua nhan chu hoac so dat tren dinh cua anh labelShiftX = cac vat the blobECD %in dong tieu fprintf Diameter compressratio\n'); numtr=0; numtg=0; numvg=0; for k = : numberOfBlobs thisBlobsPixels = blobMeasurements(k).PixelIdxList; meanGL = mean(originalImage(thisBlobsPixels)); % tim cuong trung binh meanGL2008a = blobMeasurements(k).MeanIntensity; blobArea = blobMeasurements(k).Area; % tim dien tich blobECD(k) = sqrt(4 * blobArea / pi); % tinh toan duong kinh blobPerimeter = blobMeasurements(k).Perimeter; % tinh chu vi compressratio=(blobPerimeter^2)/blobArea; % tinh nen if (compressratio>=1)&(compressratio=15)&(compressratio=20)&(compressratio