Nghiên cứu các phương pháp nhận dạng cây dựa trên hình ảnh các bộ phận của cây

LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời cảm ơn chân thành sâu sắc đến cô Nguyễn Thị Thanh Nhàn, người tận tình bảo hướng dẫn em suốt trình học tập thực đồ án tốt nghiệp Cô giúp đỡ, dạy bảo em không mặt kiến thức, mà kỹ để học tập làm việc Đó học kinh nghiệm quý báu đồng hành em suốt chặng đường học tập, nghiên cứu làm việc sau Em xin gửi lời cảm ơn đến thầy cô giáo trường Đại học Công nghệ Thông tin Truyền thông Thái nguyên giảng dạy, truyền đạt cho em kiến thức tốt nhất, kỹ sống Đó tảng để em vững bước chặng đường sau Để thực tốt đồ án lần này, em xin chân thành cảm ơn trợ giúp thầy cô giáo Viện MICA –Trường đại học Bách khoa Hà Nội Đặc biệt dẫn cô Lê Thị Lan trình làm thực tập tốt nghiệp tạo tiền đề cho lần thực tốt đồ án lần Cuối em xin gửi lời cảm ơn tới bố mẹ, gia đình, bạn bè, người bên cạnh em hoàn cảnh, tạo cho em điều kiện tốt để em phát huy, tìm hiểu đam mê, sở thích lĩnh vực Thái Nguyên, tháng năm 2016 Người thực Phan Ngọc Quân LỜI CAM ĐOAN Đồ án tốt nghiệp sản phẩm tổng hợp toàn kiến thức mà em học nghiên cứu suốt thời gian học tập trường đại học Ý thức điều đó, với tinh thần làm việc nghiêm túc, tự giác lao động miệt mài thân hướng dẫn nhiệt tình chu đáo cô giáo: Nguyễn Thị Thanh Nhàn, em hoàn thành đồ án tốt nghiệp Em xin cam đoan nội dung đồ án: “Nghiên cứu phương pháp nhận dạng dựa hình ảnh phận cây” em tự tìm hiểu, nghiên cứu hướng dẫn cô giáo: Nguyễn Thị Thanh Nhàn Mọi trích dẫn tài liệu mà em tham khảo ghi rõ nguồn gốc Nếu thông tin sai lệch em xin chịu hình thức kỷ luật trường Đại học Công nghệ thông tin Truyền thông Thái Nguyên, tháng năm 2016 Người thực Phan Ngọc Quân MỤC LỤC DANH MỤC HÌNH ẢNH Hình 1.1 Giáo dục-bảo tồn đa dạng sinh học Hình 1.2 Lá ảnh kiểm thử họ với ảnh Hình 1.3 Sơ đồ khối chức giai đoạn kiểm thử 11 11 Hình 2.1 Sơ đồ tổng quan hệ thống nhận dạng với truy vấn gồm nhiều hình ảnh phận 13 Hình 2.2: Một số ảnh đơn kép nên phức tạp 15 Hình 2.3 Sơ đồ phân đoạn có tương tác 16 Hình 2.4 Minh họa cách thức hoạt động giải thuật watershed Hình 2.5 Quá trình chi tiết giải thuật Watershed 16 17 Hình 2.6 Ví dụ chuyển đổi ảnh màu RGB sang ảnh đa mức xám từ ảnh đa mức xám chuyển sang ảnh nhị phân 17 Hình 2.7 Áp dụng lọc Canny cho ảnh RGB để tìm biên 17 Hình 2.8 Chuẩn hóa hướng (a): Ảnh sau phân đoạn, chưa chuẩn hóa hướng, (b): Chuyển sang ảnh nhị phân, (c): Xác định biên sử dụng lọc Canny, (d): Ảnh chuẩn hóa hướng 18 Hình 2.9 Ảnh vẽ vùng bên bên dùng WaterShed 19 Hình 2.10 Ảnh sau chạy chương trình phân đoạn WaterShed Hình 2.11 Ảnh sau tách khỏi chuẩn hóa Hình 2.12 Một số hình ảnh đơn giản 20 21 Hình 2.13 Phân đoạn ảnh tự động 21 Hình 2.14.Các bước thực giải thuật Phân đoạn vùng bật Hình 2.15 Các tính saliency map ảnh 22 Hình 2.16 Sự chuyển đổi hai không gian màu RGB Lab Hình 2.17 Co ảnh nhị phân23 Hình 2.18 Giãn ảnh nhị phân 24 23 22 19 Hình 2.19 Kết phân đoạn ảnh hoa, sử dụng salient region segmentation 25 Hình 2.20 Kết phân đoạn ảnh thân 25 Hình 2.21 Minh họa tính đặc trưng LBP điểm26 Hình 2.22 Cách chia ảnh thành patch ảnh 27 Hình 2.23 thử nghiệm, đánh giá sai số phương pháp xấp xỉ giới hạn số chiều 29 Hình 2.24 Minh họa phương pháp spatial pyramid matching 31 Hình 2.25 Minh họa xây dựng phân lớp SVM nhị phân Hình 2.26 Ví dụ cách tính toán K-NN 32 35 Hình 2.27 Minh họa cách tính BC37 Hình 2.28 Minh họa cách tính IRP 38 Hình 2.29 Minh họa cách tính WP 38 Hình 3.1:Một số hình ảnh thu thập phận 43 Hình 3.2: Ví dụ minh họa tiền xử lý ảnh đơn giản Hình 3.3: Kết tiền xử lý ảnh phức tạp 45 46 Hình 3.4:Kết tiền xử lý ảnh thân 46 Hình 3.5: Kết tiền xử lý ảnh hoa 47 Hình 3.6: Một số ảnh phần đoạn bị nội dung ảnh 47 Hình 3.7 Phân vùng liệu ảnh cho tập huấn luyện,tập thử nghiệm 48 DANH MỤC CÁC BẢNG Bảng 2.1 Các yêu cầu giải pháp cho toán nhận dạng giai đoạn tiền xử lý 14 Bảng 3.1:Thống kê số lượng ảnh thu thập số khu vực phía bắc 43 Bảng 3.2: Thống kê số lượng ảnh tiền xử lý liệu thu thập 44 Bảng 3.3 Thống kê số lượng ảnh train ảnh test sử dụng Bảng 3.2 Kết nhận dạng 49 48 LỜI NÓI ĐẦU Trong năm gần đây, thị giác máy tính (Computer Vision) trở thành lĩnh vực đầy tiềm quan tâm Ứng dụng thị giác máy tính được quan sát, tìm thấy sản phẩm công nghệ cao, hệ thống thông minh hệ thống giám sát, nhận dạng,… Nhận dạng loài số sản phẩm Nhận dạng có tính ứng dụng cao y tế, giáo dục, an ninh lương thực Trong toán nhận dạng dựa kĩ thuật xử lý ảnh, có nhiều tác giả nghiên cứu toán Nhưng nghiên cứu tập trung vào phận hoa hay Tuy nhiên, xét tổng thể phận khác quả, thân cây,… có đặc trưng để phân biệt loài Đồ án lần tập trung vào việc nghiên cứu phương pháp nhận dạng có đề xuất phương pháp nhận dạng dựa hình ảnh phận cây, tiến hành thử nghiệm, đánh giá kết Đồ án tốt nghiệp bao gồm chương: CHƯƠNG 1:GIỚI THIỆU CHƯƠNG 2:HỆ THỐNG NHẬN DẠNG ẢNH CÂY CHƯƠNG 3:XÂY DỰNG CƠ SỞ DỮ LIỆU VÀ THỬ NGHIỆM CHƯƠNG GIỚI THIỆU 1.1 Nhu cầu thực tế hệ thống nhận dạng Nhận dạng có nhiều ứng dụng khác công nghiệp, sinh học, giáo dục y tế Tuy nhiên việc xác định xác tên loài toán khó người có kinh nghiệm thường xuyên tiếp xúc, làm việc với nông dân, nhà sinh vật học… đa dạng loài Hình 1.1 Giáo dục-bảo tồn đa dạng sinh học 1.2 Định nghĩa hệ thống nhận dạng phận Ứng dụng thị giác máy tính quan sát rõ sản phẩm công nghệ cao, hệ thống giám sát, nhận dạng nhận dạng vân tay, nhận dạng chữ viết, nhận dạng tiếng nói, nhận dạng mặt người, nhận dạng cử hành động,…Trong có nhận dạng loài ứng dụng ngày sử dụng rộng rãi nhận biết thuốc y tế, nhận dạng môi trường lạ rừng núi,… Nhận dạng phân biệt loại toán có xuất phát từ nhu cầu thực tế Việc nhận dạng giúp cho ta phát loài quý, loài có tác dụng chữa bệnh quan trọng y học, giúp nâng cao hiểu biết người loại có vai trò quan trọng, giúp bảo vệ đa dạng sinh học… Nhận dạng có hướng tiếp cận:  Nhận dạng dựa từ khóa (tìm từ khóa )  Nhận dạng theo giao diện mô tả phận thông qua biểu tượng (Mô tả hình dạng cho trước )  Nhận dạng dựa kỹ thuật xử lý ảnh Nhận dạng toán xác định tên xác loài dựa đặc điểm quan sát cây.Nhận dạng có nhiều ứng dụng khác công nghiệp, sinh học, giáo dục y tế Tuy nhiên việc xác định xác tên loài toán khó người có kinh nghiệm nông dân, nhà sinh vật học đa dạng loài Gần đây, với phát triển công nghệ truy xuất, tìm kiếm hình ảnh, hướng tiếp cận nhận dạng dựa hình ảnh coi hướng đầy hứa hẹn giúp tăng khả nhận dạng loài Trong toán nhận dạng dựa kỹ thuật xử lý ảnh nhà nghiên cứu đưa nhiều cách tiếp cận với toán nhận dạng dựa việc kết hợp phận lá, hoa, quả, thân, cành hay toàn Trong đề tài này, em tập trung vào việc nghiên cứu phương pháp nhận dạng kết hợp thông tin từ nhiều phận Những đóng góp đề tài 10 Hình 3.1:Một số hình ảnh thu thập phận 3.3 Các kết thử nghiệm đánh giá 3.3.1 Các độ đo đánh giá Trong đồ án sử dụng độ đo Accuracy với rank k, tức ảnh cho nhận dạng tên loài nằm k vị trí đầu danh sách Trong đó: T số kết nhận dạng đúng, N tổng số truy vấn 56 Ngoài có đánh giá ứng dụng thi ImageCleft:  Để đánh giá khả nhận dạng hệ thống sử dụng hai độ đo sau Độ đo thứ đánh giá theo mức observation Trong đó: U số người chụp ảnh, số quan sát người thứ u nghịch đảo thứ hạng loài nhận dạng observation thứ p người thứ u  Độ đo thứ hai đánh giá kết mức nhận dạng theo ảnh Trong đó: U, định nghĩa trên, số ảnh người thứ u chụp với observation thứ p nghịch đảo thứ hạng loài nhận dạng ảnh thứ n quan sát thứ p người thứ u Sử dụng công thức để đánh giá kết nhận dạng mức ảnh với phận công thức đầu vào observation, kết trả sau kết hợp 3.3.2 Kết đạt  Tiền xử lý ảnh Với phận có cách tiền xử lý khác bảng thống kê số lượng: Bảng 3.2: Thống kê số lượng ảnh tiền xử lý liệu thu thập Lá Lá phức tạp đơn giản Ảnh đầy đủ nội dung Ảnh nội dung 378 57 Hoa Thân 501 468 197 150 25 Tổng 378 651 493 197 Chú thích: Trong trình tiền xử lý ảnh phận không tránh khỏi việc nội dung (đối tượng quan tâm) ảnh Đối với ảnh đơn giản ảnh hoa việc tiền xử lý thực tự động có số ảnh không trích nội dung quan tâm ảnh bị mờ, độ sáng ảnh kém,hoặc không chất lượng  Để phục vụ cho trình nhận dạng tốt em sử dụng ảnh có kết tiền xử lý tốt Ví dụ minh họa bước tiền xử lý ảnh cho kết tốt: 58 Hình 3.2: Ví dụ minh họa tiền xử lý ảnh đơn giản 59 Hình 3.3: Kết tiền xử lý ảnh phức tạp 60 Hình 3.4:Kết tiền xử lý ảnh thân 61 Hình 3.5: Kết tiền xử lý ảnh hoa 62 Hình 3.6: Một số ảnh phần đoạn bị nội dung ảnh  Xử lý liệu Tập liệu đầu vào hệ thống nhận dạng dựa việc kết hợp phận bao gồm tập liệu:  Tập liệu huấn luyện (Trainset)  Tập liệu thử nghiệm(Testset) Việc tách liệu sau: Testset =1/7 tổng liệu Còn lại đưa vào việc huấn luyện 63 Bảng 3.3 Thống kê số lượng ảnh train ảnh test sử dụng Lá phức tạp Lá đơn Hoa Thân giản Train 317 455 409 164 Test 56 56 59 33 Tổng cộng 378 501 468 197 Đối với tập liệu thử nghiệm ta tiến hành phân loại ảnh theo phận gồm đơn giản, phức tạp, hoa, quả, thân, cành toàn Hình 3.7 Phân vùng liệu ảnh cho tập huấn luyện,tập thử nghiệm  Nhận dạng Việc thử nghiệm tiến hành tập testing Để xem xét hiệu 64 phương pháp trích chọn đặc trưng phương pháp kết hợp  Phương pháp: Chỉ sử dụng đặc trưng KDES cho hình ảnh tất phận Ảnh đơn giản, phức tạp, ảnh hoa, quả, cành toàn sử dụng Gradient Kernel Ảnh thân sử dụng LBP Kernel Bảng 3.2 Kết nhận dạng Accuracy (%) Ảnh phức tạp Ảnh đơn giản 57.53% 100% Ảnh hoa 76.19% Ảnh thân 44.04%  Phân tích kết  Tiền xử lý Đối với ảnh đơn phức tạp: Do trình xử lý có tương người sử dụng việc phân đoạn ảnh có kết tương đối Tuy nhiên nhìn chung số ảnh chất lượng ảnh nên việc xác định trích đối tượng bị mát thông tin ảnh Ảnh đơn giản: Do trình xử lý tự động việc mát, không xác định ảnh nhiều Đối với ảnh hoa: Đối với ảnh hoa sau áp dụng giải thuật phân đoạn vùng bật kết hợp với việc thực phân đoạn Mean-Shift để thực tách lấy đối tượng đa số ảnh cho kết chấp nhận được, bên cạnh số ảnh chưa lấy phần thông tin xác 65 Do vậy, trình phân đoạn ảnh đạt kết cao chất lượng ảnh đầu quan trọng ví dụ độ sáng ảnh, độ nét ảnh,  Nhận dạng Qua quan sát kết thử nghiệm tập liệu (testing), ta thấy:  Phương pháp KDES áp dụng cho ảnh đơn giản phức tạp cho kết tốt  Áp dụng ảnh hoa việc nhận dạng tương đối tốt  Nhìn vào kết ta thấy liệu ảnh tập huấn luyện phong phú ảnh nhận dạng sát với loài Dữ liệu ảnh tập Train việc phân lớp cho kết không sát với mong muốn KẾT LUẬN VÀ ĐỀ XUẤT Những kết đạt được: Trong trình thực đợt đồ án này, em đạt kết sau:  Biết cách thu thập liệu phục cho việc huấn luyện  Tìm hiểu vấn đề lý thuyết nhận dạng, sơ đồ tổng quan hệ thông nhận dạng  Em nghiên cứu tìm hiểu phương pháp kết hợp sử dụng kỹ thuật phân đoạn ,tiền xử lý ảnh, trích chọn đặc trưng để nhận dạng dựa hình ảnh phận  Biết cách cài đặt chương trình tiền xử lý phương pháp trích chọn đặc trưng KDES  Em hiểu hệ thống nhận dạng Để nhận dạng tốt liệu huấn luyện đa đạng tốt Qua việc đánh giá, phân tích kết thử nghiệm, em đề xuất hướng cải tiến, phát triển hệ thống tương lai để cải thiện hiệu nhận dạng hệ thống Thứ nhất, với ảnh phức tạp, phương pháp phân đoạn ảnh có tương tác với ảnh phức tạp tỏ hoàn toàn hiệu với ảnh đơn, với ảnh kép việc sử dụng phương pháp gặp nhiều khó khăn, nguyên nhân làm cho kết nhận dạng ảnh phức tạp thấp nhiều ảnh đơn giản Vì cần phải cải tiến phương pháp 66 nhận dạng để tách hoàn toàn kép khỏi phức tạp Thứ hai, mặt sinh học hoa phận đóng vai trò quan trọng giúp phân biệt loài kết nhận dạng hạn chế, cần tiếp tục nghiên cứu phương pháp nhận dạng với ảnh hoa Ở giai đoạn tiền xử lý, phương pháp phân đoạn ảnh tự động dựa giải thuật phân vùng ảnh dựa vùng bật làm việc hiệu quả, với trường hợp ảnh gồm nhiều hoa lúc vùng ảnh giữ lại chứa tất hoa kèm theo nhiều nằm không gian hoa, phải xem xét, tìm hiểu thêm phương pháp phân đoạn hiệu với hoa để loại bỏ tối đa xung quanh Ngoài ra, cần nghiên cứu giải thuật trích chọn đặc trưng phù hợp với hoa, làm tăng khả phân tách loài 67 TÀI LIỆU THAM KHẢO  R Achanta, S Hemami, F Estrada, and S Susstrunk Frequency-tuned salient region detection In Computer Vision and Pattern Recognition, 2009 CVPR 2009 IEEE Conference on, pages 1597–1604, June 2009  Liefeng Bo, X Ren, and Dieter Fox Kernel Descriptors for Visual Recognition NIPS, pages 1–9, 2010  Liefeng Bo and Cristian Sminchisescu Efficient Match Kernel between Sets of Features for Visual Recognition NIPS, pages 1–9, 2009  Guillaume Cerutti, Laure Tougne, C´eline Sacca, Thierry Joliveau, PierreOlivier Mazagol, Didier Coquin, Antoine Vacavant, et al Late information fusion for multi modality plant species identification CLEF Working Notes, 2013  Julien Mille Antoine Vacavant-Didier Coquin Guillaume Cerutti, Laure Tougne Guiding active contours for tree leaf segmentation and identification In Proceedings of the Conference on Multilingual and Multimodal Information Access Evaluation, 2011  Jonathan Y Clark-Paolo Remagnino James S Cope, David Corney and Paul Wilkin Plant species identification using digital morphometrics: A review Expert Systems with Applications, 39(8):7562–7573, 2012  D T Pham N.-H Le T.-L., Tran Kernel descriptor based plant leaf identification 4th International Conference on Image Processing Theory, Tools and Applications, 2014  D.G Lowe Object recognition from local scale-invariant features Proceedings of the Seventh IEEE International Conference on Computer Vision, 2:1150– 1157, 1999  Subhransu Maji, Alexander C Berg, and Jitendra Malik Efficient classification 68 for additive kernel SVMs IEEE transactions on pattern analysis and machine intelligence, 35(1):66–77, January 2013  F Meyer Topographic distance and watershed lines Signal Processing, 38:113–125, 1994  69 NHẬN XÉT CỦA GIÁO VIÊN Thái Nguyên, ngày……tháng… năm 2016 Giáo viên hướng dẫn 70 ... giá nhận dạng dựa phần mềm nhận dạng cho liệu thu nhập  Đưa đề xuất,cải tiến(nếu có )  13 CHƯƠNG II HỆ THỐNG NHẬN DẠNG ẢNH CÂY 2.1.Sơ đồ chung hệ thống Hình 2.1 mô hình nhận dạng dựa hình ảnh. .. lý ảnh nhà nghiên cứu đưa nhiều cách tiếp cận với toán nhận dạng dựa việc kết hợp phận lá, hoa, quả, thân, cành hay toàn Trong đề tài này, em tập trung vào việc nghiên cứu phương pháp nhận dạng. .. đa dạng sinh học… Nhận dạng có hướng tiếp cận:  Nhận dạng dựa từ khóa (tìm từ khóa )  Nhận dạng theo giao diện mô tả phận thông qua biểu tượng (Mô tả hình dạng cho trước )  Nhận dạng dựa