Nghiên cứu phát triển hệ thống tra cứu các loài thực vật quý hiếm tại khu bảo tồn thiên nhiên na hang tỉnh tuyên quang​

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG VŨ THANH BÌNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2019 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ THANH BÌNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG Chuyên ngành: Khoa học máy tính Mã số: 8.48.0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS Nguyễn Văn Tảo THÁI NGUYÊN - 2019 i LỜI CAM ĐOAN Sau q trình học tập Trƣờng Đại học Cơng nghệ thông tin & Truyền thông, với kiến thức lý thuyết thực hành tích lũy đƣợc, với việc vận dụng kiến thức vào thực tế, em tự nghiên cứu tài liệu, cơng trình nghiên cứu, tự tìm kiếm liệu hình ảnh thực tế, đồng thời phân tích, tổng hợp, đúc kết phát triển để hoàn thành luận văn thạc sĩ Em xin cam đoan luận văn cơng trình thân em tự tìm hiểu, nghiên cứu hoàn thành dƣới hƣớng dẫn thầy giáo, TS Nguyễn Văn Tảo Thái Nguyên, tháng năm 2019 Học viên Vũ Thanh Bình ii LỜI CẢM ƠN Trong thời gian năm chƣơng trình đào tạo thạc sĩ, gần nửa thời gian dành cho mơn học, thời gian cịn lại dành cho việc lựa chọn luận văn, giáo viên hƣớng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa hoàn thiện luận văn Với quỹ thời gian nhƣ với vị trí cơng việc phải đảm nhận, khơng riêng thân em mà hầu hết sinh viên cao học muốn hồn thành tốt luận văn mình trƣớc hết phải có xếp thời gian hợp lý, có tập trung học tập nghiên cứu với tinh thần nghiêm túc nỗ lực hết mình; tiếp đến có ủng hộ tinh thần, giúp đỡ chuyên môn - điều kiện thiếu định đến việc thành công luận văn Để hoàn thành đƣợc luận văn trƣớc tiên em xin gửi lời cảm ơn sâu sắc đến thầy giáo hƣớng dẫn TS Nguyễn Văn Tảo, ngƣời định hƣớng nội dung, hƣớng phát triển luận văn có nhiều ý kiến đóng góp quan trọng ảnh vấn đề chuyên môn luận văn, giúp em tháo gỡ kịp thời vƣớng mắc trình làm luận văn Em xin chân thành cảm ơn thầy cô giáo Trƣờng Đại học Công nghệ thông tin Truyền thông bạn bè lớp có ý kiến bổ ích để luận văn đƣợc hoàn thiện Xin cảm ơn gia đình, ngƣời thân, đồng nghiệp ln quan tâm ủng hộ tinh thần suốt thời gian học tập hoàn thành luận văn Em xin hứa cố gắng tự nghiên cứu, nâng cao lực chuyên môn để sau hồn thành luận văn có hƣớng tập trung nghiên iii cứu sâu hơn, tiếp tục hồn thiện luận văn để có ứng dụng thiết thực thực tế Thái Nguyên, tháng năm 2019 Học viên Vũ Thanh Bình iv MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH SÁCH HÌNH VẼ DANH MỤC CÁC BẢNG MỞ ĐẦU Đặt vấn đề Bài toán tra cứu/ nhận dạng thực vật Cấu trúc luận văn CHƢƠNG 1: MỘT SỐ NGHIÊN CỨU LIÊN QUAN 1.1 Tổng quan tra cứu ảnh 1.2 Tổng quan nhận dạng, tra cứu thực vật 1.3 Một số nghiên cứu liên quan CHƢƠNG 2: PHƢƠNG PHÁP TRA CỨU LÁ CÂY SỬ DỤNG KDES 2.1 Giới thiệu 2.2 Phƣơng pháp KDES 2.2.1 Gradient, màu sắc, hình dạng ke 2.2.2 Học tính nhỏ gọn 2.3 Phƣơng pháp tra cứu sử dụng KDES cải tiến 2.4 Biểu diễn ảnh 2.4.1 Tính tốn đặc trƣng mức Pixel 2.4.2 Tính toán đặc trƣng mức patch 2.4.2.1 Sinh tập patch với kích thƣớc patch thích nghi 2.4.2.2 Tính toán véctơ đặc trƣng mức patch 2.4.3 2.5 2.5.1 Tính tốn đặc trƣng mức ảnh Phân lớp ảnh Máy véctơ hỗ trợ - SVM v 2.5.2 Máy véctơ hỗ trợ nhiều lớp – MSV 2.5.2.1 Từ Binary classification tới multi-class classification 2.5.2.2 Xử lý liệu ảnh 2.5.2.3 Softmax Regression CHƢƠNG 3: THỰC NGHIỆM 3.1 Thu thập liệu 3.1.1 Cơ sở liệu hình ảnh 3.1.2 Phƣơng pháp lấy mẫu hình ảnh c 3.2 Tiền xử lý ảnh sở liệu 3.3 Phƣơng pháp đánh giá 3.4 Thử nghiệm kết KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO vi DANH SÁCH HÌNH VẼ Hình 2.1 : Xấp xỉ hữu hạn chiều Hình 2.2: Sơ đồ hệ thống nhận dạng thuốc sử dụng KDES Hình 2.3: Patch thích nghi với Hình 2.4: Một số ví dụ minh họa patch cố định patch thích nghi Hình 2.5: Ý tưởng việc biểu diễn dựa kernel method Hình 2.6: Cấu trúc pyramid Hình 2.7: Nhược điểm cách gán cứng Hình 2.8: Mơ hình Softmax Regression dạng Neural network Hình 3.1: Hình ảnh 38 mẫu thu thập đề tài Hình 3.2 Phân đoạn ảnh tự động Hình 3.3 giải thuật sử dụng Salient region segmentation Hình 3.4 Sự chuyển đổi hai không gian màu RGB Lab Hình 3.5 Co ảnh nhị phân Hình 3.6 Giãn ảnh nhị phân Hình 3.7 Chuẩn hóa hướng Hình 3.8 Sơ đồ khối chức giai đoạn huấn luyện Hình 3.9 Sơ đồ khối chức giai đoạn kiểm thử Hình 3.10: Một phần mã code chương trình Hình 3.11: trình Huấn luyện chương trình Hình 3.12: Kết thúc trình huấn luyện Hình 3.13: Tính tốn số vịng lặp so sánh 58 vii Hình 3.14: Hình ảnh ma trận nhầm lẫn phương pháp KDES cải tiến 58 Hình 3.7: Hình ảnh nhầm lân ma trận phương pháp KDES gốc 59 Hình 3.8: Hình ảnh nhầm lẫn ma trân phương pháp KDES cải tiến 60 viii DANH MỤC CÁC BẢNG Bảng 3.1: Danh sách mẫu thực vật sở liệu 47 Bảng 3.2: So sánh kết KDES gốc phương pháp lựa chọn (KDES cải tiến) 59 51 - Vì sử dụng phép co ảnh đồng thời loại bỏ số đặc điểm biên lá, nên cần tiếp tục sử dụng phép giãn ảnh với phần tử cấu trúc lớn Gọi A ảnh gốc, B phần tử cấu trúc Phép giãn nhị phân ảnh A với phần tử cấu trúc B đƣợc kí hiệu A B biểu diễn phép tốn co ảnh dƣới dạng phép toán tổ hợp nhƣ sau: ̂ *,() - + Phép giãn ảnh nhị phân tập A phần tử cấu trúc B tập hợp điểm z (z tâm phần tử cấu trúc B tập A) cho phản xạ B z giao với tập A điểm Hình 3.6 Giãn ảnh nhị phân - Áp dụng mặt nạ lên đối tƣợng để loại bỏ cuống  Bƣớc 4: Chuẩn hóa hƣớng Sau tách đƣợc đối tƣợng khỏi nền, ta cần tính tốn moment theo đƣờng biên để xoay hƣớng chuẩn Thuật toán chuẩn hóa hƣớng đƣợc thực theo bƣớc sau: - Bƣớc 1: chuyển đổi ảnh RGB sang ảnh đa mức xám từ ảnh đa mức xám chuyển sang ảnh nhị phân - Bƣớc 2: áp dụng lọc Canny để tìm biên 52 - Bƣớc 3: tính tốn giá trị moment {m00 ,m01,m10 ,m02 ,m 20 ,m11} - Bƣớc 3: tính tốn hƣớng ảnh theo công thức  arctan - Bƣớc 4: xoay ảnh hƣớng dọc theo trục thẳng đứng + Xây dựng ma trận chuyển đổi T ( kích thƣớc 2x3) nhƣ sau: Trong đó: m 10 t3  m t1  cos() 00 m 01 t6  m t t2 00 + Công thức chuyển đổi trục tọa độ:      x ' y Trong đó: w, h kích thƣớc cột, hàng ảnh đầu + Ảnh sau xoay trục đƣợc tính công thức sau: ' ' ' ' dst(x, y)  src(t1x  t y  t , t x  t 5y  t6 ) 53 Hình 3.7 Chuẩn hóa hướng (a): Ảnh sau phân đoạn, chưa chuẩn hóa hướng, (b): Chuyển sang ảnh nhị phân, (c): Xác định biên sử dụng lọc Canny, (d): Ảnh chuẩn hóa hướng 3.3 Phƣơng pháp đánh giá Để đánh giá hiệu hệ thống tra cứu, em sử dụng hai độ đo độ thu hồi (recall) độ xác (precision) Các số đo đƣợc mƣợn từ hệ thống tra cứu thông tin truyền thông Đối với truy vấn q, tập hợp ảnh sở liệu thích hợp với truy vấn q đƣợc kí hiệu R(q) cịn kết tra cứu truy vấn q đƣợc kí hiệu Q(q) Độ xác (precision) việc tra cứu đƣợc định nghĩa tỉ lệ kết thu đƣợc thực thích hợp với truy vấn: ( 3.1) Độ thu hồi (Recall) tỉ lệ kết thích hợp truy vấn trả lại: (3.2) Thơng thƣờng phải có thỏa hiệp hai số đo muốn tăng cƣờng số đo lại phải chịu giảm số đo ngƣợc lại Trong hệ thống tra cứu điển hình độ thu hồi có xu hƣớng tăng lên số lƣợng 54 kết thu đƣợc tăng lên độ xác dƣờng nhƣ lại bị giảm Trong ngữ cảnh ứng dụng hệ thống mà đề tài hƣớng tới, với truy vấn q, tập R(q) ảnh (mỗi mẫu loại) danh sách mẫu Khi đó, tập Q(p) chứa hình ảnh thích hợp với truy vấn q khơng chứa ảnh thích hợp Với truy vấn, hệ thống đƣa tập Q(q) gồm k ảnh đƣợc xếp theo mức độ thích hợp Sau đó, ngƣời dùng xem lựa chọn ảnh với thơng tin lồi thực liên quan đến ảnh truy vấn Vì đặc thù hệ thống ứng dụng mà đề tài hƣớng tới nhƣ trên, luận văn này, bƣớc đầu em đánh giá với trƣờng hợp k=1 Khi đó, với truy vấn q, ta có |Q(q)| = 1, R(q) = Nếu ta có n truy vấn q1, , qn độ xác độ thu hồi là: (3.3) 3.4 Thử nghiệm kết Với mẫu thuốc, ta có 10 ảnh với kích thƣớc khác Các ảnh có kích thƣớc khác phù hợp với thực tế hệ thống hoạt động ngƣời dùng chụp ảnh khoảng cách khác Chúng ta chia 10 ảnh thành phần, phần ảnh Mỗi phần để xây dựng tập liệu huấn luyện, phần để xây dựng liệu đánh giá Để đánh giá phƣơng pháp lựa chọn, em tiến hành thực phƣơng pháp theo bƣớc giai đoạn huấn luyện giai đoạn kiểm thử sau: 55 Hình 3.8 Sơ đồ khối chức giai đoạn huấn luyện Hình 3.9 Sơ đồ khối chức giai đoạn kiểm thử Ta tiến hành thử nghiệm, đánh giá phƣơng pháp lựa chọn (Gradient KDES với patch thích nghi [13]) so sánh với phƣơng pháp KDES gốc [5] Với mức độ luận văn thạc sĩ đề tài, chƣơng trình thử nghiệm đƣợc lập trình để đánh giá tập ảnh liệu thử nghiệm nhằm so sánh đánh giá phƣơng pháp đƣợc lựa chọn KDES, chƣa có chƣơng trình hay Demo thử nghiệm ảnh để so sánh với sở liệu Để xử lý liệu kết quả, đề tài luận văn này, em sử dụng Matlab R2016a để xây dựng chƣơng trình kiểm tra đƣa kết giúp cho việc đánh giá phƣơng pháp đƣợc đề xuất 56 Hình 3.10: Một phần mã code chương trình Trong liệu, Chƣơng trình lấy hình ảnh thƣ mục HuanLuyen để trích trọn đặc trƣng theo trình tự: Tính tốn đặc trƣng mức Pixel, tính tốn đặc trƣng mức Patch tính tốn đặc trƣng mức ảnh với phép tính tốn sử dụng cấu trúc Pyramid để tính tốn Ở mức tính tốn đặc trƣng mức pixel, lần tính tốn theo cấu trúc pyramid sử dụng pixel vào tính tốn tƣơng ứng với dịng lệnh: kdes_params.grid = 8; sử dụng kích thƣớc Patch 16: kdes_params.patchsize = 16; kích thƣớc ảnh đầu vào nhỏ 80 lớn 1600 pixel:data_params.minsize = 80; data_params.maxsize = 1600; 57 Hình 3.11: trình Huấn luyện chương trình Hình 3.12: Kết thúc trình huấn luyện 58 Hình 3.13: Tính tốn số vịng lặp so sánh: Với sở liệu HuanLuyen gồm 190 ảnh , số vịng lặp tính tốn 181 Phân tích kết thu đƣợc từ ma trận nhầm lẫn Hình 3.14: Hình ảnh ma trận nhầm lẫn phương pháp KDES cải tiến Toàn kết đƣợc lƣu tại: results/Binh1_GradKDES_10.mat 59 Bảng 3.2: So sánh kết KDES gốc phương pháp lựa chọn (KDES cải tiến) Phƣơng pháp Precision Gradient - KDES gốc Gradient - KDES cải tiến Bảng 3.2 trình bày so sánh kết thử nghiệm phƣơng pháp KDES gốc phƣơng pháp lựa chọn (KDES cải tiến) Ta thấy phƣơng pháp lựa chọn đạt đƣợc độ xác 96% phƣơng pháp KDES gốc đạt đƣợc độ xác 76.3% Phƣơng pháp KDES gốc có độ xác thấp vectơ đặc trƣng bị ảnh hƣởng thay đổi kích thƣớc ảnh Phƣơng pháp KDES cải tiến có véc tơ đặc trƣng bất biến với phép thu phóng ảnh (dẫn đến kích thƣợc ảnh thu đƣợc thay đổi) Đồng thời, số lớp chƣa nhiều (38) phân biệt; Ảnh đƣợc thu nhận điều kiện đơn giản Do đó, phƣơng pháp KDES cải tiến cho độ xác cao tập liệu (96%) Khi số lớp tăng lên điều kiện thu nhận môi trƣờng tự nhiên với phông phức tạp, tƣ đa dạng độ xác giảm cần tiếp tục thử nghiệm, nghiên cứu Hình 3.15: Hình ảnh nhầm lẫn ma trận phương pháp KDES gốc 60 Hình 3.16: Hình ảnh nhầm lẫn ma trân phương pháp KDES Cải tiến KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Những kết đạt đƣợc Trong luận văn này, em tìm hiểu thực tế, phát nhu cầu, nghiên cứu, lựa chọn phƣơng pháp thực nghiệm Cụ thể, em thực nhiệm vụ sau: - Tìm hiểu thực tế phát nhu cầu nghiên cứu phát triển hệ thống tra cứu thuốc thuộc khu bảo tồn thiên nhiên Na Hang - Tuyên Quang - Nghiên cứu khảo sát tổng quan toán phân lớp, tra cứu thực vật sử dụng thơng tin hình ảnh nói riêng Em tìm hiểu số nghiên cứu trogn lĩnh vự thị giác máy tính có liên quan đến đề tài Từ em lựa chọn phƣơng pháp để áp dụng cho toán tra cứu ảnh Phƣơng pháp đƣợc lựa chọn KDES cải tiến - Em bƣớc đầu thực đƣợc việc thu thập liệu hình ảnh nhƣ thơng tin số loài thuộc khu bảo tồn thiên nhiên Na Hang, tỉnh Tuyên Quang Do điều kiện hạn chế tài chính, sở vật chất nhƣ điều 61 kiện di chuyển, em thu thập đƣợc số lƣợng có hạn mẫu ảnh (38 mẫu ảnh có 23 lồi) - Do điều kiện thời gian khuôn khổ Luận văn thạc sỹ, em bƣớc đầu tiến hành thử nghiệm tập liệu nhỏ để bƣớc đầu đánh giá phƣơng pháp lựa chọ Kết thử nghiệm cho kết tốt tập liệu thu thập Hƣớng phát triển Những công việc đề tài bƣớc đầu trình nghiên cứu phát triển hệ thống tra cứu thuộc khu bảo tồn thiên nhiên Na Hang Trong tƣơng lai, để tiếp tục thực hoàn thiện hệ thống , cần thực nhiều nhiệm vụ nghiên cứu phát triển Trong có số nhiệm vụ cần thực nhƣ sau: Tiếp tục thu thập liệu hình ảnh nhƣ thơng tin chi tiết lồi thuộc khu bảo tồn thiên nhiên Na Hang với số lƣợng lớn hơn, điều kiện thu thập phù hợp với ứng dụng thực tế cuối - Thử nghiệm phƣơng pháp lựa chọn treencow sở liệu lớn để đánh giá cải tiến cần.Chúng ta cần khảo sát, so sánh với phƣơng pháp lĩnh vực thị giác máy tính để cập nhật, lựa chọn phƣơng pháp tốt Ví dụ nhƣ phƣơng háp sử dụng Deep learning để Nghiên cứu phát triển phƣơng pháp phân đoạn vùng ảnh tách vùng ảnh quan tâm khỏi ảnh chụp ứng dụng thực tế cuối ngƣời dùng sử dụng điện thoại di động để chụp ảnh thực địa - Nghiên cứu phát triển phƣơng pháp tra cứu thông tin thực vật không dựa vào hình ảnh mà cho phép ngƣời dùng lựa chọn sử dụng phận khác với câu truy vấn mềm dẻo 62 - Tích hợp hệ thống với đầy đủ chức cho phép cập nhật, nâng cấp sở liệu, thông tin cách thuận lợi 60 TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Hải, N.T.C.T.H.T.N.A.T., Đoàn Thị Phƣơng Lý (2015) Một số kết điều tra, nghiên cứu nguồn tài nguyên thuốc đồng bào dân tộc Cao Lan khai thác khu rừng đặc dụng Na Hang, tỉnh Tuyên Quang Tạp chí khoa học Đại học Tân Trào, 107-114.1 [2] A Bhardwaj and M Kaur, “A review on plant recognition and classification,” Int J Eng Trends Technol., 2013 [3] Bhardwaj, A & Kaur, M (2013) A review on plant recognition and classification techniques using leaf images Int J Eng Trends Technol, 86 91 [4] 3, Bo, L & Sminchisescu, C (2009) Efficient Match Kernel between Sets of Features for Visual Recognition NIPS, 19 19, 20, 21, 22, 25 [5] Bo, L., Ren, X & Fox, D (2010) Kernel descriptors for visual recognition In NIPS, 244252 4, 11, 12, 13, 14, 15, 19, 21, 39 [6] A Bhardwaj and M Kaur, “A review on plant recognition and classification,” Int J Eng Trends Technol., 2013 [7] Cerutti, G., Tougne, L., Sacca, C., Joliveau, T., Mazagol, P.O., Coquin, D., Vacavant, A et al (2013) Late information fusion for multimodality plant species identification CLEF Working Notes 10 [8] Guillaume Cerutti, J.M.A.V.D.C., Laure Tougne (2011) Guiding active contours for tree leaf segmentation and identification In Proceedings of the Conference on Multilingual and Multimodal Information Access Evaluation 10, 11 61 [9] Le, T.L., Tran, D.T & Pham, N.H (2014) Kernel descriptor based plant leaf identification 4th International Conference on Image Processing Theory, Tools and Applications 10, 11 [10] Lowe, D.G (1999) Object recognition from local scale- invariant features In ICCV , vol 2, 11501157 vol.2 14, 17 [11] Maji, S., Berg, A.C & Malik, J (2008) Classification using intersection kernel support vector machines is efficient In Computer Vision and Pattern Recognition, 2008 CVPR 2008 IEEE Conference on, 1- 19 [12] Maji, S., Berg, A.C & Malik, J (2013) Efficient classification for additive kernel SVMs IEEE transactions on pattern analysis and machine intelligence, 35, 66-77 19 [13] Nguyen, V., Le, T., Tran, T., Mullot, R & Courboulay, V (2015) A new hand representation based on kernels for hand posture recognition.In 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), vol 1, 1-6 15, 39 [14] Philbin, J., Chum, O., Isard, M., Sivic, J & Zisserman, A (2008) Lost in quantization: Improving particular object retrieval in large scale image databases 2008 IEEE Conference on Computer Vision and Pattern Recognition, 1-8 iv, 24 [15] T.-L Le, N.-D Duong, V.-T Nguyen, and H Vu, “Complex Background Leaf-based Plant Identification Method Based on Interactive Segmentation and Kernel Descriptor,” in 2nd International Workshop on Environmental Multimedia In Conjunction with ACM Conference on Multimedia Retrieval (ICMR) 2015., 2015 62 [16] Vedaldi, A & Zisserman, A (2012) Efficient additive kernels via explicit feature maps IEEE transactions on pattern analysis and machine intelligence, 34, 480-92 19 [17] X.-F W G.-J Z Du J.-X., “Leaf shape based plant species recognition,” Appl Math Comput., pp 883–893, 2007 [18] X.-F Wang, D.-S Huang, J.-X Du, H Xu, and L Heutte, “Classification of plant leaf images with complicated background,” Appl Math Comput., vol 205, no 2, pp 916–926, 2008 ... TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG VŨ THANH BÌNH NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG TRA CỨU CÁC LOÀI THỰC VẬT QUÝ HIẾM TẠI KHU BẢO TỒN THIÊN NHIÊN NA HANG TỈNH TUYÊN QUANG Chuyên ngành:... thiên nhiên Na Hang, tỉnh Tuyên Quang nghiên cứu, áp dụng phƣơng pháp tra cứu tự động dựa thơng tin hình ảnh, với đề tài: ? ?Nghiên cứu phát triển hệ thống tra cứu loài thực vật quý Khu bảo tồn thiên. .. kế thừa số kết nghiên cứu nhận dạng ảnh để áp dụng vào toán tra cứu loài thực vật quý Khu bảo tồn thiên nhiên Na Hang Bài toán tra cứu/ nhận dạng thực vật Tra cứu nhận dạng thực vật trình nhằm