Nghiên cứu và phát triển các phương pháp nhận dạng cây dựa trên nhiều ảnh bộ phận của cây, có tương tác với người sử dụng tt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN THỊ THANH NHÀN NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC PHƯƠNG PHÁP NHẬN DẠNG CÂY DỰA TRÊN NHIỀU ẢNH BỘ PHẬN CỦA CÂY, CÓ TƯƠNG TÁC VỚI NGƯỜI SỬ DỤNG Ngành: Khoa học máy tính Mã số: 9480101 TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội −2020 Cơng trình hồn thành tại: Trường Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: PGS TS Lê Thị Lan PGS TS Hoàng Văn Sâm Phản biện 1: PGS TS Nguyễn Thị Thủy Phản biện 2: PGS TS Trần Quang Bảo Phản biện 3: PGS TS Phạm Văn Cường Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách khoa Hà Nội: Vào hồi giờ, ngày tháng năm Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội Thư viện Quốc gia Việt Nam GIỚI THIỆU Động Thực vật có vai trò quan trọng hệ sinh thái Ngày nay, đa dạng hệ sinh thái nói chung hệ thực vật nói riêng đứng trước nguy bị suy giảm khai thác không hợp lý người Nhiều giải pháp đề xuất nhằm bảo vệ đa dạng sinh học hệ thực vật việc nâng cao hiểu biết người dân đánh giá giải pháp hữu hiệu tên thực vật chìa khóa quan trọng cho phép truy nhập đến thông tin khác Tuy nhiên, số mà người bình thường có khả nhận biết thường thấp so với số lượng có hệ thực vật Sự phát triển phổ dụng thiết bị thu nhận lưu trữ máy ảnh, điện thoại cho phép xây dựng sở liệu hình ảnh lớn lồi hệ thực vật Cùng với đó, tiến kỹ thuật xử lý hình ảnh nhận dạng cho phép thực tiễn hóa ước mơ xây dựng hệ thống nhận dạng tự động Trong năm vừa qua, nghiên cứu nhận dạng dựa hình ảnh nhận quan tâm nhà nghiên cứu liên lĩnh vực: thị giác máy tính, học máy thực vật học Nhiều cải tiến đáng kể chất lượng nhận dạng ghi nhận [4] Một số hệ thống nhận dạng tìm kiếm triển khai thực tế Tuy vậy, nhận dạng chưa sử dụng rộng rãi hai hạn chế Hạn chế thứ số lồi nhận dạng thấp so với số lượng có hệ thực vật Cơ sở liệu hình ảnh lớn LifeCLEF 2017 với 10,000 loài [2]) so với số lượng 400,000 loài tồn trái đất [3]) Hạn chế thứ hai độ xác nhận dạng tự động thấp đặc biệt làm việc liệu đa dạng với số lớp lớn Mục tiêu Luận án NCS hướng đến xây dựng phương pháp hiệu cho phép nâng cao độ xác nhận dạng dựa vào hình ảnh Để đạt mục tiêu này, trước tiên luận án tập trung vào cải thiện độ xác nhận dạng dựa ảnh phận Có nhiều phận dùng để xác định Tuy nhiên, phận khác cây, phận lựa chọn nhiều Các nghiên cứu trước thường dựa giả thuyết chụp đồng Giả thuyết thường không thỏa mãn điều kiện làm việc thực tế, luận án này, tập trung nghiên cứu phát triển phương pháp nhận dạng phức tạp Thứ hai, xuất phát từ quan sát việc sử dụng hình ảnh phận để nhận dạng lúc phù hợp Nhiều dễ bị nhận nhầm sử dụng lại có khả phân biệt cao dựa hoa Nhận dạng dựa nhiều phận mơ hình hóa thành tốn kết hợp muộn: kết nhận dạng dựa nhiều ảnh phận xác định dựa kết nhận dạng đơn phận qua chiến lược kết hợp Do đó, mục tiêu thứ hai luận án đề xuất phương pháp kết hợp hiệu cho toán nhận dạng dựa phận Mục tiêu cuối luận án liên quan đến ứng dụng kết nghiên cứu việc quảng bá thông tin tập loài tương đối đặc thù: thuốc Việt Nam thông qua việc phát triển chức tìm kiếm dựa hình ảnh hệ thống tra cứu thuốc Việt Nam VnMed Các mục tiêu luận án tóm tắt lại sau: ❼ Phát triển phương pháp nhận dạng dựa ảnh với phức tạp; ❼ Đề xuất kỹ thuật kết hợp cho nhận dạng dựa nhiều phận; ❼ Phát triển chức tìm kiếm dựa hình ảnh tích hợp ứng dụng hệ thống tìm kiếm thuốc Việt Nam Các đóng góp Luận án có ba đóng góp sau: ❼ Đóng góp 1: Một phương pháp nhận dạng dựa ảnh có phức tạp đề xuất Phương pháp đề xuất kết hợp đồng thời phân đoạn tương tác mô tả đặc trưng nhân (KDES) cải tiến ❼ Đóng góp 2: Một kỹ thuật kết hợp cho nhận dạng dựa hai phận Kỹ thuật kết hợp tích hợp luật kết hợp nhân kỹ thuật kết hợp dựa phân lớp ❼ Đóng góp 3: Cuối cùng, mơ đun tìm kiếm dựa hình ảnh phát triển tích hợp ứng dụng tìm kiếm thuốc Việt Nam Cấu trúc luận án ❼ Giới thiệu: Phần trình bày động mục tiêu luận án, ngữ cảnh, hạn chế thách thức gặp phải toán nhận dạng Phần cuối phần trình bày sơ đồ làm việc chung đóng góp luận án ❼ Chương 1: Các nghiên cứu liên quan: Chương hệ thống lại nghiên cứu liên quan cách tiếp cận đề xuất cho nhận dạng tự động ❼ Chương 2: Trong chương này, phương pháp cho nhận dạng dựa ảnh phức tạp đề xuất Trong phương pháp đề xuất, để trích chọn vùng từ ảnh, chúng tơi đề xuất áp dụng phân đoạn tương tác Sau đó, đặc trưng nhân KDES cải tiến áp dụng để trích chọn đặc trưng ❼ Chương 3: Chương tập trung vào nhận dạng dựa nhiều phận Chúng đề xuất phương pháp kết hợp cho nhận dạng nhiều phận dựa kết phận ❼ Chương 4: Trong chương này, đề xuất cách tiếp cận để xây dựng hệ thống nhận dạng tự động sở liệu khơng có sẵn ứng dụng cách tiếp cận đề xuất việc xây dựng chức tìm kiếm thuốc Việt Nam dựa hình ảnh ❼ Kết luận: Chương đưa kết luận hướng nghiên cứu CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 1.1 Nhận dạng từ ảnh phận Các nghiên cứu trước thường tập trung nhận dạng dựa ảnh phận Giữa phận phận sử dụng rộng rãi [4] thường tồn thời gian dài, có số lượng lớn, có cấu trúc phẳng nên dễ thu thập so với phận khác Các nghiên cứu thường tập trung nhiều cho ảnh đơn giản tính đơn giản ảnh Sau phận hoa phận phổ biến [5] ảnh hoa dễ phân biệt loài đặc điểm đặc trưng hoa màu sắc, hình dạng, xếp cánh hoa, Các phận khác sử dụng để nhận dạng phận quả, thân, cành, tồn Hiện có hai cách tiếp cận cho toán nhận dạng Đối với cách tiếp cận thứ nhất, phương pháp nhận dạng dựa đặc trưng thiết kế thủ công [4] Các đặc trưng bao gồm đặc trưng tồn cục (đặc trưng màu sắc, kết cấu, hình dạng) đặc trưng phận Các nghiên cứu thường kết hợp hai hay nhiều đặc trưng cho phận khơng có đặc trưng đủ mạnh để phân biệt tất lớp Đối với cách tiếp cận thứ hai áp dụng phương pháp học sâu [2] Mạng nơ ron tích chập (CNN) phương pháp học sâu, gần đạt nhiều thành cơng tốn thị giác máy tính phát đối tượng, phân đoạn, phân lớp ảnh [6] CNN học tự động đặc trưng từ ảnh đầu vào mà khơng phải thực trích chọn thủ cơng Các CNN phổ biến AlexNet, VGG, GoogLeNet ResNet 1.2 Nhận dạng từ ảnh nhiều phận Nhận dạng dựa phận không luôn đạt kết tốt tương tự cao loài khác biệt lớn hình ảnh lồi Một cách thức đề xuất để giải điều thực nhận dạng dựa nhiều phận Hiện nghiên cứu nhận dạng có xu hướng chuyển từ nhận dạng phận sang nhiều phận Nhận dạng dựa ảnh nhiều phận chia thành hai nhóm: Nhóm quan tâm đến loại phận cây, phân loại ảnh đầu vào ảnh hay ảnh hoa , nhóm thứ hai khơng quan tâm ảnh thuộc vào phận [1] Trong nhóm đầu tiên, phận huấn luyện phân lớp riêng biệt Trong nhóm thứ hai, tất ảnh huấn luyện phân lớp Các kỹ thuật kết hợp sử dụng để kết hợp kết lại với thường sử dụng kỹ thuật kết hợp sớm kỹ thuật kết hợp muộn 1.3 Các hệ thống nhận dạng thu thập liệu Hiện có số ứng dụng nhận dạng dựa ảnh triển khai thiết bị di động Pl@ntNet, iNaturalist, iSpot, Leafsnap, FlowerChecker, PlantSnapp, Plantifier, [7, 8] Các ứng dụng thường cung cấp ba chức cho người dùng chức khám phá, nhận dạng thu thập liệu Trong chức nhận dạng chức thu thập liệu hai chức hỗ trợ cho Khi chức nhận dạng đạt độ xác cao, hệ thống thu hút nhiều người dùng sử dụng hệ thống từ thu thập nhiều liệu từ người dùng Sau liệu thu thập sử dụng để huấn luyện cải tiến hệ thống Dữ liệu thu thập nhiều đa dạng giúp giải vấn đề học khớp nhận dạng Điều vai trò quan trọng hệ thống thu thập liệu dựa cộng đồng CHƯƠNG PHƯƠNG PHÁP NHẬN DẠNG LÁ CÂY DỰA TRÊN BỘ MÔ TẢ NHÂN 2.1 Phương pháp nhận dạng dựa ảnh phức tạp Như phân tích chương 1, phận thường sử dụng Tuy nhiên, nghiên cứu thường làm việc ảnh có đơn giản Trong luận án này, phương pháp nhận dạng dựa ảnh phức tạp đề xuất (xem Hình 2.1) Phương pháp bao gồm mơ đun tiền xử lý ảnh, trích chọn đặc trưng phân lớp Ở mô đun phân lớp áp dụng phân lớp máy véc tơ hỗ trợ (SVM) Hình 2.1 Sơ đồ phương pháp đề xuất nhận dạng dựa ảnh phức tạp 2.2 Phân đoạn tương tác Khi làm việc với phức tạp, bước xử lý cần phải làm tách khỏi Trong phương pháp đề xuất, áp dụng phương pháp phân đoạn tương tác Ngoài ra, để đánh giá hiệu phương pháp phân đoạn tương tác, so sánh hiệu phương pháp với phương pháp phân đoạn tự động với phương pháp không thực phân đoạn Ý tưởng phân đoạn tương tác dựa dẫn người dùng để thực phân đoạn Phương pháp thực qua bước (Hình 2.2) Ở bước 1, người dùng đánh dấu thủ công vùng thuộc vào đối tượng (inner marker) vùng đối tượng (outer marker) cách vẽ đường thuộc vào vùng Trong bước 2, thuật toán Watershed [9] dùng để phân đoạn ảnh Sau bước 3, người dùng lựa chọn vùng chứa quan tâm Cuối cùng, bước 4, vùng chứa chuẩn hóa hướng Hình 2.2 Sơ đồ phân đoạn tương tác đề xuất 2.3 Trích chọn đặc trưng Trong luận án này, mô tả nhân (KDES) đề xuất sử dụng để trích chọn đặc trưng cho KDES đề xuất Liefeng Bo [10] sử dụng đặc trưng điểm ảnh (gradient, màu sắc hình dạng) đặc trưng mức vùng thơng qua Hình 2.5 Một ví dụ vùng kích thước cố định KDES gốc vùng kích thước thay đổi phương pháp KDES cải tiến (a,b) hai ảnh với kích thước khác phân chia sử dụng vùng kích thước cố định; (b,c): hai ảnh với kích thước khác phân chia sử dụng vùng kích thước thay đổi việc đối sánh nhân KDES gốc sử dụng cho phát đối tượng đạt kết ấn tượng sở liệu tiêu chuẩn CIFAR-10, Caltech-101, ImageNet KDES gốc có hai hạn chế khơng bất biến với phép tỷ lệ nhạy cảm với phép quay Trong nghiên cứu [11], Nguyễn Văn Tới công đề xuất ba cải tiến KDES gốc cho nhận dạng cử tay, gọi KDES cải tiến Trong công việc này, đề xuất sử dụng KDES cải tiến cho việc trích chọn đặc trưng ảnh KDES cải tiến trích chọn thơng qua ba bước: trích chọn đặc trưng mức điểm, mức vùng mức ảnh a) Trích chọn đặc trưng mức điểm Ở bước này, véc tơ gradient tính điểm ảnh Véc tơ gradient điểm z định nghĩa độ lớn m(z) θ(z) góc véc tơ gradient ˜ điểm z Theo [10], hướng θ(z) định nghĩa sau: ˜ = [sin(θ(z))cos(θ(z))] θ(z) (2.8) b) Trích chọn đặc trưng mức vùng Tạo vùng ảnh với kích thước thích nghi Trong phần này, chúng tơi sử dụng vùng ảnh có kích thước thay đổi thay sử dụng kích thước cố định để nhận số vùng theo chiều ngang chiều dọc kích thước ảnh thay đổi Hình 2.5 miêu tả ví dụ vùng kích thước cố định KDES gốc vùng kích thước thay đổi phương pháp KDES cải tiến Tính đặc trưng mức vùng Hình 2.7 Cấu trúc đặc trưng mức ảnh kết nối véc tơ đặc trưng ô lớp cấu trúc kim tự tháp Các đặc trưng mức vùng tính dựa ý tưởng phương pháp nhân (kernel method) Xuất phát từ việc đối sánh nhân biểu diễn tương tự hai vùng, chúng tơi trích chọn véc tơ đặc trưng cho vùng sử dụng xấp xỉ đồ đặc trưng mức vùng cho hàm đối sánh nhân Đặc trưng xấp xỉ qua vùng ảnh P cấu trúc sau [11]: m(z)φ ˜ ω (z)) ⊗ φp (z) (2.17) F gradient (P ) = o (˜ z∈P m(z) ˜ véc tơ gradient chuẩn hóa, φo (˜ ω (z)) φp (z) đồ đặc trưng xấp xỉ cho nhân hướng (orientation kernel) nhân vị trí (position kernel) tương ứng, ⊗ tích Kronecker c) Trích chọn đặc trưng mức ảnh Khi đặc trưng mức vùng tính cho vùng, cơng việc lại tính véc tơ đặc trưng biểu diễn cho tồn ảnh Để làm điều này, chúng tơi phân chia ảnh thành vùng nhỏ Số vùng chia ảnh theo cấu trúc kim tự tháp, mức k chúng tơi có 2k−1 vùng theo chiều ngang 2k−1 vùng theo chiều dọc (Hình 2.7) Sau chúng tơi tính véc tơ đặc trưng cho vùng ảnh nối chúng vào véc tơ gọi véc tơ đặc trưng mức ảnh biểu diễn Véc tơ đầu vào phân lớp SVM cho pha huấn luyện kiểm thử φ¯P (X) = w(1) φ¯S (X (1,1) ); ; w(l) φ¯S (X (l,t) ); ; w(L) φ¯S (X (L,nL ) ) (2.20) Trong w(l) trọng số kết hợp mức l, φ¯S (X (l,t) ) giá trị trung bình đặc trưng mức vùng ô thứ t mức l 2.4 Các kết thực nghiệm 2.4.1 Các sở liệu Để thử nghiệm phương pháp đề xuất, sử dụng ba sở liệu: Cơ sở liệu ImageCLEF 2013: bao gồm 5,540 ảnh huấn luyện 1,660 ảnh kiểm thử 80 loài trích từ sở liệu ImageCLEF 2013 Cơ sở liệu Flavia: bao gồm 1,907 ảnh đơn giản 32 loài Cơ sở liệu LifeCLEF 2015: Bảng 2.1 chi tiết sở liệu Bảng 2.1 Cơ sở liệu lá/lá đơn giản LifeCLEF 2015 Leaf 13,367 2,690 899 Training Testing Number of species 2.4.2 Leafscan 12,605 221 351 Các kết thực nghiệm Các kết sở liệu ImageCLEF 2013 Các kết Bảng 2.2 cho thấy tập liệu, KDES cải tiến cho kết tốt KDES gốc Với đặc trưng KDES, phân đoạn tương tác cho kết nhận dạng tốt so với phân đoạn tự động không phân đoạn Cuối cùng, phương pháp đề xuất kết hợp đồng thời KDES cải tiến liệu phân đoạn tương tác kết đạt tốt với độ xác 71.5% Bảng 2.2 Độ xác thu thực nghiệm sở liệu ImageCLEF2013 Phương pháp Độ xác (%) KDES cải tiến với phân đoạn tương tác 71.5 KDES gốc với phân đoạn tương tác 63.4 KDES cải tiến với liệu gốc 43.68 KDES gốc với liệu gốc 43.25 KDES cải tiến với phân đoạn tự động 42.3 KDES gốc với phân đoạn tự động 35.5 Các kết sở liệu Flavia Phương pháp đề xuất thực sở liệu Flavia đạt độ xác 99.06% Chúng so sánh phương pháp đề xuất với phương pháp khác sở liệu Flavia Các kết cho Bảng 2.4 cho thấy phương pháp đề xuất cao phương pháp dựa đặc trưng thiết kế trước Độ xác cải thiện từ 0.36 đến 6.86% so với kết khác Các kết sở liệu LifeCLEF 2015 Kỹ thuật kết hợp dựa biến đổi: bao gồm luật sau: Khi áp dụng luật này, ảnh câu truy vấn q dự đoán vào lớp c định nghĩa sau: Luật lớn (Max rule): c = arg max max si (Ik ) k=1 N i (3.1) Luật tổng (Sum rule): N c = arg max i si (Ik ) (3.2) si (Ik ) (3.3) k=1 Luật nhân (Product rule): N c = arg max i k=1 Các phương pháp kết hợp dựa biến đổi luôn đạt kết tốt Tuy nhiên phương pháp đơn giản khơng u cầu q trình huấn luyện, hầu hết phương pháp nhận dạng dựa nhiều phận sử dụng phương pháp Kỹ thuật kết hợp dựa phân lớp (CBF) Ý tưởng kỹ thuật kết hợp dựa phân lớp nhiều độ tin cậy đưa vào véc tơ đặc trưng sử dụng phân lớp để phân tách lớp dựa không gian véc tơ đặc trưng thu Chúng áp dụng ý tưởng cho nhận dạng từ ảnh hai phận Trong đó, máy véc tơ hỗ trợ (SVM) sử dụng phân lớp mạnh CBF tiến hành sau: Với ảnh, cho qua phân lớp tương ứng, thu danh sách C độ tin cậy tương ứng cho C lớp Với cặp ảnh, C cặp độ tin cậy tương ứng cho C lớp tạo bao gồm mẫu dương vị trí lớp C − mẫu âm lại Các mẫu dương mẫu âm mơ tả hình 3.3 Sau phân lớp SVM sử dụng để huấn luyện mẫu Trong pha kiểm thử, cho câu truy vấn q, phương pháp CBF trả kết hai xác suất dự báo cho loài thứ i: cho lớp dương ký hiệu Ppos (i, q) cho lớp âm ký hiệu Pneg (i, q) Danh sách loài xếp hạng si (q), si (q) độ tin cậy 11 Hình 3.3 Giải thích mẫu âm mẫu dương loài thứ i thu cho câu truy vấn q thuộc lớp dương: si (q) = Ppos (i, q) (3.4) Lớp c lớp dự báo xác định sau, ≤ i ≤ C c = arg max si (q) (3.5) i Kỹ thuật kết hợp lai bền vững (RHF) Kỹ thuật kết hợp dựa phân lớp làm phân bố đặc điểm lồi tất mẫu dương mẫu âm tất loài huấn luyện Do để phát huy phân bố đặc điểm lồi, chúng tơi xây dựng lồi mơ hình SVM dựa mẫu dương mẫu âm loài Với câu truy vấn q, thu C mẫu âm/dương tương ứng cho C lớp Mỗi mẫu tương ứng cho lớp i cho qua phân lớp SVM cho lớp i thu xác suất tương ứng si (q) Sau chúng tơi thực nhân giá trị si (q) với giá trị mẫu xét Mơ hình lai đề xuất tiến hành sau: c = arg max si (q) i si (Ik ) (3.6) k=1 Mơ hình tích hợp luật nhân kỹ thuật kết hợp dựa phân lớp Chúng mong đợi xác suất câu truy vấn q vào lớp dương ảnh hưởng đến 12 kết kết hợp Nếu xác suất câu truy vấn q vào lớp dương cao xác suất câu truy vấn q thuộc vào lớp thứ i cao 3.3 Lựa chọn mơ hình phân lớp cho nhận dạng đơn phận Để nhận dạng dựa nhiều phận đạt kết cao, việc sử dụng kỹ thuật kết hợp hiệu quả, nhân tố quan trọng góp phần để nâng cao kết kết nhận dạng phận phải đạt kết cao Với thành cơng mạng CNN cho tốn nhận dạng đối tượng năm gần đây, phần triển khai số mạng phổ biến AlexNet[19], ResNet[20] GoogLeNet [21] cho nhận dạng phận Chúng đề xuất hai chiến lược nhận dạng đơn phận miêu tả Hình 3.10: (1) Trong chiến lược thứ nhất, mạng CNN huấn luyện cho phận; (2) Với chiến lược thứ hai, mạng CNN huấn luyện cho tất ảnh phận Chiến lược thứ cho phép kết hợp tường minh cho phận chiến lược thứ hai không yêu cầu biết phận thực tính tốn có mạng CNN Hình 3.10 Hai chiến lược nhận dạng dựa phận Khi thực huấn luyện, sử dụng trọng số tiền huấn luyện sở liệu ImageNet tinh chỉnh mạng với sở liệu thử nghiệm 3.4 Các kết thực nghiệm Để triển khai thực nghiệm, cài đặt cấu hình máy GHzCPU 2.20, RAM 16 GB, GPU GeForce GTX 1080 Ti với Tensorflow tối ưu mơ hình cho nhận dạng với việc tối ưu tham số sử dụng AlexNet , ResNet GoogLeNet 3.4.1 Cơ sở liệu Chúng trích xuất từ LifeCLEF 2015, 50 lồi có đầy đủ ảnh phận Ngoài với mong muốn tăng số lượng ảnh cho sở liệu ảnh thu thập thêm từ Internet Cơ sở liệu hiển thị Bảng 3.2 Dữ liệu chia 13 thành phần: CNN training liệu huấn luyện mạng CNN cho nhận dạng phận; SVM input sử dụng làm tập liệu huấn luyện cho phân lớp SVM; testing sử dụng để đánh giá hiệu suất phương pháp kết hợp trình bày Bảng 3.2 Cơ sở liệu thu thập 50 loài với phận Flower Leaf Entire Branch Total CNN Training 1650 1930 825 1388 5793 SVM Input 986 1164 495 833 3478 Testing 673 776 341 553 2343 Tổng 3309 3870 1661 2774 11614 Số loài = 50 3.4.2 Các kết thử nghiệm Kết nhận dạng đơn phận Các kết thu cho hai chiến lược đề xuất hiển thị Bảng 3.3 Chúng quan sát thấy GoogLeNet thu kết tốt so với AlexNet, ResNet hai phương pháp cho hầu hết phận ngoại trừ ảnh toàn chiến lược Một điểm thú vị chiến lược phù hợp với phận hoa chiến lược lựa chọn tốt cho phận khác cành ảnh toàn Điểm thuận lợi chiến lược cho nhận dạng đơn phận không yêu cầu biết loại phận Các kết hoa phận cho kết tốt nhất, ảnh toàn cho kết thấp Bảng 3.3 Độ xác nhận dạng dựa phận với hai chiến lược: (1) Một mạng cho phận; (2) Một mạng cho tất phận Bộ phận Leaf (Le) Flower (Fl) Branch (Br) Entire (En) AlexNet Chiến lược 66.2 73.0 43.2 32.4 Chiến lược 63.8 72.2 47.4 33.8 ResNet Chiến lược 73.4 75.6 48.6 32.4 Chiến lược 70.6 75.4 54.6 39.0 GoogLeNet Chiến lược 75.0 82.2 53.2 36.4 Chiến lược 76.6 78.4 54.8 35.2 Đánh giá chiến lược kết hợp đề xuất RHF Bảng 3.4, Bảng 3.5 Bảng 3.6 cho thấy kết đạt kết hợp cặp phận Các kết kết kết hợp hai phận cao kết phận tương ứng Trong trường hợp áp dụng chiến lược cho nhận dạng đơn phận, mạng AlexNet, kết tốt cho phận 73.0 % cho phận hoa, cách áp dụng phương pháp RHF đề xuất, độ xác kết hợp hoa tăng đáng kể 16.8 % lên 89.8 % Khi áp dụng ResNet, kết hợp hoa (Le-Fl) tăng lên 17 % so với phận 13.6% áp dụng mạng GoogLeNet Không cặp hoa mà tất sáu cặp phận kết hợp, phương pháp đề xuất RHF đạt kết cao 14 Bảng 3.4 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng AlexNet Độ xác (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Chiến Max rule 66.2 88.6 73.8 92.6 81.6 96.8 70.2 89.6 74.2 90.8 51.6 76.8 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 67.2 75.6 74.0 76.6 88.8 93.2 81.8 94.6 74.4 78.8 77.2 81.2 92.8 94.2 84.2 94.4 82.0 88.6 86.2 89.8 96.8 98.2 90.4 98.4 71.0 76.8 73.8 78.4 90.0 93.4 79.6 93.8 75.4 80.8 79.0 81.4 91.4 95.2 83.0 95.4 52.2 58.0 58.0 58.6 77.6 83.6 81.4 83.8 Chiến Max rule 66.8 88.4 73.84 88.8 78.8 95.6 66.4 92.0 70.2 90.4 52.4 78.2 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 67.2 77.4 71.4 78.6 88.2 93.6 80.2 94.4 73.6 78.8 76.24 80.4 89.2 94.8 83.6 95.6 81.2 89.6 83.2 89.6 96.0 99.2 88.8 99.2 68.2 78.2 73.6 78.2 93.0 95.6 81.6 96.0 70.6 80.6 76.6 81.4 90.6 95.4 84.6 95.6 52.8 60.6 60.6 61.6 78.6 83.6 83.4 84.9 Bảng 3.5 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng ResNet Độ xác (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Chiến Max rule 70.4 91.8 73.8 93.2 90.0 98.0 77.8 91.8 80.0 93.6 52.4 82.0 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 72.2 75.2 73.2 78.0 92.6 92.8 90.6 93.2 75.4 80.0 76.4 83.2 93.6 95.0 89.2 95.4 91.4 92.4 91.4 92.6 98.8 99.0 96.0 99.2 79.2 82.0 79.4 83.2 92.2 94.0 90.4 94.6 81.0 84.4 82.0 86.4 94.4 97.6 91.4 97.8 54.4 62.2 55.0 60.6 83.4 86.6 80.4 87.4 Chiến Max rule 73.6 94.2 74.6 94.4 85.8 98.4 79.8 94.4 78.8 95.6 60.4 84.8 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 75.4 80.8 73.2 80.8 94.4 94.8 90.6 95.2 76.0 80.2 76.4 83.2 95.0 95.8 89.2 95.2 87.6 89.2 91.4 92.6 98.4 99.0 96.0 99.2 81.4 83.6 79.4 83.2 94.4 96.4 90.4 94.6 80.4 85.6 81.0 86.0 96.0 96.2 91.4 97.6 66.2 69.0 55.0 69.0 85.6 89.6 80.4 87.6 Bảng 3.6 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng GoogLeNet Accuracy (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Chiến Max rule 74.6 94.0 79.2 95.8 91.4 99.6 79.8 94.4 85.0 97.0 58.0 81.4 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 75.0 79.2 79.4 80.6 93.8 93.6 84.0 94.4 79.8 83.4 83.8 84.2 96.0 97.0 89.2 96.8 92.0 95.4 93.8 95.8 99.6 99.6 96.0 99.8 81.0 84.6 80.2 84.6 94.6 97.4 84.8 97.4 86.0 90.2 87.2 91.6 97.4 99.2 90.2 99.0 58.8 61.8 60.2 64.2 81.8 86.8 70.4 87.0 Chiến Max rule 77.8 91.4 77.6 93.6 90.6 98.6 81.2 96.8 80.0 96.0 57.8 82.2 lược cho nhận dạng đơn phận Sum Product CBF RHF rule rule 78.0 79.4 81.2 82.0 91.4 96.2 85.6 95.8 78.0 81.0 80.2 81.0 93.8 95.8 84.4 96.2 90.2 92.6 91.8 92.8 98.8 99.0 93.8 99.0 81.8 85.6 81.6 86.6 96.8 96.8 86.0 97.0 80.4 86.8 83.2 87.2 96.0 97.6 86.8 97.0 58.4 65.6 59.2 66.4 82.0 87.0 68.4 87.0 So sánh phương pháp đề xuất với phương pháp MCDCNN[22] Để cho thấy hiệu kỹ thuật kết hợp đề xuất, so sánh phương pháp RHF với MCDCNN[22] Các kết đạt sở liệu cho 15 Bảng 3.7 So sánh phương pháp đề xuất với MCDCNN [22] Accuracy (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Chiến lược cho nhận dạng đơn phận RHF RHF RHF (AlexNet) (ResNet) (GoogLeNet) 76.6 78.0 80.6 94.6 93.2 94.4 81.2 83.2 84.2 94.4 95.4 96.8 89.8 92.6 95.8 98.4 99.2 99.8 78.4 83.2 84.6 93.8 94.6 97.4 81.4 86.4 91.6 95.4 97.8 99.0 58.6 60.6 64.2 83.8 87.4 87.0 Chiến lược cho nhận dạng đơn phận RHF RHF RHF (AlexNet) (ResNet) (GoogLeNet) 78.6 80.8 82.0 94.4 95.2 95.8 80.4 83.2 81.0 95.6 95.2 96.2 89.6 92.6 92.8 99.2 99.2 99.0 78.2 83.2 86.6 96.0 94.6 97.0 81.4 86.0 87.2 95.6 97.6 97.0 61.6 69.0 66.4 84.0 87.6 87.0 MCDCNN [22] 70.0 91.0 75.6 94.2 86.6 98.4 72.2 93.0 76.8 93.0 55.2 80.6 Bảng 3.7 cho thấy phương pháp đề xuất vượt trội MCDCNN tất cặp phận kết hợp Sự cải thiện lên tới 14.4 % cho kết hợp cành 3.5 Kết luận Chương đề xuất phương pháp kết hợp muộn RHF cho toán nhận dạng dựa hai phận Đối với nhận dạng đơn phận, áp dụng số mạng CNN tiêu biểu Kỹ thuật đề xuất RHF cho kết tốt so với kỹ thuật kết hợp khác với độ xác tăng từ 3.2% đến 14.8% hạng CHƯƠNG CÁCH TIẾP CẬN ĐỀ XUẤT CHO NHẬN DẠNG CÂY TỰ ĐỘNG KHƠNG CĨ SẴN DỮ LIỆU VÀ ÁP DỤNG CHO HỆ THỐNG TÌM KIẾM DỰA TRÊN HÌNH ẢNH 4.1 Cách tiếp cận đề xuất cho hệ thống nhận dạng tự động khơng có sẵn liệu Mặc dù có nhiều đề xuất kết đáng ghi nhận cho toán nhận dạng Tuy nhiên, nghiên cứu trước thường dựa giả thuyết sở liệu có sẵn Trong chương đề xuất cách tiếp cận cho phép xây dựng hệ thống nhận dạng với liệu khơng có sẵn Ý tưởng tiếp cận lồi có phân bố khác trái đất, nhiên loài thường chia sẻ đặc điểm chung: có phận lá, hoa Xuất phát từ quan sát này, xây dựng phát tự động phận dựa sở liệu có từ trước Bộ phát tự động xem bước lọc để xử lý tự động liệu thu thập từ nguồn với tham gia nhiều người dùng (crowdsourcing) Cách tiếp cận đề xuất bao gồm bước biểu diễn 16 Hình 4.3 Hình 4.3 Sơ đồ đề xuất cho xây dựng hệ thống nhận dạng tự động khơng có sẵn sở liệu ❼ Thu thập liệu cây: Bước thu thập liệu từ nhiều nguồn khác ❼ Phát phận Chúng đề xuất xây dựng phát phận (lá, hoa, quả, thân, cành, cây) dựa liệu LifeCLEF 2015 sử dụng làm lọc liệu tự động để đánh giá liệu ❼ Đánh giá liệu: Mục đích bước loại bỏ hình ảnh khơng phải ❼ Nhận dạng cây: Chúng áp dụng kỹ thuật nhận dạng dựa phận nhiều phận Trong mục sau, chúng tơi tập trung trình bày phát phận ứng dụng cách tiếp cận đề xuất việc xây dựng chức tìm kiếm theo hình ảnh hệ thống tra cứu thuốc Việt Nam VnMed 4.2 Phát phận Phát phận tự động nhằm xác định phận có mặt hình ảnh cho trước Chúng đề xuất áp dụng mạng GoogLeNet kỹ thuật học chuyển giao để xây dựng phát phận Để huấn luyện đánh giá mạng đề xuất, lấy sở liệu LifeCLEF 2015 liệu thu thập từ Internet phận LifeCLEF 2015 (bao gồm + đơn giản), hoa, quả, thân, cành (bao gồm cành + tồn bộ) Với mục 17 đích phân loại ảnh đầu vào hay cây, cần tạo lớp chứa ảnh Với ảnh thu thập từ Internet Thực nghiệm: Các tham số mạng tinh chỉnh sau: kích thước bó: 32, tốc độ học khởi tạo: 0.001, momentum: 0.9 Bảng 4.4 trình bày kết tương ứng với hai chiến lược khởi tạo trọng số Kết cho thấy việc sử dụng trọng số tiền huấn luyện sở liệu lớn ImageNet cho phép đạt cải thiện +5.08 % hạng +2.54 % hạng so với trường hợp sử dụng trọng số khởi tạo ngẫu nhiên Độ xác phương pháp đề xuất hạng hạng tương ứng 87.18 % 97.46 % Kết hứa hẹn hình ảnh chủ yếu có phức tạp Điều chứng tỏ phương pháp học sâu có khả học tốt với hình ảnh tự nhiên Bảng 4.4 Kết phát phận tự động với số khởi tạo khác Bộ trọng số khởi tạo Thứ hạng (%) Khởi tạo ngẫu nhiên 82.10 Tiền huấn luyện ImageNet 87.18 4.3 hai trọng Thứ hạng (%) 94.92 97.46 Phát triển hệ thống tra cứu thuốc Việt Nam (VnMed) Hệ thống tra cứu thuốc Việt Nam (VnMed) phát triển Viện MICA, Trường đại học Bách Khoa Hà Nội cho phép tìm kiếm thơng tin 600 thuốc thường sử dụng Việt Nam dựa từ khóa mơ tả sinh học Việc phát triển chức tìm kiếm dựa hình ảnh quan trọng nhiên việc khó thực khó khăn việc thu thập hình ảnh thuốc Trong nghiên cứu này, đề xuất áp dụng cách tiếp cận việc phát triển chức tìm kiếm thuốc dựa hình ảnh Để đánh giá khả thi vai trò bước cách tiếp cận đề xuất, thu thập liệu 100 thuốc Việt Nam theo phương pháp: thủ công, dựa cộng đồng Chúng tổ chức ảnh thu thập thành sở liệu sau: ❼ VnDataset1 chứa ảnh thu theo phương pháp thủ công; ❼ VnDataset2 chứa ảnh VnDataset1 ảnh thu thập theo phương pháp dựa cộng đồng Trong sở liệu này, số ảnh cho lồi biến đổi từ 57 tới 379 Trung bình lồi có 206 ảnh VnDataset2 chứa nhiễu (như ảnh khơng phải cây) q trình thu thập ảnh tự động internet ❼ VnDataset3 chứa ảnh lại VnDataset2 sau áp dụng phát phận xây dựng phần trước để loại bỏ ảnh không hợp lệ 18 ❼ VnDataset4 chứa ảnh VnDataset3 sau loại bỏ thủ công ảnh không hợp lệ VnDataset3; Các sở liệu huấn luyện trình bày chi tiết Bảng 4.8 Chúng tiến hành tập đánh giá evaluation evaluation Tập evaluation chứa 972 ảnh tự chụp evaluation gồm 3,163 ảnh ảnh tập evaluation ảnh thu thập dựa cộng đồng Bảng 4.8 Bốn sở liệu thuốc Việt Nam VnDataset1 VnDataset2 VnDataset3 VnDataset4 Tập huấn luyện 3,901 16,513 15,652 15,150 Chúng xây dựng nhận dạng thuốc cách áp dụng mạng GoogLeNet dựa việc sử dụng trọng số tiền huấn luyện ImageNet sử dụng tham số huấn luyện sau: tốc độ học bản: 0.001, kích thước lơ: 32 Bốn mơ hình huấn luyện tạo cho bốn sở liệu tương ứng (ký hiệu mơ hình Mi ) Aij độ xác mơ hình Mi tập kiểm thử j Các kết hiển thị Bảng 4.9 Bảng 4.9 Các kết nhận dạng thuốc Việt nam Tập kiểm thử từ Độ xác (%) M1 M2 M3 rank 81.58 76.03 78.70 evaluation1 rank 90.64 88.48 83.54 rank 33.27 65.00 75.77 rank 29.62 56.50 57.73 evaluation2 rank 34.62 66.42 67.31 M4 79.63 84.77 66.45 58.46 79.48 Dữ liệu huấn luyện đóng vai trò quan trọng hiệu mạng Dữ liệu huấn luyện khơng đồng nhất, mơ hình mạnh mẽ Trong số mơ hình, M1 vượt trội so với mơ hình khác tập evaluation1 (độ xác hạng 81.58 %) Tuy nhiên, thử nghiệm với ảnh tập evaluation 2, hiệu mơ hình giảm đáng kể Các mơ hình khác thu kết tương đối thấp mơ hình M1 tập evaluation Tuy nhiên, mơ hình đạt độ xác cao làm việc với ảnh evaluation Mơ hình M1 khơng thích hợp với liệu thu thập từ cộng đồng Giữa mơ hình M2 , M3 M4 , kết đạt hai tập đánh giá xếp hạng từ cao xuống thấp M4 , M3 M2 Điều vai trò quan trọng việc xác thực liệu Phương pháp đề xuất xác thực liệu tự động dựa phát phận cho phép loai bỏ đáng kể ảnh không hợp lệ Tại thời điểm viết luận án này, dựa phương pháp đề xuất, sở liệu chứa 75,405 hình ảnh 596 thuốc Việt Nam thu thập Bộ nhận dạng cho kết nhận dạng thứ hạng 66.61 % thứ hạng 10 87.52 % sở liệu Bộ nhận dạng tích hợp để xây dựng chức tìm kiếm dựa hình ảnh trong ứng dụng tra cứu thuốc Việt Nam VnMed 19 4.4 Kết luận Trong chương này, cách tiếp cận cho tốn nhận dạng khơng có sẵn sở liệu đề xuất Bước quan trọng phương pháp đánh giá liệu với mơ hình phát phận đề xuất Chúng đánh giá phương pháp đề xuất cho việc xây dựng chức tìm kiếm dựa hình ảnh VnMed Kết quả, sở liệu 596 loài thuốc Việt Nam thu thập gán nhãn cẩn thận với trợ giúp nhà thực vật học Hơn mơ hình huấn luyện nhận dạng sở liệu tích hợp ứng dụng VnMed KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết luận Luận án có ba đóng góp: (1) đề xuất phương pháp nhận dạng dựa ảnh phức tạp, (2) phương pháp kết hợp cho nhận dạng dựa hai phận (có tên RHF), (3) sơ đồ cho nhận dạng tự động khơng có sẵn nguồn liệu áp dụng sơ đồ cho hệ thống tìm kiếm thuốc Việt Nam Đối với nhận dạng dựa ảnh phức tạp, đề xuất phương pháp kết hợp phân đoạn có tương tác KDES cải tiến Để đánh giá hiệu phương pháp đề xuất, tiến hành thực nghiệm sở liệu khác Các kết thu việc kết hợp phân đoạn tương tác KDES cải tiến phương pháp đề xuất vượt trội KDES gốc phương pháp dựa việc trích chọn đặc trưng thủ công tốt hai liệu ImageCLEF 2013 Flavia Khi làm việc với liệu lớn đa dạng LifeCLEF 2015, kết thu cạnh tranh với phương pháp dựa kỹ thuật học sâu tiên tiến Chúng đề xuất kỹ thuật kết hợp RHF cho nhận dạng dựa nhiều phận cho phép kết hợp kết nhận dạng đơn phận Đối với nhận dạng dựa đơn phận đề xuất hai chiến lược: chiến lược áp dụng mạng CNN cho phận, chiến lược áp dụng mạng CNN cho tất phận, với ba mạng sở AlexNet, ResNet GoogLeNet Các kết đạt phương pháp đề xuất vượt trội so với phương pháp kết hợp kỹ thuật dựa biến đổi kỹ thuật dựa phân lớp Phương pháp đề xuất vượt trội so với phương pháp kết hợp MCDCNN tập LifeCLEF 2015 với 50 loài Các kết việc kết hợp hai phận cho phép cải thiện độ xác việc sử dụng phận Giữa cách kết hợp phận khác nhau, kết hợp phận hoa cho kết tốt Khi áp dụng phương pháp cho nhận dạng phận, mạng AlexNet, kết tốt cho nhận dạng phận phận hoa đạt độ xác 73.0%, áp dụng phương pháp kết 20 hợp đề xuất RHF, kết độ xác phận hoa tăng lên 16.8% Khi triển khai hệ thống nhận dạng thực tế, vấn đề gặp phải thiếu sở liệu hình ảnh Trong luận án này, giới thiệu cách tiếp cận cho nhận dạng khơng có sẵn nguồn liệu bao gồm bước chính: thu thập liệu, phát tự động phận cây, lọc liệu nhận dạng Bước quan trọng phương pháp đề xuất lọc liệu với trợ giúp phận phát phận đề xuất Chúng áp dụng phương pháp đề xuất cho chức tìm kiếm dựa hình ảnh ứng dụng VnMed Các thực nghiệm sở liệu 100 thuốc Việt Nam vai trò việc lọc liệu từ nhiều nguồn khác quan trọng, giúp cho mơ hình huấn luyện liệu trở nên bền vững Dựa cách tiếp cận đề xuất, sở liệu ảnh bao gồm 75,405 ảnh 596 thuốc Việt Nam xây dựng Chức tìm kiếm thuốc dựa mơ hình huấn luyện sở liệu thu thập tích hợp ứng dụng VnMed Hướng phát triển Trong luận án này, đề xuất vài cải tiến cho nhận dạng Tuy nhiên cải tiến phần nhỏ trình phát triển hệ thống nhận dạng tự động môi trường thực Trong tương lai, muốn tiếp tục thực số công việc nghiên cứu dựa kết luận án Trong phần này, chúng tơi tóm tắt cơng việc chúng tơi muốn làm tương lai chia thành nhóm: ngắn hạn dài hạn ❼ Hướng phát triển ngắn hạn: – Đánh giá phương pháp đề xuất cho nhận dạng nhiều phận: Trong luận án này, thực phương pháp đề xuất RHF cho nhận dạng dựa hai phận Về mặt lý thuyết, phương pháp đề xuất áp dụng cho nhận dạng nhiều phận Do thời gian tới, mở rộng đề xuất cho nhận dạng dựa nhiều phận – Triển khai mơ đun tìm kiếm cho VnMed: Trong triển khai tại, chức tìm kiếm dựa hình ảnh lấy hình ảnh câu truy vấn Chúng tơi muốn triển khai truy tìm ảnh dựa hai phận giai đoạn sau triển khai cho nhiều phận ứng dụng Để thực mục đích này, giao diện cho phép lựa chọn vài ảnh phương pháp kết hợp cần thiết kế cài đặt ❼ Hướng phát triển dài hạn: Mặc dù có nhiều cải tiến độ xác tốn nhận dạng độ xác thấp đặc biệt làm việc với sở liệu khơng 21 đồng có số lượng lồi lớn Ví dụ, độ xác hạng sở liệu 596 loài thuốc Việt Nam 66.61% Do đó, cải tiến theo cách sau: – Làm giàu sở liệu thông qua việc sử dụng hệ thống người sử dụng cuối: Chúng thu thập ảnh từ người dùng hệ thống, ảnh đánh giá hệ thống đề xuất gán nhãn hệ thống nhận dạng tự động, sau xác thực chuyên gia Những ảnh sử dụng để làm giàu liệu huấn luyện Các kết thực nghiệm trước chúng tơi độ xác phương pháp đề xuất cải tiến sở liệu huấn luyện làm giàu – Thiết kế kiến trúc mạng CNN/hàm mát phù hợp cho toán nhận dạng cây: Một phần luận án kỹ thuật kết hợp, với nhận dạng phận, đơn giản áp dụng chiến lược học chuyển giao mạng CNN sẵn có Trong tương lai xem xét thiết kế kiến trúc mạng CNN với hàm mát phù cho toán nhận dạng – Phát triển hệ thống nhận dạng dựa đa phương thức: Hình ảnh thông tin quan trọng để nhận dạng Tuy nhiên việc sử dụng hình ảnh cho nhận dạng nhiều trường hợp không đầy đủ Bên cạnh hình ảnh, chuyên gia nhà thực vật học xem xét yếu tố khác (như mùi hương, độ sần sùi, ) Trong tương lai, nghiên cứu phát triển nhận dạng dựa đa phương thức Thứ hai, mở rộng công việc nghiên cứu cho loài khác Việt Nam lồi có giá trị quan trọng mặt kinh tế xã hội Cuối cùng, với mục đích quảng bá kiến thức lồi ứng dụng tới đông đảo cộng đồng đặc biệt hệ trẻ, mong muốn phát triển ứng dụng trò chơi nhận dạng dựa cơng nghệ thực thực ảo thực tăng cng 22 TI LIU THAM KHO [1] Goăeau H., Bonnet P., and Joly A (September 2015) Lifeclef plant identification task 2015 In CEUR-WS, editor, CLEF: Conference and Labs of the Evaluation forum, volume 1391 of CLEF2015 Working notes Toulouse, France [2] Goăeau H., Bonnet P., and Joly A (2017) Plant identification based on noisy web data: the amazing performance of deep learning (lifeclef 2017) CLEF working notes, 2017 [3] Govaerts R (2001) How many species of seed plants are there? Taxon, 50(4):pp 10851090 [4] Wăaldchen J and Măader P (2018) Plant species identification using computer vision techniques: A systematic literature review Archives of Computational Methods in Engineering, 25(2):pp 507–543 [5] Nilsback M.E and Zisserman A (2009) An automatic visual flora-segmentation and classification of flower images Ph.D thesis, Oxford University [6] Yoo H.J (2015) Deep convolution neural networks in computer vision IEIE Transactions on Smart Processing & Computing, 4(1):pp 3543 [7] Joly A., Goăeau H., Bonnet P., Bakic V., Barbe J., Selmi S., Yahiaoui I., Carré J., Mouysset E., Molino J.F., et al (2014) Interactive plant identification based on social image data Ecological Informatics, 23:pp 22–34 [8] http://www.inaturalist.org/(retrieved 15/january/2017) [9] Meyer F and Beucher S (1990) Morphological segmentation Journal of visual communication and image representation, 1(1):pp 21–46 [10] Bo L., Ren X., and Fox D (2010) Kernel descriptors for visual recognition In Advances in neural information processing systems, pp 244–252 [11] NGUYEN V.T (2015) Visual interpretation of hand postures for human-machine interaction Ph.D thesis, Université de La Rochelle [12] Chaki J., Parekh R., and Bhattacharya S (2015) Recognition of whole and deformed plant leaves using statistical shape features and neuro-fuzzy classifier In 2015 IEEE 2nd international conference on recent trends in information systems (ReTIS), pp 189–194 [13] Chaki J., Parekh R., and Bhattacharya S (2015) Plant leaf recognition using texture and shape features with neural classifiers Pattern Recognition Letters, 58:pp 61–68 23 [14] Wang Z., Sun X., Ma Y., Zhang H., Ma Y., Xie W., and Zhang Y (2014) Plant recognition based on intersecting cortical model In 2014 International joint conference on neural networks (IJCNN), pp 975–980 [15] Kheirkhah F.M and Asghari H (2018) Plant leaf classification using gist texture features IET Computer Vision, 13(4):pp 369–375 [16] Tsolakidis D.G., Kosmopoulos D.I., and Papadourakis G (2014) Plant leaf recognition using zernike moments and histogram of oriented gradients In Hellenic Conference on Artificial Intelligence, pp 406–417 Springer [17] Du J.x., Zhai C.M., and Wang Q.P (2013) Recognition of plant leaf image based on fractal dimension features Neurocomputing, 116:pp 150–156 [18] Priya C.A., Balasaravanan T., and Thanamani A.S (2012) An efficient leaf recognition algorithm for plant classification using support vector machine In International conference on pattern recognition, informatics and medical engineering (PRIME-2012), pp 428–432 IEEE [19] Krizhevsky A., Sutskever I., and Hinton G.E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural information processing systems, pp 1097–1105 [20] He K., Zhang X., Ren S., and Sun J (2015) Deep residual learning for image recognition CoRR, abs/1512.03385 [21] Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., and Rabinovich A (2015) Going deeper with convolutions In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 1–9 [22] He A and Tian X (2016) Multi-organ plant identification with multi-column deep convolutional neural networks In 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC)2016 , pp 002020–002025 24 PUBLICATIONS [1] Thi-Lan Le, Duong-Nam Duong, Van-Toi Nguyen, Hai Vu, Van-Nam Hoang and Thi Thanh-Nhan Nguyen, (2015) Complex Background Leaf-based Plant Identification Method Based on Interactive Segmentation and Kernel Descriptor, Proceedings of the 2nd International Workshop on Environmental Multimedia Retrieval, ISBN: 978-1-4503-3274-3, pp.3-8 [2] Thi-Lan Le, Duong-Nam Duong, Hai Vu and Thanh-Nhan Nguyen (2015) Mica at lifeclef 2015: Multi-organ plant identification, In CEUR-WS.org/Vol-1391CLEF2015 Working note proceedings, ISSN: 1613-0073, vol 1391 [3] Thi Thanh Nhan Nguyen, Van Tuan Le, Thi Lan Le, Hai Vu, Natapon Pantuwong and Yasushi Yagi (2016), Flower species identification using deep convolutional neural networks, AUN/SEED-Net Regional Conference and Information Engineering 2016, Yangon, Myanmar, ISBN: 978-99971-0-231-7, pp.51-56 [4] Thi Thanh-Nhan Nguyen, Thi-Lan Le, Hai Vu, Huy-hoang Nguyen and VanSam Hoang (2017), A combination of Deep Learning and Hand-Designed Feature for Plant Identification Based on Leaf and Flower, In Asian Conference on Intelligent Information and Database Systems, Studies in Computational Intelligence, volume 710, Springer, ISBN: 978-3-319-56659-7, pp 223-233 [5] Nguyen Thi Thanh Nhan, Do Thanh Binh, Nguyen Huy Hoang, Vu Hai, Tran Thi Thanh Hai, Thi-Lan Le (2018), Score-based Fusion Schemes for Plant Identification from Multi-organ Images, VNU Journal of Science: Computer Science and Communication Engineering, Vol 34, No.2, ISSN 2588-1086, pp.1-15 [6] Thi Thanh Nhan Nguyen, Thi-Lan Le, Hai Vu, Van-Sam Hoang, Thanh-Hai Tran (2018), Crowdsourcing for botanical data collection towards to automatic plant identification: A review, Journal of Computers and Electronics in Agriculture (SCIE), vol 155, ISSN:0168-1699, pp.412-425 [7] Nguyen Thi Thanh Nhan, Le Thi Lan, Vu Hai, Hoang Van Sam (2018), Automatic Plant Organ Detection from Images using Convolutional Neural Networks, Journal of Research and Development on Information and Communication Technology (in Vietnamese), vol V-1, No 39, ISSN: 1859-3526, pp 17-25 [8] Thi Thanh-Nhan Nguyen, Thi-Lan Le, Hai Vu, Van-Sam Hoang (2019), Towards an automatic plant identification system without dedicated dataset International Journal of Machie Learning and Computing (Scopus), vol 9, No.1, ISSN: 2010-3700, pp.26-34 ... lớn hình ảnh loài Một cách thức đề xuất để giải điều thực nhận dạng dựa nhiều phận Hiện nghiên cứu nhận dạng có xu hướng chuyển từ nhận dạng phận sang nhiều phận Nhận dạng dựa ảnh nhiều phận chia... Chương đưa kết luận hướng nghiên cứu CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 1.1 Nhận dạng từ ảnh phận Các nghiên cứu trước thường tập trung nhận dạng dựa ảnh phận Giữa phận phận sử dụng rộng rãi [4] thường... triển phương pháp nhận dạng phức tạp Thứ hai, xuất phát từ quan sát việc sử dụng hình ảnh phận để nhận dạng lúc phù hợp Nhiều dễ bị nhận nhầm sử dụng lại có khả phân biệt cao dựa hoa Nhận dạng dựa