Nghiên cứu và phát triển các phương pháp nhận dạng cây dựa trên nhiều ảnh bộ phận của cây, có tương tác với người sử dụng tt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN THỊ THANH NHÀN NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC PHƯƠNG PHÁP NHẬN DẠNG CÂY DỰA TRÊN NHIỀU ẢNH BỘ PHẬN CỦA CÂY, CÓ TƯƠNG TÁC VỚI NGƯỜI SỬ DỤNG Ngành: Khoa học máy tính Mã số: 9480101 TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội −2020 Cơng trình hồn thành tại: Trường Đại học Bách khoa Hà Nội Người hướng dẫn khoa học: PGS TS Lê Thị Lan PGS TS Hoàng Văn Sâm Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Trường họp Trường Đại học Bách khoa Hà Nội: Vào hồi giờ, ngày tháng năm Có thể tìm hiểu luận án thư viện: Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội Thư viện Quốc gia Việt Nam GIỚI THIỆU Động Thực vật có vai trò quan trọng hệ sinh thái Ngày nay, đa dạng hệ sinh thái nói chung hệ thực vật nói riêng đứng trước nguy bị suy giảm khai thác không hợp lý người Nhiều giải pháp đề xuất nhằm bảo vệ đa dạng sinh học hệ thực vật việc nâng cao hiểu biết người dân đánh giá giải pháp hữu hiệu tên thực vật chìa khóa quan trọng cho phép truy nhập đến thông tin khác Tuy nhiên, số mà người bình thường có khả nhận biết thường thấp so với số lượng có hệ thực vật Sự phát triển phổ dụng thiết bị thu nhận lưu trữ máy ảnh, điện thoại cho phép xây dựng sở liệu hình ảnh lớn lồi hệ thực vật Cùng với đó, tiến kỹ thuật xử lý hình ảnh nhận dạng cho phép thực tiễn hóa ước mơ xây dựng hệ thống nhận dạng tự động Trong năm vừa qua, nghiên cứu nhận dạng dựa hình ảnh nhận quan tâm nhà nghiên cứu liên lĩnh vực: thị giác máy tính, học máy thực vật học Nhiều cải tiến đáng kể chất lượng nhận dạng ghi nhận [4] Một số hệ thống nhận dạng tìm kiếm triển khai thực tế Tuy vậy, nhận dạng chưa sử dụng rộng rãi hai hạn chế Hạn chế thứ số lồi nhận dạng thấp so với số lượng có hệ thực vật Cơ sở liệu hình ảnh lớn LifeCLEF 2017 với 10,000 [2]) so với số lượng 400,000 tồn trái đất [3]) Hạn chế thứ hai độ xác nhận dạng tự động thấp đặc biệt làm việc liệu đa dạng với số lớp lớn Mục tiêu Luận án NCS hướng đến xây dựng phương pháp hiệu cho phép nâng cao độ xác nhận dạng dựa vào hình ảnh Để đạt mục tiêu này, trước tiên luận án tập trung vào cải thiện độ xác nhận dạng dựa ảnh phận Có nhiều phận dùng để xác định Tuy nhiên, phận khác cây, phận lựa chọn nhiều Tuy nhiên nghiên cứu trước thường dựa giả thuyết chụp đồng Giả thuyết thường không thỏa mãn điều kiện làm việc thực tế, luận án này, chúng tơi tập trung nghiên cứu phát triển phương pháp nhận dạng phức tạp Thứ hai, xuất phát từ quan sát việc sử dụng hình ảnh phận để nhận dạng lúc phù hợp Nhiều dễ bị nhận nhầm sử dụng lại có khả phân biệt cao dựa hoa Nhận dạng dựa nhiều phận mơ hình hóa thành toán kết hợp muộn: kết nhận dạng nhiều phận xác định dựa kết nhận dạng đơn phận qua chiến lược kết hợp Do đó, mục tiêu thứ hai luận án đề xuất phương pháp kết hợp hiệu cho toán nhận dạng dựa phận Mục tiêu cuối luận án liên quan đến ứng dụng kết nghiên cứu việc quảng bá thông tin tập loài tương đối đặc thù: thuốc Việt Nam thông qua việc phát triển chức tìm kiếm dựa hình ảnh hệ thống tra cứu thuốc Việt Nam VnMed Các mục tiêu luận án tóm tắt lại sau: ❼ Phát triển phương pháp nhận dạng dựa ảnh với phức tạp; ❼ Đề xuất kỹ thuật kết hợp cho nhận dạng dựa nhiều phận; ❼ Phát triển chức tìm kiếm dựa hình ảnh tích hợp ứng dụng hệ thống tìm kiếm thuốc Việt Nam Các đóng góp Luận án có ba đóng góp sau: ❼ Đóng góp 1: Một phương pháp nhận dạng dựa ảnh có phức tạp đề xuất Phương pháp đề xuất kết hợp đồng thời phân đoạn tương tác mô tả đặc trưng nhân (KDES) ❼ Đóng góp 2: Một kỹ thuật kết hợp cho nhận dạng dựa hai phận Kỹ thuật kết hợp tích hợp luật kết hợp nhân kỹ thuật kết hợp dựa phân lớp ❼ Đóng góp 3: Cuối cùng, mơ đun tìm kiếm dựa hình ảnh phát triển tích hợp ứng dụng tìm kiếm thuốc Việt Nam Cấu trúc luận án ❼ Giới thiệu: Phần trình bày động mục tiêu luận án, ngữ cảnh, hạn chế thách thức gặp phải toán nhận dạng Phần cuối phần trình bày khung làm việc chung đóng góp luận án ❼ Chương 1: Các nghiên cứu liên quan: Chương hệ thống lại nghiên cứu liên quan cách tiếp cận đề xuất cho nhận dạng tự động ❼ Chương 2: Trong chương này, phương pháp cho nhận dạng dựa ảnh đề xuất Trong phương pháp đề xuất, để trích chọn vùng từ ảnh, đề xuất áp dụng phân đoạn tương tác Sau đó, đặc trưng nhân KDES cải tiến áp dụng để trích chọn đặc trưng ❼ Chương 3: Chương tập trung vào nhận dạng dựa nhiều phận Chúng đề xuất phương pháp kết hợp cho nhận dạng nhiều phận dựa kết phận ❼ Chương 4: Trong chương này, đề xuất cách tiếp cận để xây dựng hệ thống nhận dạng tự động sở liệu khơng có sẵn ứng dụng cách tiếp cận đề xuất việc xây dựng chức tìm kiếm thuốc Việt Nam dựa hình ảnh ❼ Kết luận: Chương đưa kết luận hướng nghiên cứu CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 1.1 Nhận dạng từ ảnh phận Các nghiên cứu trước thường tập trung nhận dạng dựa ảnh phận Giữa phận phận sử dụng rộng rãi [4] thường tồn thời gian dài, có số lượng lớn, có cấu trúc phẳng nên dễ thu thập so với phận khác Các nghiên cứu thường tập trung nhiều cho ảnh đơn giản tính đơn giản ảnh Sau phận hoa phận phổ biến [5] ảnh hoa dễ phân biệt loài đặc điểm đặc trưng hoa màu sắc, hình dạng, xếp cánh hoa, Các phận khác sử dụng để nhận dạng phận quả, thân, cành, toàn Hiện có hai cách tiếp cận cho toán nhận dạng Đối với cách tiếp cận thứ nhất, phương pháp nhận dạng dựa đặc trưng thiết kế thủ công Các đặc trưng bao gồm đặc trưng toàn cục (đặc trưng màu sắc, kết cấu, hình dạng) đặc trưng phận Các nghiên cứu thường kết hợp hai hay nhiều đặc trưng cho phận khơng có đặc trưng đủ mạnh để phân biệt tất lớp Đối với cách tiếp cận thứ hai áp dụng phương pháp học sâu Mạng nơ ron tích chập (CNN) phương pháp học sâu, gần đạt nhiều thành công tốn thị giác máy tính phát đối tượng, phân đoạn, phân lớp ảnh [6] CNN học tự động đặc trưng từ ảnh đầu vào mà khơng phải thực trích chọn thủ cơng Các CNN phổ biến AlexNet, VGG, GoogLeNet ResNet 1.2 Nhận dạng từ ảnh nhiều phận Nhận dạng dựa phận không đủ thơng tin để nhận dạng lồi tính tương tự cao loài khác biệt lớn loài Một vấn đề đặt để giải điều thực nhận dạng dựa nhiều phận Hiện nghiên cứu nhận dạng có xu hướng chuyển từ nhận dạng phận sang nhiều phận Nhận dạng dựa ảnh nhiều phận chia thành hai nhóm: Nhóm quan tâm đến loại phận cây, phân loại ảnh đầu vào ảnh hay ảnh hoa , nhóm thứ hai khơng quan tâm ảnh thuộc vào phận Trong nhóm đầu tiên, phận huấn luyện phân lớp riêng biệt Trong nhóm thứ hai, tất ảnh huấn luyện phân lớp Các kỹ thuật kết hợp sử dụng để kết hợp kết lại với thường sử dụng kỹ thuật kết hợp sớm kỹ thuật kết hợp muộn 1.3 Các hệ thống nhận dạng thu thập liệu Hiện có số ứng dụng nhận dạng dựa ảnh triển khai thiết bị di động Pl@ntNet, iNaturalist, iSpot, Leafsnap, FlowerChecker, PlantSnapp, Plantifier, [7, 8] Các ứng dụng thường cung cấp ba chức tới người dùng chức khám phá, nhận dạng thu thập liệu Trong chức nhận dạng chức thu thập liệu hai chức hỗ trợ cho Khi chức nhận dạng đạt độ xác cao, hệ thống thu hút nhiều người dùng sử dụng hệ thống từ thu thập nhiều liệu từ người dùng Sau liệu thu thập sử dụng để huấn luyện lại hệ thống, có nhiều liệu huấn luyện độ xác đạt cao Dữ liệu thu thập nhiều đa dạng giải vấn đề học khớp nhận dạng Điều vai trò quan trọng hệ thống thu thập liệu dựa cộng đồng CHƯƠNG PHƯƠNG PHÁP NHẬN DẠNG LÁ CÂY DỰA TRÊN BỘ MÔ TẢ NHÂN 2.1 Phương pháp nhận dạng dựa ảnh phức tạp Chương trình bày phương pháp nhận dạng dựa hình ảnh Như phân tích Chương 1, phận thường sử dụng Tuy vậy, nghiên cứu thường làm việc ảnh có đơn giản Trong luận án, phương pháp nhận dạng dựa ảnh phức tạp đề xuất (xem Hình 2.1) Phương pháp bao gồm mơ đun tiền xử lý ảnh, trích chọn đặc trưng phân lớp Hình 2.1 Sơ đồ phương pháp đề xuất nhận dạng dựa ảnh phức tạp 2.2 Phân đoạn tương tác Khi làm việc với phức tạp, bước xử lý cần phải tách khỏi Trong phương pháp đề xuất, áp dụng phương pháp phân đoạn tương tác Ngoài ra, để đánh giá hiệu phương pháp phân đoạn tương tác, so sánh hiệu phương pháp với phương pháp phân đoạn tự động Ý tưởng phân đoạn tương tác dựa dẫn người dùng để thực phân đoạn Phương pháp thực qua bước (Hình 2.2) Ở bước 1, người dùng đánh dấu thủ công vùng thuộc vào đối tượng (inner marker) vùng đối tượng (outer marker) cách vẽ đường thuộc vào vùng Trong bước 2, thuật toán Watershed [9] dùng để phân đoạn ảnh Sau bước 3, người dùng lựa chọn vùng chứa quan tâm Cuối cùng, bước 4, vùng chứa chuẩn hóa hướng Hình 2.2 Sơ đồ phân đoạn tương tác đề xuất 2.3 Trích chọn đặc trưng Trong luận án này, mô tả nhân (KDES) đề xuất sử dụng KDES đề xuất Liefeng Bo [10] sử dụng đặc trưng điểm ảnh (gradient, màu hình dạng) học đặc trưng kết hợp thông qua nhân đối sánh KDES gốc sử dụng cho phát đối tượng đạt kết ấn tượng sở liệu tiêu chuẩn CIFAR-10, Caltech-101, ImageNet KDES gốc có hai giới hạn không bất biến với phép tỷ lệ nhạy cảm với phép quay Trong nghiên cứu [11], Hình 2.5 Một ví dụ vùng kích thước cố định KDES gốc vùng kích thước thay đổi phương pháp KDES cải tiến (a,b) hai ảnh với kích thước khác phân chia sử dụng vùng kích thước cố định; (b,c): hai ảnh với kích thước khác phân chia sử dụng vùng kích thước thay đổi Nguyễn Văn Tới công đề xuất ba cải tiến KDES gốc cho nhận dạng cử tay, gọi KDES cải tiến Trong công việc này, đề xuất sử dụng KDES cải tiến cho việc trích chọn đặc trưng ảnh KDES cải tiến trích chọn thơng qua ba bước: trích chọn đặc trưng mức điểm, mức vùng mức ảnh a) Trích chọn đặc trưng mức điểm Ở bước này, véc tơ gradient tính điểm ảnh Véc tơ gradient điểm z định nghĩa độ lớn m(z) θ(z) góc véc tơ gradient ˜ điểm z Theo [10], hướng θ(z) định nghĩa sau: ˜ = [sin(θ(z))cos(θ(z))] θ(z) (2.8) b) Trích chọn đặc trưng mức vùng Tạo vùng ảnh với kích thước thích nghi Trong phần này, chúng tơi sử dụng vùng ảnh có kích thước thay đổi thay sử dụng kích thước cố định để nhận số vùng theo chiều ngang chiều dọc kích thước ảnh thay đổi Hình 2.5 miêu tả ví dụ vùng kích thước cố định KDES gốc vùng kích thước thay đổi phương pháp KDES cải tiến Tính đặc trưng mức vùng Các đặc trưng mức vùng tính dựa ý tưởng phương pháp nhân Xuất phát từ việc đối sánh nhân biểu diễn tương tự hai vùng, chúng tơi trích chọn véc tơ đặc trưng cho vùng sử dụng xấp xỉ đồ đặc trưng mức vùng cho Hình 2.7 Cấu trúc đặc trưng mức ảnh kết nối véc tơ đặc trưng ô lớp cấu trúc kim tự tháp hàm đối sánh nhân Đặc trưng xấp xỉ qua vùng ảnh P cấu trúc sau: m(z)φ ˜ ω (z)) ⊗ φp (z) o (˜ F gradient (P ) = (2.17) z∈P c) Trích chọn đặc trưng mức ảnh Khi đặc trưng mức vùng tính cho vùng, cơng việc lại tính véc tơ đặc trưng biểu diễn cho tồn ảnh Để làm điều này, chúng tơi phân chia ảnh thành vùng nhỏ sử dụng đường ngang đường dọc Số vùng chia ảnh theo cấu trúc kim tự tháp, mức k có 2k−1 vùng theo chiều ngang 2k−1 vùng theo chiều dọc (Hình 2.7) Sau chúng tơi tính véc tơ đặc trưng cho vùng ảnh nối chúng vào véc tơ chúng tơi gọi véc tơ đặc trưng mức ảnh, véc tơ đặc trưng biểu diễn Véc tơ đầu vào phân lớp SVM cho pha huấn luyện kiểm thử φ¯P (X) = w(1) φ¯S (X (1,1) ); ; w(l) φ¯S (X (l,t) ); ; w(L) φ¯S (X (L,nL ) ) 2.4 (2.20) Các kết thực nghiệm 2.4.1 Các sở liệu Cơ sở liệu ImageCLEF 2013: bao gồm 5,540 ảnh huấn luyện 1,660 ảnh kiểm thử 80 lồi trích rút Cơ sở liệu Flavia: bao gồm 1,907 ảnh đơn giản 32 loài Cơ sở liệu LifeCLEF 2015: Bảng 2.1 chi tiết sở liệu 2.4.2 Các kết thực nghiệm Các kết sở liệu ImageCLEF 2013 Bảng 2.1 Cơ sở liệu lá/lá đơn giản LifeCLEF 2015 Leaf Training 13,367 Testing 2,690 Number of species 899 Leafscan 12,605 221 351 Các kết Bảng 2.2 cho thấy tập liệu, KDES cải tiến cho kết tốt KDES gốc Với đặc trưng KDES, phân đoạn tương tác cho kết nhận dạng tốt so với phân đoạn tự động không phân đoạn Cuối cùng, phương pháp đề xuất kết hợp đồng thời KDES cải tiến liệu phân đoạn tương tác kết đạt tốt với độ xác 71.5% Bảng 2.2 Độ xác thu thực nghiệm sở liệu ImageCLEF2013 Phương pháp Độ xác (%) KDES cải tiến với phân đoạn tương tác 71.5 KDES gốc với phân đoạn tương tác 63.4 KDES cải tiến với liệu gốc 43.68 KDES gốc với liệu gốc 43.25 KDES cải tiến với phân đoạn tự động 42.3 KDES gốc với phân đoạn tự động 35.5 Các kết sở liệu Flavia Phương pháp đề xuất thực sở liệu Flavia đạt độ xác 99.06% Để đánh giá hiệu phương pháp so sánh phương pháp đề xuất với phương pháp khác sở liệu Flavia Các kết cho Bảng 2.3 cho thấy phương pháp đề xuất cao phương pháp dựa đặc trưng thiết kế trước Độ xác cải thiện từ 0.36 đến 6.86% so với kết khác Bảng 2.3 Độ xác thu sở liệu Flavia Phương pháp Đặc trưng, Phương pháp phân lớp Độ xác(%) Phương pháp KDES cải tiến; SVM 99.06 đề xuất [12] SMSD ; NFC 97.5 [13] CT,HU, moments, GF, GLCM; NFC 97.6 [14] EnS, CDS; SVM 97.8 [15] GIST features (486), (PCA=40%); cosine KNN 98.7 [16] Zernike moments, HOG; SVM 96.4 [17] Geometrical features, invariant moments; RBPNN 94.1 [18] Geometrical features, vein features; SVM 92.2 Các kết sở liệu LifeCLEF 2015 Kỹ thuật kết hợp dựa biến đổi Câu truy vấn q dự đoán vào lớp c định nghĩa sau: Luật lớn Trong độ tin cậy lớp, giá trị lớn lựa chọn c = arg max max si (Ik ) k=1 N i (3.1) Luật tổng Cộng tổng độ tin cậy lớp lại N c = arg max i si (Ik ) (3.2) k=1 Luật nhân Nhân độ tin cậy lớp lại N c = arg max i si (Ik ) (3.3) k=1 Các phương pháp kết hợp dựa biến đổi luôn đạt kết tốt Tuy nhiên phương pháp đơn giản khơng u cầu q trình huấn luyện, hầu hết phương pháp nhận dạng dựa nhiều phận sử dụng phương pháp Kỹ thuật kết hợp dựa phân lớp (CBF) Ý tưởng kỹ thuật kết hợp dựa phân lớp nhiều độ tin cậy đưa vào véc tơ đặc trưng sử dụng phân lớp để phân tách lớp dựa không gian véc tơ đặc trưng thu Chúng thực ý tưởng cho nhận dạng từ ảnh hai phận Chúng sử dụng máy véc tơ hỗ trợ (SVM) làm phân lớp phân lớp mạnh CBF tiến hành sau: Với ảnh, cho qua phân lớp tương ứng, thu danh sách C độ tin cậy tương ứng cho C lớp Với cặp ảnh chúng tơi có C cặp độ tin cậy tương ứng cho C lớp, chúng tơi có mẫu dương vị trí lớp C − mẫu âm lại Các mẫu dương mẫu âm mơ tả hình 3.3 Sau sử dụng phân lớp SVM để huấn luyện mẫu Trong pha kiểm thử, cho câu truy vấn q, phương pháp CBF trả kết hai xác suất dự báo cho loài thứ i: cho lớp dương ký hiệu Ppos (i, q) cho lớp âm ký hiệu Pneg (i, q) Danh sách lồi xếp hạng si (q), si (q) độ tin cậy loài thứ i thu cho câu truy vấn q thuộc lớp dương: si (q) = Ppos (i, q) 11 (3.4) Hình 3.3 Giải thích mẫu âm mẫu dương Lớp c lớp dự báo xác định sau, ≤ i ≤ C c = arg max si (q) (3.5) i Kỹ thuật kết hợp lai bền vững (RHF) Kỹ thuật kết hợp dựa phân lớp làm phân bố đặc điểm lồi tất mẫu dương mẫu âm tất loài huấn luyện Do để phát huy phân bố đặc điểm loài, chúng tơi xây dựng lồi mơ hình SVM dựa mẫu dương mẫu âm loài Với câu truy vấn q, thu C mẫu âm/dương tương ứng cho C lớp Mỗi mẫu tương ứng cho lớp i cho qua phân lớp SVM cho lớp i thu xác suất tương ứng si (q) Sau chúng tơi thực nhân giá trị si (q) với giá trị mẫu xét Mơ hình lai đề xuất tiến hành sau: c = arg max si (q) i si (Ik ) (3.6) k=1 Mơ hình tích hợp luật nhân kỹ thuật kết hợp dựa phân lớp Chúng mong đợi xác suất câu truy vấn q vào lớp dương ảnh hưởng đến kết kết hợp Nếu xác suất câu truy vấn q vào lớp dương cao xác suất câu truy vấn q thuộc vào lớp thứ i cao 12 3.3 Lựa chọn mô hình phân lớp cho nhận dạng đơn phận Để nhận dạng dựa nhiều phận đạt kết cao, việc sử dụng kỹ thuật kết hợp hiệu quả, nhân tố quan trọng góp phần để nâng cao kết kết nhận dạng phận phải đạt kết cao Với thành công mạng CNN cho toán nhận dạng đối tượng năm gần đây, phần triển khai số mạng phổ biến AlexNet[19], ResNet[20] GoogLeNet [21] cho nhận dạng phận Chúng đề xuất hai chiến lược nhận dạng đơn phận miêu tả Hình 3.9: (1) Trong chiến lược thứ nhất, mạng CNN huấn luyện cho phận; (2) Với chiến lược thứ hai, mạng CNN huấn luyện cho tất ảnh phận Chiến lược thứ cho phép kết hợp tường minh cho phận chiến lược thứ hai không yêu cầu biết phận thực tính tốn có mạng CNN Hình 3.9 Hai chiến lược nhận dạng dựa phận Khi thực huấn luyện, sử dụng trọng số tiền huấn luyện sở liệu ImageNet tinh chỉnh mạng với sở liệu thử nghiệm 3.4 Các kết thực nghiệm Để triển khai thực nghiệm, chúng tơi cài đặt cấu hình máy GHzCPU 2.20, RAM 16 GB, GPU GeForce GTX 1080 Ti với Tensorflow Chúng tơi tối ưu mơ hình cho nhận dạng với việc tối ưu tham số sử dụng AlexNet , ResNet GoogLeNet 3.4.1 Cơ sở liệu Chúng tơi trích xuất từ LifeCLEF 2015, 50 lồi có đầy đủ ảnh phận Ngoài với mong muốn tăng số lượng ảnh cho sở liệu thực thu thập từ internet Cơ sở liệu hiển thị Bảng 3.2 Dữ liệu chia thành phần: CNN training liệu huấn luyện mạng CNN cho nhận dạng 13 phận; SVM input sử dụng làm tập liệu huấn luyện cho phân lớp SVM; testing sử dụng để đánh giá hiệu suất phương pháp kết hợp trình bày Bảng 3.2 Cơ sở liệu thu thập 50 loài với phận Flower Leaf Entire Branch Total CNN Training 1650 1930 825 1388 5793 SVM Input 986 1164 495 833 3478 Testing 673 776 341 553 2343 Tổng 3309 3870 1661 2774 11614 Số loài = 50 3.4.2 Các kết thử nghiệm Kết nhận dạng đơn phận Các kết thu cho hai chiến lược đề xuất hiển thị Bảng 3.3 Chúng quan sát thấy GoogLeNet thu kết tốt so với AlexNet, ResNet hai phương pháp cho hầu hết phận ngoại trừ ảnh toàn chiến lược Một điểm thú vị chiến lược phù hợp với phận hoa chiến lược lựa chọn tốt cho phận khác cành ảnh toàn Điểm thuận lợi chiến lược cho nhận dạng đơn phận không yêu cầu biết loại phận Các kết hoa phận cho kết tốt nhất, ảnh toàn cho kết thấp Bảng 3.3 Độ xác nhận dạng dựa phận với hai chiến lược: (1) Một mạng cho phận; (2) Một mạng cho tất phận Bộ phận Leaf (Le) Flower (Fl) Branch (Br) Entire (En) AlexNet Chiến lược 66.2 73.0 43.2 32.4 Chiến lược 63.8 72.2 47.4 33.8 ResNet Chiến lược 73.4 75.6 48.6 32.4 Chiến lược 70.6 75.4 54.6 39.0 GoogLeNet Chiến lược 75.0 82.2 53.2 36.4 Chiến lược 76.6 78.4 54.8 35.2 Đánh giá chiến lược kết hợp đề xuất RHF Bảng 3.4, Bảng 3.5 Bảng 3.6 cho thấy kết đạt kết hợp cặp phận Các kết kết kết hợp hai phận cao kết phận tương ứng Trong trường hợp áp dụng chiến lược cho nhận dạng đơn phận, mạng AlexNet, kết tốt cho phận 73.0 % cho phận hoa, cách áp dụng phương pháp RHF đề xuất, độ xác kết hợp hoa tăng đáng kể 16.8 % lên 89.8 % Khi áp dụng ResNet, kết hợp hoa (Le-Fl) tăng lên 17 % so với phận 13.6% áp dụng mạng GoogLeNet Không hoa mà tất sáu cặp phận kết hợp, phương pháp đề xuất RHF đạt kết cao So sánh phương pháp đề xuất với phương pháp MCDCNN[22] 14 Bảng 3.4 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng AlexNet Độ xác (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 66.2 67.2 75.6 74.0 88.6 88.8 93.2 81.8 73.8 74.4 78.8 77.2 92.6 92.8 94.2 84.2 81.6 82.0 88.6 86.2 96.8 96.8 98.2 90.4 70.2 71.0 76.8 73.8 89.6 90.0 93.4 79.6 74.2 75.4 80.8 79.0 90.8 91.4 95.2 83.0 51.6 52.2 58.0 58.0 76.8 77.6 83.6 81.4 phận RHF 76.6 94.6 81.2 94.4 89.8 98.4 78.4 93.8 81.4 95.4 58.6 83.8 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 66.8 67.2 77.4 71.4 88.4 88.2 93.6 80.2 73.84 73.6 78.8 76.24 88.8 89.2 94.8 83.6 78.8 81.2 89.6 83.2 95.6 96.0 99.2 88.8 66.4 68.2 78.2 73.6 92.0 93.0 95.6 81.6 70.2 70.6 80.6 76.6 90.4 90.6 95.4 84.6 52.4 52.8 60.6 60.6 78.2 78.6 83.6 83.4 phận RHF 78.6 94.4 80.4 95.6 89.6 99.2 78.2 96.0 81.4 95.6 61.6 84.9 Bảng 3.5 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng ResNet Độ xác (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 70.4 72.2 75.2 73.2 91.8 92.6 92.8 90.6 73.8 75.4 80.0 76.4 93.2 93.6 95.0 89.2 90.0 91.4 92.4 91.4 98.0 98.8 99.0 96.0 77.8 79.2 82.0 79.4 91.8 92.2 94.0 90.4 80.0 81.0 84.4 82.0 93.6 94.4 97.6 91.4 52.4 54.4 62.2 55.0 82.0 83.4 86.6 80.4 phận RHF 78.0 93.2 83.2 95.4 92.6 99.2 83.2 94.6 86.4 97.8 60.6 87.4 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 73.6 75.4 80.8 73.2 94.2 94.4 94.8 90.6 74.6 76.0 80.2 76.4 94.4 95.0 95.8 89.2 85.8 87.6 89.2 91.4 98.4 98.4 99.0 96.0 79.8 81.4 83.6 79.4 94.4 94.4 96.4 90.4 78.8 80.4 85.6 81.0 95.6 96.0 96.2 91.4 60.4 66.2 69.0 55.0 84.8 85.6 89.6 80.4 phận RHF 80.8 95.2 83.2 95.2 92.6 99.2 83.2 94.6 86.0 97.6 69.0 87.6 Bảng 3.6 Độ xác đạt hạng kết hợp cặp phận với phương pháp kết hợp khác trường hợp sử dụng mạng GoogLeNet Accuracy (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 74.6 75.0 79.2 79.4 94.0 93.8 93.6 84.0 79.2 79.8 83.4 83.8 95.8 96.0 97.0 89.2 91.4 92.0 95.4 93.8 99.6 99.6 99.6 96.0 79.8 81.0 84.6 80.2 94.4 94.6 97.4 84.8 85.0 86.0 90.2 87.2 97.0 97.4 99.2 90.2 58.0 58.8 61.8 60.2 81.4 81.8 86.8 70.4 phận RHF 80.6 94.4 84.2 96.8 95.8 99.8 84.6 97.4 91.6 99.0 64.2 87.0 Phương pháp cho nhận dạng đơn Max Sum Product CBF rule rule rule 77.8 78.0 79.4 81.2 91.4 91.4 96.2 85.6 77.6 78.0 81.0 80.2 93.6 93.8 95.8 84.4 90.6 90.2 92.6 91.8 98.6 98.8 99.0 93.8 81.2 81.8 85.6 81.6 96.8 96.8 96.8 86.0 80.0 80.4 86.8 83.2 96.0 96.0 97.6 86.8 57.8 58.4 65.6 59.2 82.2 82.0 87.0 68.4 phận RHF 82.0 95.8 81.0 96.2 92.8 99.0 86.6 97.0 87.2 97.0 66.4 87.0 Để cho thấy hiệu kỹ thuật kết hợp đề xuất, so sánh phương pháp RHF với MCDCNN[22] Các kết đạt sở liệu cho Bảng 3.8 cho thấy phương pháp đề xuất vượt trội MCDCNN tất 15 Bảng 3.8 So sánh phương pháp đề xuất với MCDCNN [22] Accuracy (%) En - Le En - Fl Le - Fl Br - Le Br - Fl Br - En R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 R1 R5 Phương pháp cho nhận dạng đơn phận RHF RHF RHF (AlexNet) (ResNet) (GoogLeNet) 76.6 78.0 80.6 94.6 93.2 94.4 81.2 83.2 84.2 94.4 95.4 96.8 89.8 92.6 95.8 98.4 99.2 99.8 78.4 83.2 84.6 93.8 94.6 97.4 81.4 86.4 91.6 95.4 97.8 99.0 58.6 60.6 64.2 83.8 87.4 87.0 Phương pháp cho nhận dạng đơn phận RHF RHF RHF (AlexNet) (ResNet) (GoogLeNet) 78.6 80.8 82.0 94.4 95.2 95.8 80.4 83.2 81.0 95.6 95.2 96.2 89.6 92.6 92.8 99.2 99.2 99.0 78.2 83.2 86.6 96.0 94.6 97.0 81.4 86.0 87.2 95.6 97.6 97.0 61.6 69.0 66.4 84.0 87.6 87.0 MCDCNN [22] 70.0 91.0 75.6 94.2 86.6 98.4 72.2 93.0 76.8 93.0 55.2 80.6 cặp phận kết hợp Sự cải thiện lên tới 14.4 % cho kết hợp cành 3.5 Kết luận Chương đề xuất phương pháp kết hợp muộn RHF cho toán nhận dạng dựa hai phận Đối với nhận dạng đơn phận, áp dụng số mạng CNN tiêu biểu Kỹ thuật đề xuất RHF cho kết tốt so với kỹ thuật kết hợp khác với độ xác tăng từ 3.2% đến 14.8% hạng CHƯƠNG CÁCH TIẾP CẬN ĐỀ XUẤT CHO NHẬN DẠNG CÂY TỰ ĐỘNG KHƠNG CĨ SẴN DỮ LIỆU VÀ ÁP DỤNG CHO HỆ THỐNG TÌM KIẾM DỰA TRÊN HÌNH ẢNH 4.1 Cách tiếp cận đề xuất cho hệ thống nhận dạng tự động sẵn liệu Mặc dù có nhiều đề xuất kết đáng ghi nhận cho toán nhận dạng Tuy nhiên, nghiên cứu trước thường dựa giả thuyết sở liệu có sẵn Trong chương đề xuất cách tiếp cận cho phép xây dựng hệ thống nhận dạng với liệu khơng có sẵn Ý tưởng tiếp cận lồi có phân bố khác hành tinh, nhiên loài thường chia sẻ đặc điểm chung: có phận lá, hoa Xuất phát từ quan sát này, xây dựng phát tự động phận dựa sở liệu có từ trước Bộ phát tự động xem bước lọc để xử lý tự động liệu thu thập từ nguồn với tham gia nhiều người dùng (crowdsourcing) Cách tiếp cận đề xuất bao gồm bước biểu diễn Hình 4.3 16 Hình 4.3 Sơ đồ đề xuất ❼ Thu thập liệu cây: Bước thu thập liệu từ nhiều nguồn khác ❼ Phát phận Chúng đề xuất xây dựng phát phận (lá, hoa, quả, thân, cành, cây) dựa liệu LifeCLEF 2015 sử dụng làm lọc liệu tự động để đánh giá liệu ❼ Đánh giá liệu: Mục đích cơng việc loại bỏ hình ảnh khơng phải ❼ Nhận dạng cây: Chúng áp dụng kỹ thuật nhận dạng dựa phận nhiều phận Trong mục sau, chúng tơi tập trung trình bày phát phận ứng dụng cách tiếp cận đề xuất việc xây dựng chức tìm kiếm theo hình ảnh hệ thống tra cứu thuốc Việt Nam VnMed 4.2 Phát phận Phát phận tự động nhằm xác định phận có mặt hình ảnh cho trước Chúng đề xuất áp dụng mạng GoogLeNet kỹ thuật học chuyển giao để xây dựng phát phận Để huấn luyện đánh giá mạng đề xuất, lấy sở liệu LifeCLEF 2015 liệu thu thập từ internet Chúng sử dụng lớp LifeCLEF 2015 (bao gồm + đơn giản), hoa, quả, thân, cành (bao gồm cành + tồn bộ) Với mục đích phân loại ảnh đầu vào hay cây, cần tạo lớp chứa ảnh Với ảnh cây, chúng 17 thu thập từ Internet Thực nghiệm: Chúng tinh chỉnh mạng điều chỉnh số tham số kích thước bó: 32, tốc độ học khởi tạo: 0.001, momentum: 0.9 Bảng 4.4 trình bày kết tương ứng với hai chiến lược khởi tạo trọng số Kết cho thấy việc sử dụng trọng số tiền huấn luyện sở liệu lớn ImageNet cho phép đạt cải thiện +5.08 % hạng +2.54 % hạng so với trường hợp sử dụng trọng số khởi tạo ngẫu nhiên Độ xác phương pháp đề xuất hạng hạng tương ứng 87.18 % 97.46 % Kết hứa hẹn hình ảnh chủ yếu có phức tạp Điều chứng tỏ phương pháp học sâu có khả học tốt với hình ảnh tự nhiên Bảng 4.4 Kết phát phận mạng đề xuất OrganNet với hai trọng số khởi tạo khác Bộ trọng số khởi tạo Thứ hạng (%) Thứ hạng (%) Khởi tạo ngẫu nhiên 82.10 94.92 Tiền huấn luyện ImageNet 87.18 97.46 4.3 Phát triển hệ thống tra cứu thuốc Việt Nam (VnMed) Hệ thống tra cứu thuốc Việt Nam VnMed phát triển Viện MICA, Trường đại học Bách Khoa Hà Nội cho phép tìm kiếm thơng tin 600 thuốc thường sử dụng Việt Nam dựa từ khóa mơ tả sinh học Việc phát triển chức tìm kiếm dựa hình ảnh quan trọng nhiên việc khó thực khó khăn việc thu thập hình ảnh thuốc Trong nghiên cứu này, đề xuất áp dụng cách tiếp cận việc phát triển chức tìm kiếm thuốc dựa hình ảnh Để đánh giá khả thi vai trò bước cách tiếp cận đề xuất, thu thập liệu 100 thuốc Việt Nam theo phương pháp: thủ công, dựa cộng đồng Chúng tổ chức ảnh thu thập thành sở liệu sau: ❼ VnDataset1 chứa ảnh thu theo phương pháp thủ công; ❼ VnDataset2 chứa ảnh VnDataset1 ảnh thu thập theo phương pháp dựa cộng đồng Trong sở liệu này, số ảnh cho loài biến đổi từ 57 tới 379 Trung bình lồi có 206 ảnh VnDataset2 chứa nhiễu (như ảnh khơng phải cây) trình thu thập ảnh tự động internet ❼ VnDataset3 chứa ảnh lại VnDataset2 sau áp dụng phát phận xây dựng phần trước để loại bỏ ảnh không hợp lệ ❼ VnDataset4 chứa ảnh VnDataset3 sau loại bỏ thủ công ảnh không hợp lệ VnDataset3; 18 Các sở liệu huấn luyện trình bày chi tiết Bảng 4.7 Chúng tiến hành tập đánh giá evaluation evaluation Tập evaluation chứa 972 ảnh tự chụp evaluation gồm 3,163 ảnh ảnh tập evaluation ảnh thu thập dựa cộng đồng Bảng 4.7 Bốn sở liệu thuốc Việt Nam VnDataset1 VnDataset2 VnDataset3 VnDataset4 Tập huấn luyện 3,901 16,513 15,652 15,150 Chúng xây dựng nhận dạng thuốc cách áp dụng mạng GoogLeNet dựa việc sử dụng trọng số tiền huấn luyện ImageNet sử dụng tham số huấn luyện sau: tốc độ học bản: 0.001, kích thước lơ: 32 Bốn mơ hình huấn luyện tạo cho bốn sở liệu tương ứng (ký hiệu mơ hình Mi ) Aij độ xác mơ hình Mi tập kiểm thử j Các kết hiển thị Bảng 4.8 Bảng 4.8 Các kết nhận dạng thuốc Việt nam Tập kiểm thử từ Độ xác (%) M1 M2 M3 rank 81.58 76.03 78.70 evaluation1 rank 90.64 88.48 83.54 rank 33.27 65.00 75.77 rank 29.62 56.50 57.73 evaluation2 rank 34.62 66.42 67.31 M4 79.63 84.77 66.45 58.46 79.48 Ba kết luận thú vị rút từ kết thực nghiệm Thứ nhất, liệu huấn luyện đóng vai trò quan trọng hiệu mạng Dữ liệu huấn luyện khơng đồng nhất, mơ hình mạnh mẽ Trong số mơ hình, M1 vượt trội so với mơ hình khác VnDataset1 (độ xác hạng 81.58 %) Tuy nhiên, thử nghiệm với liệu khác, hiệu mô hình giảm đáng kể Các mơ hình khác thu kết tương đối thấp mơ hình M1 VnDataset1 Độ xác hạng M2 , M3 M4 76.03%, 78.70% 79.63% Tuy nhiên, mơ hình giữ độ xác cao làm việc với liệu khác (VnDataset1, VnDataset2, VnDataset3) Thứ hai, xác thực liệu bước quan trọng việc xây dựng liệu dựa nguồn liệu cung cấp từ cộng đồng Cuối cùng, phương pháp đề xuất giúp xây dựng chức tìm kiếm hình ảnh ứng dụng VnMed cho phép tìm kiếm quan tâm cách sử dụng hình ảnh phận khác Đến thời điểm viết luận án này, dựa phương pháp đề xuất, sở liệu chứa 75,405 hình ảnh 596 thuốc Việt Nam thu thập Bộ nhận dạng VnPlantNet cho kết nhận dạng thứ hạng 66.61 % thứ hạng 10 87.52 % sở liệu Bộ nhận dạng tích hợp để xây dựng chức tìm kiếm dựa hình ảnh trong ứng dụng tra cứu thuốc Việt Nam VnMed 19 4.4 Kết luận Trong chương này, cách tiếp cận cho tốn nhận dạng khơng có sẵn sở liệu đề xuất Bước quan trọng phương pháp đánh giá liệu với mạng phát phận đề xuất Các kết thực nghiệm OrganNet vượt qua phương pháp đại dựa GIST SVM 19.91% Chúng đánh giá phương pháp đề xuất cho việc xây dựng chức tìm kiếm dựa hình ảnh VnMed Kết quả, sở liệu 596 loài thuốc Việt Nam thu thập gán nhãn cẩn thận với trợ giúp nhà thực vật học Hơn mô hình huấn luyện nhận dạng sở liệu tích hợp ứng dụng VnMed KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết luận Luận án có ba đóng góp: (1) đề xuất phương pháp nhận dạng dựa ảnh phức tạp, (2) phương pháp kết hợp cho nhận dạng dựa hai phận (có tên RHF), (3) sơ đồ cho nhận dạng tự động khơng có sẵn nguồn liệu áp dụng sơ đồ cho hệ thống tìm kiếm thuốc Việt Nam Đối với nhận dạng dựa ảnh phức tạp, đề xuất phương pháp kết hợp phân đoạn có tương tác KDES cải tiến Để đánh giá hiệu phương pháp đề xuất, tiến hành thực nghiệm sở liệu khác Các kết thu việc kết hợp phân đoạn tương tác KDES cải tiến phương pháp đề xuất vượt trội KDES gốc phương pháp dựa việc trích chọn đặc trưng thủ cơng tốt hai liệu ImageCLEF 2013 Flavia Khi làm việc với liệu lớn đa dạng LifeCLEF 2015, kết thu cạnh tranh với phương pháp dựa kỹ thuật học sâu tiên tiến Chúng đề xuất kỹ thuật kết hợp RHF cho nhận dạng dựa nhiều phận cho phép kết hợp kết nhận dạng đơn phận Đối với nhận dạng dựa đơn phận đề xuất hai chiến lược: chiến lược áp dụng mạng CNN cho phận, chiến lược áp dụng mạng CNN cho tất phận, với hai mạng sở AlexNet ResNet Các kết đạt phương pháp đề xuất vượt trội so với phương pháp kết hợp kỹ thuật dựa biến đổi kỹ thuật dựa phân lớp Phương pháp đề xuất vượt trội so với phương pháp kết hợp MCDCNN tập LifeCLEF 2015 với 50 loài Các kết việc kết hợp hai phận cho phép cải thiện độ xác việc sử dụng phận Giữa cách kết hợp phận khác nhau, kết hợp phận hoa cho kết tốt Khi áp dụng phương pháp 20 cho nhận dạng phận, mạng AlexNet, kết tốt cho nhận dạng phận phận hoa đạt độ xác 73.0%, áp dụng phương pháp kết hợp đề xuất RHF, kết độ xác phận hoa tăng lên 16.8% Khi triển khai hệ thống nhận dạng thực tế, vấn đề gặp phải thiếu sở liệu hình ảnh Trong luận án này, chúng tơi giới thiệu cách tiếp cận cho nhận dạng khơng có sẵn nguồn liệu bao gồm bước chính: thu thập liệu, phát tự động phận cây, lọc liệu nhận dạng Bước quan trọng phương pháp đề xuất lọc liệu với trợ giúp phận phát phận đề xuất có tên OrganNet Các thực nghiệm OrganNet vượt trội so với phương pháp dựa đặc trưng GIST phân lớp SVM 19.91% Chúng áp dụng phương pháp đề xuất cho chức tìm kiếm dựa hình ảnh ứng dụng VnMed Các thực nghiệm sở liệu 100 thuốc Việt Nam vai trò việc lọc liệu từ nhiều nguồn khác quan trọng, giúp cho mơ hình huấn luyện liệu trở nên bền vững Dựa cách tiếp cận đề xuất, sở liệu ảnh bao gồm 75,405 ảnh 596 thuốc Việt Nam xây dựng Chức tìm kiếm thuốc dựa mơ hình huấn luyện sở liệu thu thập tích hợp ứng dụng VnMed Hướng phát triển Trong luận án này, đề xuất vài cải tiến cho nhận dạng Tuy nhiên cải tiến phần nhỏ trình phát triển hệ thống nhận dạng tự động môi trường thực Trong tương lai, muốn tiếp tục thực số công việc nghiên cứu dựa kết luận án Trong phần này, chúng tơi tóm tắt cơng việc muốn làm tương lai chia thành nhóm: tương lai gần, tương lai xa ❼ Trong tương lai gần: – Đánh giá phương pháp đề xuất cho nhận dạng nhiều phận: Trong luận án này, thực phương pháp đề xuất RHF cho nhận dạng dựa hai phận Về mặt lý thuyết, phương pháp đề xuất áp dụng cho nhận dạng nhiều phận Do thời gian tới, mở rộng đề xuất cho nhận dạng dựa nhiều phận – Triển khai mơ đun tìm kiếm cho VnMed: Trong triển khai tại, chức tìm kiếm dựa hình ảnh lấy hình ảnh câu truy vấn Chúng tơi muốn triển khai truy tìm ảnh dựa hai phận giai đoạn sau triển khai cho nhiều phận ứng dụng Để thực mục đích này, giao diện cho phép lựa chọn vài ảnh phương pháp kết hợp cần thiết kế cài đặt ❼ Trong tương lai xa: 21 Mặc dù có nhiều cải tiến độ xác tốn nhận dạng độ xác thấp đặc biệt làm việc với sở liệu khơng đồng có số lượng lồi lớn Ví dụ, độ xác hạng sở liệu 596 loài thuốc Việt Nam 66.61% Do đó, cơng việc kế hoạch lâu dài cải thiện độ xác theo hướng sau: – Làm giàu sở liệu thông qua việc sử dụng hệ thống người sử dụng cuối: Chúng thu thập ảnh từ người dùng hệ thống, ảnh đánh giá hệ thống đề xuất gán nhãn hệ thống nhận dạng tự động, sau xác thực chuyên gia Những ảnh sử dụng để làm giàu liệu huấn luyện Các kết thực nghiệm chúng tơi độ xác phương pháp đề xuất cải tiến sở liệu huấn luyện làm giàu – Thiết kế kiến trúc mạng CNN/hàm mát phù hợp cho toán nhận dạng cây: Một phần luận án kỹ thuật kết hợp, với nhận dạng phận, đơn giản áp dụng chiến lược học chuyển giao mạng CNN sẵn có Trong tương lai chúng tơi xem xét thiết kế kiến trúc mạng CNN với hàm mát phù cho toán nhận dạng – Phát triển hệ thống nhận dạng dựa đa phương thức: Hình ảnh thơng tin quan trọng để nhận dạng Tuy nhiên việc sử dụng hình ảnh cho nhận dạng nhiều trường hợp khơng đầy đủ Bên cạnh hình ảnh, chun gia nhà thực vật học xem xét yếu tố khác (như mùi hương, độ sần sùi, ) Trong tương lai, nghiên cứu phát triển nhận dạng dựa đa phương thức Thứ hai, mở rộng công việc nghiên cứu cho loài khác Việt Nam lồi có giá trị quan trọng mặt kinh tế xã hội Cuối cùng, với mục đích quảng bá kiến thức loài ứng dụng tới đơng đảo cộng đồng đặc biệt hệ trẻ, mong muốn phát triển ứng dụng trò chơi nhận dạng dựa công nghệ thực thực ảo thc tng cng 22 TI LIU THAM KHO [1] Goăeau H., Bonnet P., and Joly A (September 2015) Lifeclef plant identification task 2015 In CEUR-WS, editor, CLEF: Conference and Labs of the Evaluation forum, volume 1391 of CLEF2015 Working notes Toulouse, France [2] Goăeau H., Bonnet P., and Joly A (2017) Plant identification based on noisy web data: the amazing performance of deep learning (lifeclef 2017) CLEF working notes, 2017 [3] Govaerts R (2001) How many species of seed plants are there? Taxon, 50(4):pp 10851090 [4] Wăaldchen J and Măader P (2018) Plant species identification using computer vision techniques: A systematic literature review Archives of Computational Methods in Engineering, 25(2):pp 507–543 [5] Nilsback M.E and Zisserman A (2009) An automatic visual flora-segmentation and classification of flower images Ph.D thesis, Oxford University [6] Yoo H.J (2015) Deep convolution neural networks in computer vision IEIE Transactions on Smart Processing & Computing, 4(1):pp 3543 [7] Joly A., Goăeau H., Bonnet P., Baki´c V., Barbe J., Selmi S., Yahiaoui I., Carré J., Mouysset E., Molino J.F., et al (2014) Interactive plant identification based on social image data Ecological Informatics, 23:pp 22–34 [8] http://www.inaturalist.org/(retrieved 15/january/2017) [9] Meyer F and Beucher S (1990) Morphological segmentation Journal of visual communication and image representation, 1(1):pp 21–46 [10] Bo L., Ren X., and Fox D (2010) Kernel descriptors for visual recognition In Advances in neural information processing systems, pp 244–252 [11] NGUYEN V.T (2015) Visual interpretation of hand postures for human-machine interaction Ph.D thesis, Université de La Rochelle [12] Chaki J., Parekh R., and Bhattacharya S (2015) Recognition of whole and deformed plant leaves using statistical shape features and neuro-fuzzy classifier In 2015 IEEE 2nd international conference on recent trends in information systems (ReTIS), pp 189–194 [13] Chaki J., Parekh R., and Bhattacharya S (2015) Plant leaf recognition using texture and shape features with neural classifiers Pattern Recognition Letters, 58:pp 61–68 23 [14] Wang Z., Sun X., Ma Y., Zhang H., Ma Y., Xie W., and Zhang Y (2014) Plant recognition based on intersecting cortical model In 2014 International joint conference on neural networks (IJCNN), pp 975–980 [15] Kheirkhah F.M and Asghari H (2018) Plant leaf classification using gist texture features IET Computer Vision, 13(4):pp 369–375 [16] Tsolakidis D.G., Kosmopoulos D.I., and Papadourakis G (2014) Plant leaf recognition using zernike moments and histogram of oriented gradients In Hellenic Conference on Artificial Intelligence, pp 406–417 Springer [17] Du J.x., Zhai C.M., and Wang Q.P (2013) Recognition of plant leaf image based on fractal dimension features Neurocomputing, 116:pp 150–156 [18] Priya C.A., Balasaravanan T., and Thanamani A.S (2012) An efficient leaf recognition algorithm for plant classification using support vector machine In International conference on pattern recognition, informatics and medical engineering (PRIME-2012), pp 428–432 IEEE [19] Krizhevsky A., Sutskever I., and Hinton G.E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural information processing systems, pp 1097–1105 [20] He K., Zhang X., Ren S., and Sun J (2015) Deep residual learning for image recognition CoRR, abs/1512.03385 [21] Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., and Rabinovich A (2015) Going deeper with convolutions In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 1–9 [22] He A and Tian X (2016) Multi-organ plant identification with multi-column deep convolutional neural networks In 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC)2016 , pp 002020–002025 24 PUBLICATIONS [1] Thi-Lan Le, Duong-Nam Duong, Van-Toi Nguyen, Hai Vu, Van-Nam Hoang and Thi Thanh-Nhan Nguyen, (2015) Complex Background Leaf-based Plant Identification Method Based on Interactive Segmentation and Kernel Descriptor, Proceedings of the 2nd International Workshop on Environmental Multimedia Retrieval, ISBN: 978-1-4503-3274-3, pp.3-8 [2] Thi-Lan Le, Duong-Nam Duong, Hai Vu and Thanh-Nhan Nguyen (2015) Mica at lifeclef 2015: Multi-organ plant identification, In CEUR-WS.org/Vol-1391CLEF2015 Working note proceedings, ISSN: 1613-0073, vol 1391 [3] Thi Thanh Nhan Nguyen, Van Tuan Le, Thi Lan Le, Hai Vu, Natapon Pantuwong and Yasushi Yagi (2016), Flower species identification using deep convolutional neural networks, AUN/SEED-Net Regional Conference and Information Engineering 2016, Yangon, Myanmar, ISBN: 978-99971-0-231-7, pp.51-56 [4] Thi Thanh-Nhan Nguyen, Thi-Lan Le, Hai Vu, Huy-hoang Nguyen and VanSam Hoang (2017), A combination of Deep Learning and Hand-Designed Feature for Plant Identification Based on Leaf and Flower, In Asian Conference on Intelligent Information and Database Systems, Studies in Computational Intelligence, volume 710, Springer, ISBN: 978-3-319-56659-7, pp 223-233 [5] Nguyen Thi Thanh Nhan, Do Thanh Binh, Nguyen Huy Hoang, Vu Hai, Tran Thi Thanh Hai, Thi-Lan Le (2018), Score-based Fusion Schemes for Plant Identification from Multi-organ Images, VNU Journal of Science: Computer Science and Communication Engineering, Vol 34, No.2, ISSN 2588-1086, pp.1-15 [6] Thi Thanh Nhan Nguyen, Thi-Lan Le, Hai Vu, Van-Sam Hoang, Thanh-Hai Tran (2018), Crowdsourcing for botanical data collection towards to automatic plant identification: A review, Journal of Computers and Electronics in Agriculture (SCIE), vol 155, ISSN:0168-1699, pp.412-425 [7] Nguyen Thi Thanh Nhan, Le Thi Lan, Vu Hai, Hoang Van Sam (2018), Automatic Plant Organ Detection from Images using Convolutional Neural Networks, Journal of Research and Development on Information and Communication Technology (in Vietnamese), vol V-1, No 39, ISSN: 1859-3526, pp 17-25 [8] Thi Thanh-Nhan Nguyen, Thi-Lan Le, Hai Vu, Van-Sam Hoang (2019), Towards an automatic plant identification system without dedicated dataset International Journal of Machie Learning and Computing (Scopus), vol 9, No.1, ISSN: 2010-3700, pp.26-34 ... thực nhận dạng dựa nhiều phận Hiện nghiên cứu nhận dạng có xu hướng chuyển từ nhận dạng phận sang nhiều phận Nhận dạng dựa ảnh nhiều phận chia thành hai nhóm: Nhóm quan tâm đến loại phận cây, ... Chương đưa kết luận hướng nghiên cứu CHƯƠNG CÁC NGHIÊN CỨU LIÊN QUAN 1.1 Nhận dạng từ ảnh phận Các nghiên cứu trước thường tập trung nhận dạng dựa ảnh phận Giữa phận phận sử dụng rộng rãi [4] thường... phát triển phương pháp nhận dạng phức tạp Thứ hai, xuất phát từ quan sát việc sử dụng hình ảnh phận để nhận dạng lúc phù hợp Nhiều dễ bị nhận nhầm sử dụng lại có khả phân biệt cao dựa hoa Nhận dạng