Bài viết phát triển một phương pháp nhận dạng cây dựa trên việc sử dụng phương pháp kết hợp muộn các kết quả nhận dạng cây trên các bộ phận khác nhau của cây.
TNU Journal of Science and Technology 226(02): 84 - 91 PLANT IDENTIFICATION BASED ON A LATE FUSION METHOD WITH PRIORITY WEIGHTS Nguyen Thi Thanh Nhan*, Nguyen Thu Hương TNU - University of Information and Communication Technology ARTICLE INFO Received: 29/01/2021 Revised: 28/02/2021 Published: 28/02/2021 KEYWORDS Late fusion Product rule Plant identification Convolutional neural network Priority weights ABSTRACT Automatic plant identification based on images is currently very interesting The challenge with the plant identification problem is the great similarity among species, especially when the number of species is large In this study, we developed a plant identification method based on the use of late fusion method for identification results on different plant organs We assigned priority weights by organ/species to the confidence scores of each model The organ/species with a better identification result was assigned a higher weight GoogLeNet was used to identify plant based on each organ Experiments were applied to combine two to six organs according to leaf, flower, fruit, stem, branch, entire This method is based on combining the product rule using weights assigned to plant organs and species The experimental results have shown the effectiveness of the proposed method, it outperforms some fusion late methods The proposed method achieved the highest accuracy when combining organs, organs, organs, organs, and organs with 96.0%, 98.2%, 98.8%, 99%, and 99.2% respectively NHẬN DẠNG CÂY DỰA TRÊN PHƯƠNG PHÁP KẾT HỢP MUỘN CÓ GÁN TRỌNG SỐ Nguyễn Thị Thanh Nhàn*, Nguyễn Thu Hương Trường Đại học Công nghệ Thông tin Truyền thông – ĐH Thái Nguyên THÔNG TIN BÀI BÁO Ngày nhận bài: 29/01/2021 Ngày hồn thiện: 28/02/2021 Ngày đăng: 28/02/2021 TỪ KHĨA Kết hợp muộn Luật nhân Nhận dạng Mạng nơ ron tích chập Trọng số ưu tiên * TĨM TẮT Bài tốn nhận dạng tự động dựa hình ảnh quan tâm, mục đích hỗ trợ người dùng có khả nhận diện lồi để sử dụng hợp lý bảo tồn đa dạng thực vật Thách thức với toán nhận dạng tương tự lớn loài, đặc biệt nhận dạng số lượng loài lớn Trong nghiên cứu này, phát triển phương pháp nhận dạng dựa việc sử dụng phương pháp kết hợp muộn kết nhận dạng phận khác Chúng gán trọng số ưu tiên theo phận/ theo loài cho độ tin cậy trả theo mô hình Bộ phận/lồi có kết nhận dạng tốt gán trọng số cao Mạng học sâu GoogLeNet sử dụng để nhận dạng dựa phận Các thực nghiệm áp dụng cho kết hợp từ hai sáu phận theo phận lá, hoa, quả, thân, cành, toàn Các kết thực nghiệm hiệu phương pháp đề xuất, vượt trội so với số phương pháp khác Phương pháp đề xuất đạt kết tốt kết hợp hai, ba, bốn, năm sáu phận đạt 96,0%, 98,2%, 98,8%, 99,0% 99,2% Corresponding author Email: nttnhan@ictu.edu.vn http://jst.tnu.edu.vn 84 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 Giới thiệu Thực vật có vai trị quan trọng sống người, chúng cung cấp thực phẩm, thuốc men, gỗ, sợi, cân hệ sinh thái Để giúp cho việc sử dụng, khai thác hiệu quả, hợp lý, bảo tồn đa dạng thực vật, tốn nhận dạng tự động máy tính điện tử quan tâm, từ xây dựng ứng dụng nhận dạng thiết bị di động giúp người dùng dễ dàng nhận dạng loài họ quan tâm [1] Thách thức đặt toán nhận dạng tương tự loài lớn, đặc biệt loài họ Các nghiên cứu trước thường áp dụng kỹ thuật học truyền thống phận chủ yếu ảnh đơn giản, với sở liệu nhỏ, số lượng loài nhỏ đạt số kết ấn tượng [1] Tuy nhiên, nay, nghiên cứu hướng đến xử lý sở liệu thực vật có số lượng lồi lớn, ảnh có phức tạp chụp trực tiếp ví dụ sở liệu thi LifeCLEF nhận dạng cập nhật hàng năm [2] – [4] Việc áp dụng phương pháp học truyền thống sở liệu lớn hạn chế, đạt độ xác khơng cao Gần với phát triển phần cứng máy tính, đặc biệt đơn vị xử lý đồ họa (GPUs), bùng nổ phương pháp học sâu đạt kết ấn tượng cho toán nhận dạng nói chung tốn nhận dạng nói riêng [3]-[4] Các nghiên cứu thường tập trung phận Tuy nhiên, việc sử dụng phận không đầy đủ thông tin tương tự lớn loài khác biệt lồi Ví dụ nhiều lồi có phận giống phận hoa lại khác Để giải vấn đề này, đề xuất phương pháp kết hợp muộn nhiều ảnh thuộc phận khác để cải thiện độ xác Mỗi phân lớp riêng biệt áp dụng cho phận, sau đó, chúng tơi áp dụng phương pháp kết hợp muộn để kết hợp kết đầu cho phân lớp Các phương pháp kết hợp muộn thường sử dụng luật nhân, luật trung bình, luật lớn nhất, luật tổng, luật nhỏ [5], luật IprMNZ, luật bình chọn theo số đơng (majority voting rule), luật tổng có trọng số Các phương pháp thường sử dụng tính đơn giản hiệu Nghiên cứu [6] đề xuất phương pháp kết hợp lai bền vững (viết tắt RHF) thực kết hợp dựa luật nhân phương pháp dựa phân lớp đạt kết tốt Nghiên cứu [7] thực nhận dạng dựa việc kết hợp hai phận sử dụng phương pháp kết hợp sớm Nghiên cứu [6] thực nhận dạng kết hợp từ hai đến sáu phận Với mục đích tiếp tục cải thiện khả kết hợp so với phương pháp có, báo đề xuất phương pháp kết hợp việc sử dụng luật nhân kết hợp độ tin cậy trả có gán trọng số ưu tiên theo phận/lồi Dựa độ xác nhận dạng cho phận/loài, kết nhận dạng phận/loài tốt gán trọng số ưu tiên cao Bài báo thực kết hợp cho sáu phận sở liệu 50 loài trích từ sở liệu LifeCLEF 2015 [2] Phương pháp học sâu áp dụng cho nhận dạng dựa phận để nâng cao kết nhận dạng Các kết thực nghiệm hiệu phương pháp đề xuất Phương pháp kết hợp nhiều phận Dựa phương pháp kết hợp muộn thực toán khác truyền cảm hứng từ nghiên cứu [8] thực kết hợp nhiều mơ hình khác kết việc áp dụng nhiều mạng nơ ron học sâu khác nhau, có gán trọng số theo mơ hình theo lồi cho tốn nhận dạng cây, nghiên cứu này, đề xuất áp dụng phận khác cây, sau thực việc gán trọng số theo phận theo loài Mỗi phận huấn luyện nhận dạng riêng biệt để sinh mơ hình nhận dạng Mỗi mơ hình nhận dạng học đặc trưng riêng biệt cho phận, vậy, việc kết hợp mơ hình cho kết nhận dạng tốt Dựa ý tưởng này, nghiên cứu http://jst.tnu.edu.vn 85 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 tiếp cận nhận dạng với nhiều mơ hình nhận dạng dựa nhiều phận cây, sau áp dụng phương pháp kết hợp muộn thông tin đầu phân lớp có sử dụng trọng số có ưu tiên để phân lớp ảnh loài Trong phận cây, có phận có khả phân biệt lồi cao phận khác, phận cần gán trọng số cao hơn, tương tự loài cây, loài có khả nhận dạng tốt gán trọng số cao Trong báo này, áp dụng luật nhân [9] phương pháp xác định trọng số ưu tiên gán cho mô hình nhận dạng phận theo lồi Véc tơ kết trả tạo phép nhân độ tin cậy trả thực lấy lũy thừa theo trọng số gán Hình Sơ đồ phương pháp đề xuất Phương pháp đề xuất trình bày hình Câu truy vấn đầu vào gồm 𝑁 ảnh 𝑁 phận quan tâm Trong thực nghiệm, 𝑁 biến đổi từ đến Đầu tiên, phận tương ứng huấn luyện riêng biệt cho nhận dạng dựa đơn phận thu phân lớp tương ứng Với ảnh đầu vào 𝑖, qua phân lớp tương ứng thứ 𝑖 trả véc tơ độ tin cậy tương ứng với loài dự đốn trả 𝑆𝑖 , véc tơ có độ dài số loài 𝐶 sở liệu Phương pháp kết hợp lấy véc tơ độ tin cậy đầu vào, sau thực gán trọng số cho giá trị véc tơ độ tin cậy theo phận theo loài, thực kết hợp độ tin cậy để trả vector độ tin cậy 𝑆 Loài tương ứng với giá trị tin cậy trả lớn (𝑎𝑟𝑔𝑚𝑎𝑥(𝑆)) loài dự đoán trả Một số ký hiệu sử dụng sau: • 𝑞 = {𝐼1 , 𝐼2 , … , 𝐼𝑁 } câu truy vấn chứa 𝑁 ảnh 𝑁 phận; • 𝐶: số lớp sở liệu; • 𝑠𝑖 (𝐼𝑘 ) độ tin cậy loài 𝑖 sử dụng ảnh 𝐼𝑘 từ nhận dạng đơn phận tương ứng, ≤ 𝑖 ≤ 𝐶, ≤ 𝑘 ≤ 𝑁; • 𝑐: lớp dự đốn lồi cho câu truy vấn 𝑞 Đề xuất 1: Kết hợp muộn sử dụng trọng số gán theo phận Sau huấn luyện mơ hình nhận dạng theo phận cây, vài mơ hình tốt mơ hình khác Do đó, chúng tơi gán trọng số độ ưu tiên phận 𝑘 độ xác trả theo phận đó, ký hiệu 𝑊𝑘 Để tối ưu kết mơ hình phận khác thực kết hợp, giả sử tập trọng số 𝑁 mơ hình tập kiểm thử 𝐴, 𝐴 = (𝑊1 , 𝑊2 , … , 𝑊𝑁 ) Trọng số ưu tiên gán theo phương trình (1): http://jst.tnu.edu.vn 86 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 𝑊 𝑘 𝑊𝑂𝑘 = max(𝐴) (1) Phương pháp đề xuất thứ thực theo phương trình (2), giá trị tin cậy 𝑠𝑖 (𝐼𝑘 ) thực lũy thừa theo trọng số gán cho phận thứ 𝑘 Sau đó, áp dụng luật nhân để kết hợp giá trị thu được, kết trả số lồi có giá trị trả lớn 𝑊𝑂𝑘 (𝐼𝑘 )) 𝑐 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑖=1 𝐶 (∏𝑁 (2) 𝑘=1 𝑠𝑖 Đề xuất 2: Kết hợp muộn sử dụng trọng số gán theo phận trọng số gán theo loài Mặc dù hiệu tổng thể mơ hình phận 𝑘 tốt mơ hình phận 𝑙, điều khơng mơ hình 𝑘 tiến hành tốt tất lồi so với mơ hình 𝑙 kiến trúc mơ hình 𝑙 thích hợp cho số đặc trưng thu số lồi so với mơ hình 𝑘 Do vậy, đề xuất thứ 2, thực gán thêm trọng số theo loài, với loài 𝑖 mơ hình 𝑘 gán trọng số ưu tiên 𝑊𝑠𝑖𝑘 , độ xác nhận dạng lồi 𝑖 mơ hình 𝑘 tập kiểm thử Phương pháp đề xuất thực theo phương trình (3) giá trị độ tin cậy 𝑠𝑖 (𝐼𝑘 ) lấy lũy thừa tương ứng theo trọng số gán cho phận 𝑘 đề xuất trọng số gán theo lồi 𝑖 mơ hình thứ 𝑘 Sau đó, áp dụng luật nhân với tích độ tin cậy tương ứng Đề xuất tận dụng ưu điểm việc sử dụng trọng số theo phận theo loài: 𝑊𝑆 𝑘 𝑊𝑂 𝑐 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑖=1 𝐶 (∏𝑛𝑘=1 𝑠𝑖 𝑘 (𝐼𝑘 ) 𝑠𝑖 𝑖 (𝐼𝑘 )) (3) Để so sánh hiệu phương pháp đề xuất thực so sánh với phương pháp kết hợp lai bền vững RHF [6]– phương pháp đạt kết vượt trội so với phương pháp kết hợp phương pháp dựa luật lớn nhất, luật tổng luật nhân Với phận, áp dụng mạng GoogLeNet để huấn luyện Đây mạng học sâu sử dụng nhiều toán nhận dạng cho kết tích cực GoogLeNet đề xuất Szegedy cộng chiến thắng thi nhận dạng đối tượng sở liệu hình ảnh lớn, đa dạng ImageNet năm 2014 [10] GoogLeNet có kiến trúc sâu rộng so với nhiều kiến trúc mạng khác AlexNet, VGGNet Mạng sử dụng kiến trúc mô đun lặp (inception module), mô đun lấy đặc trưng đầu vào thực nhân chập với mẫu × 1, × 3, × lớp giảm chiều cực đại (max pooling), sau đó, thực kết nối đặc trưng đầu để trở thành mô đun đầu vào cho lớp Mạng bao gồm 6,8 triệu tham số, 22 lớp với mô đun lặp, lớp nhân chập, lớp chuẩn hóa, lớp giảm chiều, lớp kết nối đầy đủ, lớp tuyến tính với hàm kích hoạt Softmax phân lớp Kết thực nghiệm Bảng Cơ sở liệu 50 loài với phận Lá Hoa Cành Toàn Quả Thân Tập huấn luyện 1930 1650 1388 825 3821 2912 Tập kiểm thử 776 673 553 341 500 500 Tổng 2706 2323 1941 1166 4321 3412 Trong báo này, chúng tơi sử dụng độ xác để đo hiệu hệ thống Độ xác = số mẫu nhận dạng đúng/Tổng số mẫu nhận dạng Chúng thực tập sở liệu LifeCLEF 2015 [2] với 50 loài phổ biến bao gồm đầy đủ phận Với mục đích gia tăng liệu cho việc huấn luyện sử dụng mạng học sâu, thực thu thập thêm ảnh từ internet để bổ sung vào sở liệu Cơ sở liệu gồm ảnh thuộc vào sáu phận cây, ký hiệu phận tương ứng ngoặc đơn sau: (Le), hoa (Fl), toàn (En), cành (Br), http://jst.tnu.edu.vn 87 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 (Fr) thân (St) Bảng cung cấp số liệu số lượng ảnh cho phận Hình biểu diễn hình ảnh thuộc phận lồi khác sở liệu, ảnh sở liệu có phức tạp Hình Ảnh phận số loài sở liệu 3.1 Nhận dạng dựa phận Các kết thực nghiệm tiến hành máy chủ với cấu hình: 2,20 GHz CPU, 16 GB RAM, GeForce GTX 1080 Ti GPU, thực Caffe Chúng áp dụng kỹ thuật học chuyển đổi (transfer learning), sử dụng trọng số tiền huấn luyện sở liệu lớn đa dạng ImageNet làm trọng số khởi tạo cho trình huấn luyện Kỹ thuật hiệu so với việc huấn luyện từ đầu với trọng số khởi tạo ngẫu nhiên Các ảnh đầu vào có kích thước 224x224 Dựa việc nghiên cứu kết liên quan, cấu hình máy, thực nghiệm, lựa chọn tham số cho mạng sau: learning_rate: 0,001, batch_size: 32, weight_decay: 0,0002, dropout: 0,4, số bước lặp 50.000 Các kết đạt cho nhận dạng dựa đơn phận áp dụng mạng GoogLeNet cho kết từ cao xuống thấp sau: hoa (82,2%), (75%), (68,8%), cành (53,2%), thân (37,6%), toàn (36,4%) hình Hoa phận cho kết nhận dạng cao 82,2% phận hoa có nhiều đặc điểm bề ngồi (màu sắc, hình dạng) có tính chất phân biệt cao loài Các giá trị sử dụng làm trọng số Wk sử dụng cho phương pháp đề xuất 1, đề xuất Giá trị trung bình lồi cho mơ hình nhận dạng phận sử dụng để làm trọng số gán cho loài sử dụng cho đề xuất Nhận dạng dựa phận trường hợp đặc biệt nhận dạng dựa nhiều phận, số phận 𝑁 = 1, điều tương đương với việc không áp dụng kỹ thuật kết hợp muộn Hình Kết nhận dạng phận http://jst.tnu.edu.vn 88 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 3.2 Nhận dạng dựa kết hợp nhiều phận Chúng tiến hành thực cho hai phương pháp đề xuất Các kết thực nghiệm tiến hành kết hợp cho cặp từ đến phận cho việc nhận dạng dựa nhiều ảnh phận Các kết Bảng với phần in đậm kết đạt tốt theo hàng, có tổng tất 57 trường hợp kết hợp Các kết phương pháp RHF lấy từ nghiên cứu [6] Từ bảng kết chúng tơi có số nhận xét sau: Đề xuất vượt trội phương pháp RHF với 42/57 trường hợp với độ vượt trội lớn 3%, ví dụ kết hợp phận hoa thân (Fl+St) phương pháp RHF đạt độ xác 87,4% phương pháp đề xuất đạt kết 90,4% Đề xuất vượt trội phương pháp RHF với 56/57 trường hợp với độ vượt trội lớn 4,4%, ví dụ cho trường hợp kết hợp lá, cành thân (Le+Br+St) phương pháp RHF đạt độ xác 88,2% cịn phương pháp đề xuất đạt độ xác 92,6% Bài báo [6] RHF tốt so với phương pháp luật nhân, luật lớn nhất, luật tổng, suy phương pháp đề xuất 1, đề xuất tốt phương pháp kết hợp Đề xuất lại vượt trội đề xuất với 54/57 trường hợp với độ vượt trội lớn 4,4% cho trường hợp kết hợp Le+Br+St Trong ba phương pháp thực so sánh phương pháp đề xuất cho kết tốt Bảng Độ xác hạng (tính theo %) kết hợp phận khác Các phận RHF Đề xuất Đề xuất kết hợp Le+Fl 95,8 95,6 96,0 Le+Br 84,6 85,2 86,2 Le+En 80,6 79,4 80,6 Le+Fr 88,0 87,8 89,4 Le+St 80,6 82,8 84,2 Fl+Br 91,6 91,8 93,4 Fl+En 84,2 86,0 88,2 Fl+Fr 94,6 94,6 95,8 Fl+St 87,4 90,4 89,8 Br+En 64,2 63,8 66,4 Br+Fr 82,2 83,4 84,8 Br+St 67,6 66,6 68,4 En+Fr 79,6 79,8 78,0 En+St 54,0 54,4 55,6 Fr+St 74,6 77,4 77,6 Le+Fl+Br 96,8 96,6 97,8 Le+Fl+En 96,8 96,6 97,4 Le+Fl+Fr 98,0 98,0 98,2 Le+Fl+St 96,0 96,0 96,4 Le+Br+En 88,8 89 89,8 Le+Br+Fr 94,4 93,6 95,0 Le+Br+St 88,2 88,2 92,6 Le+En+Fr 93,0 93 94,0 Le+En+St 85,2 86,8 89,2 Le+Fr+St 91,2 91,4 92,6 Fl+Br+En 92,4 93,6 94,6 Fl+Br+Fr 96,4 96,8 97,6 Fl+Br+St 91,8 93,8 94,8 Fl+En+Fr 95,2 95,6 96,6 http://jst.tnu.edu.vn Các phận kết hợp RHF Đề xuất Đề xuất Fl+En+St Fl+Fr+St Br+En+Fr Br+En+St En+Fr+St Br+Fr+St Le+Fl+Br+En Le+Fl+Br+Fr Le+Fl+Br+St Le+Fl+En+Fr Le+Fl+En+St Le+Fl+Fr+St Le+Br+En+Fr Le+Br+En+St Le+Br+Fr+St Le+En+Fr+St Fl+Br+En+Fr Fl+Br+En+St Fl+Br+Fr+St Br+En+Fr+St Fl+En+Fr+St Le+Fl+Br+En+Fr Le+Fl+Br+En+St Le+Br+En+Fr+St Fl+Br+En+Fr+St Le+Fl+Br+Fr+St Le+Fl+En+Fr+St Le+Fl+Br+En+Fr+St 89,6 94,0 88,2 76,2 84,4 87,2 97,6 98,4 97,6 98,4 97,0 98,0 95,4 91,0 94,8 93,2 96,8 93,8 95,8 90,2 95,2 98,6 97,6 96,4 97,4 98,0 98,2 98,8 89 91,0 95,0 89,4 74,4 85,8 86,8 97,4 98,2 98,0 98,4 97,4 98,0 96,2 91,8 95,4 94,4 97,6 95,2 96,8 91,8 97,0 98,2 98,0 96,4 98,2 98,6 98,4 99,2 92,0 96,0 89,2 77,8 86,2 89,2 98,6 98,8 98,4 98,4 98,0 98,4 97,6 93,4 96,8 96,4 98,0 95,6 97,8 92,2 97,2 98,6 98,8 98,2 98,4 99,0 99,0 99,2 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 Kết bảng hình cho thấy việc kết hợp phận cho kết nhận dạng tốt nhận dạng đơn phận kết hợp nhiều phận kết nhận dạng cao Điều cho ba phương pháp bảng Bảng với giá trị tổ hợp N phận, kết kết hợp đạt tốt tương ứng, bảng kết tốt đạt cho phương pháp đề xuất Phân tích chi tiết cho kết phương pháp đề xuất sau Đối với việc kết hợp phận, kết đạt tốt kết hợp hai phận hoa (Le+Fl) đạt kết 96%, nhận dạng sử dụng ảnh hoa đạt kết 82,2% nhận dạng sử dụng ảnh đạt kết 75,0% hạng cho liệu kiểm thử Kết nhận dạng tốt cho phận đạt 98,2% cho kết hợp lá, hoa, (Le+Fl+Fr), phận 98,8% (Le+Fl+Br+Fr), phận 99% (Le+Fl+Br+Fr+St Le+Fl+En+Fr+St) cuối kết sáu phận 99,2% Bảng Các kết hợp phận đạt kết tốt tương ứng N phận Đề xuất Le+Fl: 95,6 Le+Fl+Fr: 98,0 Le+Fl+En+Fr: 98,4 Đề xuất Le+Fl: 96,0 Le+Fl+Fr: 98,2 Le+Fl+Br+Fr: 98,8 RHF Le+Fl: 95,8 Le+Fl+Fr: 98,0 Le+Fl+Br+Fr: 98,4 Le+Fl+En+Fr: 98,4 Le+Fl+Br+En+Fr: 98,6 Le+Fl+Br+Fr+St: 98,6 Le+Fl+Br+En+Fr+St: 98,8 Le+Fl+Br+En+Fr+St: 99,2 Le+Fl+Br+Fr+St: 99,0 Le+Fl+En+Fr+St: 99,0 Le+Fl+Br+En+Fr+St: 99,2 N Từ kết cho thấy kết nhận dạng hai phận tốt vượt trội so với phận 14,8%, kết nhận dạng phận vượt trội so với hai phận 2,2%, kết nhận dạng phận vượt trội so với kết hợp phận 0,6%, kết nhận dạng phận vượt trội so với phận 0,2 % kết nhận dạng phận vượt trội so với kết nhận dạng phận 0.2% Càng kết hợp nhiều phận cho kết nhận dạng cao, với 𝑁=2 𝑁 = độ xác gia tăng đáng kể sau cải thiện tăng chậm với 𝑁 > Bảng Thời gian trung bình (tính theo giây) thực để phân lớp câu truy vấn chứa N ảnh N Phương pháp đề xuất GPU CPU 0.51 2.54 0.56 3.51 0.60 5.06 0.64 6.54 0.70 8.01 0.74 9.52 GPU 0.51 0.98 1.07 1.21 1.38 1.54 RHF CPU 2.54 3.93 5.53 7.11 8.69 10.32 Các kết kết hợp phận thường cải thiện nhiều kết hợp với phận có kết nhận dạng cao nhận dạng đơn phận hay phận gán trọng số cao, ví dụ phận hoa, Phương pháp đề xuất đề xuất thực đơn giản lại cho kết tốt phương pháp RHF, phương pháp đề xuất cho kết tốt phương pháp cho phép gán trọng số ưu tiên theo phận theo loài nên phát huy ưu điểm kết nhận dạng cao Cách tiếp cận linh hoạt, phù hợp với thực tế khơng phải ln tồn sẵn tất phận thời điểm Khi kết hợp ưu tiên kết hợp phận có trọng số cao trước Chúng tơi tiến hành đo thời gian chạy phương pháp đề xuất thực CPU GPU Các ảnh từ tập kiểm thử sử dụng để đo thời gian trung bình cần thiết để phân lớp câu truy vấn gồm cặp 𝑁 ảnh tương ứng cho 𝑁 phận Bảng cho thấy thời gian thực tăng tuyến tính số lượng ảnh câu truy vấn tăng lên Đối với phương pháp đề xuất, thời gian thực CPU cao gấp từ đến 13 lần so với thời gian thực GPU Với kết http://jst.tnu.edu.vn 90 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 226(02): 84 - 91 thực GPU phương pháp đề xuất chúng tơi trả kết phân loại đáp ứng yêu cầu thời gian thực Với kết trả bảng phương pháp đề xuất nhanh so với phương pháp RHF Các kết thực nghiệm cho thấy phương pháp đề xuất hiệu độ xác thời gian tính tốn Kết luận Chúng tơi đề xuất phương pháp kết muộn mơ hình thu từ nhận dạng dựa phận việc áp dụng luật nhân gán trọng số cho độ tin cậy trả theo phận theo lồi Chúng tơi gán trọng số ưu tiên theo nguyên tắc, kết nhận dạng theo phận nào/loài cho kết cao gán trọng số cao Các kết thực nghiệm việc sử dụng phương kết hợp muộn cho nhiều phận cho kết tốt nhiều so với nhận dạng dựa phận; nhiên, cải thiện tăng chậm kết hợp nhiều phận Phương pháp đề xuất hiệu phương pháp RHF phương pháp kết hợp khác Chúng tin rằng, nghiên cứu hứa hẹn để xây dựng ứng dụng nhận dạng môi trường thực Lời cám ơn Nghiên cứu hỗ trợ từ đề tài nghiên cứu khoa học cấp sở với mã số T2020-07-13 TÀI LIỆU THAM KHẢO/ REFERENCES [1] W Jana and P Mäder, "Plant species identification using computer vision techniques: A systematic literature review," Archives of Computational Methods in Engineering, vol 25, no 2, pp 507-543, 2018 [2] H Goëau, P Bonnet, and A Joly, "Lifeclef plant identification task 2015," in CEUR-WS (Ed.), CLEF: Conference and Labs of the Evaluation forum, vol 1391 of CLEF2015 Working notes, Toulouse, France, 2015 [3] H Goëau, P Bonnet, and A Joly, “Plant identification in an open-world (lifeclef 2016),” CLEF working notes 2016, pp 428-439 [4] H Goëau, P Bonnet, and A Joly, “Plant identification based on noisy web data: the amazing performance of deep learning (lifeclef 2017),” CEUR Workshop Proceedings, 2017 [5] J Kittler, M Hatef, R P Duin, and J Matas, “On combining classifiers,” IEEE transactions on pattern analysis and machine intelligence, vol 20, no 3, pp 226-239, 1998 [6] T T N Nguyen, T L Le, and H Vu, “Do we need multiple organs for plant identification?” 2020 International Conference on Multimedia Analysis and Pattern Recognition (MAPR), IEEE, 2020, pp 1-6 [7] A He, and X Tian, “Multi-organ plant identification with multi-column deep convolutional neural networks,” 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2016, pp 002020-002025 [8] H T Vo, G.-H Yu, T V Dang, and J -Y Kim, "Late fusion of multimodal deep neural networks for weeds classification," Computers and Electronics in Agriculture, vol 175, 2020, Art no 105506 [9] A Jain, K Nandakumar, and A Ross, "Score normalization in multimodal biometric systems," Pattern recognition, vol 38, no 12, pp 2270-2285, 2005 [10] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke, and A Rabinovich, “Going deeper with convolutions,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp 1-9 http://jst.tnu.edu.vn 91 Email: jst@tnu.edu.vn ... đề xuất phương pháp kết hợp việc sử dụng luật nhân kết hợp độ tin cậy trả có gán trọng số ưu tiên theo phận/lồi Dựa độ xác nhận dạng cho phận/loài, kết nhận dạng phận/lồi tốt gán trọng số ưu tiên... 91 Kết bảng hình cho thấy việc kết hợp phận cho kết nhận dạng tốt nhận dạng đơn phận kết hợp nhiều phận kết nhận dạng cao Điều cho ba phương pháp bảng Bảng với giá trị tổ hợp N phận, kết kết hợp. .. thực nhận dạng dựa việc kết hợp hai phận sử dụng phương pháp kết hợp sớm Nghiên cứu [6] thực nhận dạng kết hợp từ hai đến sáu phận Với mục đích tiếp tục cải thiện khả kết hợp so với phương pháp có,