nâng cao hiệu quả phân lớp dựa trên đặc trưng vân áp dụng trong bài toán nhận dạng loại cây trong tự nhiên

Nâng cao hiệu phân lớp dựa Đặc trưng vân áp dụng toán Nhận dạng loại tự nhiên Lê Viết Tuấn 2019 Mục lục Lời nói đầu 13 Tổng quan 14 1.1 Giới thiệu 14 1.2 Các nghiên cứu nước 15 Cơ sở lý thuyết 2.1 20 Local binary pattern 20 2.1.1 Local binary pattern gốc 20 2.1.2 Cải tiến từ LBP gốc 21 2.2 Gradient vector 23 2.3 Bộ phân lớp k-Nearest-Neighbor 25 2.4 Support Vector Machines 27 Phương pháp đề xuất kết thử nghiệm 3.1 32 Phương pháp đề xuất 32 3.1.1 32 Phương pháp kết nối trực tiếp Báo cáo tổng kết Mã số: T2018.07.02 3.1.2 3.2 Gradient Local Binary Pattern 34 Kết thử nghiệm 36 3.2.1 Các tập liệu thử nghiệm 36 3.2.2 Kết thử nghiệm 38 Kết luận 42 Tài liệu tham khảo 43 Danh sách bảng 3.1 3.2 Kết phân lớp ba tập liệu hai phương pháp đề xuất 40 So sánh với số nghiên cứu 41 Danh sách hình 1.1 Ứng dụng Leafsnap 16 1.2 Ảnh thuốc với kênh màu khác 17 1.3 Miêu tả cấu trúc vỏ 18 1.4 Phương pháp SRBP 18 1.5 Framework học sâu [17] 19 2.1 Bộ miêu tả LBP 20 2.2 Các điểm lân cận đường tròn 21 2.3 58 mẫu uniform (8, R) lân cận 22 2.4 Một điểm ảnh xoay 23 2.5 Biểu diễn gradient dạng vector 24 2.6 Ví dụ phân lớp sử dụng k-NN 26 2.7 Ví dụ đường thẳng phân chia lớp 27 2.8 Lề cực đại siêu phẳng 28 3.1 Phương pháp kết nối trực tiếp 33 Báo cáo tổng kết Mã số: T2018.07.02 3.2 (a) ảnh vỏ cây, (b) độ lớn gradient, (c) hướng gradient, (d)vector biểu diễn gradient 3.3 34 An example of the Gradient Local Binary Pattern (GLBP) computation 36 3.4 Một số ảnh vỏ tập Trunk12 37 3.5 Một số ảnh vỏ tập AFF 38 3.6 Một số ảnh vỏ tập BarkTex 39 3.7 Kết thử nghiệm với khoảng hướng khác 40 Lời nói đầu Đề tài đề xuất phương pháp nâng cao hiệu nhận dạng loài dựa vào ảnh vỏ ứng dụng thuật tốn thị giác máy tính Nội dung báo cáo bao gồm 04 chương: Chương 1: Giới thiệu tổng quan đề tài cơng trình nghiên cứu ngồi nước Chương 2: Trình bày nội dung lý thuyết có sử dụng đề tài Chương 3: Trình bày phương pháp đề xuất đề tài Chương 4: Kết luận hướng phát triển đề tài 13 Chương Tổng quan 1.1 Giới thiệu Với phát triển khoa học công nghệ thời đại ngày nay, người có nhu cầu tìm hiểu, học tập, nghiên cứu mơi trường sống thiên nhiên xung quanh với trợ giúp thiết bị, công nghệ Một thành phần quan trọng góp phần bảo vệ hệ sinh thái loài cây, đặc biệt loài thân gỗ lâu năm Với đa dạng lồi tự nhiên, người bình thường khó nhận biết hết loại mà phải nhờ đến trợ giúp chuyên gia lĩnh vực thực vật học Với việc nhận dạng cách tự động loài tự nhiên mang lại nhiều lợi ích cho nhiều lĩnh vực hỗ trợ học tập, tìm hiểu nghiên cứu học sinh, sinh viên, công cụ hỗ trợ nhà thực vật học việc xác định xác lồi tự nhiên hay chí người bình thường muốn tìm hiểu thiên nhiên, mơi trường sống Với mục đích xây dựng hệ thống hỗ trợ cho người bình thường thích tìm hiểu lồi tự nhiên, hay hỗ trợ cho học sinh, sinh viên trình học tập, nghiên cứu, chí cơng cụ hỗ trợ cho chuyên gia Chúng ta tưởng tượng rằng, với người bình thường khơng có nhiều kiến thức lĩnh vực thực vật học, vào công viên xanh hay khu rừng, họ có nhu cầu nhận lồi trước mặt loài 14 Báo cáo tổng kết Mã số: T2018.07.02 Với vài thao tác lấy điện thoại chụp vài ảnh phận khác lá, hoa hay vỏ Một phần mềm trả lời cho họ biết loài trước mặt Hiện nay, máy học góp phần quan trọng sống người Các ứng dụng xử lý ngôn ngữ tự nhiên, hệ thống gợi ý, ô tô tự lái, bán hàng tự động Với hỗ trợ máy học bác sĩ xác định chuẩn đốn bệnh xác hỗ trợ hệ thống chuẩn đoán hình ảnh phân tích hình ảnh Xuất phát từ nhu cầu trên, đề tài mong muốn xây dựng hệ thống nhận dạng loại tự nhiên thông qua ảnh chụp thân máy học Lá phận nhiều nghiên cứu trước sử dụng hệ thống nhận diện tự động lồi thường đặc trưng hình dáng, màu sắc, vân Tuy nhiên, vào mùa đơng bị rụng để thay lá, úa màu, ảnh chụp phải chụp từ xa chồng chéo lên Ngược lại vỏ thường có thay đổi không lớn khoảng thời gian dài, đặc biệt người dùng dễ dàng chụp ảnh vỏ gốc Từ phân tích trên, đề tài chọn ảnh vỏ để phân tích, miêu tả hệ thống nhận diện loại tự động 1.2 Các nghiên cứu nước Nhận dạng đối tượng tự nhiên chủ đề đầy thách thức lĩnh vực thị giác máy tính có nhiều ngun nhân đối tượng chụp góc chụp khác nhau, điều kiện chiếu sáng khác nhau, bị đối tượng khác che khuất phần Nhận dạng loài nhiệm vụ khó đa số người.Có thể nhận dạng dựa vào lá, hoa vỏ Tuy nhiên, vỏ loại xem đặc trưng dùng để phân biệt loại khác Để phân lớp ảnh chụp cây, Phan Thị Thu Hồng tác giả [1] thuộc khoa Công nghệ Thông tin, trường Đại học Nông nghiệp Hà Nội áp dụng thuật toán region growing để thực tiền xử lý liệu, tiếp đến sử dụng 15 Báo cáo tổng kết Mã số: T2018.07.02 đặc trưng Gist [5] Gist descriptor [7] để trích chọn đặc trưng ảnh Các đặc trưng sau trích xuất huấn luyện thuật toán SVM Trong thập kỷ qua, có nhiều ứng dụng thiết bị di động Leafsnap [10], Pl@ntNet [9] phát triển để nhận dạng loài cách tự động đạt độ xác cao thời gian thực Ứng dụng Leafsnap ứng dụng thiết bị di động kết nhà nghiên cứu từ trường đại học Columbia, trường đại học Maryland viện Smithsonian Ứng dụng nhận diện lồi thơng qua ảnh Họ sử dụng tập liệu bao gồm 23147 ảnh chất lượng cao, 7719 ảnh chụp từ thiết bị di động 185 loài Hình 1.2 giao diện ứng dụng Leafsnap1 Hình 1.1: Ứng dụng Leafsnap Một nghiên cứu nhận diện thuốc tự động Arun đồng nghiệp [14] Nghiên cứu sử dụng thống kê để phân tích vân màu ảnh cây, sử dụng Grey Tone Spatial Dependency Matrix (GTSDM) Local Binary Pattern (LBP) với 20 kênh màu khác Để thực phân lớp tác giả thực với Stochastic Gradient Descent (SGD), k Nearest Neighbour(kNN), Support Vector Machines, Linear Discriminant Analysis(LDA) and Quadratic Discriminant Analysis(QDA) Kết phân lớp tập liệu gồm 250 ảnh loại khác cho kết nhận diện 98.7% https://www.nhm.ac.uk/take-part/identify-nature/leafsnap-uk-app.html 16 Báo cáo tổng kết Mã số: T2018.07.02 (α) l l i=1 j=1 l yi yj K(xi , xj )αi αj − (2.17) αi i=1 điều kiện l i=1 αi yi = 0v0 ≤ αi ≤ C, i = 1, , l (2.18) K(x, x ) = φT (x)φ(x ) hàm hạt nhân Điều kiện Karush-Kuhn-Tucker (KKT) (2.15) (2.16) cho phép tìm tính chất vector hỗ trợ • αi = : βi = C → ξi = → yi (wT φ(xi ) + b) ≥ 1, vector xi nằm lề phân lớp • αi = C yi (wT φ(xi ) + b) = − ξi , vector xi lúc phân loại sai Cho tập IU SV = {i : < αi < C ∧ ≤ i ≤ l} số tập vector hỗ trợ bao hai lề lân cận ISV = {i : αi > ∧ ≤ i ≤ l} số vector hỗ trợ Để ước lượng giá trị b, chung ta dựa vào tập vector hỗ trợ bao Với tất số i ∈ IU SV có phương trình sau: yi (wT φ(xi ) + b) = (2.19) Nhân yi vào hai vế phương trình (2.19) Tính trung bình cho tất i ∈ IU SV , đạt được: b= | IU SV | T i∈IU SV yi − w φ(xi ) = l | IU SV | i∈IU SV yi − yi αi K(xi , xj ) j=1 (2.20) 30 Báo cáo tổng kết Mã số: T2018.07.02 Trong | IU SV | số phần tử tập IU SV Hàm định có dạng: f (x) = sign (h(x)) = sign(wT φ(xi ) + b) (2.21) l yi αi K(xi , xj ) + b sign j=1 yi αi K(xi , xj ) + b sign i∈IU SV Hàm định SVM biểu thị phương trình (2.21), biên định tuyến tính học khơng gian đặc trưng, ánh xạ ngược trở lại không gian ban đầu liệu, hàm định trở thành biên định phi tuyến 31 Chương Phương pháp đề xuất kết thử nghiệm 3.1 3.1.1 Phương pháp đề xuất Phương pháp kết nối trực tiếp Một phương pháp kết hợp đặc trưng đơn giản nối trực tiếp lược đồ lại với Lược đồ local binary pattern cho ba kênh màu đỏ (red), xanh lục (green), xanh dương (blue) xử lý vùng × điểm ảnh lân cận Sử dụng giá trị màu pixel trung tâm làm ngưỡng để tạo mã LBP (LBP encoding) Các mã nhân với giá trị trọng số tương ứng trước chuyển thành lược đồ tương ứng cho ba kênh màu Thay sử dụng giá trị điểm ảnh để tạo mã LBP, phương pháp sử dụng độ lớn gradient (độ lớn gradient tính dựa vào công thức (2.7)) Mã LBP dựa vào độ lớn (MLBP - local binary pattern based on gradient magnitude) tính tốn vùng sử dụng giá trị độ lớn điểm trung tâm làm giá trị ngưỡng Các giá trị MLBP nhân với trọng số tương ứng sau chuyển thành lược đồ độ lớn cho kênh màu 32 Báo cáo tổng kết Mã số: T2018.07.02 Pixel values LBP encodings 3 6 9 Magnitude values MLBP encodings 3 6 9 Direction values DLBP encodings 3 6 9 Hình 3.1: Phương pháp kết nối trực tiếp Cuối cùng, phương pháp sử dụng hướng gradient (hướng gradient tính dựa vào cơng thức (2.6)) để tạo mã DLBP (local binary pattern based on gradient direction) Giá trị hướng điểm trung tâm dùng để làm ngưỡng, nhiên khác với phương pháp tính LBP dựa vào giá trị điểm ảnh hay độ lớn gradient, hướng điểm lân cận xem hướng với điểm trung tâm (giá trị ngưỡng) | dp − dc |≤ 200 (3.1) Trong dp giá trị hướng điểm lân cận dc giá trị hướng điểm trung tâm (giá trị ngưỡng) Mã DLBP nhân với trọng số tương ứng trước chuyển thành lược đồ Như ba lược đồ dựa vào giá trị điểm ảnh, ba lược đồ dựa vào giá trị độ lớn gradient ba lược đồ dựa vào hướng gradient kênh màu nối lại với thành lược đồ kết hình 3.1 Lược đồ kết hợp dùng làm đầu vào cho phân lớp support vector machine k-nearest-neighbor Sự kết hợp mong muốn mang nhiều thông tin cho phân lớp trình học kiểm tra, nhiên vấn đề độ phức tạp tính tốn tăng lên, độ dài lược đồ kết hợp tăng lên đáng kể 33 Báo cáo tổng kết Mã số: T2018.07.02 3.1.2 Gradient Local Binary Pattern Mặc dù phương pháp đề xuất đơn giản đem lại hiệu định dễ dàng thấy tính tốn phức tạp Mặc khác, để mã hóa thơng tin ảnh vỏ ngồi thơng tin giá trị điểm ảnh, quan sát thấy được, độ lớn gradient hướng gradient mang nhiều thông tin giúp phân biệt lớp vỏ khác hình 3.2 Hình 3.2: (a) ảnh vỏ cây, (b) độ lớn gradient, (c) hướng gradient, (d)vector biểu diễn gradient Hình 3.2 ví dụ độ lớn gradient (3.2b) hướng gradient (3.2c) vỏ thơng biểu diễn dạng mũi tên có độ lớn hướng Tại vùng đồng độ lớn gradient nhỏ, ngược lại gradient vùng biên cạnh có độ lớn vượt trội so với vùng đồng đồng thời có hướng gần giống (3.2d) Từ quan sát thấy trên, đề tài đề xuất phương pháp kết hợp thông tin giá trị điểm ảnh, độ lớn hướng gradient để miêu tả tốt cho đặc trưng vân vỏ Gradient local binary pattern (GLBP) sử dụng giá trị điểm ảnh giá trị gradient để mã hóa đặc trưng vân vùng cục ảnh vỏ Đầu tiên, mã LBP dựa giá trị điểm ảnh tính LBP gốc, có nghĩa tính tốn dựa vào giá trị điểm ảnh trung tâm làm ngưỡng 34 Báo cáo tổng kết Mã số: T2018.07.02 điểm ảnh lân cận xung quanh t(s(g0 − gc ), s(g1 − gc ), , s(gp−1 − gc )) Trong gc , gp tương ứng giá trị điểm ảnh trung tâm giá trị pixel vùng lân cận, s(z) hàm ngưỡng  1, if s(z) = 0, if z≥0 z