Nghiên cứu các phương pháp nhận dạng cây dựa trên hình ảnh các bộ phận của cây

Đồ án lần này tập trung vào việc nghiên cứu các phương pháp nhận dạng đã có và đề xuất một phương pháp nhận dạng cây dựa trên hình ảnh các bộ phận của cây, tiến hành các thử nghiệm, đánh

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời cảm ơn chân thành và sâu sắc nhất đến cô

Nguyễn Thị Thanh Nhàn, người đã tận tình chỉ bảo và hướng dẫn em trong suốt

quá trình học tập và thực hiện đồ án tốt nghiệp Cô đã giúp đỡ, dạy bảo em không chỉ về mặt kiến thức, mà còn là những kỹ năng để học tập và làm việc Đó là những bài học kinh nghiệm quý báu sẽ đồng hành cùng em trên suốt chặng đường học tập, nghiên cứu và làm việc sau này

Em xin được gửi lời cảm ơn đến các thầy cô giáo của trường Đại học Công nghệ Thông tin và Truyền thông Thái nguyên đã giảng dạy, truyền đạt cho em những kiến thức tốt nhất, những kỹ năng sống Đó là nền tảng để em vững bước trên chặng đường sau này của mình

Để thực hiện tốt đồ án lần này, em xin chân thành cảm ơn sự trợ giúp của thầy cô giáo trong Viện MICA –Trường đại học Bách khoa Hà Nội Đặc biệt được

sự chỉ dẫn của cô Lê Thị Lan trong quá trình làm thực tập tốt nghiệp đã tạo tiền đề cho lần thực hiện tốt đồ án lần này

Cuối cùng em xin gửi lời cảm ơn tới bố mẹ, gia đình, bạn bè, những người

đã luôn bên cạnh em trong mọi hoàn cảnh, tạo cho em những điều kiện tốt nhất để

em có thể phát huy, tìm hiểu những đam mê, sở thích của mình trong các lĩnh vực

Thái Nguyên, tháng 6 năm 2016

Người thực hiện

Phan Ngọc Quân

LỜI CAM ĐOAN

Đồ án tốt nghiệp là sản phẩm tổng hợp toàn bộ kiến thức mà em đã học và nghiên cứu trong suốt thời gian học tập tại trường đại học Ý thức được điều đó, với tinh thần làm việc nghiêm túc, tự giác cùng sự lao động miệt mài của bản thân

và sự hướng dẫn nhiệt tình chu đáo của cô giáo: Nguyễn Thị Thanh Nhàn, em đã hoàn thành đồ án tốt nghiệp của mình

Em xin cam đoan về nội dung của đồ án: “Nghiên cứu các phương pháp

nhận dạng cây dựa trên hình ảnh các bộ phận của cây” là do em tự tìm hiểu, nghiên cứu dưới sự hướng dẫn của cô giáo: Nguyễn Thị Thanh Nhàn Mọi trích

dẫn và tài liệu mà em tham khảo đều được ghi rõ nguồn gốc

Nếu mọi thông tin sai lệch em xin chịu mọi hình thức kỷ luật của trường Đại học Công nghệ thông tin và Truyền thông

Thái Nguyên, tháng 6 năm 2016

Người thực hiện

Phan Ngọc Quân

MỤC LỤC

DANH MỤC HÌNH ẢNH

Hình 1.1 Giáo dục-bảo tồn đa dạng sinh học 9

Hình 1.2 Lá cây trong ảnh kiểm thử cùng họ với lá nào trong ảnh 11

Hình 1.3 Sơ đồ các khối chức năng của giai đoạn kiểm thử 11

Hình 2.1 Sơ đồ tổng quan hệ thống nhận dạng cây với truy vấn gồm nhiều hình ảnh các bộ phận của cây 13

Hình 2.2: Một số ảnh lá đơn và lá kép trên nên phức tạp 15

Hình 2.3 Sơ đồ phân đoạn lá cây có tương tác 16

Hình 2.4 Minh họa cách thức hoạt động của giải thuật watershed 16

Hình 2.5 Quá trình chi tiết giải thuật Watershed 17

Hình 2.6 Ví dụ về chuyển đổi ảnh màu RGB sang ảnh đa mức xám và từ ảnh đa mức xám chuyển sang ảnh nhị phân 17

Hình 2.7 Áp dụng bộ lọc Canny cho ảnh RGB để tìm biên lá 17

Hình 2.8 Chuẩn hóa hướng của lá cây (a): Ảnh lá sau khi được phân đoạn, chưa chuẩn hóa hướng, (b): Chuyển sang ảnh nhị phân, (c): Xác định biên lá sử dụng bộ lọc Canny, (d): Ảnh đã được chuẩn hóa hướng 18

Hình 2.9 Ảnh lá cây khi vẽ vùng bên trong và bên ngoài lá dùng WaterShed

Hình 2.14.Các bước thực hiện giải thuật Phân đoạn vùng nổi bật 22

Hình 2.15 Các tính saliency map của một ảnh 22

Hình 2.16 Sự chuyển đổi hai không gian màu RGB và Lab 23

Hình 2.17 Co ảnh nhị phân23

Hình 2.18 Giãn ảnh nhị phân 24

Hình 2.19 Kết quả phân đoạn ảnh hoa, quả sử dụng salient region segmentation

25

Hình 2.20 Kết quả phân đoạn ảnh thân cây 25

Hình 2.21 Minh họa các tính đặc trưng LBP tại 1 điểm26

Hình 2.22 Cách chia ảnh thành các patch ảnh 27

Hình 2.23 thử nghiệm, đánh giá sai số phương pháp xấp xỉ giới hạn số chiều

29

Hình 2.24 Minh họa phương pháp spatial pyramid matching 31

Hình 2.25 Minh họa xây dựng bộ phân lớp SVM nhị phân 32

Hình 2.26 Ví dụ cách tính toán K-NN 35

Hình 2.27 Minh họa cách tính BC37

Hình 2.28 Minh họa cách tính IRP 38

Hình 2.29 Minh họa cách tính WP 38

Hình 3.1:Một số hình ảnh thu thập được của các bộ phận cây 43

Hình 3.2: Ví dụ minh họa tiền xử lý ảnh lá cây trên nền đơn giản 45

Hình 3.3: Kết quả tiền xử lý ảnh lá cây trên nền phức tạp 46

Hình 3.4:Kết quả tiền xử lý ảnh thân cây 46

Hình 3.5: Kết quả tiền xử lý ảnh hoa 47

Hình 3.6: Một số ảnh phần đoạn bị mất nội dung ảnh 47

Hình 3.7 Phân vùng dữ liệu ảnh cho tập huấn luyện,tập thử nghiệm 48

Bảng 3.2: Thống kê số lượng ảnh đã tiền xử lý dữ liệu thu thập được 44

Bảng 3.3 Thống kê số lượng ảnh train và ảnh test được sử dụng 48

Bảng 3.2 Kết quả nhận dạng 49

LỜI NÓI ĐẦU

Trong những năm gần đây, thị giác máy tính (Computer Vision) đang trở thành một lĩnh vực đầy tiềm năng và rất được quan tâm Ứng dụng của thị giác máy tính có thể được được quan sát, tìm thấy trong các sản phẩm công nghệ cao, các hệ thống thông minh như những hệ thống giám sát, nhận dạng,… Nhận dạng các loài cây là một trong số các sản phẩm đó Nhận dạng cây có tính ứng dụng cao trong y tế, giáo dục, an ninh lương thực

Trong bài toán nhận dạng cây dựa trên kĩ thuật xử lý ảnh, cũng đã có rất nhiều các tác giả đã nghiên cứu bài toán này Nhưng các nghiên cứu đó chỉ tập trung vào một bộ phận của cây như hoa hay lá cây Tuy nhiên, xét về tổng thể các

bộ phận khác như quả, thân cây,… cũng có những đặc trưng để phân biệt các loài cây Đồ án lần này tập trung vào việc nghiên cứu các phương pháp nhận dạng đã

có và đề xuất một phương pháp nhận dạng cây dựa trên hình ảnh các bộ phận của cây, tiến hành các thử nghiệm, đánh giá kết quả

Đồ án tốt nghiệp bao gồm 3 chương:

CHƯƠNG 1:GIỚI THIỆU

CHƯƠNG 2:HỆ THỐNG NHẬN DẠNG ẢNH CÂY

CHƯƠNG 3:XÂY DỰNG CƠ SỞ DỮ LIỆU VÀ THỬ NGHIỆM

CHƯƠNG 1 GIỚI THIỆU 1.1 Nhu cầu thực tế về hệ thống nhận dạng cây.

Nhận dạng cây có nhiều ứng dụng khác nhau trong công nghiệp, sinh học, giáo dục và y tế Tuy nhiên việc xác định chính xác tên của một loài cây là một bài toán khó ngay cả đối với những người có kinh nghiệm thường xuyên tiếp xúc, làm việc với cây như nông dân, các nhà sinh vật học… do sự đa dạng của các loài cây

Hình 1.1 Giáo dục-bảo tồn đa dạng sinh học

1.2 Định nghĩa về hệ thống nhận dạng các bộ phận của cây

Ứng dụng của thị giác máy tính có thể quan sát rất rõ trong các sản phẩm

công nghệ cao, những hệ thống giám sát, nhận dạng như nhận dạng vân tay, nhận dạng chữ viết, nhận dạng tiếng nói, nhận dạng mặt người, nhận dạng cử chỉ hành động,…Trong đó có nhận dạng các loài cây là một trong các ứng dụng ngày càng được sử dụng rộng rãi như nhận biết cây thuốc trong y tế, nhận dạng cây trong môi trường lạ như rừng núi,…

Nhận dạng và phân biệt các loại cây là một bài toán có xuất phát từ nhu cầu thực tế Việc nhận dạng cây giúp cho ta phát hiện được các loài cây quý, các loài cây có tác dụng chữa bệnh cực kỳ quan trọng trong y học, giúp nâng cao hiểu biết của con người về các loại cây có vai trò quan trọng, giúp bảo vệ đa dạng sinh học…

Nhận dạng cây hiện nay có 3 hướng tiếp cận:

 Nhận dạng cây dựa trên từ khóa (tìm bằng từ khóa )

 Nhận dạng cây theo giao diện mô tả các bộ phận cây thông qua các biểu tượng (Mô tả bằng hình dạng cho trước )

 Nhận dạng cây dựa trên các kỹ thuật xử lý ảnh

Nhận dạng cây là bài toán xác định tên chính xác của các loài cây dựa trên các đặc điểm quan sát của cây.Nhận dạng cây có nhiều ứng dụng khác nhau trong công nghiệp, sinh học, giáo dục và y tế Tuy nhiên việc xác định chính xác tên của một loài cây là một bài toán khó ngay cả đối với những người có kinh nghiệm như nông dân, nhà sinh vật học do sự đa dạng của các loài cây Gần đây, với sự phát triển của các công nghệ truy xuất, tìm kiếm bằng hình ảnh, hướng tiếp cận nhận dạng cây dựa trên hình ảnh đang được coi là một hướng đầy hứa hẹn giúp tăng khả năng nhận dạng các loài cây Trong bài toán nhận dạng cây dựa trên các kỹ thuật

xử lý ảnh các nhà nghiên cứu cũng đã đưa ra rất nhiều cách tiếp cận với bài toán nhận dạng dựa trên việc kết hợp giữa các bộ phận của cây như lá, hoa, quả, thân, cành hay cả toàn bộ cây

Trong đề tài này, em tập trung vào việc nghiên cứu các phương pháp nhận dạng cây kết hợp thông tin từ nhiều bộ phận của cây Những đóng góp của đề tài

và bộ phân lớp Support Vector Machine (SVM) [9].

 Xây dựng các giải thuật kết hợp các danh sách kết quả trả về với mỗi ảnh trong cùng một truy vấn để đưa ra được danh sách thứ hạng các kết quả cuối cùng (Late Fusion)

Hình 1.2 Lá cây trong ảnh kiểm thử cùng họ với lá nào trong ảnh

huấn luyện?

1.3 Sơ đồ tổng quát của một hệ thống nhận dạng.

Nhận dạng ảnh là một bài toán thường gặp trong lĩnh vực xử lý hình ảnh Một

hệ thống nhận dạng ảnh gồm 2 giai đoạn: Huấn luyện và thử nghiệm Mỗi giai đoạn được thực hiện qua các bước được mô tả trong Hình 1.2, Hình 1.3

Hình 1.3 Sơ đồ các khối chức năng của giai đoạn huấn luyện

Hình 1.3 Sơ đồ các khối chức năng của giai đoạn kiểm thử

 Tiền xử lý

Ở giai đoạn này thường thực hiện các phép thay đổi kích thước ảnh, xoay ảnh,

áp dụng các bộ lọc để giảm nhiễu, phân đoạn ảnh,… Tiền xử lý có vai trò rất quan trọng trong một hệ thống nhận dạng, bởi vì nó sẽ ảnh hưởng trực tiếp đến việc trích chọn đặc trưng ở bước tiếp theo Vì vậy cần chọn những phương pháp phù hợp để có thể tách đối tượng cũng như làm nổi bậts các đặc trưng của đối tượng.Nhìn chung, tiền xử lý có vai trò nâng cao tính chất đặc trưng của ảnh trên một phương diện nào đó, vì vậy, nó gắn liền với việc trích trọn đặc trưng Nói các khác, ta cần lựa chọn thuật toán tiền xử lý sao cho đối tượng rõ nhất, sát với đối tượng hơn để dễ dàng cho việc nhận dạng

 Trích chọn đặc trưng

Trích chọn đặc trưng là một phép ánh xạ chuyển từ không gian các pixel của một ảnh sang một không gian đặc trưng được xây dựng Mỗi ảnh sau khi trích chọn đặc trưng sẽ được đại diện bằng một vector đặc trưng, sao cho vector đặc trưng này mang đủ các tích chất, đặc điểm của bức ảnh đó để có thể phân biệt được với các bức ảnh khác Có 2 loại đặc trưng: cục bộ ( đặc trưng cho một hoặc nhiều

điểm trong ảnh) và toàn cục (có sự tương tác, liên kết giữa các điểm ảnh với nhau ).

 Phân lớp đối tượng dựa trên phương pháp học máy

Học máy (Machine learning) là một nhánh của trí tuệ nhân tạo, liên quan đến việc xây dựng và nghiên cứu các hệ thống (chủ yếu là các bộ phân lớp) có thể học

ra từ dữ liệu, từ đó giúp xây dựng lên các mô hình có thể phân tách được các lớp đối tượng với nhau

Đầu vào của modul này là đặc trưng của đối tượng, đi kèm với nhãn lớp của

nó Đầu ra sẽ là mô hình toán học tương ứng Với mô hình này, mỗi khi có dữ liệu thích hợp đi vào, nó sẽ tính toán để gán một nhãn cho đối tượng ( vào một trong các lớp mà nó đã học, đôi khi có đi kèm với xác xuất)

1.4 Nội dung chính của đồ án tốt nghiệp

 Thu thập dữ liệu ảnh các bộ phận của một số cây ở khu vực phía Bắc và các thông tin liên quan

 Tìm hiểu các phương pháp tiền xử lý,trích chọn đặc trưng, các phương pháp phân lớp và phương pháp kết hợp các kết quả của các bộ phận cây

 Cài đặt các chương trình tiền xử lý, trích chọn đặc trưng,phân lớp và kết hợp

 Thử nghiệm đánh giá nhận dạng dựa trên phần mềm nhận dạng cây cho dữ liệu thu nhập được

 Đưa ra được các đề xuất,cải tiến(nếu có )



CHƯƠNG II HỆ THỐNG NHẬN DẠNG ẢNH CÂY 2.1.Sơ đồ chung của hệ thống

Hình 2.1 dưới là mô hình nhận dạng cây dựa trên hình ảnh nhiều bộ phận của

cây Hệ thống cho phép nhận dạng cây bằng cách đưa ra hình ảnh của một hoặc một vài các bộ phận gồm lá cây ( trên nền đơn giản hoặc phức tạp ), hoa, quả, thân, ảnh toàn bộ cây

Sơ đồ tổng quan các bước thực hiện của hệ thống nhận dạng cây dựa trên hình ảnh các bộ phận trong đề tài này được thực hiện thông qua các bước:

 Tiền xử lý

 Trích chọn đặc trưng

 Phân lớp và nhận dạng

 Kết hợp các kết quả trả về

Hình 2.1 Sơ đồ tổng quan hệ thống nhận dạng cây với truy vấn gồm nhiều hình

Do đó, trong Bảng 2.1 dưới đây là những yêu cầu và giải pháp cho những

phương pháp phân đoạn ảnh, tiền xử lý phù hợp cho từng loại hình ảnh tương ứng với mỗi bộ phần của cây:

Bảng 2.1 Các yêu cầu và giải pháp cho bài toán nhận dạng cây trong giai đoạn

tiền xử lý.

Lá đơn trên nền đơn

 Áp dụng giải thuật xoay lá về một hướng chuẩn

Lá kép trên nền đơn

giản

-Loại bỏ sự ảnh hưởng của đối tượng khác bằng việc tách chỉ lấy một trong số các đối tượng

-Loại bỏ sự ảnh hưởng của cuống lá

-Loại bỏ sự ảnh hưởng của góc đặt lá, góc chụp

-Sử dụng giải thuật Salient Region Segmentation( phân đoạn vùng nổi bật)và

sử dụng Finding Contours

để tìm ra đối tượng lớn nhất

 Áp dụng giải thuật phù hợp để loại bỏ cuống lá.-Áp dụng giải thuật xoay

-Áp dụng giải thuật phù hợp để loại bỏ cuống lá.-Áp dụng giải thuật xoay

nền)

- Thực hiện phân đoạn có tương tác để lấy đối tượng

ra khỏi nền

Hoa -Loại bỏ sự ảnh hưởng của sự

biến đổi mức xám trên nền (loại

nền)

-Sử dụng giải thuật phân đoạn vùng nổi bật kết hợp với việc thực hiện phân đoạn Mean-Shift để đưa ra vùng nổi bật

-Sử dụng một bounding box để bao đối tượng.Thân cây  Làm nổi vùng bên trong thân

cây

 Sử dụng cửa sổ Hanning window

2.2.1 Ảnh lá cây trên nền phức tạp

Đây là những bức ảnh lá cây được chụp trên nền đa dạng có thể là những bức ảnh được chụp cả một cành cây hoặc nền là những chiếc lá khác (Hình 2.2) Điều

đó cho thấy vùng đối tượng và vùng nền khá giống nhau

Hình 2.2: Một số ảnh lá đơn và lá kép trên nên phức tạp.

Do đó với ảnh lá cây trên nền phức tạp, em sử dụng phương pháp phân đoạn

có tương tác Với mỗi ảnh, người dùng cần xác định một vài vùng thuộc vào đối tượng (inner marker) và không thuộc vào đối tượng (outer market) Dựa trên các

đánh dấu của người dùng, sẽ áp dụng giải thuật watershed để phân đoạn ảnh thành các đối tượng Người dùng lựa chọn vùng đối tượng tương ứng với lá cây và kết hợp với tính toán moment ảnh để xoay lá về một hướng chuẩn.

Hình 2.3 Sơ đồ phân đoạn lá cây có tương tác

 Tìm đường viền của ảnh bằng Giải thuật Watershed

Hình 2.4 Minh họa cách thức hoạt động của giải thuật watershed

Giải thuật Watershed là phương pháp phổ biến xuất phát từ các phương pháp hình thái học.Là thuật toán xử lý hình ảnh nhằm tách đối tượng khỏi background Thuật toán có input là ảnh xám và 1 ảnh gọi là ảnh marker Ảnh marker là ảnh mà bạn cho thuật toán Watershed biết đâu là đối tượng foreground và background.Ảnh

marker là ảnh có cùng size với ảnh xám.

Về nguyên tắc: Bất cứ một ảnh mức xám nào cũng thể được coi là một bề

mặt topography ( địa hình )trong đó những điểm có cường độ mức xám lớn là các

“đỉnh đồi” và những điểm có mức xám thấp được coi là các “thung lũng”.Hãy hình dung chúng ta bắt đầu đổ đầy những loại nước có màu khác nhau vào các thung lũng khác nhau(Hình 2.4) Khi nước bắt đầu dâng lên từ đáy hồ, tùy thuộc vào các đỉnh gần với thung lũng mà nước sẽ bắt đầu dâng lên theo những cách khác nhau Khi mà các vùng nước gặp nhau ở đỉnh sẽ cho ta được một đường viền Cuối cùng

là ta được vùng đối tượng là đường viền khép kín Xem chi tiết trong hình 2.5

Hình 2.5 Quá trình chi tiết giải thuật Watershed.

 Chuẩn hóa hướng lá

Sau khi đã tách được đối tượng ra khỏi nền, ta cần tính toán moment theo đường biên của lá để có thể xoay lá về một hướng chuẩn Thuật toán chuẩn hóa hướng lá được thực hiện theo các bước sau:

 Bước 1: Chuyển đổi ảnh RGB sang ảnh đa mức xám (mỗi điểm ảnh có giá trị

từ 0 đến 255) rồi từ ảnh đa mức xám đó chuyển sang ảnh nhị phân( mỗi điểm ảnh có giá trị 0 và 1 ) Ví dụ về chuyển từ ảnh RGB sáng ảnh xám và sang ảnh nhị phân:

Hình 2.6 Ví dụ về chuyển đổi ảnh màu RGB sang ảnh đa mức xám và từ ảnh đa

mức xám chuyển sang ảnh nhị phân.

 Bước 2 : Áp dụng bộ lọc Canny để tìm biên lá

Hình 2.7 Áp dụng bộ lọc Canny cho ảnh RGB để tìm biên lá.

 Bước 3 :Tính toán các giá trị moment

Để tính toàn giá trị moment thì ảnh đầu vào là lá của cây

 Công thức chuyển đổi tọa độ :

Trong đó :w,h lần lượt là kích thước cột , hàng của ảnh đầu ra

 Ảnh sau khi xoay trục sẽ được tính bằng công thức sau :

Hình 2.8 Chuẩn hóa hướng của lá cây (a): Ảnh lá sau khi được phân đoạn, chưa chuẩn hóa hướng, (b): Chuyển sang ảnh nhị phân, (c): Xác định biên lá sử dụng

bộ lọc Canny, (d): Ảnh đã được chuẩn hóa hướng.

 Các bước thực hiện tiền xử lý ảnh lá đơn trên nền phức tạp

Phân đoạn có tương tác với người dùng, sử dụng giải thuật Watershed

Bước 1: Vẽ đường để xác định vùng bên trong và ngoài lá.

Hình 2.9 Ảnh lá cây khi vẽ vùng bên trong và bên ngoài lá dùng WaterShed.

Bước 2: Phân đoạn ảnh thành các vùng, chọn vùng ảnh ứng với lá cây.

Hình 2.10 Ảnh lá cây sau khi chạy chương trình phân đoạn WaterShed.

Bước 3: Trích lá cây ra khỏi ảnh, chuẩn hóa kích thước và hướng.

Hình 2.11 Ảnh lá cây sau khi đã tách ra khỏi nền và chuẩn hóa.

 Đối với ảnh lá kép

Xây dựng thuật toán phân đoạn có tương tác với người dùng cho phép người dùng click chuột vào góc trên bên trái và một điểm ở góc dưới bên phải để bao lấy đối tượng giúp loại bỏ nền ảnh và đồng thời thực hiện chuẩn hóa hướng lá bằng thuật toán chuẩn hóa hướng lá giống như với lá đơn trên nền phức tạp

 Các bước thực hiện tiền xử lý ảnh lá kép trên nền phức tạp gồm:

 Bước 1 : Đọc dữ liệu ảnh đầu vào

 Bước 2 : Xác định tọa độ hai điểm góc trên bên trái và điểm góc dưới phải

để bao lấy đối tượng

 Bước 3 : Trích chọn vùng có chứa đối tượng và đồng thời chuẩn hóa hướng lá.

 Bước 4 : Lưu ảnh sau khi xử lý



2.2.2 Ảnh lá cây trên nền đơn giản

Hình 2.12 Một số hình ảnh lá cây trên nền đơn giản

Đối với ảnh lá cây trên nền đơn giản, chương trình được thực hiện thông qua giải pháp tách lá tự động , gồm 3 bước như sau :

Hình 2.13 Phân đoạn ảnh tự động

 Bước 1: Sử dụng phương pháp phân đoạn vùng nổi bật (Salient Region

Segmemtation).Được minh họa trong Hình 2.2(b).Sau đó chúng tôi áp dụng Finding Contours để tìm ra vùng có diện tích lớn nhất là vùng chưa lá cây.

Hình 2.14.Các bước thực hiện giải thuật Phân đoạn vùng nổi bật.

Với các thông số như sau:

 Thực hiện phân đoạn Mean-Shift với

(sigmaS, sigmaR, minRegion) = (7, 10, 20)

 Vùng ảnh được lựa chọn thuộc đối tượng là vùng ảnh có

Trong đó:

 : giá trị trung bình saliency của vùng k

 : giá trị trung bình saliency của toàn ảnh

Tính toán Saliency map của một ảnh được thực hiện như Hình 3.9:

Hình 2.15 Các tính saliency map của một ảnh

Hình 2.16 Sự chuyển đổi hai không gian màu RGB và Lab

 Chuyển đổi ảnh từ không gian RGB sang Lab

 Tính giá trị là LAB trung bình của toàn ảnh

 Giá trị saliency của mỗi điểm ảnh được tính theo công thức

 Bước 2 :Cắt cuống lá dựa trên việc co và giãn ảnh

Theo như quan sát ta có thể thấy, phần cuống lá là vùng ảnh có kích thước rất mảnh nên ta có thể loại bỏ bằng cách sau:

 Tạo ra mặt nạ bằng cách chuyển ảnh màu sang ảnh nhị phân

 Sử dụng phép co ảnh nhị phân trên mặt nạ để loại bỏ đi cuống lá

Xét tập hợp A và tập hợp B (Phần tử cấu trúc), phép co ảnh nhị phân của tập hợp A bởi phần tử cấu trúc B được kí hiệu A B và viết dưới dạng công thức như sau:

 Gọi A là ảnh gốc, B là một phần tử cấu trúc Phép giãn nhị phân của ảnh

A với phần tử cấu trúc B được kí hiệu AB và chúng ta có thể biểu diễn phép toán

co ảnh dưới dạng phép toán tổ hợp như sau:

Phép giãn ảnh nhị phân của tập A bởi phần tử cấu trúc B là tập hợp của các điểm z (z là tâm của phần tử cấu trúc B trên tập A) sao cho phản xạ của Bz giao với tập A tại ít nhất một điểm

 Bước 1: sử dụng giải thuật Salient Region Segmentation,với những điều kiện về diện tích tối thiểu của MeanShift được lựa chọn một cách hợp lý.Trong chương trình này chúng tôi thiết lập với bộ tham số như sau

(sigmaS, sigmaR, minRegion) = (7, 10, 1000) và α=1

 Bước 2: xây dựng một mặt nạ, bằng cách tạo ra một bounding box tối thiểu chứa tất cả các vùng nổi bật

 Bước 3: áp dụng mặt nạ lên ảnh gốc để trích ra ROI chứa đối tượng

Hình 2.19 Kết quả phân đoạn ảnh hoa, quả sử dụng salient region segmentation

2.2.4 Ảnh Thân cây

Với thân cây ,theo như quan sát thì ảnh thân cây tập trung ở phần chính giữa của bức ảnh, vì vậy để loại bỏ được nền xung quanh thì em áp dụng cửa sổ Hanning lên ảnh đa mức xám để giảm các ảnh hưởng của nền xung quanh

Quá trình được thực hiện như sau :

 Ảnh đầu vào được chuyển thành ảnh đa mức xám

 Từ ảnh đa mức xám ta sẽ thiết lập cửa số Hanning với hàm

 Thực hiện biến đổi Fourier rời rạc với hàm

 Cuối cùng là thực hiện tính toán ngịch đảo Fourier rời rạc

Hình 2.20 Kết quả phân đoạn ảnh thân cây

2.3 Trích chọn đặc trưng

2.3.1 Kernel Descriptor(KDES)

Với đặc trưng KDES, việc trích chọn đặc trưng hình ảnh của mỗi bộ phận của cây đều được xây dựng theo hướng: từ đặc trưng mức pixel, đến đặc trưng mức patch, rồi đặc trưng mức ảnh

 Đặc trưng gradient

Gradient là một vector có các thành phần biểu thị tốc độ thay đổi giá trị

của điểm ảnh theo 2 hướng x và y, hay có thể nói là nó đại diện cho sự thay đổi về hướng và độ lớn của một vùng ảnh

Vector gradient tại một pixel z được xác định bởi biên độ và hướng Trong [2], sau khi đã được chuẩn hóa (chia cho biên độ vector tại mỗi

 Đặc trưng LBP

Đặc trưng LBP của một điểm được tính toán theo các bước sau:

 Xác định vùng đặc trưng quanh mỗi pixel là vùng vuông 9 điểm bao gồm điểm đang xét và 8 điểm quanh nó

 So sánh giá trị mức xám của điểm trung tâm với 8 điểm lân cận, nếu điểm lân cận lớn hơn, ta gán giá trị 1, ngược lại gán giá trị 0

 Xếp các giá trị nhị phân thành 1 dãy 8 bit, xuất phát từ điểm lân cân trên trái và đi theo chiều kim đồng hồ, chuyển đổi thành số thập phân

Hình 2.21 Minh họa các tính đặc trưng LBP tại 1 điểm b) Đặc trưng mức patch

Sau khi đã tính được đặc trưng mức pixel, việc trích đặc trưng mức patch được thực hiện thông qua 2 bước sau:

 Bước 1: chia lưới ảnh và sinh ra các patch ảnh

Hình 2.22 Cách chia ảnh thành các patch ảnh

Đặc trưng mức patch sẽ được tính toán trên lưới đều nên việc chọn kích thước mắt lưới có vai trò quan trọng Lưới quá thưa sẽ làm mất mát thông tin về đối tượng, nhưng nếu lưới quá dày sẽ có thể làm việc tính toán trở nên phức tạp và

dư thừa thông tin cũng có thể gây ra nhận dạng sai do thông tin không có tính chất

khái quát cho đối tượng Mỗi patch ảnh gồm 4 ô trên lưới, 2 patch ảnh liền kề nhau theo trục ngang hoặc trục dọc sẽ chồng đè lên nhau 2 ô của lưới.

 Bước 2: Tính toán đặc trưng mức patch

Đặc trưng mức patch được tính toán dựa trên ý tưởng của phương pháp Kernel Descriptor (KDES) Đó là xây dựng một độ đo để đánh giá tương quan giữa các patch ảnh Rồi từ đó sử dụng phương pháp xấp xỉ để có thể trích ra đặc trưng mức patch

Qua khảo sát hàm mũ cơ số e của đối số khoảng cách Euclide là một thước đo tượng tự tốt để đánh giá sự tương đồng giữa hai vector đặc trưng Việc sử dụng hàm mũ cơ số e với số mũ âm là một điểm rất mạnh của việc matching đối với KDES Vì nếu 2 patch có sự tương đồng lớn thì chuẩn 2 của hiệu sẽ nhỏ và độ đo đánh giá lớn Ngược lại, sự tương đồng càng giảm thì giá trị của match kernel cũng

sẽ giảm và giảm rất nhanh Điều này cho phép ta lấy được những patch có sự tương đồng rất cao với patch cần đối sánh

Xét 2 patch ảnh P và Q, hàm đối sánh giữa các đặc trưng gradient và LBP của chúng được định nghĩa như sau: