Nghiên cứu các phương pháp phân đoạn ảnh, ứng dụng phân đoạn ảnh hoa

Ứng dụng của thị giác máy tính có thể quan sát rất rõ trong các sản phẩm công nghệ cao, những hệ thống giám sát, nhận dạng và quản lí con người, theo dõi đối tượng, phát hiện sự kiện bất

LỜI CẢM ƠN Trong suốt quá trình thực hiện đề tài Đồ án tốt nghiệp:” Nghiên cứu các phương pháp phân đoạn ảnh, ứng dụng phân đoạn ảnh hoa” ngoài sự cố gắng của

bản thân, em đã nhận được sự giúp đỡ tận tính từ phía nhà trường, thầy cô, gia đình và bạn bè

Đầu tiên em xin gửi lời cảm ơn sâu sắc tới cô giáo ThS Nguyễn Thị Thanh Nhàn, đã hướng dẫn, chỉ bảo tận tình để em hoàn thành tốt báo cáo đồ án tốt nghiệp này

Em xin gửi lời cảm ơn đến các thầy cô ở trường Đại Học Công nghệ thông tin

và Truyền thông Đặc biệt là các thầy cô trong bộ môn Hệ thống thông tin Những người đã chỉ đường dẫn lối cho em trên hành trình đi tìm tri thức, những người đã hướng dẫn, dạy bảo em tận tình trong suốt quá trình học tập tại trường

Em cũng xin cảm ơn gia đình và bạn bè đã luôn quan tâm động viên, giúp đỡ và tạo điều kiện tốt nhất để em hoàn thành Đồ án này

Trong quá trình thực hiện đề tài, mặc dù em đã có nhiều cố gắng nhưng do hạn chế về thời gian cũng như kinh nghiệm nên chắc chắn còn mắc phải nhiều thiếu sót, rất mong nhận được sự đóng góp ý kiến của các thầy cô và các bạn để đề tài này được hoàn chỉnh hơn

Em xin chân thành cảm ơn!

Thái Nguyên, ngày 01 tháng 06 năm 2016

Sinh viên

Nguyễn Thị Thu

MụC LụC

LỜI CẢM ƠN 1

MỤC LỤC 2

DANH MỤC HÌNH ẢNH 4

LỜI MỞ ĐẦU 6

CHƯƠNG 1 CƠ SỞ LÝ THUYẾT 8

1.1 Quá trình xử lí ảnh 8

1.2 Quan hệ giữa các điểm ảnh 9

1.3 Tổng quan về phân đoạn ảnh 12

1.3.1 Các phương pháp dựa trên không gian đặc trưng 13

1.3.2 Các phương pháp dựa trên không gian ảnh 13

1.3.3 Các phương pháp dựa trên mô hình vật lý 14

1.4 Bài toán nhận dạng cây 15

CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH 17

2.1 Phân đoạn dựa vào ngưỡng 17

2.1.1 Chọn ngưỡng cố định 18

2.1.2 Chọn ngưỡng dựa trên lược đồ (Histogram) 18

2.2 Phân đoạn dựa theo đường biên 30

2.2.1 Giới thiệu chung 30

2.2.2 Phát hiện biên 31

2.2.3 Làm mảnh biên 34

2.2.4 Nhị phân hóa đường biên 35

2.2.5 Mô tả biên 35

2.3 Phân đoạn ảnh theo miền đồng nhất 36

2.3.1 Phương pháp tách cây tứ phân 37

2.3.2 Phương pháp cục bộ 38

2.3.3 Phương pháp tổng hợp 39

CHƯƠNG 3: ỨNG DỤNG PHÂN ĐOẠN ẢNH HOA 41

3.1 Các phương thức dựa trên sự xuất hiện 41

3.3 Đường viền và phương thức dựa trên sự xuất hiện 42

3.4 Phân đoạn dựa vào giải thuật Watershed 44

3.5 Phân đoạn dựa vào thuật toán Salient Region Segmentation (Phân đoạn vùng nổi bật) 48

3.6 Cơ sở dữ liệu 50

3.7 Đánh giá và nhận xét 52

KẾT LUẬN 55

TÀI LIỆU THAM KHẢO 56

DANH MụC HÌNH ảNH

Hình 1.1: Các bước cơ bản trong xử lí ảnh 8

Hình 1.2: Lân cận các điểm ảnh tọa độ (x,y) 10

Hình 1.3: Quan hệ trong vùng lân cận giữa các điểm ảnh 10

Hình 1.4: Ví dụ phân đoạn ảnh 12

Hình 1.5: Ví dụ về phân đoạn ảnh hoa 16

Hình 2.1: Minh họa thuật toán đối xứng nền 20

Hình 2.2: Minh họa thuật toán tam giác 21

Hình 2.4: Minh họa giải thuật Watershed 22

Hình 2.5 : Hình minh họa 24

Hình 2.6 (a) Ảnh gốc (b) Kết quả phân đoạn bằng ngưỡng toàn cục 100 25

Hình 2.7 (a) Ảnh gốc (b) Sau khi áp dụng giải thuật watershed 26

Hình 2.8: Vùng sáng elip hiển thị khác nhau khi do nền khác nhau 26

Hình 2.9: Đồ thị thể hiện của ( i) m i R   trên ba vùng khác nhau của áo người đàn ông 29

Hình 2.10: Đường biên lí tưởng 30

Hình 2.11: Đường biên bậc thang 31

Hình 2.12: Đường biên thực 31

Hình 2.13: Mô tả khái niệm 4 liên thông và 8 liên thông 39

Hình 3.1: Phân đoạn ảnh hoa – (a) ảnh gốc, (b) ảnh còn lại sau khi xóa vùng không thuộc đối tượng, (c) vùng chứa đối tượng 41

Hình 3.2: Minh họa cách thức hoạt động của giải thuật watershed 44

Hình 3.3: Ảnh hoa khi vẽ vùng bên trong và bên ngoài dùng Watershed 45

Hình 3.4: Ảnh hoa sau khi chạy chương trình phân đoạn Watershed 46

Hình 3.5: Ảnh kết quả sau khi tách ra khỏi nền 47

Hình 3.6: Kết quả thử nghiệm bằng dữ liệu của Image 2015 48

Hình 3.7: một số kết quả thực nghiệm của phân đoạn Watershed, từ phải sang trái: ảnh gốc,ảnh kết quả phân đoạn bằng Watershed 48

Hình 3.8: Từ ảnh gốc sử dụng thuật toán Saliency Detection để đưa ra vùng có mức sáng nổi bật hơn 48

Hình 3.9: Mô tả các bước xử lí trong thuật toán Saliency Detection 49

Hình 3.10: Mô tả các bước trong giải thuật phân đoạn vùng nổi bật 49 Hình 3.11: Hình ảnh thử nghiệm bằng dữ liệu tự thu thập Từ trái qua phải: Ảnh gốc, ảnh Min-shift, ảnh ROI, ảnh kết quả 50 Hình 3.12: Hình ảnh thử nghiệm bằng dữ liệu cuộc thi ImageCefl 2015: từ trái qua phải: Ảnh gốc, ảnh MeanShifl, ảnh ROI, ảnh kết quả 50 Hình 3.13: Ảnh hoa tự thu thập 51 Hình 3.14: Ảnh hoa trong bộ dữ liệu ImageClef 2015 51 Hình 3.15: Phân đoạn dựa trên vùng nổi bật đối với hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết quả 52 Hình 3.16: Phân đoạn dựa trên vùng nổi bật với hoa chùm, từ trái qua phải: ảnh gôc, ảnh kết quả 52 Hình 3.17: Phân đoạn bằng giải thuật Watershed với hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết quả 53 Hình 3.18: Phân đoạn bằng giải thuật Watershed với hoa chùm, từ trái qua phải: ảnh gốc, ảnh kết quả 53 Hình 3.19: Phân đoạn ảnh đơn, từ trái qua phải: ảnh gốc, kết quả của Watershed, kết quả của phân vùng nổi bật 54 Hình 3.20: Phân đoạn ảnh hoa chùm, từ trái qua phải: ảnh gốc, kết quả của Watershed, kết quả của phân vùng nổi bật 54

LỜI MỞ ĐẦU

Những năm gần đây, thị giác máy tính (Computer Vision) trở thành một lĩnh vực nghiên cứu mới mẻ đầy tiềm năng và rất được quan tâm Ứng dụng của thị giác máy tính có thể quan sát rất rõ trong các sản phẩm công nghệ cao, những hệ thống giám sát, nhận dạng và quản lí con người, theo dõi đối tượng, phát hiện sự kiện bất thường, nhận dạng vật thể, nhận dạng chữ viết, số, … Phân đoạn ảnh là một thao tác ở mức thấp trong toàn bộ quá trình xử lí ảnh Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói các khác là xác định các biên của các vùng ảnh đó Các vùng ảnh đồng nhất này thông thường sẽ tương ứng với toàn bộ hay từng phần của các đối tượng thật sự bên trong ảnh Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lí ảnh (image processing), thị giác máy tính, phân đoạn ảnh luôn đóng một vai trò cơ bản và thường là bước tiền xử lí đầu tiên trong toàn bộ quá trình trước khi thực hiện các thao tác khác ở mức cao hơn như nhận dạng đối tượng, biểu diễn đối tượng, nén ảnh dựa trên đối tượng, hay truy vấn ảnh dựa vào nội dung … Vào những thời gian đầu, các phương pháp phân vùng ảnh được đưa ra chủ yếu làm việc trên các ảnh mức xám do các hạn chế về phương tiện thu thập và lưu trữ Ngày nay, cùng với sự phát triển về các phương tiện thu nhận và biểu diễn ảnh, các ảnh màu đã hầu như thay thế hoàn toàn các ảnh mức xám trong việc biểu diễn và lưu trữ thông tin do các ưu thế vượt trội hơn hẳn so với mức xám Do đó, các kĩ thuật, giải thuật mới thực hiện việc phân vùng ảnh trên các loại ảnh màu liên tục được phát triển

để đáp ứng các nhu cầu mới các kĩ thuật, giải thuật này thường được phát triển dựa trên nền tảng các giải thuật phân vùng ảnh mức xám đã có sẵn

Nhận dạng các loài cây là một ứng dụng như thế Nhận dạng cây có tính ứng dụng cao trong giáo dục nhận thức về môi trường sinh thái cho học sinh, nhận biết cây thuốc trong y tế, nhận dạng cây trong môi trường lạ (như rừng núi,…) Trong bài toán nhận dạng cây dựa trên kĩ thuật xử lí ảnh, các thành phần của cây (hoa, lá, thân, rễ, …) đều có thể đóng góp vai trò nhận dạng Báo cáo này tập trung vào việc ứng dựng các giải thuật đểphân đoạn ảnh hoa góp phần giải quyết bài toán nhận dạng cây Tiến hành thử nghiệm, đánh giá giải thuật trên bộ dữ liệu có độ tin cậy cao ImageClef và dữ liệu

tự thu thập Ảnh được nghiên cứu ở đây là ảnh hoa

Đồ án được thực hiện trong 10 tuần và báo cáo đồ án bao gồm 3 chương :

Chương 1 : Cơ sở lí thuyết

Chương 2 : Một số phương pháp phân đoạn ảnh

Chương 3 : Ứng dụng phân đoạn ảnh hoa

CHƯƠNG 1

CƠ SỞ LÝ THUYẾT 1.1 Quá trình xử lí ảnh

Các phương pháp xử lí ảnh bắt đầu từ các ứng dụng chính như nâng cao chất lượng ảnh và phân tích ảnh Do vậy, quá trình xử lí ảnh bao giờ cũng bắt đầu bằng công việc thu nhận ảnh và kết thúc là việc nhận dạng ảnh hoặc một phán đoán theo ý nghĩa trên cơ sở nhận dạng ảnh Cụ thể, các bước cơ bản trong quá trình xử lí ảnh được thể hiện thông qua hình 1.1 sau:

Hình 1.1: Các bước cơ bản trong xử lí ảnh

 Thu nhận ảnh

Công việc cụ thể ở giai đoạn này là thu ảnh qua một bộ thu ảnh và số hóa tín hiệu liên tục được sinh ra bởi bộ thu ảnh đó Bộ thu ảnh có thể là máy chụp ảnh đơn sắc hay màu, máy quét ảnh, máy quay,…

 Tiền xử lí ảnh

Công việc cụ thể của bước này là cải thiện độ tương phản của ảnh, khử nhiễu Mục đích của công việc này là làm cho chất lượng ảnh trở lên tốt hơn chuẩn bị cho các bước xử lí tiếp theo

 Phân đoạn ảnh

Đây là giai đoạn tách một ảnh đầu vào thành nhiều vùng khác nhau hay còn gọi

là các đối tượng để biểu diễn phân tích, nhận dạng ảnh

 Biểu diễn và mô tả

Ảnh sau khi số hóa sẽ được lưu vào bộ nhớ hoặc chuyển sang các khâu tiếp theo để phân tích Nếu lưu trữ ảnh trực tiếp từ các ảnh thô đòi hỏi dung lượng bộ nhớ rất lớn và không hiệu quả theo quan điểm ứng dụng và công nghệ Thông thường, các ảnh thô đó được biểu diễn lại theo các đặc điểm của ảnh được gọi là các đặc trưng ảnh như : biên ảnh, vùng ảnh Các thông tin này sẽ được chọn các tính chất đặc trưng để thể hiện gọi là trích trọn đặc trưng

 Nhận dạng và nội suy

Nhận dạng ảnh là quá trình xác định ảnh bằng cách so sánh ảnh với mẫu chuẩn

đã được lưu trữ từ trước Nội suy là phán đoán theo ý nghĩa trên cơ sơ nhận dạng ảnh Một số đối tượng nhận dạng khá là phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: Nhận dạng kí tự (chữ in, chữ viết tay, chữ kí điện tử), nhận dạng văn bản, nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người,…

 Cơ sở tri thức

Trong nhiều khâu xử lí và phân tích ảnh, ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lí ảnh thì chúng ta luôn hướng đến việc xây dựng hệ thống tự động tiếp nhận và xử lí theo cách của con người Vì vậy, nhiều khâu hiện nay đã được xử lí theo các phương pháp trí tuệ nhân tạo, sử dụng cơ sở tri thức của con người

1.2 Quan hệ giữa các điểm ảnh

Một ảnh số giả sử được biểu diễn bằng hàm f(x,y) Tập con các điểm ảnh là S: cặp điểm ảnh có quan hệ với nhau kí hiệu là p, q Chúng ta nêu một số các khái niệm sau:

a) Các lân cận của điểm ảnh (Image Neighbors)

Giả sử có điểm ảnh p tại tọa độ (x,y) p có 4 điểm lân cận gần nhất theo chiều đứng và ngang (có thể coi như lân cận 4 hướng chính: Đông, Tây, Nam, Bắc)

{ (x-1,y); (x,y-1); (x,y+1); (x+1,y) } = N4(p)

Trong đó: số 1 là giá trị logic; N4(p) là tập 4 điểm lân cận của p

Hình 1.2: Lân cận các điểm ảnh tọa độ (x,y)

Các lân cận chéo: Các điểm lân cận chéo Np(p) (có thể coi lân cận chéo là 4 hướng: Đông-Nam, Đông-Bắc, Tây-Nam, Tây-Bắc)

Np(p) = {(x+1,y+1); (x+1,y-1); (x-1,y+1); (x-1,y-1)}

Tập kết hợp: N8(p) = N4(p) + Np(p) là tập hợp 8 lân cận của điểm ảnh p

Hình 1.3: Quan hệ trong vùng lân cận giữa các điểm ảnh

Chú ý: Nếu (x,y) nằm ở biên (mép) ảnh, một số điểm sẽ nằm ngoài ảnh

b) Các mối liên kết điểm ảnh

Các mối liên kết được sử dụng để xác định giới hạn (Boundaries) của đối tượng vật thể hoặc xác định vùng trong một ảnh Một liên kết được đặc trưng bởi tính liền kề giữa các điểm và mức xám của chúng

Giả sử V là tập các giá trị mức xám Một ảnh có các giá trị cường độ sáng từ thang mức xám từ 32 đến 64 được mô tả như sau:

V = {32, 33, … , 63, 64}

Có 3 loại liên kết:

 Liên kết 4: Hai điểm ảnh p và q được nói là liên kết 4 với các giá trị cường

độ sáng V nếu q nằm ở một trong các lân cận của p, tức q N4(p)

 Liên kết 8: Hai điểm ảnh p và q nằm ở một trong các lân cận 8 của p, tức là

c) Khoảng cách giữa các điểm ảnh

Định nghĩa: Khoảng cách D(p,q) giữa hai điểm ảnh p(x,y) và q(s,t) là hàm

khoảng cách (Distance) hoặc Metric nếu:

1 D(p,q) 0 (với D(p,q) = 0 nếu và chỉ nếu p = q)

2 D(p,q) = D(q,p)

3 D(p,z) D(p,q) + D(q,z) với z là một điểm ảnh khác

Khoảng các Euclide: Khoảng cách Euclide giữa hai điểm ảnh p(x,y) và q(s,t)

được định nghĩa như sau:

Khoảng cách bàn cờ (Ches-Board Distance): hay khoảng cách D8(p,q) giữa điểm ảnh p, q được xác định như sau:

D (p,q) = max(|x – s|), |y – t |)

1.3 Tổng quan về phân đoạn ảnh

Phân đoạn ảnh là một thao tác ở mức thấp và là bước then chốt trong quá trình

xử lí ảnh Giai đoạn này nhằm phân tích ảnh thành những vùng rời rạc có cùng tính chất nào đó dựa vào việc xác định biên và ác vùng liên thông cho từng vùng Tiêu chuẩn để xác định các vùng liên thông có thể là cùng mức xám , cùng màu hay cùng

độ nhám… Các vùng ảnh này thông thường sẽ tương ứng với toàn bộ hay từng phần của đối tượng thật bên trong ảnh

Hình 1.4: Ví dụ phân đoạn ảnh

Các hướng tiếp cận phân đoạn ảnh

Phân đoạn ảnh là chia ảnh thành các vùng không trùng lặp Mỗi vùng gồm một nhóm pixel liên thông và đồng nhất theo một tiêu chí nào đó Tiêu chí này phụ thuộc vào mục tiêu của quá trình phân đoạn Ví dụ như đồng nhất về màu sắc, mức xám, kết cấu, độ sâu của các layer… Sau khi phân đoạn mỗi pixel chỉ thuộc về một vùng duy nhất Để đánh giá chất lượng của quá trình phân đoạn là rất khó Vì vậy trước khi phân đoạn ảnh cần xác định rõ mục tiêu của quá trình phân đoạn là gì Xét một cách tổng quát, ta có thể chia các hướng tiếp cận phân đoạn ảnh thành ba nhóm chính như sau:

 Các kỹ thuật phân đoạn ảnh dựa trên không gian đặc trưng

 Các kỹ thuật dựa trên không gian ảnh

 Các kỹ thuật dựa trên các mô hình vật lý

1.3.1 Các phương pháp dựa trên không gian đặc trưng

Nếu chúng ta giả định màu sắc bề mặt của các đối tượng trong ảnh là một thuộc tính bất biến và các màu sắc đó được ánh xạ vào một không gian màu nào đó, vậy thì

chúng ta sẽ có một cái nhìn đối với mỗi đối tượng trong ảnh như là một cụm (cluster)

các điểm trong không gian màu đó Mức độ phân tán của các điểm trong trong một cụm được xác định chủ yếu bởi sự khác biệt về màu sắc Một cách khác, thay vì ánh xạ các pixel trong ảnh vào một không gian màu cụ thể, ta xây dựng một biểu đồ

(histogram) dựa trên các đặc trưng màu dạng ad-hoc cho ảnh đó (ví dụ như Hue), và

thông thường, các đối tượng trong ảnh sẽ xuất hiện như các giá trị đỉnh trong biểu

đồ(histogram) đó Do đó, việc phân vùng các đối tượng trong ảnh tương ứng với việc

xác định các cụm – đối với cách biểu diễn thứ nhất – hoặc xác định các vùng cực trị

của biểu đồ(histogram) đối với cách biểu diễn thứ hai

Các phương pháp tiếp cận này chỉ làm việc trên một không gian màu xác định chẳng hạn phương pháp của Park,áp dụng trên không gian màu RGB, còn phương pháp của Weeks và Hague thì áp dụng trên không gian màu HIS Dựa trên không gian đặc trưng, ta có các phương pháp phân đoạn: phương pháp phân nhóm đối tượng không giám sát, phương pháp phân lớp trung bình thích nghi, phương pháp lấy ngưỡng

biểu đồ (histogram)

1.3.2 Các phương pháp dựa trên không gian ảnh

Hầu hết những phương pháp được đề cập trong phần trên đều hoạt động dựa trên các không gian đặc trưng của ảnh(thông thường là màu sắc) Do đó, các vùng ảnh kết quả là đồng nhất tương ứng với các đặc trưng đã chọn cho từng không gian Tuy nhiên, không có gì đảm bảo rằng tất cả các vùng này thể hiển một sự cô đọng (compactness) về nội dung xét theo ý nghĩa không gian ảnh (ý nghĩa các vùng theo sự cảm nhận của hệ thần kinh con người) Mà đặc tính này là quan trọng thứ hai sau đặc tính về sự thuần nhất của các vùng ảnh Do các phương pháp gom cụm cũng như xác

định ngưỡng biểu đồ(histogram) đã nêu đều bỏ qua thông tin về vị trí của các pixel

trong ảnh

Trong các báo cáo khoa học về phân vùng ảnh mức xám, có khá nhiều kỹ thuật

cố thực hiện việc thoả mãn cùng lúc cả hai tiêu chí về tính đồng nhất trong không gian đặc trưng của ảnh và tính cô đọng về nội dung ảnh Tuỳ theo các kỹ thuật mà các thuật giải này áp dụng, chúng được phân thành các nhóm sau:

 Các thuật giải áp dụng kỹ thuật chia và trộn vùng

 Các thuật giải áp dụng kỹ thuật tăng trưởng vùng

 Các thuật giải áp dụng lý thuyết đồ thị

 Các giải thuật áp dụng mạng neural

 Các giải thuật dựa trên cạnh

1.3.3 Các phương pháp dựa trên mô hình vật lý

Tất cả các giải thuật được xem xét qua, không ít thì nhiều ở mặt nào đó đều có khả năng phát sinh việc phân vùng lỗi trong các trường hợp cụ thể nếu như các đối tượng trong ảnh màu bị ảnh hưởng quá nhiều bởi các vùng sáng hoặc bóng mờ, các hiện tượng này làm cho các màu đồng nhất trong ảnh thay đổi nhiều hoặc ít một cách đột ngột Và kết quả là các thuật giải này tạo ra các kết quả phân vùng quá mức mong muốn so với sự cảm nhận các đối tượng trong ảnh bằng mắt thường Để giải quyết vấn

đề này, các giải thuật phân vùng ảnh áp dụng các mô hình tương tác vật lý giữa bề mặt các đối tượng với ánh sáng đã được đề xuất Các công cụ toán học mà các phương pháp này sử dụng thì không khác mấy so với các phương pháp đã trình bày ở trên, điểm khác biệt chính là việc áp dụng các mô hình vật lý để minh hoạ các thuộc tính phản chiếu ánh sáng trên bề mặt màu sắc của các đối tượng

Cột mốc quan trọng trong lĩnh vực phân vùng ảnh màu dựa trên mô hình vật lý được Shafer đặt ra Ông giới thiệu mô hình phản xạ lưỡng sắc cho các vật chất điện môi không đồng nhất Dựa trên mô hình này, Klinker đã đặt ra một giải thuật đặt ra một số giả thiết quang học liên quan đến màu sắc, bóng sáng, bóng mờ của các đối tượng và cố gắng làm phù hợp chúng với hình dạng của các cụm Hạn chế chính của giải thuật này là nó chỉ làm việc trên các vật chất điện môi không đồng nhất Hai ông cùng tên Tsang đã áp dụng mô hình phản xạ lưỡng sắc trong không gian HSV để xác định các đường biên trong ảnh màu

Healey đề xuất một mô hình phản xạ đơn sắc cho các vật chất kim loại Các phương pháp đề cập trong phần này chỉ áp dụng cho hai loại vật chất là kim loại và

điện môi không đồng nhất Một thuật toán tổng quát và phức tạp hơn cũng được Maxwell và Shafer đề xuất trong

Tóm lại, một cái nhìn tổng quan về các phương pháp phân đoạn ảnh như sau:

1.4 Bài toán nhận dạng cây

Ứng dụng của thị giác máy tính có thể quan sát rất rõ trong các sản phẩm công nghệ cao, những hệ thống giám sát, nhận dạng như nhận dạng vân tay, nhận dạng chữ viết, nhận dạng tiếng nói, nhận dạng mặt người, nhận dạng cử chỉ hành động,…Trong

đó có nhận dạng các loài cây là một trong các ứng dụng ngày càng được sử dụng rộng rãi như nhận biết cây thuốc trong y tế, nhận dạng cây trong môi trường lạ như rừng núi,…

Nhận dạng và phân biệt các loại cây là một bài toán có xuất phát từ nhu cầu thực tế Việc nhận dạng cây giúp cho ta phát hiện được các loài cây quý, các loài cây

có tác dụng chữa bệnh cực kỳ quan trọng trong y học, giúp nâng cao hiểu biết của con người về các loại cây có vai trò quan trọng, giúp bảo vệ đa dạng sinh học…

Nhận dạng cây hiện nay có 3 hướng tiếp cận:

1 Nhận dạng cây dựa trên từ khóa

2 Nhận dạng cây theo giao diện mô tả các bộ phận cây thông qua các biểu tượng

3 Nhận dạng cây dựa trên các kỹ thuật xử lý ảnh

Nhận dạng cây là bài toán xác định tên của cây dựa trên các đặc điểm quan sát của cây Nhận dạng cây có nhiều ứng dụng khác nhau trong công nghiệp, sinh học, giáo dục và y tế Tuy nhiên việc xác định chính xác tên của một loài cây là một bài toán khó ngay cả đối với những người có kinh nghiệm như nông dân, nhà sinh vật học

Kỹ thuật phân đoạn ảnh màu

Không gian đặc trưng Không gian ảnh Mô hình vật lý

Gom cụm

Phân lớp trung bình

Ngưỡng biểu đồ

Tách và hợp nhất Vùng tăng trưởng Dựa trên Cạnh Mạng neural

Lí thuyết đồ thị

do sự đa dạng của các loài cây Gần đây, với sự phát triển của các công nghệ truy xuất, tìm kiếm bằng hình ảnh, hướng tiếp cận nhận dạng cây dựa trên hình ảnh đang được coi là một hướng đầy hứa hẹn giúp tăng khả năng nhận dạng các loài cây Trong bài toán nhận dạng cây dựa trên các kỹ thuật xử lý ảnh các nhà nghiên cứu cũng đã đưa ra rất nhiều cách tiếp cận với bài toán nhận dạng dựa trên việc kết hợp giữa các bộ phận của cây như lá, hoa, quả, thân, cành hay cả toàn bộ cây

Ngoài việc nhận dạng dựa trên việc kết hợp các bộ phận ra ta có thể chỉ sử dụng ảnh hoa để nhận dạng Phương pháp nhận dạng dựa trên hoa có khá nhiều ưu điểm nổi trội hơn so với nhận dạng dựa trên các bộ phận khác Nguyên nhân là vì hoa mang nhiều nét đặc thù dễ phân biệt các loài, là thành phần chứa đựng nhiều thông tin có tính phân biệt và ít phụ thuộc vào sự biến đổi thời gian, không gian

Để góp phần nhận dạng được cây thì phân đoạn ảnh hoa cũng là một bước vô cùng quan trọng trong việc nhận dạng và trích trọn đặc trưng

Hình 1.5: Ví dụ về phân đoạn ảnh hoa

Nhận thức được vai trò quan trọng của thực vật trong vấn đề duy trì an ninh năng lượng, y tế, …, vấn đề giáo dục, nâng cao hiểu biết của con người về các loại cây thực sự có vai trò đặc biệt quan trọng Cùng với sự phát triển của khoa học kĩ thuật, đặc biệt là công nghệ thông tin và các kĩ thuật nhận dạng tự động, ý tưởng về các chương trình trợ giúp nhận dạng cây đến một cách rất tự nhiên Các chương trình này

sẽ phát huy được tác dụng to lớn trong các trung tâm nghiên cứu thực vật và đa dạng sinh học, các trung tâm y tế, các trung tâm hóa học và dược liệu, thậm chí đến với các trường học để mang lại cho các em học sinh những hiểu biết quý báu về thế giới xung quanh

CHƯƠNG 2 MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH

Phân đoạn ảnh là bước then chốt trong xử lí ảnh Giai đoạn này nhằm phân tích ảnh thành những vừng có tính chất nào đó dựa theo biên hay các vùng liên thông Tiêu chuẩn để xác định các vùng liên thông có thể là cùng mức xám, cùng màu hay cùng độ nhám… Trước hết cần làm rõ khái niệm “vùng ảnh” (Segment) và đặc điểm vật lí của vùng

Vùng ảnh là một chi tiết, một thực thể trông toàn cảnh Nó là một tập hợp các điểm

có cùng hoặc gần cùng một tính chất nào đó: mức xám, mức màu, độ nhám, Vùng ảnh là một trong hai thuộc tính của ảnh Nói đến vùng ảnh là nói đến tính chất bề mặt Đường bao quanh một vùng ảnh (Boundary) là biên ảnh Các điểm trong một vùng ảnh cí đọ biến thiên giá trị mức xám tương đối đồng đều hay tính kết cấu tương đồng

Dựa vào đặc tính vật lí của ảnh, người ta có nhiều kĩ thuật phân vùng: phân vùng dựa theo ngưỡng, phân vùng dựa theo biên, phân vùng dựa theo miền đồng nhất…

2.1 Phân đoạn dựa vào ngưỡng

Giới thiệu chung

Biên độ các tính chất vật lí của ảnh (như là độ phản xạ, độ truyền sáng, màu sắc…) là một đặc tính đơn giản và rất hữu ích Nếu biên độ đủ lớn đặc trưng cho ảnh thì chúng ta có thể dùng ngưỡng biên độ để phân đoạn ảnh Ví dụ, biên độ trong bộ cảm biến hồng ngoại có thể phản ánh vùng có nhiệt độ thấp hay vùng có nhiệt độ cao Đặc biêt, kĩ thuật phân ngưỡng theo biên độ rất có ích đối với ảnh nhị phân như văn bản in, đồ họa, ảnh màu hay ảnh X-quang

Việc chọn ngưỡng trong kĩ thuật này là một bước vô cùng quan trọng, thông thường người ta tiến hành theo các bước như sau:

 Xem xét lược đồ xám của ảnh để xác đỉnh và khe Nếu ảnh có nhiều đỉnh và khe thì các khe có thể sử dụng để chọn ngưỡng

 Chọn ngưỡng T sao cho một phần xác định trước ηcủa toàn bộ số mẫu là thấp hơn T

 Điều chỉnh ngưỡng dựa trên xét lược đồ xám của các điểm lân cận

 Chọn ngưỡng bằng cách xem xét lược đồ xám của những điểm thỏa tiêu chuẩn đã chọn

Một thuật toán đơn giản trong kĩ thuật này là: giả sử rằng chúng ta đang quan tâm đên các đối tượng sáng (object) trên nền tối (background), một tham số T- gọi là ngưỡng độ sáng, sẽ được chọn cho một ảnh f(x,y) theo cách:

cố định và chọn ngưỡng dựa trên lược đồ

2.1.1 Chọn ngưỡng cố định

Đây là phương pháp chọn ngưỡng độc lập với dữ liệu ảnh Nếu chúng ta biết trước là chương trình ứng dụng sẽ làm việc với các ảnh có độ tương phản rất cao, trong đó các đối tượng quan tâm rất tối còn nền gần như là đồng nhất và rất sáng thì việc chọn ngưỡng T= 128 (xét trên thang độ sáng từ 0 đến 255) là một giá trị chọn khá chính xác Chính xác ở đây hiểu theo nghĩa là số các điểm ảnh bị phân lớp sai là cực tiểu

2.1.2 Chọn ngưỡng dựa trên lược đồ (Histogram)

Trong hầu hết các trường hợp, ngưỡng được chọn từ lược đồ độ sáng của vùng hay ảnh cần phân đoạn Có rất nhiều kĩ thuật chọn ngưỡng tự động xuất phát từ lược

đồ xám { h(b) | b = 0, 1, …, 2B-1} đã được đưa ra Những kĩ thuật phổ biến sẽ được trình bày dưới đây Những kí thuật này có thể tận dụng những lợi thế do sự làm trơn

dữ liệu lược đồ ban đầu mang lại nhằm loại bỏ những dao động nhỏ về độ sáng Tuy

nhiên các thuật toán làm trơn cần phải cẩn thận, khống được làm dịch chuyển các vị trí đỉnh của lược đồ Nhận xét này dẫn đến thuật toán làm trơn dưới đây:

Hsmooth(b) = W lẻ (1)

Trong đó, W thường được chọn là 3 hoặc 5

2.1.2.1 Thuật toán đẳng liệu

Đây là kĩ thuật chọn ngưỡng theo kiểu lặp do Ridler và Calvard đưa ra Thuật toán được mô tả như sau:

 B1: Chọn giá trị ngưỡng khởi động θ0 = 2B-1

 B2: Tính các trung bình mẫu (mf,0) của những điểm ảnh thuộc đối tượng và (mb,0) của những điểm ảnh nền

 B3: Tính các ngưỡng trung gian theo công thức:

(2)

 B4: Nếu θk = θk-1 : Kết thúc, dừng thuật toán

Ngược lại: Lặp lại bước 2

2.1.2.2 Thuật toán đối xứng nền

Kĩ thuật này dựa trên sự giả định là tồn tại hai đỉnh phân biệt trong lược đồ nằm đối xứng nhau qua đỉnh có giá trị lớn nhất trong phần lược đồ thuộc về các điểm ảnh nền Kĩ thuật này có thể tận dụng ưu điểm của việc làm trơn được mô tả trong phương trình (1) Đỉnh cực đại maxp được tìm nhờ tiến hành tìm giá trị cực đại trong lược đồ Sau đó thuật toán sẽ được áp dụng ở phía không phải là điểm ảnh thuộc đối tượng ứng với giá trị cực đại đó nhằm tìm ra giá trị độ sáng a ứng với giá trị phần trăm p% mà P(a) = p%, trong đó P(a) là hàm phân phối xác suất về độ sáng được định nghĩa như sau:

Định nghĩa: [hàm phân phối xác suất về độ sáng]

Hàm phân phối xác suất P(a) thể hiện xác suất chọn được một giá trị độ sáng

từ một vùng ảnh cho trước, sao cho giá trị này không vượt quá một giá trị sáng cho

hàm đơn điệu không giảm theo a, do vậy dP/da

Hình 2.1: Minh họa thuật toán đối xứng nền

Ở đây ta đang giả thiết là ảnh gốc có các đối xứng trên nền sáng Giả sử mức là 5% thì có nghĩa là ta phải ở bên phải đỉnh maxp một giá trị a sao cho P(a) = 95% Do tính đối xứng đã giả định ở trên, chúng ta sử dụng độ dịch chuyển về phía trái của điểm cực đại tìm giá trị ngưỡng T:

T = maxp – (a - maxp) (3)

Kĩ thuật này dễ dàng điều chỉnh được cho phù hợp với tình huống ảnh có các đối tượng sáng trên một nền tối

2.1.2.3 Thuật toán tam giác

Khi một ảnh có các điểm ảnh thuộc đối tượng tạo nên một đỉnh yếu trong lược

đồ ảnh thì thuật toán tam giác hoạt động rất hiệu quả Thuật toán này do Zack đề xuất

và được mô tả như sau:

 B1: Xây dựng đường thẳng là đường nối hai điểm (Hmax,bmax) và (Hmin,bmin) , trong đó Hmax là điểm có Histogram lớn nhất ứng với mức xám bmax và

Hmin là diểm có Histogram ứng với độ sáng nhỏ nhất bmin

 B2: Tính khoảng cách d từ Hb của lược đồ (ứng với điểm sáng b) đến Trong đó, b [bmax,bmin]

 B3: Chọn ngưỡng T = Max{Hb}

Minh họa thuật toán tam giác bởi hình vẽ sau:

Hình 2.2: Minh họa thuật toán tam giác 2.1.2.4 Chọn ngưỡng đối với Bimodal Histogram

Ngưỡng T được chọn tại vị trí cực tiểu cục bộ của histogram nằm giữa hai đỉnh của histogram Điểm cực đại cục bộ của histogram có thể dễ dàng được phát hiện bằng cách sử dụng biến đổi chóp mũ (top hat) do Mayer đưa ra: Phụ thuộc vào tình huống của chúng ta đang phải làm việc là với những đối tượng sáng trên nền tối hay đối tượng tối trên nền sáng mà phép biến đổi top hat sẽ có một trong hai dạng sau:

 Các đối tượng sáng:

TopHat(A,B) = A – max(min(A)) (4)

 Các đối tượng tối:

TopHat(A,B) = A – min(max(A)) (5)

Việc tính toán giá trị cực tiểu cục bộ của histogram thì khó nếu histogram nhiễu

Do đó, trong trường hợp này nên làm trơn histogram, ví dụ sử dụng thuật toán (1)

Hình 2.3: Bimodal Histogram

Trong một số ứng dụng nhất định, cường độ của đối tượng hay nền thay đổi khá chậm Trong trường hợp này, histogram ảnh có thể không chứa hai thùy phân biệt rõ

ràng, vì vậy có thể phải dùng ngưỡng thay đổi theo không gian chỉ định trước mà trích lọc thông qua quá trình kiểm tra các thông tin cục bộ Giải thuật gồm các bước tuần tự như sau:

 Áp dụng giải thuật Watershed chia ảnh thành rất nhiều vùng con

 Trộn các vùng và đồng thời phát hiện ngưỡng cục bộ Ngưỡng được tính từ thông tin cục bộ của vùng và các vùng lân cận

Giải thuật này cho kết quả tương đối tin cậy trên nhiều loại ảnh khác nhau

2.1.2.4.1 Phân đoạn sơ khởi bằng giải thuật Watershed

Dữ liệu đầu vào của giải thuật Watershed là một ảnh xám Vì vậy, trước tiên ta biến đổi ảnh đầu vào I thành ảnh xám Sau đó, dùng giải thuật tìm cạnh Canny để lấy cường độ gradient, kí hiệu là IG Với ảnh gradient nhận được, ta liên tưởng đến một lược đồ địa hình, vùng có độ xám cao hơn là vùng trũng hơn và ngược lại Tại mỗi pixel, việc đánh giá sẽ dựa vào giá trị mức xám của pixel đó

Giải thuật định nghĩa hai thuật ngữ là vũng chứa nước (catchment basin) và đập ngăn nước (dams) Mỗi catchment basin được kết hợp với giá trị M nhỏ nhất M là tập hợp các pixel liên thông mà một giọt nước rơi xuống từ pixel bất kì thuộc catchment basin này cứ rơi cho đến khi nó đạt được giá trị nhỏ nhất M Trên đường rơi xuống, giọt nước chỉ đi qua những pixel thuộc về catchment basin này

Dam thực chất là những đường phân nước, chúng tập hợp các pixel làm nhiệm

vụ phân cách các catchment basin Vì vậy, giọt nước rơi từ một bên của dams sẽ đạt trị nhỏ nhất của một catchment basin, trong khi đó giọt nước rơi từ cạnh khác của dam lại đạt trị nhỏ nhất trong catchment basin khác

Hình 2.4: Minh họa giải thuật Watershed

Áp dụng giải thuật watershed, phiên bản của Vincent và Soille Phiên bản này

mô phỏng việc ngâm nước dần dần bề mặt địa hình của ảnh từ vùng thấp nhất cho đến khi mọi pixel của ảnh đều được ngâm trong nước Giải thuật gồm hai bước: sắp thứ tự

và làm ngập nước

Ở bước thứ nhất, ta sắp xếp các pixel theo thứ tự tăng dần của cường độ xám

Kế đến, trong bước làm ngập nước, giải thuật quét các pixel theo trình tự đã sắp xếp để xây dựng các catchment basin Mỗi catchment basin có một nhãn phân biệt Bạn hãy thử hình dung ta đem nhúng nước một bề mặt địa hình, bắt đầu tại điểm thấp nhất của mặt địa rồi cho nước dâng dần lên Khi nước trong các vũng cạnh nhau có thể hoà vào nhau tại một điểm, tại đó ta xây dựng một đập chắn nước, rồi lại tiếp tục cho nước dâng lên Quá trình xây đập chắn giữa các vũng và cho nước dâng cứ lặp đi lặp lại cho đến khi mọi điểm của bề mặt địa hình đều được ngâm nước

Trở lại giải thuật, ta làm tương tự, tại một điểm mà nước trong các catchment basin có thể hoà vào nhau, ta xây dựng một đập chắn nước – dam Cứ như thế, lặp quá trình cho nước dâng lên và xây dựng dam tại những điểm nước của các catchment basin có thể hoà lẫn vào nhau cho đến khi mọi điểm ảnh đều nằm trong nước Khi đó,

ta nhận được ảnh gồm vô số vùng con, mỗi vùng con tương ứng với một catchment basin, còn biên của mỗi vùng chính là dam Bạn xem hình 2.5 minh họa quá trình phân ảnh ban đầu (a) thành vô số vùng con (d) Trước tiên ảnh gốc 2.5a được biến đổi thành ảnh xám 2.5b Kế đến, áp dụng giải thuật tìm cạnh Canny trên ảnh xám gradient ở hình 2.5b, ta được ảnh 2.5c chỉ gồm các đường nét Đồng thời, áp dụng giải thuật watershed trên ảnh xám ta được hình 2.5d, chứa vô số vùng con

Như vậy khi áp dụng giải thuật watershed vào ảnh IG, ta nhận được ảnh kết quả gồm n vùng không trùng lặp Do các vùng này sẽ được trộn trong giai đoạn trộn tiếp theo nên chúng tôi đặt đánh dấu chúng bằng kí hiệu

i

m i

R , I = 1,…,n, mi = 1,…,Mi, với

n là số lượng vùng và Mi là số lần trộn của

i

m i

2.1.2.4.2 Tìm ngưỡng cục bộ thích nghi

Mặc dù phần mô tả quá trình trộn đã hoàn chỉnh nhưng ta vẫn chưa xác định được khi nào thì giải thuật dừng Hay nói cách khác, ta vẫn chưa biết cách xác định vùng nào không trộn được và thời điểm nào thì không trộn Như vậy, chúng ta cần có

cơ chế tự động rút trích thông tin về ngưỡng cục bộ thông qua việc theo dõi sự thay đổi của mỗi vùng trong quá trình trộn Các ngưỡng này sẽ cho biết có thể trộn một vùng hay không Như thế, các ngưỡng này giúp hình thành phân vùng hoàn chỉnh cuối cùng

Như chúng ta đã biết quá trình phân đoạn là thao tác cục bộ, nên không phải mọi bước trộn cục bộ đều dừng đồng thời Do đó việc sử dụng ngưỡng toàn cục là không đủ vì các vùng thường tách biệt với xung quanh nó bởi những ngưỡng khác nhau vào những lần xử lý khác nhau Tuy nhiên trong một vài trường hợp thì ngưỡng toàn cục lại phù hợp Ví dụ ở hình 2.6 mô tả một trường hợp ngoại lệ, chỉ dùng một

ngưỡng toàn cục mà vẫn cho kết quả phân đoạn chính xác Lý do là ảnh ví dụ chỉ chứa một đối tượng đồng nhất về màu sắc, đồng thời phần nền cũng có màu đồng nhất Trong trường hợp này chỉ cần một ngưỡng cho quá trình trộn là đủ Quá trình trộn sẽ dừng khi trọng số của các cạnh khảo sát lớn hơn ngưỡng chọn trước, cụ thể trong ví dụ này là 100 Bạn xem kết quả phân đoạn bằng ngưỡng trên ở hình 2.5b Trong thực tế, các ảnh phân tích thường chứa nhiều hơn hai vùng nên rất khó phân đoạn nếu chỉ dùng một ngưỡng toàn cục

Hình 2.6 (a) Ảnh gốc (b) Kết quả phân đoạn bằng ngưỡng toàn cục 100

Bạn sẽ cảm nhận được nhu cầu dùng ngưỡng cục bộ thay cho ngưỡng toàn cục khi xem hình 2.7 Ta có hình gốc 2.7a, hình 2.7b là kết quả của giải thuật watershed Với ngưỡng toàn cục t = 20 ta được kết quả phân đoạn hình 2.7c, còn hình 2.7d là kết quả tương ứng với ngưỡng toàn cục t = 30 Trong hình 2.7c, mọi vùng đều đồng nhất

và có thể lớn hơn Tuy nhiên, khi ngưỡng tăng lên 30 như ở hình 2.7d, các vùng nhìn bằng mắt thường là đồng nhất như mặt và ghế lại bị phân quá nhỏ Trong khi đó, vùng chỉ ra bởi mũi tên vàng vẫn chưa đồng nhất Để phân nó thành nhiều vùng đồng nhất thì ngưỡng phải nhỏ hơn 30, khi đó việc trộn hai vùng không đồng nhất là áo khoát của người đàn ông và cái ghế sẽ không được thực hiện

Chúng ta đã nhận biết được nhu cầu cần thiết tính ngưỡng cục bộ, nhưng tính ngưỡng thế nào và dựa vào yếu tố gì thì cần xem xét tiếp Việc tính ngưỡng cục bộ phải dựa vào các thông tin cục bộ, liên quan đến vùng đang xét và những vùng lân cận xung quanh nó Thế nhưng tại sao phải xét vùng lân cận? Ta phải xét các vùng lân cận

vì một vùng thường bị ảnh hưởng bởi các vùng xung quanh nó Bạn xem ví dụ hình 8

để thấy mối quan hệ khắng khít giữa một vùng và các vùng lân cận nó, cùng một vùng

nhưng nếu đặt vào giữa những vùng lân cận khác nhau thì cảm nhận thị giác sẽ rất khác nhau Trong hình 2.8a, đối tượng hình ellipse màu vàng nổi bật trên nền màu đen, khác hẳn với hình 2.8b, cũng đối tượng ellipse màu vàng này nhưng gần như hòa vào màu nền trắng xung quanh nó, rất khó nhận biết

Hình 2.7 (a) Ảnh gốc (b) Sau khi áp dụng giải thuật watershed

(c) Sau khi hoàn thành quá trình trộn dùng một ngưỡng toàn cục t=20

(d) Sau khi trộn dùng một ngưỡng toàn cục t=30

Hình 2.8: Vùng sáng elip hiển thị khác nhau khi do nền khác nhau

2.2.4.3 Cách tính ngưỡng cục bộ thích nghi

Trong phần này chúng tôi sẽ giới thiệu với các bạn phương pháp tự động tính ngưỡng cục bộ thích nghi dựa vào tính chất cục bộ của các vùng trong quá trình trộn

Phát biểu:

Sự thay đổi đáng kể về tính đồng nhất của một vùng chỉ xuất hiện trong quá trình trộn có tạo ra vùng không đồng nhất Khi đó, ở bước trộn không đồng nhất, ta xác định ngưỡng cục bộ thích nghi

Việc xác định tính đồng nhất thì phụ thuộc chủ yếu vào không gian màu Ở đây, chúng tôi dùng thành phần V của không gian màu HSV thể hiện phương sai về tính đồng nhất cho một vùng

Gọi : ( i)

m i

V(x,y) là trị của thành phần V tại vị trí (x,y)

Ta có công thức tính phương sai của vùng bất kì i

m i

R

, i = 1,…, n sau lần trộn thứ mi như sau:

| ) ( ) (

| )

i

m i

m i

R là tổng số pixel thuộc vùng i

m i

R Như vậy sự thay đổi trong tính đồng nhất của i

m i

R

sau lần trộn thứ mi thể hiện thông qua khoảng chênh lệch phương sai giữa hai lần trộn mi và mi-1 của vùng i

m i

i i

i

R y

m i v m

2))(),((

|

|

1)

(

&

) ( )

(

| )) ( , {(

i i

i

m i

m i

m i

m i

m i i

i

R R

R R

R m

R

, i=1….,n được lấy từ ( i)

m i

R





Bởi vì sự biến thiên là thước

đo cho tính đồng nhất, việc trộn trong Ji thể hiện việc chuyển biến lớn của

i

m i

R

trong tiến trình trộn Nên nhớ rằng tiến trình trộn bắt đầu với việc phân đoạn quá mức những vùng đồng nhất và những vùng này sẽ được trộn cho đến khi chỉ còn một vùng duy