BÀI TẬP LỚN XỬ LÝ ẢNH SỐ: : Tìm hiểu thuật toán tam giác (triangle) xác định ngưỡng để phân đoạn ảnh. Thử nghiệm với ảnh đa mức xám

MỤC LỤC DANH MỤC HÌNH VẼ 3 MỞ ĐẦU 4 PHẦN I: PHÂN ĐOẠN ẢNH 5 1. Giới thiệu 5 2. Các hướng tiếp cận phân đoạn ảnh 5 2.1.Các phương pháp dựa trên không gian đặc trưng 6 2.2.Các phương pháp dựa trên không gian ảnh 6 2.3.Các phương pháp dựa trên mô hình vật lý 7 PHẦN II: MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN THEO NGƯỠNG 14 1. Tổng quát 14 1.1 Giới thiệu 14 1.2 Ngưỡng là gì? 15 1.3 Chọn ngưỡng cố định 16 1.4 Chọn ngưỡng dựa trên lược đồ 16 2. Thuật toán tam giác 17 PHẦN III: CÀI ĐẶT VÀ THỬ NGHIỆM 18 1. Yêu cầu về hệ thống 18 2. Chương trình 18 3. Giao diện của chương trình 24 3.1 Giao diện chính 24 3.2 Ví dụ 25 KẾT LUẬN 29 TÀI LIỆU THAM KHẢO 30 DANH MỤC HÌNH VẼ Hình: 1 Minh học thuật toán tam giác 17 Hình: 2 Giao diện chính 24 Hình: 3 Ảnh khi open 25 Hình: 4 Ảnh khi xử lý với Sobel 26 Hình: 5 Ảnh khí xử lý với Robert 27 Hình: 6 Ảnh khi xử lý với Prewitt 28

TRƯỜNG ĐẠI HỌC MỎ - ĐỊA CHẤT

KHOA: CÔNG NGHỆ THÔNG TIN

MỤC LỤC

DANH MỤC HÌNH VẼ 3

MỞ ĐẦU 4

PHẦN I: PHÂN ĐOẠN ẢNH 5

1 Giới thiệu 5

2 Các hướng tiếp cận phân đoạn ảnh 5

2.1.Các phương pháp dựa trên không gian đặc trưng 6

2.2.Các phương pháp dựa trên không gian ảnh 6

2.3.Các phương pháp dựa trên mô hình vật lý 7

PHẦN II: MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN THEO NGƯỠNG 14

1 Tổng quát 14

1.1 Giới thiệu 14

1.2 Ngưỡng là gì? 15

1.3 Chọn ngưỡng cố định 16

1.4 Chọn ngưỡng dựa trên lược đồ 16

2 Thuật toán tam giác 17

PHẦN III: CÀI ĐẶT VÀ THỬ NGHIỆM 18

1 Yêu cầu về hệ thống 18

2 Chương trình 18

3 Giao diện của chương trình 24

3.1 Giao diện chính 24

3.2 Ví dụ 25

KẾT LUẬN 29

TÀI LIỆU THAM KHẢO 30

DANH MỤC HÌNH VẼ

Hình: 1 Minh học thuật toán tam giác 17

Hình: 2 Giao diện chính 24

Hình: 3 Ảnh khi open 25

Hình: 4 Ảnh khi xử lý với Sobel 26

Hình: 5 Ảnh khí xử lý với Robert 27

Hình: 6 Ảnh khi xử lý với Prewitt 28

MỞ ĐẦU

Xử lý ảnh (XLA) là một trong những chuyên ngành quan trọng và lâu đờicủa Công nghệ thông tin XLA được áp dụng trong nhiều lĩnh khác nhau như yhọc, vật lý, hoá học, tìm kiếm tội phạm,… Mục đích chung của việc XLA thườnglà: (1) xử lý ảnh ban đầu để có được một bức ảnh mới theo một yêu cầu cụ thể;phân tích ảnh để thu được các thông tin đặc trưng trên ảnh nhằm hỗ trợ cho việcphân loại và nhận biết ảnh; phân đoạn ảnh (image segmentation) để nhận diệnđược các thành phần trong ảnh nhằm hiểu được kết cấu của bức ảnh ở mức độ caohơn Để xử lý được một bức ảnh thì phải trải qua nhiều bước, nhưng bước quantrọng và khó khăn nhất đó là phân đoạn ảnh Nếu bước phân đoạn ảnh không tốt thìdẫn đến việc nhận diện sai lầm về các đối tượng có trong ảnh

Trong khoảng 30 năm trở lại đây đã có rất nhiều các thuật toán được đề xuất

để giải quyết bài toán phân đoạn ảnh Các thuật toán hầu hết đều dựa vào haithuộc tính quan trọng của mỗi điểm ảnh so với các điểm lân cận của nó, đó là: sựkhác (dissimilarity) và giống nhau (similarity) Các phương pháp dựa trên sự khácnhau của các điểm ảnh được gọi là các phương pháp biên (boundary-basedmethods), còn các phương pháp dựa trên sự giống nhau của các điểm ảnh được gọi

là phương pháp miền (region-based methods) Tuy nhiên, cho đến nay các thuậttoán theo cả hai hướng này đều vẫn chưa cho kết quả phân đoạn tốt, vì cả hai loạiphương pháp này đều chỉ nắm bắt được các thuộc tính cục bộ (local) của ảnh Do

đó, trong thời gian gần đây, việc tìm ra các thuật toán nắm bắt được các thuộc tínhtoàn cục (global) của bức ảnh đã trở thành một xu hướng

PHẦN I: PHÂN ĐOẠN ẢNH

1 Giới thiệu

Phân đoạn ảnh là một thao tác ở mức thấp trong toàn bộ quá trình xử lý ảnh.Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhấtvới nhau hay nói cách khác là xác định các biên của các vùng ảnh đó Các vùngảnh đồng nhất này thông thường sẽ tương ứng với toàn bộ hay từng phần của cácđối tượng thật sự bên trong ảnh Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử

lý ảnh (image processing), thị giác máy tính, phân đoạn ảnh luôn đóng một vai trò

cơ bản và thường là bước tiền xử lý đầu tiên trong toàn bộ quá trình trước khi thựchiện các thao tác khác ở mức cao hơn như nhận dạng đối tượng, biểu diễn đốitượng, nén ảnh dựa trên đối tượng, hay truy vấn ảnh dựa vào nội dung … Vàonhững thời gian đầu, các phương pháp phân vùng ảnh được đưa ra chủ yếu làmviệc trên các ảnh mức xám do các hạn chế về phương tiện thu thập và lưu trữ.Ngày nay, cùng với sự phát triển về các phương tiện thu nhận và biểu diễn ảnh, cácảnh màu đã hầu như thay thế hoàn toàn các ảnh mức xám trong việc biểu diễn vàlưu trữ thông tin do các ưu thế vượt trội hơn hẳn so với ảnh mức xám Do đó, các

kỹ thuật, thuật giải mới thực hiện việc phân vùng ảnh trên các loại ảnh màu liên tụcđược phát triển để đáp ứng các nhu cầu mới Các thuật giải, kỹ thuật này thường

được phát triển dựa trên nền tảng các thuật giải phân vùng ảnh mức xám đã có sẵn.

2 Các hướng tiếp cận phân đoạn ảnh

Phân đoạn ảnh là chia ảnh thành các vùng không trùng lặp Mỗi vùng gồmmột nhóm pixel liên thông và đồng nhất theo một tiêu chí nào đó Tiêu chí này phụthuộc vào mục tiêu của quá trình phân đoạn Ví dụ như đồng nhất về màu sắc, mứcxám, kết cấu, độ sâu của các layer… Sau khi phân đoạn mỗi pixel chỉ thuộc về mộtvùng duy nhất Để đánh giá chất lượng của quá trình phân đoạn là rất khó Vì vậytrước khi phân đoạn ảnh cần xác định rõ mục tiêu của quá trình phân đoạn là gì.Xét một cách tổng quát, ta có thể chia các hướng tiếp cận phân đoạn ảnh thành banhóm chính như sau:

 Các kỹ thuật phân đoạn ảnh dựa trên không gian đặc trưng

 Các kỹ thuật dựa trên không gian ảnh.

 Các kỹ thuật dựa trên các mô hình vật lý

2.1.Các phương pháp dựa trên không gian đặc trưng

Nếu chúng ta giả định màu sắc bề mặt của các đối tượng trong ảnh là mộtthuộc tính bất biến và các màu sắc đó được ánh xạ vào một không gian màu nào

đó, vậy thì chúng ta sẽ có một cái nhìn đối với mỗi đối tượng trong ảnh như làmột cụm (cluster) các điểm trong không gian màu đó Mức độ phân tán của cácđiểm trong trong một cụm được xác định chủ yếu bởi sự khác biệt về màu sắc.Một cách khác, thay vì ánh xạ các pixel trong ảnh vào một không gian màu cụthể, ta xây dựng một biểu đồ (histogram) dựa trên các đặc trưng màu dạng ad-học cho ảnh đó (ví dụ như Hue), và thông thường, các đối tượng trong ảnh sẽxuất hiện như các giá trị đỉnh trong biểu đồ (histogram) đó Do đó, việc phânvùng các đối tượng trong ảnh tương ứng với việc xác định các cụm – đối vớicách biểu diễn thứ nhất – hoặc xác định các vùng cực trị của biểu đồ(histogram) đối với cách biểu diễn thứ hai

Các phương pháp tiếp cận này chỉ làm việc trên một không gian màu xácđịnh chẳng hạn phương pháp của Park, áp dụng trên không gian màu RGB, cònphương pháp của Weeks và Hague thì áp dụng trên không gian màu HIS Dựatrên không gian đặc trưng, ta có các phương pháp phân đoạn: phương phápphân nhóm đối tượng không giám sát, phương pháp phân lớp trung bình thíchnghi, phương pháp lấy ngưỡng biểu đồ (histogram)

2.2.Các phương pháp dựa trên không gian ảnh

Hầu hết những phương pháp được đề cập trong phần trên đều hoạt động dựatrên các không gian đặc trưng của ảnh (thông thường là màu sắc) Do đó, các vùng

ảnh kết quả là đồng nhất tương ứng với các đặc trưng đã chọn cho từng khônggian Tuy nhiên, không có gì đảm bảo rằng tất cả các vùng này thể hiển một sự côđọng (compactness) về nội dung xét theo ý nghĩa không gian ảnh (ý nghĩa cácvùng theo sự cảm nhận của hệ thần kinh con người) Mà đặc tính này là quan trọngthứ hai sau đặc tính về sự thuần nhất của các vùng ảnh Do các phương pháp gomcụm cũng như xác định ngưỡng biểu đồ (histogram) đã nêu đều bỏ qua thông tin về

vị trí của các pixel trong ảnh

Trong các báo cáo khoa học về phân vùng ảnh mức xám, có khá nhiều kỹthuật cố thực hiện việc thoả mãn cùng lúc cả hai tiêu chí về tính đồng nhất trongkhông gian đặc trưng của ảnh và tính cô đọng về nội dung ảnh Tuỳ theo các kỹthuật mà các thuật giải này áp dụng, chúng được phân thành các nhóm sau:

 Các thuật giải áp dụng kỹ thuật chia và trộn vùng

 Các thuật giải áp dụng kỹ thuật tăng trưởng vùng

 Các thuật giải áp dụng lý thuyết đồ thị

 Các giải thuật áp dụng mạng neural

 Các giải thuật dựa trên cạnh

2.3.Các phương pháp dựa trên mô hình vật lý

Tất cả các giải thuật được xem xét qua, không ít thì nhiều ở mặt nào đó đều

có khả năng phát sinh việc phân vùng lỗi trong các trường hợp cụ thể nếu như cácđối tượng trong ảnh màu bị ảnh hưởng quá nhiều bởi các vùng sáng hoặc bóng mờ,các hiện tượng này làm cho các màu đồng nhất trong ảnh thay đổi nhiều hoặc ítmột cách đột ngột Và kết quả là các thuật giải này tạo ra các kết quả phân vùngquá mức mong muốn so với sự cảm nhận các đối tượng trong ảnh bằng mắtthường Để giải quyết vấn đề này, các giải thuật phân vùng ảnh áp dụng các môhình tương tác vật lý giữa bề mặt các đối tượng với ánh sáng đã được đề xuất Các

công cụ toán học mà các phương pháp này sử dụng thì không khác mấy so với cácphương pháp đã trình bày ở trên, điểm khác biệt chính là việc áp dụng các mô hìnhvật lý để minh hoạ các thuộc tính phản chiếu ánh sáng trên bề mặt màu sắc của cácđối tượng

Cột mốc quan trọng trong lĩnh vực phân vùng ảnh màu dựa trên mô hình vật

lý được Shafer đặt ra Ông giới thiệu mô hình phản xạ lưỡng sắc cho các vật chấtđiện môi không đồng nhất Dựa trên mô hình này, Klinker đã đặt ra một giải thuậtđặt ra một số giả thiết quang học liên quan đến màu sắc, bóng sáng, bóng mờ củacác đối tượng và cố gắng làm phù hợp chúng với hình dạng của các cụm Hạn chếchính của giải thuật này là nó chỉ làm việc trên các vật chất điện môi không đồngnhất Hai ông cùng tên đã áp dụng mô hình phản xạ lưỡng sắc trong không gianHSV để xác định các đường biên trong ảnh màu

Healey đề xuất một mô hình phản xạ đơn sắc cho các vật chất kim loại Các phương pháp đề cập trong phần này chỉ áp dụng cho hai loại vật chất là kim loại vàđiện môi không đồng nhất Một thuật toán tổng quát và phức tạp hơn cũng được Maxwell và Shafer đề xuất trong

Tóm lại, một cái nhìn tổng quan về các phương pháp phân đoạn ảnh như sau:

Mỗi phương pháp đều có những ưu nhược điểm nhất định:

Phương pháp phân

Featured-based techniques (tính năng kĩ thuật)

cần giám sát

 Tồn tại các phương pháp kinh nghiệm cải tiến (heuristic) và hữu hạn

đến các thông tin trong không gian ảnh

 Có vấn đề trong việc xác định số lượngcác cụm ban đầu

 Khó khăn trong việc điều chỉnh các cụm sao cho phù hợp với các vùng trong ảnh

tục trong không gian ảnh và tính thích nghi cục bộ đối với các vùng ảnh

 Sử dụng các ràng buộc về không gian ảnh

 Cực đại hoá một xác suất hậu điều kiện

có thể bị sai do các cực trị địa phương

 Các giải thuật nhanh và dễ dàng cài

 Bỏ qua các thông tin về không gian ảnh

 Lấy ngưỡng trong các histogram đa chiều là một quá trình

đặt phức tạp.

 Ảnh hưởng dễ dàng bởi nhiễu xuất hiện trong ảnh

Spatial-based techniques

tin về không gian ảnh

là chính

 Cho kết quả tốt với các ảnh chứa nhiều vùng màu đồng nhất

 Định nghĩa mức

độ đồng nhất về màu sắc có thể phức tạp vàkhó khăn

 Quadtree có thể gây ra các kết quả không như mong muốn

đồng nhất và liên thông

 Có một số thuật giải có tốc độ thực thi khá nhanh

 Tốn kém chi phí

sử dụng bộ nhớ và tính toán

 Gặp khó khăn trong việc thu thập tậpcác điểm mầm và xác định các điều kiện đồng nhất đầy đủ

 Chịu ảnh hưởng bởi các đặc tính tự nhiên của kỹ thuật này

gian ảnh bằng đồ thị.

 Một số thuật toán

có tốc độ thực hiện nhanh

mất khá nhiều thời gian thực hiện

 Các đặc trưng cục

bộ đôi khi được sử dụng nhiều hơn các đặc trưng toàn cục

hoá cao và có tốc độ thực thi nhanh

 Khả năng chống chịu tốt trước các thayđổi xấu

 Một công cụ hữu hiệu cho các ứng dụngnhận dạng và xử lý ảnh y khoa

 Màu sắc có thể làm tăng độ phức tạp của mạng

 Quá trình học cần phải biết trước số lượng các phân lớp/cụm

được hỗ trợ mạnh bởi các toán tử dò biên

 Có hiệu năng tốt với các ứng dụng dò biên đối tượng theo đường cong

 Khó khăn trong việc định nghĩa một hàm gradient cho các ảnh màu

 Nhiễu hoặc các ảnh có độ tương phản kém ảnh hưởng xấu đến kết quả phân vùng

Physics-based techniques

 Khẳng định tính chắc chắn đối với các vùng bóng sáng/tối, vàvùng bóng chuyển tiếp(diffuse hoặc shade)

 Phân vùng các đối tượng dựa vào thành phần vật liệu cấu tạo

 Bị giới hạn vào một số lượng nhất định các loại vật chất hình thành nên đối tượng

 Khó khăn trong việc xác định vùng bóng sáng và bóng chuyển tiếp trong các ảnh thực

 Một vài giải thuật đòi hỏi các thông tin

về hình dạng đối tượng (không luôn luôn đáp ứng được)

 Chi phí tính toán khá cao

Đối với bài toán truy vấn ảnh theo nội dung, bước tiền xử lý phân đoạn phảichú ý đến các thông tin toàn cục và cả cục bộ Đồng thời đảm bảo tính liên tụctrong không gian ảnh Vì vậy, ở đây ta sẽ đi sâu vào các thuật toán phân đoạn:phương pháp phân đoạn yếu của B.G Prasad áp dụng trong hệ thống truy vấn ảnhcủa ông; phương pháp phân đoạn trung bình thích nghi; phương pháp phân đoạntheo ngưỡng cục bộ thích nghi

PHẦN II: MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN

- Việc chọn ngưỡng trong ky thuật này là bước vô cùng quan trọng, thôngthường người ta tiến hành theo các bước chung như sau:

 Xem xét lược đồ xám của ảnh để xác định đỉnh và khe, nếu ảnh cónhiều đỉnh và khe thì các khe có thể sử dụng để chọn ngưỡng

 Chọn ngưỡng T sao cho một phần xác định trước η của toàn bộ sốmẫu thấp hơn T

- Điều chỉnh ngưỡng dựa trên xét lược đồ của điểm lân cận.

- Chọn ngưỡng bằng cách xem xét lược đồ xám của những điểm tiêu chuẩn đãchọn

- Một thuật toán đơn giản trong kỹ thuật này là: giả sử rằng mình chúng tađang quan tâm tới các đối tượng sáng (object) trên nền tối (background),một tham số T gọi là ngưỡng độ sáng sẽ được chọn 1 ảnh f[x,y] theo cách:

[ CITATION Lươ15 \l 1033 ]If f[x,y] ≥ T f[x,y] =Object = 1

Else f[x,y] = Background = 0

Ngược lại, với các đối tượng tối trên nền sáng chúng ta có thuật toán sau:

If[x,y] ¿T f[x,y] = Object = 1Else f[x,y] = Background = 0

Vấn đề chính là chúng ta nên chọn ngưỡng thế nào để việc phân vùng đạt kếtquả cao nhất? Có rất nhiều thuật toán chọn ngưỡng : ngưỡng cố định, dựatrên lược đồ, sử dụng Entropy, sử dụng tập mờ, chọn ngưỡng thông qua sựkhông ổn định của lớp và tính thuần nhất của vùng

- Ngưỡng (Threshold) là một khái niệm khá quen thuộc trong xử lý ảnh cũngnhư rất nhiều giải thuật khác Nó dùng để chỉ một giá trị mà người ta dựavào để phân hoạch một tập hợp thành các miền phân biệt

- Ví dụ thang điểm đánh giá học sinh là từ 1 đến 10 Trong một tập hợp gồm

40 học sinh của 1 lớp, người ta muốn phân lọai ra hai miền, miền thứ nhấtbao gồm các học sinh đạt yêu cầu và miền thứ hai gồm các học sinh khôngđạt Trong tình huống đó người ta dùng giá trị 5 (điểm) như là một ngưỡng(threshold) để phân loại học sinh Các học sinh có điểm dưới 5 sẽ xem nhưkhông đạt, những học sinh có điểm từ 5 trở lên là đạt yêu cầu Giá trịngưỡng thường được xác định dựa vào những điểm đặc biệt (ví dụ ở trungbình), dựa vào kinh nghiệm khảo sát Nếu dựa vào số lượng Ngưỡng áp

dụng cho cùng một tập dữ liệu người ta sẽ phân ra các phương pháp ứngdụng ngưỡng đơn, ngưỡng kép, hay đa ngưỡng Nếu dựa vào sự biến thiêncủa giá trị Ngưỡng, trong cùng phạm vi ứng dụng người ta sẽ phân ra cácphương pháp dùng ngưỡng cố định (Constant|Fixed Threshold) và không cốđịnh (Adaptive Threshold) Ngưỡng không cố định nghĩa là giá trị của nó sẽthay đổi tùy theo sự biến thiên của tập dử liệu theo không gian và thờigian Thông thường giá trị này được xác định thông qua khảo sát tập dử liệubằng phương pháp thống kê Để dễ hình dung hơn về ứng dụng khái niệmThreshold,

- Sau đây chúng ta sẻ xét một ví dụ bộ lọc ngưỡng (Threshold Filter) đơngiản trong xử lý ảnh

Với mỗi pixel trong hình đa mức xám (grayscale) ở trên giá trị sẽ trongkhoảng 0 - 255 vậy pixel nào lớn hơn ngưỡng là 120 ta gán giá trị cho nóthành đen (0), ngược lại gán giá trị trắng (255) Kết quả thu được như sau:

- Đây là một phương pháp chọn ngưỡng độc lập với dữ liệu ảnh Nếu chung ta

biết trước là chương trình ứng dụng sẽ làm việc với các ảnh có độ tươngphản khá cao, trong đó các đối tượng quan tâm rất tối còn nền gần như làđồng nhất và rất sang thì việc chon ngưỡng T=128 (xét trên thang độ sang từ

0 tới 255) là một giá trị chọn khá chính xác Chính xác ở đây hiểu theo nghĩa

là số các điểm ảnh bị phân lớp sai là cực tiểu