Nghiên cứu các phương pháp phân đoạn ảnh, ứng dụng phân đoạn ảnh hoa

LỜI CẢM ƠN Trong suốt trình thực đề tài Đồ án tốt nghiệp:” Nghiên cứu phương pháp phân đoạn ảnh, ứng dụng phân đoạn ảnh hoa” cố gắng thân, em nhận giúp đỡ tận tính từ phía nhà trường, thầy cơ, gia đình bạn bè Đầu tiên em xin gửi lời cảm ơn sâu sắc tới cô giáo ThS Nguyễn Thị Thanh Nhàn, hướng dẫn, bảo tận tình để em hồn thành tốt báo cáo đồ án tốt nghiệp Em xin gửi lời cảm ơn đến thầy cô trường Đại Học Công nghệ thông tin Truyền thông Đặc biệt thầy cô môn Hệ thống thông tin Những người đường dẫn lối cho em hành trình tìm tri thức, người hướng dẫn, dạy bảo em tận tình suốt trình học tập trường Em xin cảm ơn gia đình bạn bè quan tâm động viên, giúp đỡ tạo điều kiện tốt để em hoàn thành Đồ án Trong trình thực đề tài, em có nhiều cố gắng hạn chế thời gian kinh nghiệm nên chắn cịn mắc phải nhiều thiếu sót, mong nhận đóng góp ý kiến thầy bạn để đề tài hoàn chỉnh Em xin chân thành cảm ơn! Thái Nguyên, ngày 01 tháng 06 năm 2016 Sinh viên Nguyễn Thị Thu MụC LụC LỜI CẢM ƠN MỤC LỤC DANH MỤC HÌNH ẢNH LỜI MỞ ĐẦU CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1Q trình xử lí ảnh 1.2Quan hệ điểm ảnh 1.3Tổng quan phân đoạn ảnh 1.3.1Các phương pháp dựa tr 1.3.2Các phương pháp dựa tr 1.3.3Các phương pháp dựa tr 1.4Bài toán nhận dạng CHƯƠNG MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH 2.1Phân đoạn dựa vào ngưỡng 2.1.1Chọn ngưỡng cố định 2.1.2Chọn ngưỡng dựa l 2.2Phân đoạn dựa theo đường biên 2.2.1Giới thiệu chung 2.2.2Phát biên 2.2.3Làm mảnh biên 2.2.4Nhị phân hóa đường biê 2.2.5Mơ tả biên 2.3Phân đoạn ảnh theo miền đồng 2.3.1Phương pháp tách tứ 2.3.2 Phương pháp cục 2.3.3 Phương pháp tổng hợp CHƯƠNG 3: ỨNG DỤNG PHÂN ĐOẠN ẢNH HOA 3.1Các phương thức dựa xuất 3.3 Đường viền phương thức dựa xuất 3.4 Phân đoạn dựa vào giải thuật Watershed 44 3.5 Phân đoạn dựa vào thuật toán Salient Region Segmentation (Phân đoạn vùng bật) 48 3.6 Cơ sở liệu 50 3.7 Đánh giá nhận xét 52 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 56 Hình 1.1: Các bước xử lí ảnh Hình 1.2: Lân cận điểm ảnh tọa độ (x,y) Hình 1.3: Quan hệ vùng lân cận điểm ảnh Hình 1.4: Ví dụ phân đoạn ảnh Hình 1.5: Ví dụ phân đoạn ảnh hoa Hình 2.1: Minh họa thuật toán đối xứng Hình 2.2: Minh họa thuật tốn tam giác Hình 2.4: Minh họa giải thuật Watershed Hình 2.5 : Hình minh họa Hình 2.6 (a) Ảnh gốc (b) Kết phân đoạn ngưỡng tồn cục 100 Hình 2.7 (a) Ảnh gốc (b) Sau áp dụng giải thuật watershed Hình 2.8: Vùng sáng elip hiển thị khác khác Hình 2.9: Đồ thị thể Hình 2.10: Đường biên lí tưởng Hình 2.11: Đường biên bậc thang Hình 2.12: Đường biên thực Hình 2.13: Mô tả khái niệm liên thông liên thơng Hình 3.1: Phân đoạn ảnh hoa – (a) ảnh gốc, (b) ảnh lại sau xóa vùng khơng thuộc đối tượng, (c) vùng chứa đối tượng Hình 3.2: Minh họa cách thức hoạt động giải thuật watershed Hình 3.3: Ảnh hoa vẽ vùng bên bên dùng Watershed Hình 3.4: Ảnh hoa sau chạy chương trình phân đoạn Watershed Hình 3.5: Ảnh kết sau tách khỏi Hình 3.6: Kết thử nghiệm liệu Image 2015 Hình 3.7: số kết thực nghiệm phân đoạn Watershed, từ phải sang trái: ảnh gốc,ảnh kết phân đoạn Watershed Hình 3.8: Từ ảnh gốc sử dụng thuật tốn Saliency Detection để đưa vùng có mức sáng bật Hình 3.9: Mơ tả bước xử lí thuật tốn Saliency Detection Hình 3.10: Mơ tả bước giải thuật phân đoạn vùng bật 49 Hình 3.11: Hình ảnh thử nghiệm liệu tự thu thập Từ trái qua phải: Ảnh gốc, ảnh Min-shift, ảnh ROI, ảnh kết 50 Hình 3.12: Hình ảnh thử nghiệm liệu thi ImageCefl 2015: từ trái qua phải: Ảnh gốc, ảnh MeanShifl, ảnh ROI, ảnh kết 50 Hình 3.13: Ảnh hoa tự thu thập 51 Hình 3.14: Ảnh hoa liệu ImageClef 2015 51 Hình 3.15: Phân đoạn dựa vùng bật hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết 52 Hình 3.16: Phân đoạn dựa vùng bật với hoa chùm, từ trái qua phải: ảnh gôc, ảnh kết 52 Hình 3.17: Phân đoạn giải thuật Watershed với hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết 53 Hình 3.18: Phân đoạn giải thuật Watershed với hoa chùm, từ trái qua phải: ảnh gốc, ảnh kết 53 Hình 3.19: Phân đoạn ảnh đơn, từ trái qua phải: ảnh gốc, kết Watershed, kết phân vùng bật 54 Hình 3.20: Phân đoạn ảnh hoa chùm, từ trái qua phải: ảnh gốc, kết Watershed, kết phân vùng bật 54 LỜI MỞ ĐẦU Những năm gần đây, thị giác máy tính (Computer Vision) trở thành lĩnh vực nghiên cứu mẻ đầy tiềm quan tâm Ứng dụng thị giác máy tính quan sát rõ sản phẩm công nghệ cao, hệ thống giám sát, nhận dạng quản lí người, theo dõi đối tượng, phát kiện bất thường, nhận dạng vật thể, nhận dạng chữ viết, số, … Phân đoạn ảnh thao tác mức thấp tồn q trình xử lí ảnh Q trình thực việc phân vùng ảnh thành vùng rời rạc đồng với hay nói khác xác định biên vùng ảnh Các vùng ảnh đồng thông thường tương ứng với toàn hay phần đối tượng thật bên ảnh Vì thế, hầu hết ứng dụng lĩnh vực xử lí ảnh (image processing), thị giác máy tính, phân đoạn ảnh ln đóng vai trị thường bước tiền xử lí tồn q trình trước thực thao tác khác mức cao nhận dạng đối tượng, biểu diễn đối tượng, nén ảnh dựa đối tượng, hay truy vấn ảnh dựa vào nội dung … Vào thời gian đầu, phương pháp phân vùng ảnh đưa chủ yếu làm việc ảnh mức xám hạn chế phương tiện thu thập lưu trữ Ngày nay, với phát triển phương tiện thu nhận biểu diễn ảnh, ảnh màu thay hoàn toàn ảnh mức xám việc biểu diễn lưu trữ thông tin ưu vượt trội hẳn so với mức xám Do đó, kĩ thuật, giải thuật thực việc phân vùng ảnh loại ảnh màu liên tục phát triển để đáp ứng nhu cầu kĩ thuật, giải thuật thường phát triển dựa tảng giải thuật phân vùng ảnh mức xám có sẵn Nhận dạng loài ứng dụng Nhận dạng có tính ứng dụng cao giáo dục nhận thức môi trường sinh thái cho học sinh, nhận biết thuốc y tế, nhận dạng môi trường lạ (như rừng núi,…) Trong tốn nhận dạng dựa kĩ thuật xử lí ảnh, thành phần (hoa, lá, thân, rễ, …) đóng góp vai trị nhận dạng Báo cáo tập trung vào việc ứng dựng giải thuật đểphân đoạn ảnh hoa góp phần giải toán nhận dạng Tiến hành thử nghiệm, đánh giá giải thuật liệu có độ tin cậy cao ImageClef liệu tự thu thập Ảnh nghiên cứu ảnh hoa Đồ án thực 10 tuần báo cáo đồ án bao gồm chương : Chương : Cơ sở lí thuyết Chương : Một số phương pháp phân đoạn ảnh Chương : Ứng dụng phân đoạn ảnh hoa CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Q trình xử lí ảnh Các phương pháp xử lí ảnh ứng dụng nâng cao chất lượng ảnh phân tích ảnh Do vậy, q trình xử lí ảnh bắt đầu công việc thu nhận ảnh kết thúc việc nhận dạng ảnh phán đoán theo ý nghĩa sở nhận dạng ảnh Cụ thể, bước q trình xử lí ảnh thể thơng qua hình 1.1 sau: Hình 1.1: Các bước xử lí ảnh Thu nhận ảnh Công việc cụ thể giai đoạn thu ảnh qua thu ảnh số hóa tín hiệu liên tục sinh thu ảnh Bộ thu ảnh máy chụp ảnh đơn sắc hay màu, máy quét ảnh, máy quay,… Tiền xử lí ảnh Cơng việc cụ thể bước cải thiện độ tương phản ảnh, khử nhiễu Mục đích cơng việc làm cho chất lượng ảnh trở lên tốt chuẩn bị cho bước xử lí Phân đoạn ảnh Đây giai đoạn tách ảnh đầu vào thành nhiều vùng khác hay gọi đối tượng để biểu diễn phân tích, nhận dạng ảnh Biểu diễn mơ tả Ảnh sau số hóa lưu vào nhớ chuyển sang khâu để phân tích Nếu lưu trữ ảnh trực tiếp từ ảnh thơ địi hỏi dung lượng nhớ lớn không hiệu theo quan điểm ứng dụng công nghệ Thông thường, ảnh thô biểu diễn lại theo đặc điểm ảnh gọi đặc trưng ảnh : biên ảnh, vùng ảnh Các thông tin chọn tính chất đặc trưng để thể gọi trích trọn đặc trưng Nhận dạng nội suy Nhận dạng ảnh trình xác định ảnh cách so sánh ảnh với mẫu chuẩn lưu trữ từ trước Nội suy phán đoán theo ý nghĩa sơ nhận dạng ảnh Một số đối tượng nhận dạng phổ biến áp dụng khoa học công nghệ là: Nhận dạng kí tự (chữ in, chữ viết tay, chữ kí điện tử), nhận dạng văn bản, nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người,… Cơ sở tri thức Trong nhiều khâu xử lí phân tích ảnh, ngồi việc đơn giản hóa phương pháp tốn học đảm bảo tiện lợi cho xử lí ảnh ln hướng đến việc xây dựng hệ thống tự động tiếp nhận xử lí theo cách người Vì vậy, nhiều khâu xử lí theo phương pháp trí tuệ nhân tạo, sử dụng sở tri thức người 1.2 Quan hệ điểm ảnh Một ảnh số giả sử biểu diễn hàm f(x,y) Tập điểm ảnh S: cặp điểm ảnh có quan hệ với kí hiệu p, q Chúng ta nêu số khái niệm sau: a) Các lân cận điểm ảnh (Image Neighbors) Giả sử có điểm ảnh p tọa độ (x,y) p có điểm lân cận gần theo chiều đứng ngang (có thể coi lân cận hướng chính: Đơng, Tây, Nam, Bắc) { (x-1,y); (x,y-1); (x,y+1); (x+1,y) } = N4(p) Trong đó: số giá trị logic; N4(p) tập điểm lân cận p Hình 1.2: Lân cận điểm ảnh tọa độ (x,y) Các lân cận chéo: Các điểm lân cận chéo Np(p) (có thể coi lân cận chéo hướng: Đông-Nam, Đông-Bắc, Tây-Nam, Tây-Bắc) Np(p) = {(x+1,y+1); (x+1,y-1); (x-1,y+1); (x-1,y-1)} Tập kết hợp: N8(p) = N4(p) + Np(p) tập hợp lân cận điểm ảnh p Hình 1.3: Quan hệ vùng lân cận điểm ảnh Chú ý: Nếu (x,y) nằm biên (mép) ảnh, số điểm nằm ảnh b) Các mối liên kết điểm ảnh Các mối liên kết sử dụng để xác định giới hạn (Boundaries) đối tượng vật thể xác định vùng ảnh Một liên kết đặc trưng tính liền kề điểm mức xám chúng Giả sử V tập giá trị mức xám Một ảnh có giá trị cường độ sáng từ thang mức xám từ 32 đến 64 mô tả sau: V = {32, 33, … , 63, 64} Có loại liên kết: 10 Đường viền đường cong có tham số C(s):[0,1] → R , khởi tạo ngồi vùng bao phát triển cách tối thiểu hóa lượng hàm: E(C ) = , α ds + - (3.1) tham số không âm dùng để điều khiển độ mịn đường cong, phát hai kì đầu liên kết đường cong đến vùng gradients ảnh rộng phát kì cuối Để giảm độ nhạy nhiễu ảnh nối với Gaussian trước tính toán gradient ảnh Tiếp cận dựa đường viền khởi tạo tốt khơng gặp phải khó khăn việc tối thiểu hóa cục khơng tự động cho phép thay đổi hình dạng đường viền Một thể khác đường viền sử dụng đại diện ẩn tập level Đường viền đại diện đường cong level hàm tập hợp level cong (x,y): Ω → R, ví dụ: C = (x,y)| bên ngồi triển cách tối thiểu hóa Với bên đường Đường viền phát x,y) Hàm tập hợp level thời điểm t tính ) đường viền phát triển tính cách hạ gradient xuống theo thời gian 3.3 Đường viền phương thức dựa xuất Khác với phương thức mà ta xem xét cho việc phân đoạn tìm giá trị cực tiểu cục Bây xem xét công việc dựa đồ thị cắt phân đoạn tạo Boykov Jolly, định nghĩa hàm lượng đơn 42 phụ thuộc vào xuất thuộc tính cạnh ảnh Hơn nữa, trái với phương thức tập level, phương thức tìm giá trị cực tiểu tồn cục Vấn đề gán nhãn cho điểm ảnh, nơi mà việc phân đoạn ảnh đại diện vecto nhị phân X Hàm lượng tính sau: P mục pixel (pixel index) tập pixels, P N cặp không thứ tự {p,q} phát cân xuất thuộc tính, R(x) thuộc tính bao, B(x) B(x) gán nhãn khac cho pixel láng giềng với chi phí phụ thuộc vào cạnh ảnh, nên điều dẫn đến có số lượng lớn chi phí cho việc gán nhãn khác nhaucho pixel láng giềng chúng giống lượng nhỏ chi phí chúng khơng giống Năng lượng cực tiểu hóa sử dụng giải thuật cắt cực tiểu Tương tự với đồ thị cắt vấn đề xây dựng đồ thị mà 43 có chi phí cạnh đến cuối tính theo R(x), chi phí cạnh nút tính B(x) Phương pháp tiếp cận Boykov Jolly tìm kiếm giá trị cắt cực tiểu nhận ước tính màu sắc lân cận Nếu mơ hình mơ tả cho việc màu không đầy đủ không đúng, việc phân đoạn ảnh gần thất bại 3.4 Phân đoạn dựa vào giải thuật Watershed Tách hoa khỏi thuật toán Watershed Bất ảnh xám coi bề mặt topography (tổ hợp hình dạng tự nhiên) điểm có cường độ mức xám lớn “đỉnh đồi” điểm có mức xám thấp coi “thung lũng” Hãy hình dung bắt đầu đổ đầy loại nước có màu khác vào thung lũng khác Khi nước bắt đầu dâng lên, tùy thuộc vào đỉnh gần với thung lũng mà nước (với màu khác nhau) bắt đầu dâng lên theo cách khác Để tránh cho nước hòa trộn vào nhau, ta xây chắn chỗ mà nước với màu khác hịa trộn Sau ta tiếp tục đổ đầy nước vào thung lũng tất đỉnh ngập nước Khi đó, chắn cho ta hình ảnh kết phân đoạn Hình 3.2: Minh họa cách thức hoạt động giải thuật watershed 44 Khi chạy thuật toán Watershed thực thông qua bước sau : Bước : Vẽ đường để xác định vùng bên hoa Hình 3.3: Ảnh hoa vẽ vùng bên bên dùng Watershed 45 Bước : Phân đoạn ảnh thành vùng, chọn vùng ứng với hoa Hình 3.4: Ảnh hoa sau chạy chương trình phân đoạn Watershed 46 Bước : Tách hoa khỏi ảnh Hình 3.5: Ảnh kết sau tách khỏi 47 Hình 3.6: Kết thử nghiệm liệu Image 2015: từ trái qua phải: Ảnh gốc, ảnh phân vùng ngoài, ảnh sau chạy chương tình phân đoạn Watershed, ảnh kết Hình 3.7: số kết thực nghiệm phân đoạn Watershed, từ phải sang trái: ảnh gốc,ảnh kết phân đoạn Watershed 3.5 Phân đoạn dựa vào thuật toán Salient Region Segmentation (Phân đoạn vùng bật) Đa phần ảnh hoa đỏ so với lá, dựa thơng tin người ta khoanh vùng nơi ảnh mà có kênh đỏ lớn kênh xanh Mỗi ảnh chuyển ảnh mức xám khoanh vùng đỏ sau khởi tạo mặt nạ phân đoạn hoa ảnh mức xám sử dụng phương pháp Active Contours Cuối cùng, họ đưa hình chữ nhật (bounding box) có kích thước tối thiểu để bao hết mặt nạ hoa ROI Hình 3.8: Từ ảnh gốc sử dụng thuật tốn Saliency Detection để đưa vùng có mức sáng bật 48 Thuật toán Saliency Detection Phương pháp tiến hành tìm khoảng cách Euclide vecto điểm ảnh Lap hình ảnh qua lọc Gaussian với vecto Lab trung bình ảnh đầu vào Điều minh họa hình Hình 3.9: Mơ tả bước xử lí thuật toán Saliency Detection Giải thuật Salient Region Segmentation (phân vùng bật) Sau sử dụng thuật toán Saliency Detection đưa Saliency map ta kết hợp với việc thực phân đoạn Mean-shift để đưa vùng ảnh chọn Hình 3.10: Mơ tả bước giải thuật phân đoạn vùng bật 49 Hình 3.11: Hình ảnh thử nghiệm liệu tự thu thập Từ trái qua phải: Ảnh gốc, ảnh Min-shift, ảnh ROI, ảnh kết Hình 3.12: Hình ảnh thử nghiệm liệu thi ImageCefl 2015: từ trái qua phải: Ảnh gốc, ảnh MeanShifl, ảnh ROI, ảnh kết 3.6 Cơ sở liệu Dữ liệu tự thu thập Ảnh hoa em em tự chụp quanh khu vực Thái Nguyên bao gồm 455 thuộc 17 loài 50 Hình 3.13: Ảnh hoa tự thu thập Bộ liệu ImageClef 2015 ImageClef 2015 liệu lưu trữ hình ảnh thơng tin hình ảnh tập trung vào lồi cây, thảo mộc, dương sỉ nhằm giúp nhận dạng ác loài cây, thảo mơc, dương sỉ thơng qua hình ảnh phận Hình 3.14: Ảnh hoa liệu ImageClef 2015 51 3.7 Đánh giá nhận xét Sau làm thực nghiệm em xin đưa số nhận xét sau: Phân đoạn dựa vùng bật Hình 3.15: Phân đoạn dựa vùng bật hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết Hình 3.16: Phân đoạn dựa vùng bật với hoa chùm, từ trái qua phải: ảnh gôc, ảnh kết 52 Phân đoạn giải thuật Watershed Hình 3.17: Phân đoạn giải thuật Watershed với hoa đơn, từ trái qua phải: ảnh gốc, ảnh kết Hình 3.18: Phân đoạn giải thuật Watershed với hoa chùm, từ trái qua phải: ảnh gốc, ảnh kết 53 Từ kết thực nghiệm thấy: Đối với ảnh đơn ta sử dụng phương pháp phân đoạn Watershed cho kết tốt Hình 3.19: Phân đoạn ảnh đơn, từ trái qua phải: ảnh gốc, kết Watershed, kết phân vùng bật Đối với ảnh chùm phức tạp phân đoạn phương pháp phân vùng bật (Salient Region Segment) cho kết tốt Hình 3.20: Phân đoạn ảnh hoa chùm, từ trái qua phải: ảnh gốc, kết Watershed, kết phân vùng bật Phân đoạn dựa vùng bật (salient Region Segment) kết hợp thực Mean-Shift để loại bỏ chạy tự động nên chạy cho file chứa nhiều liệu (nhanh) lúc, nhiên lại loại bỏ kết không đạt 54 phân đoạn Watershed tương tác với người dùng nên chạy ảnh (chậm) loại bỏ kết khơng đạt KẾT LUẬN Trong q trình làm đồ án tốt nghiệp, em nghiên cứu cài đặt thành công hai phương pháp phân đoạn ảnh hoa là: phân đoạn vùng bật kết hợp thực MeanShift để loại bỏ phân đoạn giải thuật Watershed có tương tác với người sử dụng Các phương pháp phân đoạn tập trung vào việc loại bỏ ảnh hưởng nhiễu nền, cắt bỏ phần thông tin không quan trọng, xoay ảnh hoa hướng quy chuẩn làm bật thành phần thông tin hoa Trong trình làm thực nghiệm thấy ảnh hoa đơn phân đoạn tốt với giải thuật Watershed có tương tác với người dùng, ảnh chù phức tạp phân đoạn dựa vùng bật cho kết tốt Kết q trình phân đoạn đóng vai trị vơ quan trọng phục vụ cho q trình trích trọn đặc trưng q trình nhận dạng 55 TÀI LIỆU THAM KHẢO [1] http://www.imageclef.org/ [2] Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lí ảnh số”, Nhà xuất khoa học kĩ thuật, 1999 [3] Maria-Elena Nilsback, “An automatic visual Flora – segmenttation and classification of flower images”, Robotics Research Group Department of Engineering Science University of Oxford, Hilary Term, 2009 [4] Le Thi Lan, Tran Duc-Tuan, Hoang Van-Nam “Fully automatic leaf- based plant identification”, application for Vietnamese medicinal plant search The fifth symposium on Information and Communication Technology (SoICT 2014) - 2014 [5] Maria-Elena Nilsback and A.Zisserman “automated flower clas-sification over a large number of classes”, ICVGIP, 2008 [6] R Achanta, S Hemami, F Estrada and S Susstrunk, “Frequency-tuned Salient Region Detection” , IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2009 [7] N Salman, “Image segmentation based on watershed and edge detection techniques”, Computer Science Department, Zarqa Private University, Jordan 56 ... thu thập Ảnh nghiên cứu ảnh hoa Đồ án thực 10 tuần báo cáo đồ án bao gồm chương : Chương : Cơ sở lí thuyết Chương : Một số phương pháp phân đoạn ảnh Chương : Ứng dụng phân đoạn ảnh hoa CHƯƠNG... màu hay độ nhám… Các vùng ảnh thơng thường tương ứng với tồn hay phần đối tượng thật bên ảnh Hình 1.4: Ví dụ phân đoạn ảnh Các hướng tiếp cận phân đoạn ảnh Phân đoạn ảnh chia ảnh thành vùng khơng... trưng, ta có phương pháp phân đoạn: phương pháp phân nhóm đối tượng khơng giám sát, phương pháp phân lớp trung bình thích nghi, phương pháp lấy ngưỡng biểu đồ (histogram) 1.3.2 Các phương pháp dựa