Luận văn thạc sĩ Khoa học máy tính: Tăng cường chất lượng đường biên đối tượng trong ảnh dựa trên kỹ thuật Saliency Map

Nhằm giải quyết những vấn đề trên, thuật toán đề xuất sử dụng kỹ thuật bản đồ nổi bật saliency map để xác định đối tượng chính, trong đó sử dụng phương pháp thu giảm không gian màu để lo

GIỚI THIỆU

Giới thiệu đề tài

Trong những năm gần đây, các nhu cầu liên quan đến việc xử lý ảnh ngày càng phổ biến Từ những việc đơn giản nhƣ chỉnh độ sáng tối, cân bằng màu, thay đổi độ tương phản… đến những yêu cầu cao cấp hơn như phân tách các vùng trong ảnh, khử mờ và nhiễu ảnh, lấy đối tƣợng chính trong ảnh nhằm loại bỏ nền, chỉnh sửa đối tƣợng chính theo yêu cầu

Mọi người đều muốn chất lượng tấm ảnh tốt nhất có thể và đặc biệt là đối tượng chính trong ảnh cần đƣợc quan tâm hơn cả Trong thực tế tình trạng mờ nhiễu, các vùng màu không rõ ràng cũng như đường biên đối tượng và nền bị lem cũng khiến người nhìn có cảm giác thẩm mỹ không tốt hay máy tính xác định không chính xác đối tượng trọng yếu trong ảnh Từ đó dẫn đến các thao tác sau cũng bị ảnh hưởng nhiều Cuối cùng kết quả công việc sẽ không đƣợc nhƣ ý muốn

Trên thế giới hiện nay có những kỹ thuật khử nhiễu, mờ, tách đối tƣợng chính cũng nhƣ các kỹ thuật làm rõ đối tƣợng có thể đáp ứng yêu cầu của bài toán Những kỹ thuật khử nhiễu nhƣ median filter, image reconstruction … đều có ƣu và nhƣợc điểm cũng nhƣ đối tƣợng áp dụng khác nhau Các kỹ thuật khử mờ dựa trên wavelet thế hệ mới nhƣ contourlet, curvelet, ridgelet … cho kết quả tốt nhƣng vẫn có những hạn chế nhất định nhƣ ảnh phải có chiều cao, rộng là 2 n Những kỹ thuật phân tách các vùng trong ảnh nhƣ segment image, saliency map, color segment… có điểm hay là phân chia các phần trong ảnh rất nhanh nhƣng để kết hợp các phần thành một đối tƣợng hoàn chỉnh thì những thuật toán trên chƣa hoàn thiện

Công việc cần làm trong bài toán này là làm rõ đối tƣợng trọng yếu trong ảnh Chính vì vậy, bài toán phải trải qua các bước như : xác định đối tượng chính trong ảnh và làm rõ đối tƣợng đó Trong quá trình thực hiện sẽ phải làm một số công việc phụ như khử nhiễu, mờ ở mức độ nhẹ, xác định đường biên đối tượng một cách chính xác

Nhằm giải quyết những vấn đề trên, thuật toán đề xuất sử dụng kỹ thuật bản đồ nổi bật (saliency map) để xác định đối tượng chính, trong đó sử dụng phương pháp thu giảm không gian màu để loại bỏ những màu không cần thiết nhƣ pixel bị nhiễu màu Kỹ thuật này phù hợp với ảnh màu do nó tập trung vào việc xác định màu nổi

2 bật (đƣợc thể hiện trong kết quả là bản đồ nổi bật) chứ không nhằm mục tiêu xác định cụ thể những màu cho trước của đối tượng

Những màu của đối tượng thường nổi bật với những màu xung quanh vì vậy nếu dùng kỹ thuật phân vùng màu rồi kết hợp những vùng này để khôi phục lại đối tƣợng sẽ tốn kém thời gian và công sức, làm phức tạp thêm vấn đề cần giải quyết Một vấn đề nữa là tính toán nhầm dẫn đến việc một số pixel đáng lẽ phải loại bỏ lại đƣợc giữ lại, qua quan sát thực tế thấy rằng màu của những pixel này giống màu nền hơn màu đối tƣợng Chính vị vậy, thuật toán sử dụng phép toán đạo hàm dựa trên khoảng cách màu để loại bỏ những pixel có màu giống với màu nền hơn là màu đối tƣợng cần quan tâm Đối tượng sau khi được xác định sẽ sử dụng phương pháp mặt nạ để tách đối tượng ra khỏi nền Phương pháp tạo mặt nạ sử dụng bản đồ đo lường giá trị nổi bật để xác định chính xác giá trị cần phân ngƣỡng nhằm tạo ra mặt nạ tốt nhất

Phần việc cuối cùng, phương pháp lọc trung vị được sử dụng vì đối tượng trong trường hợp này bị mờ nhẹ do có một số pixel có màu hơi khác so với xung quan (do máy ảnh), một số có màu chưa đúng (do ánh sáng), còn đường viền của đối tượng bị mờ so với xung quanh do chuyển màu Tất cả vấn đề trên đều phù hợp với phương pháp lọc trung vị Phương pháp này làm hai việc là chỉnh sửa màu cho những pixel có màu chƣa đúng và làm đối tƣợng mƣợt mà, rõ ràng hơn nhờ tính lại màu sắc cho các pixel tại đường biên.

Mục tiêu đề tài

Sau khi nghiên cứu, tìm hiểu sâu về kỹ thuật bản đồ nổi bật và lọc trung vị, tôi nhận thấy rằng cả hai kỹ thuật trên rất phù hợp với vấn đề xác định và làm rõ đối tượng trong ảnh Các nghiên cứu trước đây dừng lại ở việc sử dụng kỹ thuật bản đồ nổi bật để xác định và tách đối tượng ra khỏi ảnh ban đầu chứ chưa có hướng mới là làm rõ đối tƣợng sau khi tách ra khỏi ảnh

Trong khuôn khổ luận văn này, tôi đi sâu vào tìm hiểu các vấn đề thường gặp khi tách đối tượng trên ảnh thông thường như các loại nhiễu, mờ thường gặp và tính chất chung của các loại nhiễu, mờ cũng nhƣ tính chất riêng của chúng trong tập dữ liệu này là gì Những kỹ thuật làm rõ ảnh nhƣ median filter, k-man filter, cân bằng sáng tối…Từ những bài báo hội nghị hay tạp chí quốc tế sẽ giúp tôi tìm hiểu sâu sắc và kỹ càng hơn những vấn đề trên cũng nhƣ cách khắc phục chúng Mục tiêu chính

3 của đề tài là đề xuất phương pháp tăng cường chất lượng đường biên trong ảnh dựa trên kỹ thuật saliency map.

Nội dung đề tài

Trong luận văn này, tôi đi vào tìm hiểu các loại ảnh trong tập ảnh công khai cũng như tính chất của tập ảnh này Từ đó đề xuất phương pháp phù hợp để đạt đƣợc mục tiêu đã nêu ra ở trên Vấn đề chính của luận văn là xác định vùng của đối tượng chính sau đó nâng cao chất lượng đường biên đối tượng

Thứ nhất, tôi sẽ đi sâu vào tìm hiểu cách tăng tốc độ tính toán cũng nhƣ chất lƣợng kết quả bằng kỹ thuật thu giảm không gian màu của Cheng [1] Vì đây là kỹ thuật rất hay so với trước, giúp giảm độ phức tạp của phương pháp đi rất nhiều cũng nhƣ việc tính toán trở nên dễ dàng hơn

Thứ hai là việc nghiên cứu lý thuyết tạo ra bản đồ nổi bật (salient map) tốt hơn trước, sử dụng ý tưởng của Achanta [5] và Cheng [1] Những kỹ thuật trước cho ra bản đồ nổi bật nhanh nhƣng kết quả cần cải thiện nhiều Kỹ thuật tạo ra bản đồ nổi bật dựa vào màu và tần số là một ý tưởng đột phá so với trước Những kết quả đăng trong bài báo Achanta [5] và Cheng [1] là rất khả quan

Thứ ba, sau khi có đƣợc bản đồ nổi bật rõ ràng, thể hiện tốt khu vực của đối tượng nổi bật Tôi sẽ tiến hành tìm hiểu phương pháp phân ngưỡng, rút trích đối tượng nổi bật trong ảnh nhờ đường biên và độ nổi bật của khu vực chưa đối tượng

Kỹ thuật nhị phân hóa bản đồ nổi bật sẽ là một lựa chọn hứa hẹn và đầy triển vọng do nó sử dụng hai tính chất đã nêu ở trên

Thứ tư, đối tượng sau khi rút trích sẽ được xử lý một lần nữa bằng phương pháp loại bỏ màu nền Phương pháp này hướng tới việc đem lại kết quả tối ưu so với trước kia vì nó dựa vào màu đối tượng, màu nền và đường ranh giới để tiến hành loại bỏ những pixel chưa đúng trong quá trình xử lý trước đó

Thứ năm, đối tƣợng đã đƣợc tách ra trải qua công đoạn cuối của quá trình xử lý Nhằm tăng cường chất lượng đường biên và chất lượng của đối tượng, đề tài sẽ nghiên cứu để dùng phương pháp lọc trung vị nhằm đạt được mục đích đã nêu trên Cuối cùng, về phương diện đánh giá, tôi sẽ đánh giá phương pháp đề xuất với hai tham số MSE, PSNR Đây là hai tham số đƣợc sử dụng nhiều và hiệu quả trong lĩnh vực xử lý ảnh tự nhiên Về mặt định tính, tôi sẽ so sánh chất lƣợng bản đồ nổi bật với những phương pháp đã nêu trên

Giới hạn đề tài

Luận văn tập trung vào nghiên cứu phương pháp xác định đối tượng trọng tâm là phương pháp bản đồ nổi bật (saliency map) và phương pháp lọc trung vị để làm rõ đối tƣợng chính trong ảnh

Cơ sở dữ liệu dựa trên tập dữ liệu công khai của Achanta [9] Trong đề tài này, phương pháp sẽ so sánh cả chất lượng kết quả đạt được cũng như tốc độ so với các phương pháp khác.

Phương pháp sử dụng trong nghiên cứu

Công việc nghiên cứu bắt đầu từ việc tìm hiểu cơ sở lý thuyết, tham khảo nội dung các công trình liên quan và cuối cùng là xác định những những vấn đề còn tồn tại cũng như phương pháp giải quyết đã có liên quan đến việc xử lý ảnh màu có đối tƣợng

 Tổng hợp ý tưởng hiệu quả cũng như phân tích các phương pháp đã có để cải tiến

 Gom nhóm các phương pháp đã có dựa trên cách lựa chọn đặc trưng, kỹ thuật phân tách đối tượng và hướng giải quyết những vấn đề trước và sau xử lý

 Xem xét ưu nhược điểm của từng phương pháp để cải tiến trong phương pháp đề xuất

 Thử nghiệm phương pháp đã có, phương pháp đề xuất đồng thời áp dụng thêm các ý tưởng mới để giải quyết vấn đề hướng tới mục tiêu giải quyết công việc hiệu quả hơn so với phương pháp trước đó

Sau cùng, đề tài sẽ kết hợp các phương pháp, ý tưởng mới Từ đó, tôi nghiên cứu đề xuất và hiện thực phương pháp đã đề ra, mà nó sẽ giải quyết bài toán làm rõ thành phần trọng yếu của ảnh màu trong phạm vi giới hạn đã nêu ở trên Đề tài đƣợc hiện thực bằng công cụ Matlab và so sánh kết quả đạt đƣợc với những nghiên cứu trước đó nhằm đánh giá mức độ hiệu quả của phương pháp đề xuất ở hai phương diện chính là định lượng (thời gian, MSE, PSNR) và định tính (kết quả bản đồ nổi bật).

Cấu trúc luận văn

Luận văn chia thành 5 chương như sau:

Chương 1: Giới thiệu tổng quan về bái toán cần giải quyết, động cơ thực hiện, giới hạn đề tài, kết quả cần đạt đƣợc

Chương 2: Trình bày các lý thuyết liên quan trong đề tài như các vấn đề và phương pháp giải quyết, những phương pháp liên quan đến đề tài, tham số và cách tìm tham số

Chương 3: Mô tả chi tiết phương pháp đề xuất cũng như nêu rõ các yếu tố cần xác định, cách tính toán, thứ tự tính toán, ý tưởng chính để đạt được mục tiêu

Chương 4: Nêu ra những kết quả đạt được, so sánh với các phương pháp khác về mặt thời gian chất lƣợng đối tƣợng sau khi nâng cao dùng tham số MSE, PSNR Chương 5: Kết luận lại những vấn đề đã nêu, điểm tốt của phương pháp đề xuất cũng nhƣ những điểm đề tài cần học hỏi để cải thiện kết quả

CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Cơ sở lý thuyết

2.1.1 Thu giảm không gian màu

Zhai và Shah [12] sử dụng ý tưởng thu giảm không gian màu để nâng cao hiệu suất tính toán Trong [12] ông sử dụng trục L (độ sáng) để thu giảm, trục L sau khi thu giảm còn 12 giá trị màu cách đều nhau thay vì sử dụng toàn bộ 100 giá trị nhƣ trước đây Hai trục màu a, b không bị thu giảm nên số màu đã được thu giảm từ CIE

Còn khoảng 4,7% màu so với ban đầu nhƣng ảnh vẫn gần nhƣ giữ nguyên chất lượng Đây là một bước tiến lớn so với trước đó, khi mọi người vẫn sử dụng toàn bộ thông tin màu sắc để tính toán giá trị nổi bật của mỗi màu trong ảnh Ý tưởng này rất hay để đẩy nhanh tốc độ tính toán cũng nhƣ nâng cao chất lƣợng kết quả đạt đƣợc nhờ những màu giống nhau nhƣng chênh lệch độ sáng không nhiều sẽ đƣợc gom thành một nhóm

Ming Cheng [1] sử dụng ý tưởng trên một cách triệt để hơn, ông thu giảm cả 3 chiều trong không gian màu và thu đƣợc kết quả rất khả quan Từ chỗ phải dùng CIE L * a * b khoảng

Tổng số màu đã giảm đi rất nhiều, còn lại khoảng 0,001% màu so với ban đầu Tốc độ tình toán nhờ vậy mà cải thiện gấp nhiều lần so với trước đó Cách làm của Minh Cheng[13] là phân ngƣỡng cứng cho mỗi trục màu cố định để chia từ 255 giá trị còn 12 giá trị Bước nhảy giữa mỗi màu là 255/12 = 21,25 màu

Mười hai giá trị màu mới được tính như sau :

 Bước 1 : Gán giá trị bắt đầu là 0 đối với mảng màu cũ lẫn màu mới

 Bước 2 : Cứ mỗi 21 màu tiếp theo sẽ mang giá trị mới là 0

 Bước 3 : Màu mới tiếp theo có giá trị bằng giá trị trước đó cộng với bước nhảy và cộng thêm một để tránh trùng lắp

 Bước 4 : Lặp lại bước 2 cho đến khi hết màu ở mảng cũ

Bảng 1 Bảng đổi màu cũ và màu mới

Giá trị màu cũ Giá trị màu mới

2.1.2 Thu giảm số lƣợng màu trong ảnh

Cheng [1] sau khi thu giảm không gian màu là bước thu giảm số lượng màu trong ảnh Vì có những màu rất ít xuất hiện, có thể loại bỏ khỏi ảnh và thay bằng màu gần nhất Những màu hiếm khi xuất hiện này thường là nhiễu trong ảnh, chúng hay xuất hiện ở vùng chuyển tiếp, đường biên, phần bị mờ … trong hình ảnh tự nhiên ở đầu vào

Loại bỏ những màu hiếm này giúp ảnh rõ ràng, sắc nét hơn cũng nhƣ tăng tốc độ tính toán do sử dụng ít màu hơn

Phương pháp của Cheng giữ lại những màu có tần số xuất hiện cao và loại bỏ những màu có tần số xuất hiện thấp Giữ lại những màu hay xuất hiện nhất và tổng độ phủ trên 95% còn những màu có tần số xuất hiện thấp và tổng độ phủ bé hơn 5% sẽ bị loại bỏ và thay thế bằng màu gần với nó nhất mà những màu này nằm trong nhóm màu được giữ lại Xem kết quả của bước này ở chương 5

Khi thực nghiệm, số màu còn lại thường dưới 95 màu so với hàng trăm ngàn màu trước khi thu giảm màu bằng tần số xuất hiện trong ảnh Nhờ số màu còn lại đƣợc giảm đi rất nhiều nên tốc độ tính toán cũng cải thiện một cách tối đa

Kỹ thuật bản đồ nổi bật mới đƣợc giới thiệu và phát triển gần đây nhằm giải quyết tốt hơn bài toán nhận dạng Những kỹ thuật trước đây nhận dạng đối tượng có một số màu cho trước, phần màu nền cũng phải khác so với đối tượng rõ rệt Chính vì thế kỹ thuật bản đồ nổi bật ngày càng phát triển hơn so với trước do màu đối tượng tùy ý chỉ cần thỏa mãn yêu cầu màu đối tượng và màu nền có sự tương phản rõ rệt Ý tưởng của kỹ thuật này bắt nguồn từ sự quan sát sinh học Thực tế cho thấy chúng ta thường bị thu hút bởi kích thích thị giác nổi bật

Hình 2 1 Bọ rùa nổi bật trong khung cảnh

Link:http://img.photo.yume.vn/2009/20090314/hangnga_202/thumbnail/604x6 04/1237022043256_yume_photo.jpg

Từ hình trên ta có thể hiểu đƣợc nguyên nhân tại sao mọi loài vật kể cả con người lại dành sự tập trung vào khu vực nổi bật trong ảnh vì đó thường là những thông tin quan trọng với mọi động vật Thông tin thị giác phải đƣợc xử lý nhanh chóng nhằm phát hiện con mồi, động vật ăn thịt hay là đồng loại trong thế giới đủ thứ hình dạng và màu sắc

Những xử lý này là phức tạp, khó khăn để xác định mục tiêu trong ảnh là gì Bởi vì ngay với bộ não sinh học thông minh nhất cũng rất khó khăn để nắm bắt đƣợc đối tƣợng trong ảnh [25] Để giải quyết vấn đề này, sinh vật sử dụng giải pháp là chú ý hơn đến những khu vực có màu khác và nổi bật so với xung quanh

Những nghiên cứu đầu tiên về bản đồ nổi bật cho kết quả chƣa đƣợc tốt và cần cải tiến nhiều do tính toán còn chậm và bản đồ nổi bật chƣa rõ ràng và khá là ẩu tả Ý tưởng chính khi tính toán bản đồ nổi bật là dựa vào độ tương phản màu giữa các thành phần này với thành phần khác trong ảnh

(a) là hình gốc, (b) là bản đồ nổi bật Hình 2 2 Minh họa bản đồ nổi bật

Link : https://graphics.ethz.ch/~perazzif/saliency_filters/files/teaser_01.png

Từ hình trên ta sẽ dành thời gian tập trung ngay vào chấm đỏ do nó có độ tương phản cao hơn hẳn những màu xung quanh Nguyên nhân vì màu khác biệt so với phần lớn màu xung quanh

Từ hình ảnh của bản đồ nổi bật, chúng ta cần tạo ra một mặt nạ để xác định rõ phần nào của đối tƣợng còn phần nào thuộc về nền Để làm việc này ta cần xác định ngƣỡng k để phân loại xem mức nổi bật đến đâu thì được xem là đối tượng, còn bên dưới là nền Ngưỡng này được xác định bằng cách nào đó theo yêu cầu của từng bài toán Khi đã có ngƣỡng ta sẽ tiến hành nhị phân hóa ảnh đầu vào

Công thức nhị phân hóa thường là:

 y là giá trị nổi bật sau khi phân ngƣỡng

 x là giá trị nổi bật ban đầu của pixel

 k là ngƣỡng phân loại giá trị nổi bật giữa nền và đối tƣợng

(a) là ảnh bản đồ nổi bật, (b) là ảnh sau khi phân ngưỡng

Hình 2 3 Tạo mặt nạ từ bản đồ nổi bật

Cho hàm số y = f(x) và đồ thị Ta coi đồ thị là tập hợp của hàm là tập hợp các điểm Từ đó ta vẽ đồ thị trong mặt phẳng với một trục ngang (trục x) và trục đứng (trục y)

Hình 2 4 Đồ thị hàm số y = f(x)

Cố định một điểm trên biểu đồ, gọi là M(x 0 , y 0 ) Nếu đồ thị có tính chất liên tục tại điểm đang xét, ta có thể tìm một biểu thức đường thẳng sao cho giao với đồ thị tại điểm đó và có góc giống với góc của hàm số tại lân cận của điểm M Đường thẳng có được gọi là đường tiếp tuyến tại điểm đang xét

Hình 2 5 Đường tiếp tuyến tại M(x 0 , y 0 )

Các công trình nghiên cứu liên quan

Những công trình trước đây tập trung vào thông tin thị giác, thuần tính toán hay kết hợp những góc nhìn mới hay sử dụng nhiều ý tưởng đã có nhằm giải quyết vấn đề chưa giải quyết triệt để Một số phương pháp dùng những thông tin chính như vùng nổi bật và các vùng xung quanh hay những thông tin về góc cạnh, độ sáng,

17 màu sắc như Achanta [5] Tóm lại, những ý tưởng trên có thể phân loại thành hai nhóm chính là phân loại dựa vào độ tượng phản toàn cục và tương phản cục bộ Tương phản toàn cục là ý tưởng của những phương pháp hướng tới việc đo lường giá trị nổi bật của một vùng dựa trên sự tương phản của nó với những vùng khác trong ảnh Tác giả Zhai [12] đã đề xuất ý tưởng xác định giá trị nổi bật của một pixel dựa trên độ tương phản giửa các pixel với nhau Phương pháp của nhà khoa học Zhai đem lại kết quả khả quan, nhƣng điểm cần cải thiện là hiệu suất, thời gian tính toán

Nguyên nhân bắt nguồn từ việc chỉ sử dụng thông tin độ sáng trong khi bỏ qua các kênh màu khác, đây là việc chƣa sử dụng hết thông tin để đạt kết quả tối đa Ngoài ra việc tính toán độ tƣợng phản của từng pixel đem lại là rất tốt do xử lý kỹ càng độ nổi bật đến từng pixel trong ảnh, nhƣng cái giá là phải chi phí thời gian rất lớn do độ phức tạp của phương pháp là O(n 2 ) Mỗi pixel sẽ so sánh với tất cả pixel khác nên chi phí bỏ ra ở những điểm nhƣ bộ nhớ, tốc độ là rất lớn

Tác giả Zhai đề xuất công thức tính toán giá trị nổi bật của một pixel nhƣ sau :

 D(m, n) là khoảng cách màu giữa màu m và màu n (không gian màu Lab)

 SalS(I k ) là giá trị nổi bật của pixel I k trong ảnh

 SalS(a m ) là giá trị nổi bật của màu a m trong ảnh

 f n là tần số của pixel có màu a n trong ảnh

(a) Ảnh đầu vào (b) Giá trị nổi bật của từng màu (c) Bản đồ nổi bật

Hình 2 8 Bản đồ nổi bật của Zhai [12]

Khi tính toán giá trị nổi bật cho từng pixel cho kết quả rất sát với từng pixel đƣợc tính, vì vậy bản đồ nổi bật cho cảm quan sinh động, rõ ràng Nhƣng cũng vì tính cẩn thận từng pixel nên bản đồ nổi bật tiêu tốn thời gian cũng nhƣ số phép tính rất lớn Hình trên minh họa phương pháp của Zhai, đầu tiên tìm giá trị nổi bật cho từng pixel sau đó thế giá trị đó vào vị trí tương ứng trên bản đồ nổi bật ( thể hiện dưới dạng ảnh xám )

Achanta [5] sử dụng ý tưởng tần suất của màu, cụ thể là giá trị nổi bật của một màu sẽ đƣợc tính bằng khoảng cách của màu đó so với các màu khác kết hợp với tần số của màu đó Phương pháp này xác định độ nổi bật nhanh hơn và tính toán độ nổi bật tốt tương đương với việc tính từng pixel Nếu phương pháp này cải tiến thêm để giải quyết ảnh tự nhiên trong trường hộp đa dạng màu sắc sẽ có thêm nhiều kết quả khả quan hơn nữa

Phương pháp của Achanta đòi hỏi phải có một số yêu cầu sau để tính toán và xác định chính xác vùng của đối tƣợng:

 Tập trung vào những đối tƣợng nổi bật nhất

 Tính nhất quán của khu vực nổi bật

 Ranh giới giữa đối tƣợng nổi bật và nền phải rõ ràng

 Không có nhiễu tần số cao xuất phát từ tiếng ồn, bối cảnh và vật cản

 Bản đồ nổi bật ở đầu ra phải có độ phân giải toàn phần và hiệu quả

Trong bài báo [5] Achanta giới thiệu công thức tính bản đồ nổi bật cho một ảnh

I có độ rộng W và chiều cao H nhƣ sau :

 I là giá trị pixel về mặt số học trong ảnh

 I hc là ảnh bị mờ Gaussian từ ảnh gốc

 x, y là vị trí điểm ảnh đang xét

Phương pháp tính bản đồ nổi bật này cho phép loại bỏ những thông tin chi tiết cũng nhƣ nhiễu hay lỗi mã hóa pixel Từ đó việc tính toán trở nên chính xác hơn và hiệu quả hơn so với trước Lúc này, những tiêu chuẩn về sự khác nhau được dùng kể từ khi thuật toán chú trọng hơn đến mức độ quan trọng do sự khác biệt đem lại Điều này đem lại hiệu quả khá đáng kể khi tính toán trên ảnh, đặc biệt là thỏa mãn

19 tiêu chí thứ tư (loại bỏ nhiễu, vật cản) Phương pháp này xử lý ảnh gốc mà không cần lấy mẫu con nhƣng vẫn tính đƣợc bản đồ nổi bật đầy đủ

(a) Ảnh đầu vào, (b) Bản đồ nổi bật, (c) Ảnh đã phân vùng (d) Độ nổi bật trung bình giữa các vùng, (e) Mặt nạ nhị phân , (f) Đối tượng nổi bật

Hình 2 9 Phương pháp tính bản đồ nổi bật của Achanta Ảnh đầu vào (a) sẽ dùng để tính hai phần : bản đồ nổi bật (b) và phân vùng ảnh (c) Từ hai ảnh này ta sẽ tính toán độ nổi bật của từng vùng đối với những vùng còn lại để có (d) Thuật toán sẽ nhị phân hóa bản đồ nổi bật của từng vùng và tạo ra mặt nạ nhị phân (e) Kết hợp mặt nạ nhị phân này với ảnh đầu sẽ có ảnh đối tƣợng (f) Cheng [13] sử dụng ý tưởng mới, kết hợp 2 ý tưởng trên và dùng thêm thông tin không gian của các phần trong ảnh để tính toán, xác định giá trị nổi bật Kết quả đạt được tốt cả phương diện thời gian và bản đồ nổi bật nhưng tốn thời gian hơn trước

(a) Ảnh đầu vào, (b) HC-map, (c) RC-map, (d) RCC-map Hình 2 1 Phương pháp tính bản đồ nổi bật của Cheng

Cheng sử dụng 3 loại bản đồ và một số phương pháp hỗ trợ nhằm xác định khu vực của đối tƣợng nổi bật Từ ảnh đầu vào (a) sẽ tính toán bản đồ nổi bật ban đầu, bản đồ này sẽ dùng phương pháp làm mượt không gian màu để tìm ra HC-map (b) Áp dụng phương pháp tính độ nổi bật giữa các vùng với nhau trên HC-map nhằm xác định RC-map (c), áp dụng thêm phương pháp tìm chỗ phân đoạn trên (c) sẽ thu dƣợc RCC-map (d)

(a) Bản đồ nổi bật, (b) Bản đồ nổi bật sau khi làm mượt không gian màu (HC-map)

Hình 2 2 Kết quả bước làm mượt không gian màu, Cheng [13]

Sau khi có bản đồ nổi bật, Cheng đề xuất nên phát triển thêm một bước nữa nhằm tối ưu hóa Tại bước này, màu sắc sẽ được sắp xếp theo tần số và giá trị nổi bật, với một cửa sổ trƣợt sẽ hiệu chỉnh giá trị nổi bật của từng màu dựa trên độ nổi bật của m màu hàng xóm gần nhất

Công thức (13) dùng để tạo ra bản đồ nổi bật từ ảnh ban đầu, trong đó :

 S(I k ) là giá trị nổi bật của pixel I k trong ảnh Lab

 S(c l ) là giá trị nổi bật của màu c l trong ảnh Lab

 D(c l , c j ) là khoảng cách hai màu c l , c j trong không gian màu Lab

 f i là tần số của màu thứ i khi tính khoảng cách màu

 c l , c j là màu c l và màu c j trong ảnh Lab

Công thức (14) áp dụng để tính độ nổi bật từng vùng đối với nhau, các chú thích tương tự công thức (13) Cuối cùng là công thức (15) dùng để ước lượng điểm giá trị cần cắt (giá trị phân đoạn nhị phân) trong bản đồ nổi bật tính theo khu vực thành bản đồ nhị phân nhằm tách đối tƣợng nổi bật Trong đó :

- Precision là ƣớc lƣợng mong muốn

- Recall là tỉ lệ thu hồi

- F là hàm so sánh giữa hai phương pháp cho trước

Hàm F dùng để so sánh hiệu quả tạo ra bản đồ nhị phân giữa hai phương pháp cho trước bằng cách chia hai kết quả này cho nhau

Koch [14] đã đề xuất những phương pháp tính toán độ nổi bật cục bộ dựa trên phân tích tính chất của một vùng và các vùng quanh nó Itti [6] đo lường giá trị nổi bật trong ảnh bằng cách ƣớc lƣợng những sự khác biệt của những vùng gần trung tâm Liu [15] tính toán độ nổi bật đa co giãn và dùng nổi bật kết hợp tuyến tính trong kim tự tháp ảnh Gaussian Goferman [16] tạo một mô hình sử dụng sự nổi bật cục bộ, các luật trực quan và những tính năng riêng để phát hiện một đối tƣợng nổi bật với bối cảnh của nó

Ma và Zhang [17] xác định sự nổi bật cục bộ bằng cách sử dụng mô hình phát triển mờ Ko và Nam [18] sử dụng kỹ thuật SVM (support vector machine) để xác định vùng nổi bật trong một ảnh đã phân vùng sẵn Harel [19] chuẩn hóa bản đồ tính chất thành các phần đƣợc đánh dấu và kết hợp chúng với những bản đồ khác Những phương pháp dựa trên nổi bật cục bộ cho ra giá trị nổi bật tốt hơn cho mỗi vùng nhƣng không tốt khi xác định đối tƣợng nổi bật Rahtu [7] kết hợp giữa đo lường nổi bật với CRF (conditional random field) để tạo ra bản đồ nổi bật Walther [8] dựa trên mô hình sinh học và APO (attend to proto-object) nhằm tạo ra bản đồ nổi bật Achanta [9] dựa trên màu và độ sáng để đo lường giá trị nổi bật của mỗi vùng, đó là phương pháp CLM (Colors and Luminance to Measure saliency value) Murray [10] dùng mô hình màu và cơ chế vùng không gian với mong muốn tạo ra bản đồ nổi bật, phương pháp SPM (spatial pooling mechanism) Tie [11] dùng ý tưởng phân bổ màu theo không gian, sự tương phản đa co giãn và kỹ thuật CSD (center surround histogram) nhằm tính toán bản đồ nổi bật

Trong luận văn này, đề tài sẽ sử dụng kỹ thuật thu giảm không gian màu để tăng tốc tính toán và nâng cao kết quả bản đồ nổi bật, kỹ thuật bản đồ nổi bật cải tiến sử dụng thêm kỹ thuật làm mƣợt không gian màu, kỹ thuật phân ngƣỡng và tạo mặt nạ, ý tưởng đạo hàm trên khoảng cách màu và cuối cùng là kỹ thuật lọc trung vị

TĂNG CƯỜNG CHẤT LƯỢNG ĐƯỜNG BIÊN ĐỐI TƯỢNG

Phương pháp đề xuất

Trước tiên, nghiên cứu phải xác định được không gian màu nào được dùng và tại sao phải dùng không gian màu đó khi tính toán mà không sử dụng chính không gian màu RGB ban đầu Nguyên nhân là vì mỗi không gian màu đều có ƣu, nhƣợc điểm riêng và nó phù hợp với từng bài toán cụ thể Không gian màu RGB trong trường hợp này không thể hiện được tính chất độ sáng của màu, trong khi đó không gian màu Lab lại có cả hai tính chất cần thiết để giải bài toán độ nổi bật, đó là thông tin về độ sáng và màu sắc Đối tƣợng trong ảnh có màu sắc rất đa dạng và khác nhau, ta sẽ sử dụng lý thuyết về bản đồ nổi bật Đây là một lý thuyết mới nhƣng rất hiệu quả khi tìm kiếm, xác định đối tƣợng trong ảnh Lý thuyết này đề cập đến việc gán mỗi màu một giá trị nổi bật đề từ đó khoanh vùng và rút trích đối tƣợng dễ dàng, chỉ cần màu đối tƣợng có độ nổi bật cao so với xung quanh

Quá trình tính toán bản đồ nổi bật trước đây còn chậm, chính vì thế lý thuyết về thu giảm không gian màu đƣợc tạo ra nhằm tính toán giá trị nổi bật của pixel nhanh hơn Ngày nay, giá trị nổi bật của mỗi pixel sẽ đƣợc tính theo màu và tần số của màu đó trong ảnh Nhờ đó mà quá trình tính toán đƣợc cải thiện rất đáng kể

Lý thuyết về phân ngƣỡng và tạo dựng bản đồ nhị phân để xác định vùng của đối tượng và đường biên là một lý thuyết rất đáng quan tâm vì nó giải quyết được vấn đề chọn ngƣỡng và xác định vùng của đối tƣợng

Trong toán học đại số, có phép toán rất hay đó là đạo hàm dùng khi tìm cực trị của hàm số Nó có khả năng giải quyết đƣợc bài toán khắc phục phân ngƣỡng màu tự động chính xác hơn trước

Từ những lý thuyết đã nói ở trên, tôi đã nghiên cứu đưa ra phương pháp đề xuất và sẽ nói chi tiết về từng lý thuyết cũng nhƣ cách áp dụng nhằm đạt mục đích tăng cường chất lượng đường biên đối tượng.

Hình 3 1 Sơ đồ các bước trong phương pháp đề xuất

 Bước 1: Ảnh đầu vào sẽ được chuyển sang không gian màu LAB

 Bước 2: Thực hiện thu giảm không gian màu trong ảnh, mỗi chiều còn khoảng 12 màu trong không gian màu LAB

 Bước 3: Từ ảnh đã thu giảm màu, máy tính sẽ xử lý để tạo ra bản đồ nổi bật

(saliency map) dựa vào giá trị nổi bật giữa các vùng màu với nhau và độ lớn của vùng màu đó so với các vùng màu khác

 Bước 4: Hiệu chỉnh bản đồ nổi bật để có kết quả tốt hơn dựa trên sự đồng hóa các vùng màu giá trị nổi bật tương đương nhau

 Bước 5: Bản đồ nổi bật đã hiệu chỉnh được dùng tạo ra mặt nạ cho lần tách đối tƣợng đầu tiên

 Bước 6: Loại bỏ những màu thuộc về màu nền a Đối tƣợng sau khi tách ra bằng mặt nạ sẽ sử dụng thuật toán HC-map để loại bỏ thêm những pixel màu gần giống với màu nền b Chọn ra 2 màu chủ đạo, ngƣợc nhau trong ảnh để loại bỏ những màu gần với hai màu này

 Bước 7: Sử dụng thuật toán lọc để tăng cường chất lượng đối tượng sau khi rút trích khỏi ảnh ban đầu.

Mô tả chi tiết từng bước của phương pháp đề xuất

Ảnh đầu vào sẽ đƣợc chuyển từ không gian màu RGB sang không gian màu Lab để tính toán Không gian màu L*a*b đƣợc chọn vì có trục độ sáng và hai trục màu thực Ở đây ta cần sử dụng thông tin độ sáng và màu sắc để tính độ nổi bật của các màu đối với nhau

Nếu ta dùng không gian màu RGB thì khó tính toán độ nổi bật do không có thông tin độ sáng, cả 3 trục đều là màu Còn dùng không gian màu HSI thì lại dƣ thông tin độ bão hòa màu, nó làm cho thuật toán trở nên khó xác định độ nổi bật

3.2.1 Thu giảm không gian màu

Trong một ảnh thường có khoảng n = 256 3 màu gây ra việc xử lý không hiệu quả do có những màu gần giá trị với nhau nhƣng vẫn đƣợc coi là hai màu khác biệt Trong ảnh, tổng số màu thường thường lớn hơn nhiều lần tổng số pixel dẫn đến việc tính toán ra bản đồ nổi bật rất chậm do mọi công thức tính toán bản đồ nổi bật đều phải dùng đến hai đại lƣợng là tổng số pixel trong ảnh và tổng số màu trong ảnh Một bức ảnh nhỏ với kích thước (500x400) đã có 20.000 pixel ảnh, nếu nhân với số màu n = 256 3 màu sẽ ra con số rất lớn, khiến quá trình xử lý của những phương pháp trước đây tốn rất nhiều thời gian

Từ đó xuất hiện nhu cầu làm sao để xử lý ít hơn nhƣng kết quả đạt đƣợc tốt hơn Nhà khoa học đầu tiên đưa ra ý tưởng thu giảm không gian màu là Zhai [12] ông chỉ thu giảm chiều độ sáng của ảnh trong khi bỏ qua thông tin về độ sai biệt màu Cheng [13] thu giảm toàn bộ không gian màu vì việc này làm hiệu quả tính toán tăng lên rất nhiều (giảm chi phí thời gian tính toán) trong khi vẫn giữ đƣợc chất lượng ảnh Quá trình này gồm hai bước :

 Bước 1: Thu giảm theo từng chiều trong không gian màu Mỗi chiều trong không gian màu sẽ đƣợc chia từ 255 giá trị màu ban đầu thành 12 giá trị màu khác nhau, dẫn đến không gian màu từ 256 3 màu trở thành 12 3 màu khác biệt Tổng số màu đã giảm đi rất nhiều nên việc tính toán cũng hiệu quả hơn hẳn

 Bước 2: Thu giảm theo tần số xuất hiện của mỗi màu Ý tưởng chính của việc làm này là giữ lại những màu hay gặp và loại bỏ những màu hiếm khi xuất hiện Những màu hiếm khi xuất hiện thường là màu của các pixel nhiễu trong khi những màu hay xuất hiện lại là những màu chính của ảnh

Vì vậy, việc loại bỏ những màu này không những làm tăng tốc độ tính toán mà còn tăng cường chất lượng bản đồ nổi bật ở bước sau nhưng vẫn giữ đƣợc những đặc trƣng quan trọng của ảnh

Theo Cheng [13] đề xuất nên giữ lại những màu có tần số xuất hiện cao nhất và tổng tần số lớn hơn 95% Những màu có tổng tần số thấp nhất và dưới 5% sẽ được thay thế bằng những màu gần nhất với nó dựa trên khoảng cách Euclid trong không gian màu Thực nghiệm cho thấy, số màu còn lại thường nằm trong khoảng 92 màu, con số này khá nhỏ so với 12 3 màu Đây là bước rất quan trọng để tăng cường tốc độ tính toán của phương pháp đề xuất

(a) Ảnh gốc (b) Ảnh sau khi thu giảm không gian màu (c) Tần số của những màu trong ảnh sau khi thu giảm không gian màu

Hình 3 2 Thu giảm không gian màu

Trong hình minh họa trên, ảnh gốc (a) sẽ đƣợc thu giảm số lƣợng màu ở cả 3 chiều màu Trước kia mỗi chiều có 256 giá trị màu, thì giờ đây mỗi chiều còn 12

27 màu mà thôi Đầu tiên ta tìm giá trị lớn nhất, nhỏ nhất trên mỗi chiều màu để xác định khoảng chia màu, sau đó chia khoảng trên thành 12 khoảng nhỏ, cuối cùng ảnh xạ 12 khoảng giá trị này thành 12 màu đại diện cho mỗi khoảng tương ứng (thông thường, ảnh còn dưới 1000 màu sau bước thu giảm không gian màu)

Bước tiếp theo ta sẽ tìm tần số của tất cả màu còn lại trong ảnh nhằm loại bỏ những màu có quá ít pixel Ta giữ lại những màu có tần số cao và có tổng tần số là 95%, những màu có tần số thấp sẽ bị thay thế bằng những màu giữ lại và gần nó nhất tính theo khoảng cách Euclid (trong không gian màu Lab) Cuối cùng ta thu đƣợc ảnh đã thu giảm màu (b), nhìn vào hình ảnh này đã xuất hiện những vùng màu giống nhau mà trước đó không có, vì cả hai bước thu giảm màu này đều gom nhóm những màu gần giống thành một nhóm rồi lấy một màu ra làm đại diện

Hình (c) thể hiện tần số những màu còn lại trong ảnh đã thu giảm, những màu đầu tiên có tần số rất cao, chiếm phần lớn tần số trong ảnh vì trong ảnh này, màu nền gần giống nhau, nên khi gom nhóm những màu nền này sẽ trở thành một hay vài màu có tần số cao nhất và chiếm ƣu thế

3.2.2 Tạo bản đồ nổi bật

Phương pháp đề xuất sử dụng bản đồ nổi bật dựa trên độ tương phản màu để xác định giá trị nổi bật cho từng màu trong ảnh Điều này có đƣợc từ sự quan sát của con người đối với xung quanh Chúng ta dành nhiều thời gian, sự chú ý hơn cho những vùng có màu nổi bật hơn, tương phản hơn so với những vùng màu khác và độ lớn của vùng đó trong ảnh Nguyên nhân vì suy nghĩ của chúng ta kế thừa từ tự nhiên, đó là suy nghĩ chủ quan, có chọn lọc Nó giúp con người tập trung hơn đến những thứ quan trọng nhằm mục đích đƣa ra giải pháp nhanh nhất và hiệu quả nhất nhƣng không cần sử dụng hết thông tin đã biết để ra quyết định

Tương tự như vậy, khi nhìn vào một tấm ảnh ta chú ý ngay đến những vùng có màu tương phản cao so với xung quanh và độ lớn của vùng trong ảnh Giá trị nổi bật của từng vùng màu đƣợc xác định dựa trên thống kê hai yếu tố:

 Số pixel của mỗi màu trong tập hợp màu đƣợc lấy từ ảnh đầu vào (số phần tử của mỗi loại)

 Độ tương phản giữa các màu với nhau

Từ những yếu tố trên và theo Cheng [1] thì giá trị nổi bật của một màu so với những màu khác đƣợc tính theo công thức :

 c l là giá trị của màu thứ l trong ảnh

 S(c l ) là tổng giá trị nổi bật của màu c l so với những màu khác

 n là tổng số màu khác biệt trong ảnh

 f j là tần số của màu thứ j trong ảnh

 D(c l , c j ) là khoảng cách Euclid giữa hai màu c l và màu c j trong không gian màu LAB

Bản đồ nổi bật đƣợc tạo ra từ giá trị nổi bật của từng màu Khi tính giá trị nổi bật của các màu xong, ta co giãn toàn bộ giá trị nổi bật về khoảng 0-255 để thể hiện dưới dạng ảnh xám Bản đồ nổi bật vẫn cần nâng cao chất lượng nhằm dễ dàng xác định đối tượng hơn vì những màu tương tự nhau có giá trị nổi bật gần nhau Vì vậy, ta cần phải giảm nhiễu trong ảnh do nguyên nhân trên Cheng [1] đề xuất sử dụng kỹ thuật làm mƣợt không gian màu để hiệu chỉnh giá trị nổi bật của những màu gần nhau nhƣng có giá trị nổi bật khác nhau

3.2.3 Làm mƣợt không gian màu

Đánh giá sơ bộ phương pháp đề xuất

Để đánh giá một phương pháp, ta cần dựa trên những vấn đề cần giải quyết cũng nhƣ kết quả đạt đƣợc khi xử lý những vấn đề ban đầu cũng nhƣ những vấn đề phát sinh trong quá trình giải quyết

Một cách sơ bộ ta có thể thấy những vấn đề chính đã đƣợc giải quyết nhƣ :

 Xác định đối tƣợng trọng tâm trong ảnh

 Nâng cao chất lƣợng đối tƣợng trọng yếu

Việc đánh giá thành quả của những mục tiêu chính này sử dụng cả phương pháp đánh giá định tính lẫn định lượng Vì có những kết quả đo lường được, trong khi những kết quả khác phải đánh giá bằng trực quan

Phương pháp này sử dụng người có chuyên môn để đánh giá, nhận xét kết quả đạt được Nếu ảnh kết quả thực sự nổi bật so với ảnh trước đó sẽ dễ dàng và thuận lợi trong việc đánh giá hơn

Sau khi thực hiện trên tập dữ liệu, ta sẽ so sánh giữa ảnh bản đầu với ảnh lúc sau nhờ những người có trình độ cao trong nghề để đánh giá Kết quả dựa trên tiêu chí ảnh phải rõ ràng, sắc nét, màu sắc tương phản, phân biệt rõ các vùng với nhau, và nhiều yếu tố khác theo chuyên môn

Luận văn sử dụng hai tham số MSE, PSNR để đánh giá chất lƣợng ảnh sau khi làm rõ và loại bỏ mờ, nhiễu

Mean Square Error là lỗi bình phương trung bình Với ý nghĩa ước lượng độ sai khác giữa hai ảnh

 m, n là chiều dài và rộng của ảnh

 i, j là vị trí dòng, cột của pixel đang xét

 A, B là ảnh gốc và ảnh sau khi chỉnh sửa

MSE thường được chọn vì nó đơn giản và dễ tính toán Do đại diện cho sự khác biệt giữa hai ảnh nên tham số này càng nhỏ nghĩa là khác biệt ít, mà nhƣ vậy có nghĩa hai ảnh này giống nhau Để đo sự giống nhau giữa hai ảnh, người ta sử dụng PSNR (Peak Signal-to- Noise Ratio) tỷ lệ nhiệu tín hiệu trên đỉnh Đây là tham số thường được dùng để đo lường mức độ giống nhau cũng như độ sắc nét, rõ ràng của ảnh sau chỉnh sửa

 I max là giá trị lớn nhất mà pixel có thể có

 MSE là tham số MSE được tính trước đó

Do PSNR dùng để đo lường độ giống nhau nên PSNR càng lớn thì hai ảnh càng tương đồng với nhau Thông thường PSNR nằm trong khoảng 25 đến 45, giá trị này đủ lớn để mắt người có thể thấy sự khác biệt, khi tham số này lớn hơn 45 thì rất khó để nhìn nhận đƣợc ảnh sau khi xử lý và ảnh ban đầu

3.3.3 So sánh kết quả đạt đƣợc

Nghiên cứu sẽ thực hiện so sánh kết quả với các phương pháp CRF [7], APO [8], CLM [9], SPM [10] và CSD[11] Tất cả phương pháp sẽ được sử dụng trên 10% tập ảnh của Achanta [5] Những ảnh dùng trong thí nghiệm phải thỏa mãn yêu cầu đã nêu trước đó như :

 Màu sắc giữa nền và đối tƣợng phân biệt nhau

 Đối tƣợng không quá to cũng nhƣ quá nhỏ trong ảnh

Phương pháp đề xuất sẽ so sánh định tính với 5 phương pháp này ở mức độ rõ ràng, chất lƣợng của bản đồ nổi bật và định lƣợng ở thời gian thực thi

Riêng phần so sánh đối tƣợng sau làm rõ sẽ đƣợc đánh giá định tính bằng những người có chuyên môn, phần định lượng dùng tham số MSE, PSNR để đánh giá Chưa có phương pháp liên quan nào làm việc tách đối tượng rồi làm rõ đường

42 biên cũng nhƣ đối tƣợng vì vậy đề tài dựa vào hai tiêu chí trên để đánh giá kết quả đạt đƣợc

THỰC NGHIỆM VÀ KIỂM CHỨNG

Phương pháp thực hiện và đánh giá kết quả

Tập dữ liệu là các ảnh gốc trong tập dữ liệu của Achanta [9] đƣợc đem ra xử lý để xác định đối tƣợng trọng tâm và làm rõ đối tƣợng

Phần so sánh định tính sẽ áp dụng cho bản đồ nổi bật giữa các phương pháp Yếu tố so sánh là độ rõ ràng, sắc nét và chính xác của bản đồ để giúp tìm ra đối tƣợng quan trọng trong ảnh

Phần so sánh định lƣợng :

 Thời gian của các phương pháp đo bằng giây

 Độ rõ ràng, sắc nét, chất lƣợng đối tƣợng sau khi làm rõ sẽ sử dụng

MSE, PSNR để đánh giá Trong đó MSE đo độ sai khác nên càng nhỏ càng tốt, trong khi PSNR đo độ giống nhau thì càng lớn càng tốt.

Kết quả thí nghiệm

Toàn bộ kết quả thí nghiệm đƣợc thực hiện trên laptop Vostro 1510, với CPU Intel Core I5-4200U 1.6 GHz (4 CPUs), RAM 4GB trên hệ điều hành Windows 7.1 Toàn bộ phương pháp này được trình bày cũng như so sánh đều được hiện thực trên ngôn ngữ Matlab, phiên bản 2013a

Toàn bộ thí nghiệm thực hiện trên ảnh màu, với kích thước khác nhau trong bộ dữ liệu của Cheng [1] Tôi đã thực hiện kiểm tra và thí nghiệm trên 10% cơ sở dữ liệu đạt những tiêu chuẩn của phương pháp đề xuất Những hình ảnh này sẽ được tách đối tƣợng dùng bản đồ nổi bật và xử lý để nâng cao chất lƣợng đối tƣợng.

So sánh với những phương pháp khác

Bảng 2 So sánh chất lượng bản đồ nổi bật giữa phương pháp đề xuất với CRF [7] và CSD [11]

Phương pháp CRF [7] CSD [11] Đề xuất

Bảng 3 cho thấy về mặt cảm quan kết quả của phương pháp đề xuất đạt được gần bằng với kết quả mà phương pháp CSD mang lại và tốt hơn CRF trong khi thời gian tính toán lại ít hơn hai phương pháp trên 2.5 lần Nguyên nhân là vì hai phương pháp trên đã sử dụng toàn bộ pixel để tính toán cũng nhƣ phân vùng tốn rất nhiều thời gian nhƣng hiệu quả tăng thêm không đáng kể so với chi phí bỏ ra

Phương pháp đề xuất sử dụng ý tưởng của Cheng [1] là kỹ thuật thu giảm không gian màu một cách tối ƣu hơn, gồm cả thu giảm màu theo không gian cũng nhƣ tần số của màu trong ảnh Nhờ vậy tốc độ tính toán rất cao và độ chính xác rất đáng kể do số màu còn rất ít, thông thường còn dưới 95 màu so với hàng chục ngàn màu ban đầu Lưu ý thời gian của phương pháp đề xuất đã bao gồm tất cả thời gian từ lúc nhận ảnh vào đến lúc làm rõ đối tƣợng sau cùng Trong khi thời gian của những phương pháp kia chỉ tính từ lúc nhận ảnh đầu vào đến lúc cho ra bản đồ nổi bật mà thôi

Bảng 3 So sánh chất lượng bản đồ nổi bật giữa phương pháp đề xuất với APO [8], CLM

APO [8] CLM [9] SPM [10] Đề xuất

Bảng 4 cho thấy kết quả của việc tính toán dùng phương pháp HC-map tốt hơn so với những phương pháp APO, CLM và SPM do những phương pháp trên chỉ sử một mình chiều tương phản (luminance) để tính Đó là lý do vì sao tốc độ những phương pháp này rất nhanh nhưng kêt quả chưa được khả quan Còn phương pháp đề xuất tốn thêm thời gian để xử lý kỹ càng ảnh đầu vào cũng nhƣ sử dụng toàn bộ cả ba chiều không gian màu L, a và b để tính toán nên kết quả rõ ràng và khả quan hơn so với những phương pháp trên, bù lại phương pháp đề xuất phải đánh đổi bằng thời gian tốn kém hơn một chút

Bảng 4 Một số kết quả đối với đối tượng riêng lẻ Ảnh ban đầu Đối tƣợng MSE PSNR(dB)

40.6143 32.0440 Đối với trường hợp nhóm đối tượng riêng lẻ, thuật toán đề xuất giải quyết rất tốt, có thể nói là tốt nhất trong các nhóm vấn đề của bài toán Vì những ảnh này có màu đối tượng và màu nền phân biệt rất rõ ràng, đường biên cũng rõ, bản thân màu đối tƣợng cũng nhƣ màu nền có độ đồng nhất cao nên kết quả đạt đƣợc đối với nhóm ảnh thuộc trường hợp này như dự kiến Đối với ảnh cánh cửa có vài pixel xác định chƣa đúng, nguyên nhân do đối tƣợng này có màu ở phía trong khá giống màu trắng, còn những pixel gần cánh cửa có màu gần với màu phía trong đối tƣợng Chính vì vậy mới có vấn đề một số pixel bị xác định nhầm

Bảng 5 Một số kết quả cho đồ, động vật trong cảnh hỗn hợp Ảnh ban đầu Đối tƣợng MSE PSNR(dB)

Trường hợp ảnh của đối tượng trong cảnh hỗn hợp là trường hợp khó do trong ảnh có nhiều màu gần giống với màu đối tƣợng, hay có những vấn đề nhƣ ánh sáng không đều, màu nền gồm nhiều màu và có khi trùng với đối tƣợng Những ảnh thánh giá, đồng hồ, con hạc có khoảng cách giữa đối tượng với xung quanh tương đối nên tránh đƣợc tình trạng xác định chƣa chính xác những vùng màu nào thuộc về đối tƣợng, vùng nào của nền

49 Đối với ảnh con vịt, con bướm và chai thuốc bị thêm tình trạng vùng gần đối tƣợng giống màu với đối tƣợng do độ sáng, cảnh vật, cỏ chen vào đối tƣợng nên có một vài chi tiết của đối tƣợng xác định chƣa chính xác, nhƣ hình chai thuốc bị lem cỏ do độ sáng và trùng lắp Hay nhƣ phần đuôi con vịt có màu đen trùng với bụi cây và đường biên không rõ, nên con vịt bị mất đuôi

Bảng 6 Một số kết quả cho hoa trong cảnh tự nhiên Ảnh ban đầu Đối tƣợng MSE PSNR(dB)

Trường hợp hoa trong cảnh tự nhiên cũng là trường hợp khó do màu sắc trong cảnh nền tự nhiên phong phú, bản thân bông hoa thường xòe cánh dẫn đến tình trạng đường biên chưa chắc liền lạc Mặc dù vậy, thuật toán đã cố hết sức làm liền lạc đường viền cũng như phân định những màu của đối tượng và màu nền Trường hợp bông hoa thứ tƣ có cánh hoa màu đỏ, các phần của nhụy hoa không rõ liền lạc thành một khối nên đối tƣợng trong hình này đã thiếu một vài phần nhụy hoa bên dưới Trong khi đó những ảnh còn lại đều cho kết quả khá tốt

Bảng 7 Một số ảnh minh họa cho người trong cảnh đơn giản Ảnh ban đầu Đối tƣợng MSE PSNR(dB)

Trường hợp này cũng giống trường hợp hoa và động vật trong cảnh đơn giản, vì thế kết quả đạt được là khả quan Nhờ màu sắc và đường nét liền lạc, rõ ràng nên đối tượng được tách chính xác Chỉ có vấn đề nhỏ là vướng tay chân, vật dụng nên tạo thành đường biên kín, khiến vùng màu bên trong (giống màu nền) bị xác định nhầm thành màu của đối tƣợng

Bảng 8 Một số ảnh minh họa cho người, hoa, vật trong cảnh phức tạp Ảnh ban đầu Đối tƣợng MSE PSNR(dB)

Trong tất cả trường hợp, đây là trường hợp khó nhất do đối tượng nằm trong nền đa đạng về màu sắc và đường biên cũng không thật sự rõ ràng Những đường biên, vùng màu này còn chạm vào đối tƣợng càng làm việc xác định trở nên khó khăn Tuy nhiên, kết quả đạt được là khá tốt, nhờ những bước tính toán, xử lý phụ khi xem xét vùng đối tƣợng cũng nhƣ kỹ thuật loại bỏ màu nền khá tốt, cũng ít bị tình trạng các phần đối tượng tạo đường biên kín, chứa vùng màu thuộc nền Phương pháp đề xuất vẫn xác định chính xác đối tượng trong khi đó vẫn cố gắng giữ và tăng cường chất lượng đường biên

Bảng 9 So sánh thời gian tính toán bản đồ nổi bật

Phương pháp CRF[7] APO[8] CLM[9] SPM[10] CSD[11] Đề xuất

Môi trường Matlab Matlab Matlab Matlab Matlab Matlab Như đã nêu ở trên, thời gian tính toán của các phương pháp thể hiện kết quả đã dự báo trước của những ý tưởng dùng khi xử lý ảnh đầu vào Phương pháp CRF và CSD tốn rất nhiều thời gian cho việc tính toán bản đồ nổi bật cho từng pixel so với những pixel khác APO, CLM, SPM lại sử dụng một vài thông tin nhƣ độ sáng

(luminace) và vị trí đối tƣợng nên tốc độ tính toán rất nhanh nhƣng kết quả chƣa khả quan