Nghiên cứu một số tính chất nội suy ảnh số sử dụng phép toán hình thái để nâng cao chất lượng ảnh

LỜI CAM ĐOAN Tôi Tô Hồng Quân, học viên khóa 2019B, ngành Máy tính, chun ngành Hệ Thống Thơng Tin Tôi xin cam đoan luận văn “Nghiên cứu số tính chất nội suy ảnh số sử dụng phép tốn hình thái để nâng cao chất lượng ảnh” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn PGS.TS Ngô Quốc Tạo TS Nguyễn Hồng Hà, khơng phải chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2021 Tác giả Tô Hồng Quân LỜI CẢM ƠN Lời cảm ơn trân trọng em muốn dành tới thầy cô Học viện khoa học công nghệ Việt Nam, Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam nói chung thầy mơn Hệ thống thông tin khoa Công nghệ thông tin nói riêng tận tình giảng dạy truyền đạt kiến thức quý báu suốt khoá cao học vừa qua, giúp em có kiến thức chun mơn tảng để làm sở lý luận khoa học cho luận văn Đặc biệt em xin chân thành cảm ơn thầy PGS.TS Ngô Quốc Tạo thầy TS Nguyễn Hồng Hà dìu dắt hướng dẫn em suốt trình làm luận văn, bảo định hướng thầy giúp em nghiên cứu hoàn thành luận văn Em xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho em học tập làm luận văn cách thuận lợi Qua đây, em xin gửi lời cảm ơn đến người thân gia đình, bạn bè đồng nghiệp động viên, hỗ trợ tạo điều kiện tốt giúp em hoàn thành việc học tập thực luận văn Mặc dù cố gắng nỗ lực, chắn trình học tập thực luận văn, em khơng tránh khỏi thiếu xót Em mong nhận thơng cảm bảo tận tình thầy cô bạn Nội dung nghiên cứu luận văn nằm đề tài khoa học mã số VAST01.01/19-20 tiêu đề “Nghiên cứu phát triển phương pháp phát tự động điểm mốc hình thái ảnh cánh côn trùng” Bản luận văn em hỗ trợ đề tài CS21.04 Viện Công nghệ thông tin(IOIT), Viện hàn lâm Khoa học Công nghệ Việt Nam (VAST) Hà Nội, ngày tháng năm 2021 Tác giả Tô Hồng Quân MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT i DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ ii MỞ ĐẦU 1 Động lực nghiên cứu Mục tiêu luận văn Cấu trúc luận văn .2 CHƯƠNG CÁC KHÁI NIỆM CƠ BẢN VỀ XỬ LÝ ẢNH VÀ PHÉP TOÁN HÌNH THÁI Giới thiệu xử lý ảnh 1.1 1.1.1 Xử lý ảnh .3 1.1.2 Giới thiệu hệ thống xử lý ảnh 1.1.3 Các vấn đề xử lý ảnh 1.1.3.1 Một số khái niệm 1.1.3.2 Biểu diễn ảnh 1.1.3.3 Tăng cường ảnh – khôi phục ảnh 1.1.3.4 Biến đổi ảnh .8 1.1.3.5 Phân tích ảnh 1.1.3.6 Nhận dạng ảnh 1.1.3.7 Nén ảnh 10 1.1.4 1.2 Một số phương pháp nâng cao chất lượng ảnh 11 Các khái niệm phép tốn hình thái Morphology 13 1.2.1 Một số khái niệm tập hợp 14 1.2.1.1 Một số phép toán ảnh nhị phân 14 1.2.1.2 Các phép toán logic ảnh nhị phân 15 1.2.2 Các khái niệm hình thái 16 1.2.3 Bốn nguyên tắc hình thái 19 1.3 Kết luận 20 CHƯƠNG PHÉP TỐN HÌNH THÁI HỌC TRONG XỬ LÝ ẢNH 21 2.1 Các phép tốn hình thái học 21 2.1.1 Phần tử cấu trúc 21 2.1.2 Các phép tốn hình thái học ảnh nhị phân 22 2.1.2.1 Phép giãn nở ảnh nhị phân 22 2.1.2.2 Phép co ảnh nhị phân 25 2.1.2.3 Phép mở ảnh (Opening) phép đóng ảnh (Closing) .28 2.1.2.4 Phép biến đổi trúng hay trượt (Hit-or- miss transformation) 32 2.1.2.5 Phép toán dãn nở có điều kiện 34 2.1.3 Các phép tốn hình thái học ảnh xám 35 2.1.3.1 Phép giãn 35 2.1.3.2 Phép co 36 2.1.3.3 Phép tốn đóng mở ảnh .37 2.2 Các tính chất nội suy phép tốn hình thái học 37 2.3 Ứng dụng phép tốn hình thái 38 2.3.1 Ứng dụng làm trơn ảnh 38 2.3.2 Trích biên (Boundary Extraction) .39 2.3.3 Tô đầy vùng (Region Filling) 41 2.3.4 Trích chọn thành phần liên thơng (Extraction of Connected Components) 42 2.3.5 Làm mảnh ảnh (Thinning) 43 2.3.6 Làm dày đối tượng ảnh (Thickening) 46 2.3.7 Tìm khung xương (Skeletonization) 46 2.3.8 Phép tốn hình thái Gradient (Morphology Gradient Operator) .47 2.4 Các phép lọc hình thái học ứng dụng cho ảnh OCR .48 2.4.1 Mô hình ảnh tài liệu chất lượng 48 2.4.2 Lọc hình thái học .49 2.5 2.4.2.1 Tốn tử hình thái khơng gian đồ thị 49 2.4.2.2 Toán tử hình thái phức hợp đơn giản 50 2.4.2.3 Bộ lọc đóng mở khu vực hình thái .53 Phương pháp đánh giá chất lượng ảnh 53 2.5.1 Sai số bình phương trung bình (MSE) 53 2.5.2 Tỷ số tín hiệu cực đại/ nhiễu (PSNR) 54 2.5.3 Chỉ số tương đồng cấu trúc SSIM 54 2.6 Kết luận 55 CHƯƠNG THỬ NGHIỆM PHÉP LỌC HÌNH THÁI HỌC .57 3.1 Thiết kế mơ hình thử nghiệm 57 3.1.1 Công cụ 57 3.1.2 Tập liệu thử nghiệm .57 3.2 Phép tốn hình thái 57 3.3 Làm rõ đối tượng ảnh .58 3.4 Kết hợp phép tốn hình thái để khử nhiễu ảnh 60 3.5 Kết luận 61 TÀI LIỆU THAM KHẢO .63 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải OCR Optical Character Recognition Nhận dạng ký tự quang học MSE Mean Squared Error Sai số tồn phương trung bình PSNR Peak Signal-to-Noise Ration Tỉ số tín hiệu cực đại nhiễu SSIM Structural Similarity Index Measure Đo lường số tương đồng cấu trúc DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1 Quá trình xử lý ảnh Hình 1.2 Các bước hệ thống xử lý ảnh .4 Hình 1.3 Biểu đồ Histogram ảnh 12 Hình 1.4 Cân biểu đồ Histogram 12 Hình 1.5 Phép đảo ảnh 14 Hình 1.6 Ví dụ tập điểm 18 Hình 1.7 Các phần tử cấu trúc 18 Hình 1.8 Tịnh tiến với véc tơ 19 Hình 2.1 Một số hình dáng phần tử cấu trúc phẳng .21 Hình 2.2 Hiệu thao tác nhị phân đơn giản ảnh nhỏ .22 Hình 2.3 Dãn A B 23 Hình 2.4 Quá trình quét phần tử cấu trúc hình ảnh nhị phân .24 Hình 2.5 Phép co nhị phân hai đối tượng 26 Hình 2.6 Quá trình lọc đối tượng sử dụng phép co nhị phân phép giãn nhị phân 27 Hình 2.7 Ứng dụng phép co ảnh dạng số nhị phân .28 Hình 2.8 Quá trình thực phép mở ảnh .29 Hình 2.9 Sử dụng phép tốn mở 30 Hình 2.10 Q trình thực phép đóng ảnh 31 Hình 2.11 Sử dụng phép tốn đóng 31 Hình 2.12 Phép đóng với độ sâu lớn 32 Hình 2.13 Minh hoạ thao tác đánh trúng trượt 33 Hình 2.14 Dãn theo điều kiện .35 Hình 2.15 Phép toán dãn ảnh ảnh xám với phần tử cấu trúc khơng phẳng 36 Hình 2.16 Phép toán co ảnh ảnh xám với phần tử cấu trúc khơng phẳng 37 Hình 2.17 Làm trơn ảnh đa cấp xám 39 Hình 2.18 Quá trình tìm biên đối tượng ảnh nhị phân .40 Hình 2.19 Trích lọc biên đối tượng 40 Hình 2.20 Quá trình lấp đầy vùng đối tượng ảnh 42 Hình 2.21 Quá trình trích chọn thành phần liên thơng ảnh phép tốn hình thái 43 Hình 2.22 Quá trình làm mảnh đối tượng hình ảnh 45 Hình 2.23 Ví dụ làm mảnh đối tượng 46 Hình 2.24 Kết làm dày đối tượng 46 Hình 2.25 Quá trình thực thuật tốn tìm xương 47 Hình 2.26 Ví dụ tìm xương đối tượng .47 Hình 2.27 Đường dốc hình thái 48 Hình 2.28 Minh họa giãn nở ăn mịn hình thái phức hợp 53 Hình 3.1 Các phép tốn hình thái 58 Hình 3.2 Làm rõ đối tượng tiền cảnh 59 Hình 3.3 Khử nhiễu ảnh 60 Hình 3.4 Khử nhiễu ảnh OCR 61 MỞ ĐẦU Động lực nghiên cứu Hình ảnh sống dạng liệu đóng vai trị quan trọng việc trao đổi, xử lý lưu giữ thông tin Hiện nay, nhu cầu lưu trữ xử lý tài liệu, văn bản, vẽ kỹ thuật, … dạng hình ảnh scan dạng ảnh nhu cầu cần thiết Tuy nhiên, hình ảnh scan chụp thu nhiều lý bị nhiễu, mờ nhịe, đứt nét khơng rõ ràng… dẫn đến việc thu nhận thông tin xử lý gặp nhiều khó khăn Vì việc khắc phục nhược điểm hình ảnh thu nhận việc làm cấp thiết quan trọng Trên giới Việt Nam có nhiều kỹ thuật đưa ra, có xử lý hình thái học ảnh Các phép tốn hình thái ảnh cung cấp cho mơ tả định lượng cấu trúc hình dạng hình học đối tượng ảnh ứng dụng rộng rãi việc nâng cao chất lượng ảnh, phân đoạn ảnh, kiểm tra khuyết điểm ảnh, … Trong luận văn tác giả nghiên cứu : “Một số tính chất nội suy ảnh số sử dụng phép tốn hình thái để nâng cao chất lượng ảnh ” Mục tiêu luận văn Với đề tài “ Nghiên cứu số tính chất nội suy ảnh số sử dụng phép tốn hình thái để nâng cao chất lượng ảnh”, luận văn tập trung vấn đề sau : • Tổng quan xử lý ảnh phép tốn hình thái : Lý thuyết xử lý ảnh, trình xử lý ảnh, vấn đề xử lý ảnh, khái niệm phép tốn hình thái Morphology • Trình bày số tính chất nội suy phép tốn hình thái : trình bày phép tốn hình thái học ảnh nhị phân, ảnh xám tính chất nội suy phép tốn hình thái học Tiếp theo trình bày phép lọc hình thái học cho ảnh OCR Thực cài đặt đánh giá kết đạt với phép lọc hình thái học ứng dụng cho số loại ảnh tài liệu bị vết mờ theo thời gian, ảnh có chi tiết thừa, nhiễu vết lem mực, nhịe, ố… Từ đưa đánh giá hướng phát triển tương lai Cấu trúc luận văn Cấu trúc luận văn bao gồm: MỞ ĐẦU: Giới thiệu đưa hướng nghiên cứu CHƯƠNG 1: Các khái niệm xử lý ảnh phép tốn hình thái: Tại chương tác giả nghiên cứu khái niệm xử lý ảnh, trình xử lý ảnh khái niệm phép tốn hình thái Morphology CHƯƠNG 2: Phép tốn hình thái học xử lý ảnh: Chương tác giả trình bày phép tốn hình thái học ảnh nhị phân, ảnh xám tính chất nội suy phép tốn hình thái học Tiếp theo trình bày phép lọc hình thái học cho ảnh OCR CHƯƠNG 3: Chương trình thử nghiệm phép lọc hình thái: Chương trình bày sơ đồ chương trình, thử nghiệm phép lọc hình thái đánh giá MSE đánh giá PSNR, đánh giá SSIM TÀI LIỆU THAM KHẢO: Liệt kê tài liệu mà luận văn tham khảo nhiều nguồn khác Được thúc đẩy cách phân loại hiểu hoạt động kết hợp, đề xuất nghiên cứu có hệ thống toán tử sử dụng để lấy tập hợp cạnh từ tập đỉnh tập đỉnh từ tập hợp cạnh Nó tốn tử giãn nở ăn mòn Chúng cho phép khôi phục khái niệm cổ điển giãn nở / xói mịn tập hợp đỉnh để mở rộng đến đồ thị Từ đó, đề xuất số xử lý ăn mòn giãn nở thực tập đỉnh đồ thị 2.4.2.2 Tốn tử hình thái phức hợp đơn giản Mục tiêu tìm hiểu giãn nở ăn mịn hình thái tác động lên phức hợp (trong đầu vào đầu toán tử phức hợp) điều tạo phép đo hạt khơng tầm thường, (tức đo độ hạt độ giãn nở đơn vị)1 Thật vậy, phép đo hạt tầm thường biết đến quan trọng hình thái tốn học để phân tích lọc kỹ thuật số đối tượng theo kích thước chúng Sau lời nhắc ngắn gọn tính từ hình thái khn khổ mạng, tác giả trình bày tốn tử cổ điển cho xử lý không gian topo phức chất đơn giản Sau đó, giãn nở, ăn mịn đo hạt đáp ứng đặc tính nêu thu cách cẩn thận việc tạo tốn tử tơpơ Trong hình thái toán học, toán tử liên kết phần tử mạng tinh thể L1 với phần tử mạng tinh thể L2 gọi giãn nở với đỉnh Tương tự, toán tử giao tiếp với cận đỉnh gọi xói mịn Khái niệm tính từ, nhắc lại đây, cho phép phân loại giãn nở ăn mịn thành cặp tốn tử dẫn đến phép đo hạt Gọi L1 L2 hai mạng có quan hệ thứ tự siêu tối đa ký hiệu ≤1, ≤2, V1 V2 Hai toán tử α: L2 → L1 αA: L1 → L2 tạo thành tính từ (αA; α) α (a) ≤1, a ≤2 αA (b) với phần tử a L2 b L1 Người ta iết rõ rằng, với hai toán tử α αA, cặp (αA.; α) tính từ, αA xói mịn α giãn nở Hơn nữa, α giãn nở, quan hệ sau đặc trưng cho mối liên kết xói mịn αA: Phép đo hạt (Granulometry) cách tiếp cận để tính tốn phân bố kích thước hạt hình ảnh nhị phân 50 ∀𝑎 ∈ ℒ1 , 𝛼 𝐴 (𝑎) = 𝑉2 {𝑏 ∈ ℒ ∣ 𝛼(𝑏) ≤1 𝛼 (2.23) Ở việc trình bày hai cặp tốn tử liền kề, chúng cổ điển cấu trúc liên kết, điều phục vụ để có phép đo hạt tầm thường phức hợp Cho x đơn vị C, đặt: 𝑥ˆ = ̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅̅ {𝑦 ∣ 𝑦 ⊆ 𝑥, 𝑦 ≠ ∅} and 𝑥ˇ = {𝑦 ∈ ℂ ∣ 𝑥 ⊆ 𝑦} Các toán tử Cl: 𝑃(ℂ) → 𝑃(ℂ) St: 𝑃(ℂ) → 𝑃(ℂ) xác định bởi: ∀𝑋 ∈ 𝒫 (ℂ), 𝐶𝑙 (𝑋 ) =∪ { 𝑥ˆ ∣ 𝑥 ∈ 𝑋 }; (2.24) ∀𝑋 ∈ 𝒫 (ℂ), 𝑆𝑡 (𝑋 ) =∪ { 𝑥˘ ∣ 𝑥 ∈ 𝑋 }; (2.25) Theo định nghĩa, toán tử Cl St với Do đó, độ giãn 𝑃(ℂ) Và cách áp dụng trực tiếp công thức (2.10), ăn mòn liền kề Cl A StA Cl St cho bởi: ∀𝑋 ∈ 𝒫 (ℂ), 𝐶𝑙 𝐴 (𝑋 ) =∪ { 𝑌 ∈ 𝒫 (ℂ) ∣ 𝐶𝑙 (𝑌) ⊆ 𝑋 }; (2.26) ∀𝑋 ∈ 𝒫 (ℂ), 𝑆𝑡 𝐴 (𝑋 ) =∪ { 𝑌 ∈ 𝒫 (ℂ) ∣ 𝑆𝑡(𝑌) ⊆ 𝑋 }; (2.27) Bốn tốn tử trình bày minh họa Hình 2.28, tập X, Y, Z, V W, làm đơn giản màu xám Hình 2.28(a), 2.28(b), 2.28(c), 2.28(d), 2.28(e), thỏa mãn quan hệ sau Y = St (X), Z = StA (X), V = Cl (Y), W = ClA (Z) Cho 𝑋 ∈ 𝑃 (ℂ) Tập hợp Cl (X) (tương ứng St (X)) phức nhỏ (tương ứng sao) chứa X tập hợp ClA (X) (tương ứng với StA (X)) phức lớn (tương ứng sao) chứa X Do đó, rõ ràng, C (tương ứng S) bất biến miền Cl ClA (tương ứng với St StA): 𝐶 = {𝑋 ∈ 𝑃(ℂ)|Cl(X) = X} = {𝑋 ∈ 𝑃(ℂ)|Cl𝐴 (𝑋) = 𝑋} (tương ứng với 𝑆 = {𝑋 ∈ 𝑃(ℂ)|St(X) = X} = {𝑋 ∈ 𝑃(ℂ)|St 𝐴 (𝑋) = 𝑋}) Các kiện biết đến nhiều ngữ cảnh không gian tôpô nơi tập St (X), ClA (X) StA (X) gọi tương ứng phần đóng (đơn giản), hình sao, lõi phần bên X Vì toán tử Cl St độ giãn nở, chúng tạo thành lựa chọn đơn giản để khảo sát hình thái phức hợp Tuy nhiên, giãn nở là: Cl ◦ Cl (X) = Cl (X) St ◦ St (X) = St (X) Do đó, dẫn đến đo hạt tầm thường Để có phép đo hạt khơng tầm thường, người ta coi thành phần Dil = Cl ◦ St Thật vậy, toán tử Dil giãn nở (vì thành phần chất pha lỗng), nói chung, khơng phải 51 đơn vị, kết chúng phức tạp Theo định lý thành phần tính từ xói mịn liền kề đưa Er = DilA = StA ◦ ClA Do nhận xét đoạn trước, đặt Er (X) hình Như vậy, tổng thể, tập Er(X) khơng phức tạp Do đó, cặp (Er; Dil) khơng dẫn đến việc đo hạt tác dụng lên phức chất Để có phép đo hạt tầm thường phức hợp, hạn chế tốn tử Chính xác hơn, định nghĩa toán tử: S → C C → S bởi: ∀𝑋 ∈ 𝒮,⋄ (𝑋 ) = 𝐶𝑙 (𝑋 ); (2.28) ∀𝑋 ∈ 𝐶,⋆ (𝑌) = St(𝑌) (2.29) Sự khác biệt ⋄ Cl lĩnh vực hoạt động toán tử Một nhận xét tương tự cho ⋆ St Các toán tử vàcũng rõ ràng hai độ giãn Sau đó, sử dụng lại cơng thức 2.10, ăn mòn liền kề ⋆𝐴 ⋄ 𝐴 ⋄ ⋆ đưa bởi: ∀𝑋 ∈ 𝒞,⋄ 𝐴 (𝑋 ) = ⋃{ 𝑌 ∈ 𝒮 ∣⋄ (𝑌) ⊆ 𝑋 }; (2.30) ∀𝑌 ∈ 𝒮,⋆𝐴 (𝑌) = ⋃{ 𝑋 ∈ 𝒞 ∣⋆ (𝑋 ) ⊆ 𝑌 } (2.31) Có thể dễ dàng nhận thấy ⋄ 𝐴 (𝑋) phần bên phức chất X phức hợp ⋆𝐴 (𝑌) lõi hình Y Do đó, người ta suy cách đơn giản thuộc tính sau liên kết phần phụ ⋆, ⋄, St Cl cách đơn giản Thuộc tính 1: Hai mệnh đề sau đúng: ∀𝑋 ∈ 𝐶,⋄ 𝐴 (𝑋 ) = 𝐶𝑙 𝐴 (𝑋 ); (2.32) ∀𝑋 ∈ 𝒮,⋆𝐴 (𝑌) = 𝐶𝑙 𝐴 (𝑌) (2.33) Nó biết cấu trúc liên kết tốn tử đóng toán tử bên kép với phần bổ sung Do đó, suy kết sau Thuộc tính 2: Các toán tử ⋄ ⋄ 𝐴 (tương ứng ⋆ ⋆𝐴 ) kép w.r.t phần bù ̅̅̅̅̅̅̅ 𝑃(ℂ) : ta có ⋄ 𝐴 (𝑋 ) =⋄̅̅̅̅̅̅̅ (𝑋̅ ) với 𝑋 ∈ 𝐶 (tương ứng ⋆ 𝐴 (𝑌) =⋆ (𝑌̅), cho 𝑌 ∈ 𝑆) Lưu ý sử dụng trực tiếp công thức 2.30, 2.31, tính tốn ⋄ 𝐴 (𝑋) (tương ứng ⋆𝐴 (𝑌)) yêu cầu thời gian hàm mũ tất hình (phức hợp) phải xem xét Mặt khác, tốn tử Cl St xác định cục bộ, ⋄ (𝑋) ⋆ (𝑋) 52 tính theo thời gian tuyến tính Do theo hệ thuộc tính, ⋄ (𝑋) ⋆ (𝑋) tính theo thời gian tuyến tính Bây tìm phần giãn nở ⋄ ⋆ , phần phụ chúng, để có cặp giãn nở ăn mòn liền kề tác động lên phức chất Hình 2.28 Minh họa giãn nở ăn mịn hình thái phức hợp 2.4.2.3 Bộ lọc đóng mở khu vực hình thái Bộ lọc loại bỏ khỏi hình ảnh nhị phân, thành phần kết nối có diện tích nhỏ tham số gọi khu vực mở Từ góc độ hình thái học, lọc mở đại số, mở rộng để hình ảnh thang độ xám Các thuộc tính khu vực mở đóng cửa khu vực kép họ thu hồi Cụ thể, điều chứng minh việc khu vực mở tham số hình ảnh tối cao thang độ xám hình ảnh nhỏ có cực đại khu vực có diện tích lớn Định lý sở thuật tốn hiệu cho máy tính khu vực thang độ xám mở đóng Việc thực ao gồm quét điểm ảnh theo thứ tự phụ thuộc vị trí giá trị chúng Đối với mục đích này, sử dụng điểm ảnh đề xuất Cấu trúc liệu hiển thị không yêu cầu cao nhớ Ngồi ra, sử dụng tính tốn biến đổi hình thái phức tạp khác Các ứng dụng khu vực mở đóng minh họa nhiệm vụ lọc ảnh phân đoạn 2.5 Phương pháp đánh giá chất lượng ảnh 2.5.1 Sai số bình phương trung bình (MSE) Sai số bình phương trung bình - MSE (Mean Squared Error) khái niệm sử dụng thống kê MSE đánh giá chất lượng ước lượng (ví dụ, hàm toán học lập đồ mẫu liệu tham số dân số từ liệu lấy mẫu) yếu tố dự báo (ví dụ, đồ chức có số liệu vào tùy ý để mẫu giá trị số biến ngẫu nhiên) Chỉ số MSE phép ước lượng 53 trung bình bình phương sai số, tức khác biệt ước lượng đánh giá Chỉ số dùng để đánh giá mức độ sai khác điểm ảnh ảnh gốc ảnh khơi phục Chỉ số MSE tính theo cơng thức sau: MSE = 𝑚 𝑛 ∑𝑖=1  ∑𝑗=1  (𝑥𝑖𝑗 − 𝑦𝑖𝑗 ) 𝑚𝑛 (2.34) Trong đó: xij: biểu thị giá trị điểm ảnh gốc yij: biểu thị giá trị điểm ảnh biến đổi m n chiều rộng chiều cao ảnh 2.5.2 Tỷ số tín hiệu cực đại/ nhiễu (PSNR) PSNR (Peak Signal to Noise Ratio) –là số dùng để tính tỉ lệ giá trị lượng tối đa tín hiệu lượng nhiễu ảnh hướng đến độ xác thơng tin PSNR sử dụng để đo chất lượng tín hiệu khơi phục thuật tốn nén có mát liêu (lossy compression) nén ảnh Tín hiệu trường hợp liệu gốc, nhiễu lỗi xuất nén Hệ số PSNR (đơn vị deciben, dB), thường sử dụng nghiên cứu xử lý hình ảnh tính sau [22]: 2552 PSNR = 10 log 10 ( ) 𝑀𝑆𝐸 ∗ (2.35) Thông thường, PSNR > 40 dB hệ thống mắt người gần không phân biệt ảnh gốc ảnh khôi phục PSNR cao chất lượng ảnh khơi phục tốt Khi hai hình ảnh giống hệt nhau, MSE PSNR đến vô hạn 2.5.3 Chỉ số tương đồng cấu trúc SSIM Khác với số MSE PSRN, so sánh giá dựa việc so sánh sai khác pixcel Chỉ số SSIM số đánh giá dựa hệ thống thị giác người HVS (human visual system) [21] Chỉ số sử dụng để đo mức độ giống ảnh gốc ảnh khơi phục Chỉ số tính sau: 54 SSIM(𝑥, 𝑦) = (2𝜇𝑥 𝜇𝑦 + 𝑐1 )(2𝜎𝑥𝑦 + 𝑐2 ) (𝜇𝑛2 + 𝜇𝑦2 + 𝑐1 )(𝜎𝑥2 + 𝜎𝑦2 + 𝑐2 ) (2.36) Trong đó: 𝜇𝑥 : biểu thị giá trị trung bình x 𝜇𝑦 : biểu thị giá trị trung bình y 𝜎𝑥 : biểu thị giá trị phương sai x 𝜎𝑦 : biểu thị giá trị phương sai y 𝜎𝑥𝑦 : biểu thị hiệp phương sai (covariance) x y 𝑐1 = (𝑘1 𝐿)2 , 𝑐2 = (𝑘2 𝐿)2 : biến ổn định phép chia có mẫu số yếu với k1=0.01 k2=0.03 giá trị mặc đinh Công thức SSIM dựa thông số để so sánh: độ chói (luminance), tương phản (contranst) cấu trúc (structure) [23] 2𝜇𝑥 𝜇𝑦 + 𝑐1 𝜇∗2 + 𝜇𝑦2 + 𝑐1 2𝜎𝑥 𝜎𝑦 + 𝑐2 𝑐 (𝑥, 𝑦) = 𝜎𝑥 + 𝜎𝑦2 + 𝑐2 𝜎𝑥𝑦 + 𝑐3 𝑠(𝑥, 𝑦) = 𝜎𝑥 𝜎𝑦 + 𝑐3 𝑙(𝑥, 𝑦) = (2.37) (2.38) (2.39) Từ đó, có cơng thức sau[21][22][23]: SSIM (𝑥, 𝑦) = [𝑙(𝑥, 𝑦)]𝛼 ⋅ [𝑐(𝑥, 𝑦)]𝛽 ⋅ [𝑠(𝑥, 𝑦)]𝛾 (2.40) Giá trị SSIM khoảng từ -1 đến 1, đạt giá trị trường hợp ảnh giống 2.6 Kết luận Trong chương tìm hiểu cách khái quát phép tốn hình thái ứng dụng cho loại ảnh khác Nhìn chung thuật ngữ “hình thái học” hiểu cách nơm na “hình dạng cấu trúc” đối tượng Phần lớn phép toán hình thái dựa hai phép tốn phép co giãn ảnh đa phần thực ảnh nhị phân Đối với ảnh nhị phân, mức xám có hai giá trị hay Do ta coi phần tử ảnh phần tử lơgic áp dụng phép tốn hình thái học dựa khái niệm biến đổi hình học ảnh phần tử cấu trúc Phép giãn ảnh nhằm loại bỏ điểm ảnh đen bị vây quanh điểm ảnh trắng phép co ảnh 55 thao tác đối ngẫu giãn ảnh nhằm loại bỏ điểm trắng bị vây điểm ảnh đen Do người ta thường vận dụng kĩ thuật cho ảnh nhị phân vân tay, chữ viết để khơng làm ảnh hưởng tới kích thước đối tượng ảnh người ta thường sử dụng phép đóng phép mở (hay n lần giãn n lần co) 56 CHƯƠNG THỬ NGHIỆM PHÉP LỌC HÌNH THÁI HỌC Chương trình bày thử nghiệm phép tốn hình thái bản, tiếp minh họa thử nghiệm với số ứng dụng với phép tốn hình thái thực loại bỏ nhiễu để làm rõ đối tượng, loại bỏ chi tiết thừa ảnh 3.1 Thiết kế mơ hình thử nghiệm 3.1.1 Cơng cụ Chương trình ứng dụng xây dựng giao diện GUI sử dụng ngôn ngữ Python Sở dĩ tác giả lựa chọn Python tích hợp thư viện phép tốn hình thái, thư viện để hỗ trợ tính tốn số đánh giá để từ tác giả đưa so sánh đánh giá hiệu cho phương pháp sử dụng cho toán phần thực nghiệm 3.1.2 Tập liệu thử nghiệm Trong thử nghiệm này, tác giả sử dụng tập liệu khoảng 300 ảnh bao gồm nhiều ảnh tự nhiên tác giả tự tạo theo loại khác ảnh người, khung cảnh, vật, chữ viết tay, tài liệu scan… Các ảnh tập liêu theo định dạng bmp, png, jpg sử dụng ảnh xám ảnh màu với kích thước khác 3.2 Phép tốn hình thái Ở phần này, tác giả thực cài đặt sử dụng thư viện openCV với phép tốn hình thái bao gồm phép toán Dilation, phép toán Erosion, phép tốn Opening phép tốn Closing dilate Làm giãn hình ảnh cách sử dụng phần tử có cấu trúc cụ thể, định số lần thực làm giãn erode Xóa điểm ảnh cách sử dụng phần tử có cấu trúc cụ thể Ở đây, ta định số lần thực xóa morphologyEx Thực phép biến đổi hình thái nâng cao việc đưa vào lựa chọn tương ứng với mục đích sử dụng phẩn tử có cấu trúc cụ thể Các lựa chọn 57 phép giãn ảnh, phép co ảnh, phép đóng, phép mở, phép tốn gradient hay “trúng-trượt” … Tác giả xây dựng chương trình với thao tác người dùng thực chọn ảnh mong muốn từ tập liệu có sẵn, chương trình thực phép toán đưa kết tương ứng Dữ liệu vào: ảnh có định dạng *.png, *.jpg hay *.bmp Dữ liệu ra: Các ảnh kết tương ứng thực phép tốn hình thái Hình 3.1 Các phép tốn hình thái 3.3 Làm rõ đối tượng ảnh Bài toán đặt loại bỏ nhiễu ảnh để làm rõ đối tượng tiền cảnh việc sử dụng kết hợp số phép tốn hình thái Dữ liệu vào: ảnh có định dạng *.png, *.jpg hay *.bmp Dữ liệu ra: ảnh kết làm nét có kích thước định dạng với ảnh đầu vào Giao diện chức chương trình sau: - Người dùng chọn ảnh mong muốn từ tập liệu có sẵn - Chương trình hiển thị ảnh: ảnh ban đầu ảnh sau thao tác - Người dùng thực chỉnh sửa số sau giao diện 58 +, Radius: ảnh hưởng đến kích thước cạnh nâng cao độ rộng viền cạnh, giá trị nhỏ nâng cao chi tiết quy mô nhỏ Giá trị cao gây quầng sáng cạnh, vành sáng mờ phát xung quanh vật thể +, Amount: liệt kê dạng phần trăm kiểm soát độ lớn lần vượt (tối nhạt đường viền cạnh) Điều coi mức độ tương phản thêm vào cạnh Nó khơng ảnh hưởng đến chiều rộng viền cạnh - Chương trình thực xử lý tương ứng với thao tác người dùng, đồng thời tính tốn số đánh giá chất lượng ảnh Ở tác giả sử dụng thực cài đặt chương trình sử dụng thuật tốn “mặt nạ khơng mờ” (unsharp mask) Đây kỹ thuật làm sắc nét hình ảnh, lần thực chụp ảnh phòng tối, thường sử dụng phần mềm xử lý ảnh kỹ thuật số Tên bắt nguồn từ thực tế kỹ thuật sử dụng hình ảnh âm bị mờ, "không rõ nét", để tạo mặt nạ hình ảnh gốc Sau đó, kĩ thuật kết hợp với hình ảnh gốc ban đầu, tạo hình ảnh mờ so với hình ảnh gốc Hình ảnh thu được, rõ ràng hơn, thể xác chủ thể hình ảnh.[24] Hình 3.2 Làm rõ đối tượng tiền cảnh 59 Thử nghiệm cho thấy nâng cao chất lượng hình ảnh bước tiền xử lý trước phân tích Trong ví dụ này, bạn sửa độ sáng không đồng chuyển hình ảnh thành hình ảnh nhị phân để giúp dễ dàng xác định đối tượng tiền cảnh Sau đó, ta phân tích đối tượng hình ảnh Kết quả: giá trị MSE 0.22, giá trị PSNR 6.48 giá trị SSIM 0.01 3.4 Kết hợp phép tốn hình thái để khử nhiễu ảnh Bài toán đặt cho trước ảnh đầu vào có nhiều chi tiết bị thừa, nhiễu cần loại bỏ chúng để giữ lại phần Những chi tiết thừa vết mực lem, bị nhịe… Dữ liệu vào: ảnh có định dạng *.png, *.jpg *.bmp Dữ liệu ra: ảnh kết loại bỏ chi tiết thừa, có kích thước định dạng với ảnh đầu vào Ở đây, tác giả sử dụng phép toán Opening Closing để thực khử nhiễu ảnh Việc lựa chọn sử dụng phép toán trước người dùng lựa chọn giao diện chương trình Tuy nhiên, với mục đích giải tốn đặt để loại bỏ chi tiết thừa ảnh nên tác giả thực phép toán Opening Closing (theo nội dung 2.1.2.3) Hình 3.3 Khử nhiễu ảnh Kết quả: giá trị MSE 0.04, giá trị PSNR 13.87 giá trị SSIM 0.84 Ngồi ra, hình ảnh OCR đơn giản thử nghiệm 60 Hình 3.4 Khử nhiễu ảnh OCR Kết quả: giá trị MSE 0.02, giá trị PSNR 16.88 giá trị SSIM 0.81 Có thể thấy, hình ảnh kết thu rõ loại bỏ nhiễu ảnh 3.5 Kết luận Sau thử nghiệm với phương pháp, ta có bảng kết đánh giá số sau: Thử nghiệm MSE PSNR SSIM Làm rõ ảnh 0.22 6.48 0.01 Khử nhiễu ảnh 0.04 13.87 0.84 Khử nhiễu ảnh OCR 0.02 16.88 0.81 Bảng Kết thực nghiệm Từ kết thử nghiệm bảng, ta thấy nội dung ảnh sau nâng cao chất lượng ảnh gần không thay đổi Với kết này, ta thấy thử nghiệm khử nhiễu cho kết tốt việc nâng cao chất lượng ảnh 61 KẾT LUẬN Các phép tốn hình thái vấn đề toán học ứng dụng lĩnh vực công nghệ thông tin, đặc biệt lĩnh vực xử lý ảnh Các phép toán hình thái phép tốn liên quan đến cấu trúc hình học đối tượng thường xây dựng phép toán phép giãn nở (DILATION) phép co (EROSION) Mục tiêu luận văn tìm hiểu phép tốn hình thái học sở ứng dụng vào biểu diễn hình dạng đối tượng Trong trình tìm hiểu xây dựng chương trình thử nghiệm, tơi đạt số kết định sau: Kết đạt Nghiên cứu khái niệm xử lý ảnh phép tốn hình thái: đưa khái niệm xử lý ảnh, trình xử lý ảnh khái niệm phép toán hình thái học; trình bày phép tốn hình thái học ảnh nhị phân, ảnh xám nêu tính chất nội suy phép tốn hình thái học phép lọc hình thái học cho ảnh OCR Xây dựng chương trình thử nghiệm phép lọc hình thái học ứng dụng cho ảnh tài liệu chất lượng: cài đặt thử nghiệm phép lọc hình thái đánh giá Chương trình thử nghiệm đưa việc cài đặt phép tốn hình thái bản, sử dụng kết hợp phép tốn hình thái việc khử nhiễu ảnh, làm rõ đối tượng ảnh Tuy nhiên, q trình nghiên cứu cịn nhiều thiếu sót nên tác giả cố gắng tìm hiểu cải thiện thêm tương lai để áp dụng nhiều thực tiễn Định hướng phát triển ✓ Tối ưu thuật toán để cải thiện tốc độ chất lượng ảnh ✓ Căn vào đánh giá MSE, PSNR SSIM để điều chỉnh tham số cho thuật toán ✓ Nghiên cứu để ứng dụng nhiều việc xử lý ảnh 62 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Việt Bình (2006), “Một số tính chất phép tốn hình thái ứng dụng phát biên”, Tạp chí Tin học Điều khiển học [2] PGS.TS Nguyễn Quang Hoan (2006) – Giáo trình mơn học xử lý ảnh, học viện cơng nghệ bưu viễn thơng [3] Ths Hồ Đức Lĩnh (2013) - Khoa Công nghệ Thông tin – Đại học Đơng Á - Bài viết “Xử lý hình thái học ảnh ứng dụng” [4] Trần Đức Toàn – Luận văn thạc sỹ “Nghiên cứu số kỹ thuật nâng cao chất lượng ảnh nhị phân ứng dụng” Nguyễn Xn Vinh (2010), Phép tốn hình thái học, Luận văn khoa học Thạc sỹ [5] công nghệ thông tin, Khoa Công nghệ thông tin – Đại học Thái Nguyên Tiếng Anh [6] [7] [8] [9] Alessandro Ledda (Oct 2006), Mathematical Morphology in Image Processing, Doctor of Engineering Science, Department of Telecommunications, and Information Processing Aditya Challa, Sravan Danda, B S Daya Sagar, Laurent Najman (2018), Some Properties of Interpolations Using Mathematical Morphology, IEEE Transactions on Image Processing, vol 27, no 4, pp 2038-2048 Álvar-Ginés Legaz-Aparicio, Rafael Verdu-Monedero, Jesus Angulo (2018), “Adaptive morphological filters based on a multiple orientation vector field dependent on image localfeatures”, Journal of Computational and Applied Mathematics, pp 965-981 Bernhard Burgeth, Andreas Kleefeld, Bent Naegel, Nicolas Passat, Benjamin Perret (2019), Mathematical Morphology and Its Applications to Signal and Image Processing, Springer Nature Switzerland AG, Gewerbestrasse 11, 6330 Cham, Switzerland [10] Charles Jacobs, Patrice Y Simard, Paul Viola, and James Rinker (2005), “Text Recognition of Low-resolution Document Images”, Eighth International Conference on Document Analysis and Recognition (ICDAR'05), Seoul, South Korea, pp 695-699 [11] Chris Solomon, Toby Breckon (2011), Fundamentals of Digital Image Processing: Practical Approach with Examples in Matlab, Wiley [12] Giulia Boato, (Member, IEEE), Duc-Tien Dang-Nguyen, (Member, IEEE), and Francesco G B De Natale, (Senior Member, IEEE) (2020), "Morphological Filter Detector for Image Forensics Applications", Morphological Filter Detector for Image Forensics Applications, Vol.8, pp 13549-13560 [13] Khairul Anuar Mat Said, Asral Bahari Jambek (2016), A Study on Image Processing Using Mathematical Morphological, School of Microelectronic Engineering, Universiti Malaysia Perlis, Perlis, Malaysia [14] Laurent Najman, Hugues Talbot (2010), Mathematical Morphology From Theory to Applications, Wiley-ISTE [15] Dr Pierre Soille (2004), Morphological Image Analysis - Principles and Applications, Springer-Verlag Berlin Heidelberg [16] Rafael C Gonzalez, Richard E Woods, Steven L Eddins (2008), Digital Image Processing using Matlab, Gatesmark [17] Shi-Yuan Ma, Ashraf Khalil, Hassan Hajjdiab and Hichem Eleuch (2020), Quantum Dilation and Erosion, Licensee MDPI, Basel, Switzerland [18] Xaro Benavent, Esther Dura, Francisco Vegara, and Juan Domingo (2012), “Mathematical Morphology for Color Images: An ImageDependent Approach”, Mathematical Problems in Engineering, pp 1-18 [19] Wilhelm Burger, Mark J Burge (2009), Principles of Digital Image Processing: Fundamental Techniques, Sprigner [20] Morphological Operations in Image Processing (Jan 2020), https://himnickson.medium.com/morphological-operations-in-imageprocessing-cb8045b98fcc [21] https://en.wikipedia.org/wiki/Structural_similarity [22] https://viblo.asia/p/cac-chi-so-danh-gia-duoc-su-dung-cho-bai-toan-imagegeneration-is-fid-psnr-ssim-XL6lA0zDZek [23] https://www.imatest.com/docs/ssim/ [24] https://en.wikipedia.org/wiki/Unsharp_masking [25] http://www.dfstudios.co.uk/articles/programming/image-programmingalgorithms/image-processing-algorithms-part-6-gamma-correction/ ... số sử dụng phép tốn hình thái để nâng cao chất lượng ảnh ” Mục tiêu luận văn Với đề tài “ Nghiên cứu số tính chất nội suy ảnh số sử dụng phép tốn hình thái để nâng cao chất lượng ảnh? ??, luận văn... dạng hình học đối tượng ảnh ứng dụng rộng rãi việc nâng cao chất lượng ảnh, phân đoạn ảnh, kiểm tra khuyết điểm ảnh, … Trong luận văn tác giả nghiên cứu : ? ?Một số tính chất nội suy ảnh số sử dụng. .. lý ảnh phép tốn hình thái : Lý thuyết xử lý ảnh, trình xử lý ảnh, vấn đề xử lý ảnh, khái niệm phép tốn hình thái Morphology • Trình bày số tính chất nội suy phép tốn hình thái : trình bày phép