TÌM HIỂU các PHƯƠNG PHÁP xử lý ẢNH và ỨNG DỤNG

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT VĨNH LONG KHOA CÔNG NGHỆ THÔNG TIN -—&– - ĐỒ ÁN CƠNG NGHỆ THƠNG TIN TÌM HIỂU CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH VÀ ỨNG DỤNG Giáo viên hướng dẫn: Ths Lê Thị Hạnh Hiền Học phần: Đồ án Công nghệ thông tin Sinh viên thực hiện: 19004187_Nguyễn Ngọc Mai Thảo Học kỳ: Học kỳ hè (2020 - 2021) Vĩnh Long 2021 LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành đến cô Lê Thị Hạnh Hiền giảng viên khoa Công nghệ thông tin Đã trang bị cho em kiến thức, kỹ cần có để hồn thành đề tài Tuy nhiên trình nghiên cứu đề tài, kiến thức chuyên nghành hạn chế nên em nhiều thiếu sót tìm hiểu, đánh giá trình bày đề tài Rất mong nhận quan tâm, góp ý thầy/cơ giảng viên mơn để đề tài em đầy đủ hoàn chỉnh Xin chân thành cảm ơn LỜI MỞ ĐẦU Khoảng mười năm trở lại đây, phần cứng máy tính thiết bị liên quan có tiến vượt bậc tốc độ tính tốn, dung lương chứa, khả xử lý, … giá giảm nhiều so với lúc trước, thiết bị liên quan tới xử lý ảnh khơng cịn xa lạ Khái niệm ảnh số trở nên thông dụng với hầu hết người xã hội việc thu nhận ảnh số thiết bị cá nhân hay chuyên dụng với việc đưa vào mày tính xử lý trở nên đơn giản Trong hồn cảnh đó, xử lý ảnh lĩnh vực quan tâm trờ thành môn học chuyên ngành sinh viên ngành công nghệ thông tin nhiều trường đại học nước Cùng với phát triển khoa học kỹ thuật, đòi hỏi phương pháp giải thuật tính tốn xử lý ảnh ngày cao xác để máy tính có khả “đọc” “hiểu” ảnh xử lý theo mục đích khác đời sống Ngày xử lý ảnh áp dụng rộng rãi sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn mặt, nhận dạng chữ viết, xử lý ảnh thiên văn, ảnh y tế, Vì đồ án này, em xin trình bày đề tài: Các phương pháp xử lý ảnh và ứng dụng CHƯƠNG I: GIỚI THIỆU ĐỀ TÀI 1.1 Lý chọn đề tài Xử lý ảnh là phân ngành khoa học phát triển năm gần đây, có phát triển mạnh mẽ lý thuyết ứng dụng thực tế Và thời buổi công nghê ̣ thông tin phát triển mạnh mẽ, ứng dụng của xử lý ảnh góp phần rất quan trọng các lĩnh vực xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Do đó, em định chọn đề tài “Tìm hiểu các phương pháp xử lý ảnh và ứng dụng” giúp hiểu rõ về lĩnh vực này 1.2 Nội dung đề tài - Tìm hiểu xử lý ảnh là gì? Matlab là gì? - Mô ̣t số phương pháp xử lý ảnh So sánh các phương pháp đó - Ứng dụng của xử lý ảnh vào mô ̣t số lĩnh vực - Demo 1.3 Mục tiêu Củng cố kiến thức và làm quen với ngôn ngữ lâ ̣p trình Matlab CHƯƠNG II: TỔNG QUAN VỀ XỬ LÝ ẢNH 2.1 Giới thiệu xử lý ảnh Xử lý ảnh phân ngành xử lý số tính hiệu với tính hiệu xử lý ảnh Đây phân ngành khoa học phát triển năm gần Xử lý ảnh gồm lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh truy vấn ảnh Và đồ án này, áp dụng lĩnh vực nhận dạng ảnh Các ứng dụng xử lý ảnh: - Trong y tế: Các phương pháp chuẩn đốn hình ảnh X quang kỹ thuật số, PET (chụp cắt lớp phát xạ positron), CAT (chụp cắt lớp vi tính), MRI (chụp cộng hưởng từ), fMRI (chụp cộng hưởng từ chức năng) - Trong công nghiệp: Hệ thống xử lý ảnh áp dụng thành công hệ thống sản xuất, chẳng hạn hệ thống an toàn, kiểm soát chất lượng điều khiển phương tiện tự động dẫn hướng (AGV) Bên cạnh đó, người máy ngày đóng vai trị quan trọng Chúng thực cơng việc nguy hiểm, địi hỏi có tốc độ độ xác cao vượt khả người Người máy trở nên tinh vi thị giác máy tính đóng vai trị quan trọng Người ta khơng địi hỏi người máy phát nhận dạng phận cơng nghiệp mà cịn phải “hiểu” chúng “thấy” đưa hành động phù hợp Xử lý ảnh tác động đến thị giác máy tính - Trong quân sự: Xử lý ảnh áp dụng mạnh mẽ lĩnh vực quân Một ứng dụng quan trọng nhận diện ảnh quân sự, phát binh sĩ phương tiện đến hướng dẫn tên lửa, nhận dạng đối tượng nhiệm vụ trinh sát sử dụng máy bay khơng người lái (UAV) Ngồi ra, ứng dụng quân thường yêu cầu sử dụng cảm biến hình ảnh khác nhau, chẳng hạn máy ảnh phạm vi máy ảnh hồng ngoại hướng nhiệt (FLIR) - Thực thi pháp luật bảo mật: Các ứng dụng giám sát trở thành lĩnh vực nghiên cứu mạnh mẽ cộng đồng xử lý video Các kỹ thuật trắc học ( Ví dụ: vân tay, khn mặt, ngươi, …) - Trong thiên văn học, hệ thống chụp hình gán tàu vũ trụ hạn chế kích thước trọng lượng, chất lượng hình ảnh bị giảm bị mờ, méo hình học nhiễu Các hình ảnh xử lý nhiễu, nhận dạng để đưa ảnh kết có chất lượng tốt - Điện tử dân dụng: Máy ảnh kỹ thuật số máy quay phim với khả tích hợp xử lý ảnh tinh vi, khiến cơng nghệ phim băng analog bị lỗi thời - Internet: Có lượng lớn thơng tin hình ảnh web Tải lên hình ảnh video, chia hình ảnh trở nên ngày phổ biến Tìm kiếm truy xuất hình ảnh video web dựa nội dung vấn đề càn nghiên cứu thêm 2.2 Một số khái niệm 2.2.1 Ảnh xám (Grayscale) Ảnh xám hay gọi ảnh đơn sắc (monochromatic), ảnh mà điểm ảnh có giá trị mức xám Ảnh mức xám có giá trị điểm ảnh nằm đoạn [0, 7] Ảnh 256 mức xám có giá trị điểm ảnh nằm đoạn [0, 255] Hình 2.1: Thang màu xám Giá trị điểm ảnh = nghĩa điểm ảnh tối (đen), giá trị điểm ảnh lớn nghĩa điểm ảnh trắng Nói cách khác, giá trị điểm ảnh lớn điểm ảnh sáng Cường độ sáng tính theo cơng thức (chuyển đổi từ RGB sang grayscale): độ sáng = 0.2989R + 0.5870G + 01.1140B Các hệ số làm trịn thành 0.3, 0.59 0.11 Hình 2.2: Ảnh màu chuyển sang ảnh nhị phân 2.2.2 Hệ màu điểm ảnh (Pixel) Một pixel hay điểm ảnh (tiếng Anh: pixel hay pel, viết tắt picture element) điểm vật lý hình ảnh raster, khối màu nhỏ đơn vị để tạo nên ảnh kỹ thuật số Địa điểm ảnh tương ứng với tọa độ vật lý ITS Pixel LCD sản xuất mạng lưới hai chiều, sử dụng dấu chấm đại diện hình vng thơng thường, điểm ảnh CRT tương ứng với chế thời gian chúng tỷ lệ qt.1 pixel khơng có kích thước cố định Mỗi điểm ảnh mẫu hình ảnh ban đầu, nhiều điểm ảnh thường cung cấp đại diện xác gốc Cường độ điểm ảnh thay đổi Hình ảnh hệ thống màu sắc, màu sắc thường ba bốn đại diện lường độ thành phần màu đỏ, xanh cây, màu xanh, màu lục lam, đỏ tươi, màu vàng, màu đen Hình 2.3: Hệ màu pixel 2.2.3 RGB RGB viết tắt red (đỏ), green (xanh lục), blue (xanh lam), ba màu ánh sáng tách từ lăng kính Khi trộn ba màu theo tỉ lệ định tạo thành màu khác Hình 2.4: Thêm đỏ vào xanh tạo vàng; thêm vàng vào xanh lam tạo trắng Với số r, g, b nguyên khoảng [0, 255] cho màu khác Do có 256 cách chọn r, 256 cách chọn màu g, 256 cách chọn b => tổng số màu tạo hệ màu RGB là: 256 x 256 x 256 = 16777216 màu 2.2.4 Ảnh màu (Color image) Ảnh màu theo lý thuyết Thomas ảnh tổ hợp từ màu bản: RGB thường thu nhận dải băng tần khác Với ảnh màu, cách biểu diễn tương tự với ảnh đen trắng, khác số phần tử ma trận biểu diễn cho ba màu riêng rẽ gồm: đỏ (red), xanh (green) lam (blue) Để biểu diễn cho điểm ảnh màu cần 24 bit 24 bit chia thành ba khoảng bit Mỗi màu phân thành L cấp màu khác (thường L=256) Mỗi khoảng biểu diễn cho cường độ sáng màu Cũng ảnh xám, kênh màu ảnh màu mã hoá n bit cho kênh Như pixel mã hoá 3*n bit Do dung lượng ảnh màu lớn lần so với ảnh xám có mức mã hố Hình 2.5: Ví dụ việc chia ảnh màu RGB thành kênh màu ảnh xám tương đương kênh màu 2.2.5 Ảnh nhị phân (binary image) Ảnh đen trắng bao gồm màu: màu đen màu trắng Người ta phân mức đen trắng thành L mức Nếu sử dụng số bit B=8 bít để mã hóa mức đen trắng (hay mức xám) L xác định : L=2B (trong ví dụ ta L=28= 256 mức) Nếu L 2, B=1, nghĩa có mức: mức mức 1, cịn gọi ảnh nhị phân Mức ứng với màu sáng, mức ứng với màu tối Nếu L lớn ta có ảnh đa cấp xám Nói cách khác, với ảnh nhị phân điểm ảnh mã hóa bit, cịn với ảnh 256 mức, điểm ảnh mã hóa bit Như vậy, với ảnh đen trắng: dùng bit (1 byte) để biểu diễn mức xám, số mức xám biểu diễn 256 Mỗi mức xám biểu diễn dạng số nguyên nằm khoảng từ đến 255, với mức biểu diễn cho mức cường độ đen 255 biểu diễn cho mức cường độ sáng Ảnh nhị phân đơn giản, phần tử ảnh coi phần tử logic Ứng dụng dùng theo tính logic để phân biệt đối tượng ảnh với hay để phân biệt điểm biên với điểm khác 2.2.6 Lược đồ mức xám (Histogram) Histogram (lược đồ xám) biểu đồ tần xuất thống kê số lần xuất mức sáng ảnh Cách tính histogram  rk mức xám ảnh f(x,y)  nk số điểm ảnh (pixels) có giá trị rk  Biểu đồ mức xám chưa chuẩn hóa(unnormalized histogram) f định nghĩa sau: h(rk ) = nk với k = 0, 1, , L-1, L số mức xám  Biểu đồ chuẩn hố (normalized histogram): Hình 6.1: Toán tử Sobel 5.3.2 Toán tử Prewitt Phương pháp Prewitt gần giống với Sobel Đây phương pháp lâu đời nhất, cổ điển Tốn tử Prewitt mơ tả sau: Hình 6.2: Tốn tử Prewitt 5.3.3 Tốn tử Robert Tương tự Sobel, ta tính đường biên ngang dọc cách riêng rẽ dùng mặt nạ , sau tổng hợp lại đường biên thực ảnh Tuy nhiên mặt nạ Robert nhỏ nên kết bị ảnh hưởng nhiều nhiễu Hình 6.3: Tốn tử Robert 5.3.4 Phương pháp Canny Phương pháp sử dụng hai mức ngưỡng cao thấp Ban đầu ta dùng mức ngưỡng cao để tìm điểm bắt đầu biên, sau xác định hướng phát triển biên dựa vào điểm ảnh liên tiếp có giá trị lớn mức ngưỡng thấp Ta loại bỏ điểm có giá trị nhỏ mức ngưỡng thấp Các đường biên yếu chọn chúng liên kết với đường biên khỏe Phương pháp Canny bao gồm bước sau: Bước Trước hết dùng lọc Gaussian để làm mịn ảnh x x −( σ ) G(x )= e σ ( ) Bước Sau tính tốn gradient đường biên ảnh làm mịn 2 2 j −( C x [ x y ]=− e σ x +y 2σ i −( C y [ x y ] =− e σ x +y 2σ2 ( ) ( ) ) ) Bước Tiếp theo loại bỏ điểm cực đại Bước Bước cuối loại bỏ giá trị nhỏ mức ngưỡng Phương pháp hẳn phương pháp khác bị tác động nhiễu cho khả phát biên yếu Nhược điểm phương pháp chọn ngưỡng thấp tạo biên không đúng, ngược lại chọn ngưỡng q cao nhiều thơng tin quan trọng biên bị loại bỏ Căn vào mức ngưỡng xác định trước, ta định điểm thuộc biên thực không thuộc biên Nếu mức ngưỡng thấp, số đường biên phát nhiều (nhưng kèm theo nhiễu số đường biên giả xuất nhiều) Ngược lại ta đặt mức ngưỡng cao, ta bị đường biên mờ đường biên bị đứt đoạn Phương pháp Canny có ưu điểm sau: • Cực đại hóa tỷ số tín hiệu nhiễu làm cho việc phát biên thực xác • Đạt độ xác cao đường biên thực • Làm giảm đến mức tối thiểu số điểm nằm đường biên nhằm tạo đường biên mỏng, rõ 5.4 Phương pháp Laplacian of Gaussian (LOG) Dùng phương pháp gradient cho kết ảnh nhận có cấu trúc không rõ nét tạo nên đường biên dày, không sắc nét Để nhận đường biên mỏng rõ nét, ta phải tiến hành bước xử lý loại bỏ điểm cực trị đồng thời áp dụng kỹ thuật liên kết biên Ngồi ta cịn gặp phải vấn đề làm để xác định mức ngướng cách xác Việc chọn giá trị ngưỡng phụ thuộc nhiều vào nội dung ảnh Nếu ta tăng gấp đơi kích thước ảnh mà không thay đổi giá trị cường độ điểm ảnh, ta nhận gradients bị suy giảm nửa Mặt khác kích thước mặt nạ ảnh hưởng nhiều đến giá trị gradients ảnh Phương pháp gradient thích hợp cho vùng ảnh độ tương phản thay đổi có tính nhảy bậc, điều gây khó khăn cho phát đường thẳng Để khắc phục nhược điểm ta thường dùng đạo hàm bậc hai Phương pháp Laplacian cho phép xác định đường biên dựa vào giá trị đạo hàm bậc hai ảnh Laplacian ảnh điểm I(x,y) tính theo: L(x , y )= ∂2 I ∂2 I + ∂ x2 ∂ y2 Laplacian kết hợp với lọc làm mịn ảnh để tìm biên Xét cơng thức sau: h(r)=−e − r 2σ Ở r2 = x2 + y2 σ độ lệch chuẩn Nếu thực phép tích chập hàm với ảnh cần tìm biên, kết ảnh bị mờ đi, mức độ mờ phụ thuộc vào giá trị σ Laplacian h tức đạo hàm bậc hai h theo r là: r r −σ − σ ∇ ℎ(r )=− e σ4 [ ] Hàm thường gọi Laplacian of a Gaussian (LoG) có dạng Gaussian Trong phương pháp này, lọc Gaussian kết hợp với Laplacian cho phép hiển thị vùng ảnh có cường độ thay đổi nhanh làm tăng hiệu phát biên Nó cho phép làm việc với diện tích rộng xung quanh điểm ảnh nghiên cứu nhằm phát xác vị trí đường biên Nhược điểm phương pháp không xác định hướng biên sử dụng hai lọc Laplacian q khác có dạng : Hình 6.4: Toán tử Laplacian 5.5 So sánh phương pháp tách biên Mỗi phương pháp có ưu điểm định Tuy nhiên, tùy thuộc vào tính chất phức tạp nội dung ảnh, phương pháp có nhược điểm khó khắc phục Phương pháp Canny cho độ méo MSE nhỏ sử dụng lọc Gaussian tỷ số tín hiệu cực đại nhiễu PSNR tốt sử dụng nhiều mức ngưỡng Dùng Laplacian cho kết tốt trường hợp đường biên thẳng Tuy nhiên chưa có phương pháp thỏa mãn tốt tiêu chí độ chống nhiễu, phát xác vị trí đường biên thực, không tạo ảnh phức tạp mà thể đầy đủ đặc điểm quan trọng ảnh Do việc tìm kiếm phương pháp phải tiếp tục nghiên cứu CHƯƠNG VII: PHỤC HỒI ẢNH 6.1 Đặt vấn đề Trong thời đại công nghệ nay, lưu giữ thông tin, kỷ niệm,… hình ảnh việc vơ phổ biến tiện lợi, hình ảnh mang đến cho cảm giác chân thực sống động Nhưng số trường hợp ảnh bị nhiễu làm cho chất lượng ảnh không mong muốn Ví dụ số trường hợp ảnh bị nhiễu: - Ảnh bị nhiễu độ sáng cao - Ảnh bị nhiễu nén file ảnh - Ảnh bị nhiễu q trình phóng to in ấn - Một số trường hợp khác trình chụp không tốt, điều kiện chụp kém, ảnh lưu trữ qua lâu,… Do đó, cần phải xử lý hình ảnh ảnh có chất lượng tốt Hình ảnh sửa đổi cách áp dụng chức cụ thể giá trị điểm ảnh Xử lý vùng lân cận coi phần mở rộng điều này, hàm áp dụng cho vùng lân cận điểm ảnh Sự kết hợp mặt nạ chức gọi lọc 6.2 Phân loại nhiễu 6.2.1 Khái niệm Nhiễu phần tử ảnh mà giá trị trội so với phần tử xung quanh Xét theo tần số, phần tử nhiễu có tần số cao so với điểm xung quanh Tuy nhiên, khái niệm mang tính tương đối 6.2.2 Một số loại nhiễu - Nhiễu cộng : nhiễu cộng thường phân bố khắp ảnh Nếu ta gọi ảnh quan sát (ảnh thu được) X_qs, ảnh gốc X_gốc nhiễu η Ảnh thu biểu diễn bởi: X_qs = X_gốc + η - Nhiễu nhân : Nhiễu nhân thường phân bố khắp ảnh Nếu ta gọi ảnh quan sát( ảnh thu được) X_qs, ảnh gốc X_gốc nhiễu η Ảnh thu biểu diễn bởi: X_qs = X_gốc × η - Nhiễu xung: Là kết hợp nhiễu muối nhiễu tiêu Có loại: Nhiễu xung đơn cực nhiễu xung lưỡng cực - Nhiễu muối tiêu (Salt-pepper noise) ví dụ điển hình loại nhiễu xung – cho thấy rõ tính chất “đột biến” Các điểm ảnh bị nhiễu nhận giá trị cực đại cực tiểu khoảng giá trị [0, 255] Với ảnh xám, điểm ảnh có giá trị cực đại (tức cường độ sáng 255) tạo đốm trắng ảnh, trông giống hạt “muối” Và ngược lại điểm ảnh có giá trị cực tiểu (tức cường độ sáng 0) tạo đốm đen, giống “tiêu” Vậy nên gọi ảnh muối tiêu - Nhiễu Gausian: Là dạng lý tưởng nhiễu trắng, gây dao động ngẫu nhiên tín hiệu p(z )= e −(z − μ) /2 σ √ πσ 2 Trong đó, z biểu diễn mức xám, µ giá trị trung bình z, σ độ lệch tiêu chuẩn, σ2 phương sai z 6.3 Các phương pháp lọc nhiễu 6.3.1 Thuật toán chung Các phương pháp dựa nguyên tắc chung sử dụng cửa sổ W(x,y) kích thước m x n Ở tập lớn,chúng em sử dụng ma trận 3x3 tính chất khơng q phức tạp, dễ sử dụng phổ biến f(x-1,y-1) f(x-1,y) f(x-1,y+1) f(x,y-1) f(x,y) f(x,y+1) f(x+1,y-1) f(x+1,y) f(x+1,y+1) Trong f(x,y) giá trị điểm ảnh xét 6.3.2 Lọc trung bình - Mean Filter Với lọc trung bình, điểm ảnh (Pixel) thay trung bình trọng số điểm vùng lân cận Giả sử có ma trận lọc (Kernel) (3x3) quét qua điểm ảnh ảnh đầu vào input Tại vị trí điểm ảnh lấy giá trị điểm ảnh tương ứng vùng (3x3) ảnh gốc đặt vào ma trận lọc (Kernel) Giá trị điểm ảnh ảnh đầu ra output là giá trị trung bình tất điểm ảnh ma trận lọc (Kernel) - Thuật toán: Giả Sử cho ảnh đầu vào với I(x,y) là giá trị điểm ảnh điểm (x,y) và ngưỡng T  Bước 1: Tính tổng thành phần ma trận lọc (Kernel)  Bước 2: Chia lấy trung bình tổng thành phần ma trận tính với số lượng phần tử cửa sổ lọc giá trị Itb(x, y)  Bước 3: Hiệu chỉnh: Nếu I(x,y) – Itb(x,y) > T thì I(x,y) = Itb(x,y) Nếu I(x,y) – Itb(x,y) 0, lọc tốt nhiễu tiêu, làm lại làm mờ vùng tối  Với Q