Đang tải... (xem toàn văn)
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC BÁO CÁO CUỐI KỲ MÔN HỌC Môn Xử lý ảnh số Đề tài Bài toán trích chọn đặc trưng ảnh dựa trên đường biên động (active contour) Các giảng viên.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC BÁO CÁO CUỐI KỲ MÔN HỌC Mơn: Xử lý ảnh số Đề tài: Bài tốn trích chọn đặc trưng ảnh dựa đường biên động (active-contour) Các giảng viên hướng dẫn: TS Vương Mai Phương TS Nguyễn Phương Thuỳ Nhóm sinh viên thực hiện: Nhóm Họ tên MSSV Phạm Đức Anh 20185321 Nguyễn Nam Đàn 20173490 Vũ Tiến Đạt 20173492 Phạm Thành Đạt 20140995 Nguyễn Việt Đức 20173500 Hà Nội − 2021 Báo cáo Xử lý ảnh - Học kỳ 20211 Mục lục Tổng quan 1.1 Giới thiệu đề tài 1.2 Phạm vi nghiên cứu 1.3 Phương pháp nghiên cứu 4 Nội dung toán 2.1 Đặt vấn đề 2.2 Phương pháp giải toán 5 Tiền xử lý ảnh 3.1 Một số phép biến đổi ảnh 3.1.1 Biến đổi âm ảnh 3.1.2 Biến đổi log 3.1.3 Biến đổi luỹ thừa 3.1.4 Biến đổi giãn độ tương phản 3.1.5 Intensity-level slicing 3.1.6 Biến đổi sigmoid 3.1.7 Cân xám 3.1.8 Lọc trung bình 3.1.9 Lọc trung vị 3.1.10 Lọc Gauss 3.2 Một số phép biến đổi hình thái 3.2.1 Bào mòn 3.2.2 Giãn nở 3.3 Áp dụng phép biến đổi vào tiền xử lý ảnh 3.3.1 Áp dụng ảnh thiếu sáng 3.3.2 Áp dụng với ảnh nhiễu Tổng quan đường biến động 4.1 Đường biên động 4.2 Mô hình rắn (Snake model) 4.3 Mơ hình dịng vectơ gradient (Gradient Vector Flow Model) 4.4 Mơ hình tập mức (Level-set Approach) 6 8 9 9 10 10 11 12 13 13 13 14 14 18 23 24 25 25 26 Trích chọn đặc trưng ảnh dựa đường biến động 27 5.1 Mơ hình tốn học toán 27 5.2 Mơ hình rắn 27 Báo cáo Xử lý ảnh - Học kỳ 20211 27 28 28 30 32 32 36 Ứng dụng 6.1 Cài đặt chưong trình 6.2 Kết chạy chương trình 6.3 Ứng dụng thực tiễn toán 37 37 43 47 Kết luận 7.1 Kết đạt 7.2 Đề xuất hướng phát triển 49 49 49 Tài liệu tham khảo 51 5.3 5.2.1 Mô hình tối ưu 5.2.2 Nội lực 5.2.3 Ngoại lực 5.2.4 Quá trình lặp Mơ hình tập mức 5.3.1 Mơ hình tái tạo bề mặt 5.3.2 Phương pháp giải số Báo cáo Xử lý ảnh - Học kỳ 20211 Bảng phân công nhiệm vụ Phạm Đức Anh Làm mục 3.1.1, 3.1.2, 3.1.3, 3.1.4, 3.1.5, 3.1.8, 3.1.9, 3.1.10, 3.2 Nguyễn Nam Đàn Làm mục 5.2.4 Vũ Tiến Đạt Làm mục 1, 2, 3.1.6, 3.1.7, 4, 5.1, 5.2.1, 5.2.2, 5.3, 6, Phạm Thành Đạt Làm mục 5.2.3 Nguyễn Việt Đức Làm mục 6.1, 6.2, 6.3 Báo cáo Xử lý ảnh - Học kỳ 20211 1.1 Tổng quan Giới thiệu đề tài Ảnh kỹ thuật số tập hơp gồm hữu hạn phần tử, hay biết đến pixel, pixel biểu diễn giá trị số đặc trưng cho mức xám toạ độ hệ truc x, y Xử lý ảnh số ngành học sử dụng máy tính để xử lý ảnh số thơng qua thuật tốn Là phận xử lý tín hiệu số, xử lý ảnh số cho phép áp dụng rât nhiều thuật toán xử lý nhiễu, méo ảnh, Ảnh số thường biểu diễn dạng từ chiều trở lên, xử lý ảnh số áp dụng mo hình nhiều chiều Xử lý ảnh số hình thành phát triển thơng qua phát triển máy tính điện tử, thuật toán toán rời rạc yêu cầu ngày tăng cao xử lý ảnh môi trường, nông nghiệp, qn đội, cơng nghiệp, y tế, Trích chọn đặc trưng ảnh số toán đặt giải xử lý ảnh số Đầu tiên, ta cần phải hiểu trích chọn đặc trưng trình làm giảm số chiều liệu mà đó, liệu thơ chuyển thành nhóm liệu dễ xử lý Đối với trích chọn đặc trưng ảnh, đầu vào ảnh số gọi ảnh gốc (hay gọi ảnh đầu vào, ảnh thô, ảnh chưa qua xử lý), thông qua số thuật toán thu đầu đặc trưng, đối tượng mà xử lý nhằm phục vụ mục đích khác mà giữ nguyên thông tin liệu ban đầu Chi tiết trich chọn đặc trưng ảnh số đề cập phần sau Trong thực tiễn đời sống, xử lý ảnh số ứng dụng vào nhiều lĩnh vực Những ứng dụng bật đề cập đến phục hồi, làm đẹp ảnh; phát vật thể ảnh chụp x-quang y tế; thám hiểm, thám thông qua ảnh vệ tinh; thị giác máy; giao thông; 1.2 Phạm vi nghiên cứu Phạm vi nghiên cứu đề tài nằm giới hạn thuật toán xử lý ảnh số kỹ thuật xử lý ảnh số phần mềm MATLAB Trong đó, kỹ thuật tập trung nghiên cứu trích chọn đặc trưng ảnh sử dụng đường biên động Báo cáo Xử lý ảnh - Học kỳ 20211 1.3 Phương pháp nghiên cứu Các phương pháp nghiên cứu: • Nghiên cứu tài liệu • Thu thập ảnh làm liệu mẫu • Lập trình, sử dụng cơng cụ, thư viện MATLAB • So sánh, đối chiếu, đánh giá kết so sánh hiệu thuật toán 2.1 Nội dung toán Đặt vấn đề Dữ liệu lớn (Big data) chủ để nhận quan tâm lớn năm gần Nguồn liệu dường bất tận nguồn tài nguyên thông tin to lớn mà tổ chức hay quốc gia muốn sở hữu Trong đó, liệu ảnh chiếm phần khơng nhỏ Theo thống kê tính đến năm 2008, có 10 tỉ ảnh Facebook, tỉ ảnh Flicker, 6,2 tỉ ảnh Photobucket Tuy nhiên, từ lượng lớn liệu dạng ảnh mà ta cần phải giải toán xử lý chúng Một ví dụ thực tiễn người dùng muốn tìm kiếm kết dựa ảnh, ta cần phải tìm thuật tốn để máy tính nhận đối tượng xuất ảnh để đưa gợi ý phù hợp Hoặc với lượng lớn ảnh, ta cần tìm đối tượng cụ thể có xuất ảnh khơng có nằm đâu Đây vấn đề đặt để tốn trích chọn đặc trưng ảnh giải Trong đề tài này, chúng tơi trình bày trình từ ảnh thu đặc trưng (tiền xử lý trích chọn đặc trưng) Phương pháp lựa chọn sử dụng đường biên động (active contour) 2.2 Phương pháp giải toán Để giải toán trên, đề tài đề xuất giải tốn theo quy trình sau: Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 1: Quy trình xử lý ảnh Để giảm số chiều cho bước sau (qua làm giảm độ phức tạp tính tốn đơn giản hố cơng việc), bước đầu tiên, ảnh chuyển đổi thành ảnh HSV HSV hệ thống màu gồm kênh đại diện cho sắc, độ bão hoà độ sáng màu Trong đó, giá trị kênh độ sáng (giá trị/value) pixel cho ta ảnh xám mà giữ hình dạng đối tượng ảnh Ở bước sau, ta xử lý ảnh xám Các bước tiền xử lý ảnh trích chọn đặc trưng ảnh sâu phần sau 3.1 Tiền xử lý ảnh Một số phép biến đổi ảnh Trong thực tế, đầu vào tồn xử lý ảnh khơng phải lúc ảnh có chất lượng tốt Ảnh bị mờ, thừa/thiếu sáng, nhiễu, nhoè, Một ví dụ điển hình hiệ tượng nhiễu muối tiêu ta thấy đây: Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 2: Ví dụ ảnh đầu vào có chất lượng khơng tốt Để khắc phục tình trạng này, ảnh đưa qua bước tiền xử lý nhằm cải thiện chất lượng đầu vào cho bước xử lý sau Để tiền xử lý, đề xuất sử dụng phép biến đổi dựa miền không gian Các thuật toán dựa phép biến đổi toán học gồm hai nhóm chính: • Biến đổi dựa tổng thể: Giá trị màu pixel phụ thuộc vào giá trị tất pixel ảnh • Biến đổi dựa lân cận: Giá trị màu pixel phụ thuộc vào giá trị màu số điểm gần (từ sau, dùng thuật ngữ "cửa sổ" Báo cáo Xử lý ảnh - Học kỳ 20211 Sau đây, xin phép khái quát thuật toán xử lý dựa vào tổng thể thuật toán dựa vào lân cận 3.1.1 Biến đổi âm ảnh Ảnh âm ảnh ngược lại ảnh bình thường Ảnh âm có mức xám dải [0, L − 1] biểu hàm biến đổi âm bản, hàm biến đổi dạng: s=L−1−r (1) Hình 3: Biểu diễn hàm biến đổi âm Việc lấy âm ảnh cho phiên ảnh âm tương tự Kiểu xử lý đặc biệt thích hợp cho việc tăng cường chi tiết sáng xám mà bao quanh vùng tối ảnh, vùng tối ảnh chiếm chủ yếu 3.1.2 Biến đổi log Phép biến đổi log có cơng thức tổng quát sau: s = c.log(1 + r) (2) Báo cáo Xử lý ảnh - Học kỳ 20211 Trong c số r ≥ Đường cong log Hình cho thấy biến đổi ánh xạ dải hẹp giá trị mức xám thấp hình ảnh đầu vào thành dải rộng đầu Chúng ta sử dụng loại chuyển đổi để mở rộng giá trị điểm tối ảnh nén giá trị mức cao Điều ngược lại với hàm ngược hàm log 3.1.3 Biến đổi luỹ thừa Phép biến đổi lũy thừa có cơng thức là: s = c.rγ (3) Trong c γ số dương Như trường hợp biến đổi logarit, đường cong quy luật lũy thừa với giá trị y rời rạc chuyển đổi dải hẹp giá trị đầu vào sang dải rộng Và ngược lại với giá trị đầu vào cao Nhưng khơng giống hàm logarit, ta thấy tập hợp đường cong chuyển đổi lược diễn biến thiên Những đường cong tạo bảo giá trị y > tạo chiều ngược lại với y < Cuối , với c = y = cơng thức biểu diễn đường thẳng đồng 3.1.4 Biến đổi giãn độ tương phản Các ảnh có độ tương phản thấp cường độ ánh sáng cảm ứng không tốt Ý tưởng giãn độ tương phản gia tăng khoảng cấp xám ảnh 3.1.5 Intensity-level slicing Cắt mức cường độ có nghĩa làm bật phạm vi cường độ cụ thể hình ảnh Nói cách khác, ta phân đoạn vùng mức xám định từ phần cịn lại hình ảnh 3.1.6 Biến đổi sigmoid Sigmoid hàm phi tuyến với đầu vào số thực cho kết nằm khoảng [0,1] xem xác xuất số tốn Cơng thức hàm Sigmoid đạo hàm nêu đây: Báo cáo Xử lý ảnh - Học kỳ 20211 ∂S = −g(x)N (36) ∂t g(·) tích luỹ tất miền khoảng cách riêng lẻ Cơng thức tình tập mức mà khơng có giá trị khởi đầu là: ∂ϕ = g(x)|∇ϕ| ∂t Độ cong trung bình tính bởi: (37) |∇ϕ|(Srr + Sss ) · N = (ϕ2x + ϕ2y + ϕ2z )−1/2 [(ϕ2y + ϕ2z )ϕxx + (ϕ2x + ϕ2z )ϕyy + (ϕ2x + ϕ2y )ϕzz −2ϕx ϕy ϕxy − 2ϕy ϕz ϕyz − 2ϕx ϕz ϕxz] Kết hợp lại, ta có cơng thức cho tập mức: ∂ϕ = g(x)|∇ϕ| + β(ϕ2x + ϕ2y + ϕ2z )−1/2 ∂t ×[(ϕy + ϕ2z )ϕxx + (ϕ2x + ϕ2z )ϕyy + (ϕ2x + ϕ2y )ϕzz −2ϕx ϕy ϕxy − 2ϕy ϕz ϕyz − 2ϕx ϕz ϕxz] 6.1 Ứng dụng Cài đặt chưong trình MATLAB phần mềm cung cấp mơi trường tính tốn số lập trình, cho phép tính tốn số đồ thị hàm số đặc biệt ma trận Vì ảnh số có chất ma trận bit biểu diễn, điều khiến cho MATLAB đặc biệt thích hợp để xử lý ảnh số Trong giới hạn đề tài này, không trực tiếp thực bước tính tốn mơ hình đường biên động mà sử dụng hàm activecontour MATLAB Hàm sử dụng cách tiếp cận theo tập mức ảnh 2D để thu đường bao quanh đặc trưng ảnh Ta xuất phát từ ảnh đây: 37 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 18: Ảnh ban đầu Chuyển ảnh thành HSV tách kênh v để ảnh cấp xám: close all ; I = imread ( imgetfile ) ; Ihsv = rgb2hsv ( I ) ; Iv = I (: ,: ,3) ; Để xử lý nhiễu ảnh ta sử dụng lọc trung vị: 10 11 12 I1 = Iv ; for i = 1: s2 I1 (1 ,:) = 0; I1 ( end ,:) = 0; I1 (: ,1) = 0; I1 (: , end ) = 0; end for i = 1+ s2 : size ( I1 ,1) - s2 for j = 1+ s2 : size ( I1 ,2) - s2 Iv (i , j ) = median ( I1 (i - s2 : i + s2 ,j - s2 : j + s2 ) , ’ all ’) ; end end Kết ảnh xám kênh value trước sau áp dụng lọc trung vị: 38 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 19: Kết tách kênh value lọc nhiễu Ảnh bên phải dùng để trích chọn đặc trưng Ta lấy đường biên thời điểm ban đầu đường viền ảnh, có độ dày pixel mask = zeros ( size ( Iv ) ) ; mask (5: end -5 ,5: end -5) = 1; 39 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 20: Đường biên thời điểm ban đầu Xuất phát từ biên ban đầu trải qua số lượng vòng lặp quan sát hội tụ thuật toán: bw1 bw2 bw3 bw4 bw5 = = = = = activecontour ( Iv , mask ,100) ; activecontour ( Iv , mask ,200) ; activecontour ( Iv , mask ,300) ; activecontour ( Iv , mask ,400) ; activecontour ( Iv , mask ,500) ; 40 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 21: Thuật tốn qua vịng lặp Có thể thấy, trải qua khoảng 500 vịng lặp, kết dần hội tụ (khơng có thay đổi rõ rệt) Ta sử dụng kết để phân vùng ảnh thành đối tượng Bây giờ, ta cần thu đường biên để khoanh vùng đặc trưng ảnh Để thu biên, ta sử dụng phép tốn hình thái bào mịn SE = strel ( ’ square ’ , 3) ; bor = bw - imerode ( bw , SE ) ; 41 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 22: Biên đặc trưng ảnh Kết hợp lại với ảnh ban đầu để tìm đặc trưng ảnh 42 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 23: Kết đặc trưng ảnh Nhận xét: mơ hình nhận diện số đối tượng ảnh bơng hoa Xong thuật tốn dựa vào cấp xám nên nhược điểm bỏ sót số bơng hoa có màu gần giống với màu Ở phần sau, thực với số ảnh khác đưa đánh giá, so sánh hiệu đạt 6.2 Kết chạy chương trình Áp dụng bước xử lý cho số ảnh khác ta thu số kết 43 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 24: Kết đặc trưng ảnh 44 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 25: Kết đặc trưng ảnh Trong hai ví dụ sau, mơ hình đường biên động sử dụng hình (26) để nhận diện khn mặt người khỏi phần cịn lại hình ảnh cách lắp đường cong khép kín vào cạnh khn mặt hình (27) để tìm đường cong tối hai phần cố định điểm tuân theo cân nhắc độ trơn Phương pháp hoạt động cách giảm thiểu liệu mà phần xác định hình ảnh phần hình dạng đường nét: chiều dài độ mịn Việc thu nhỏ thực ngầm chất lượng hình dạng rõ ràng dư liệu Chính vậy, ta nên làm mịn hình ảnh chút trước phân tích, thực ví dụ sau: 45 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 26: Kết đặc trưng ảnh 46 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 27: Kết đặc trưng ảnh Các đường biên động hình học chủ yếu sử dụng phân tích hình ảnh y tế, đặc biệt phân tách đối tượng dựa hình ảnh Trong trường hợp này, hình ảnh kiểm tra để phân đoạn nhằm nghiên cứu, xử lý phân tích vùng quan tâm Những vùng bao gồm quang sai hình thành vùng bên quan thể người, chẳng hạn cục máu đông, chấn thương, tổn thương, bất thường tế bào, gián đoạn trao đổi chất, gián đoạn phân tử sinh học, 6.3 Ứng dụng thực tiễn toán Bài toán trích chọn đặc trưng ảnh giải vấn đề tìm đối tượng ảnh vị trí chúng Điều đước áp dụng rộng rãi lĩnh vực cần xử lý hàng loạt lượng lớn ảnh Trong đó, kể đến ứng dụng phân tách ảnh y tế như: phân tách đồng tử khỏi tròng mắt ảnh chụp mắt, phân biệt vùng khác ảnh chụp CT, xác định vị trí ảnh chụp hàm răng, 47 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 28: Trích đặc trưng ảnh chụp Việc áp dụng mơ hình đường biên động để phân đoạn sử dụng kỹ thuật xử lý hình ảnh y tế khác Phân đoạn 2-D 3-D hình ảnh y tế thực để thu đối tượng mục tiêu xác để xác định, phát chẩn đoán thay đổi bất thường không mong muốn thể người Mơ hình đường biên động 2-D sử dụng để phân đoạn vùng mục tiêu cụ thể có thơng tin pixel q trình 3-D hình thành đường viền, vùng cụ thể thông tin voxel xác định Dựa thông tin cung cấp khu vực phân đoạn, trình xử lý hình ảnh tiếp tục diễn Các mơ hình đường viền chủ động sử dụng phân đoạn 4-D theo dõi chuyển động, theo dõi âm chuyển động vùng bên 48 Báo cáo Xử lý ảnh - Học kỳ 20211 Hình 29: Phân đoạn 3-D hình ảnh CT đầu cách sử dụng đường biên động Kết luận 7.1 Kết đạt Sau thực đề tài này, đạt số kết sau: • Nghiên cứu sơ lĩnh vực xử lý ảnh số ứng dụng • Quy trình xử lý ảnh số • Các phép tiền xử lý ảnh chất tốn học • Bài tốn trích chọn đặc trưng ảnh ứng dụng • Đường biên động • Phương pháp đường biên động tốn trích chọn đặc trưng ảnh 7.2 Đề xuất hướng phát triển Chúng xin phép đề xuất số hướng phát triển nghiên cứu tương lai Về mặt phương pháp, sử dụng: 49 Báo cáo Xử lý ảnh - Học kỳ 20211 • Trích chọn dựa đường bao, điểm uốn • Trích chọn dựa mức xám • Trích chọn dựa vùng nổi, lồi lên • Trích chọn dựa màu sắc • Trích chọn dựa kết cấu • Trích chọn dựa học máy • Về mặt ứng dụng, ta áp dụng trích chọn đặc trưng ảnh vào số tốn thực tiễn như: • Nhận diện biển số xe • Nhận diện khuôn mặt • Chỉnh sửa, làm đẹp đối tượng cụ thể ảnh • Nhận diện, phân lại sản phẩm, hàng hố, nhãn hiệu • 50 Báo cáo Xử lý ảnh - Học kỳ 20211 Tài liệu [1] E.R.Davies Computer Vision: Principles, Algorithms, Applications, Learning, Fifth Edition (2018) [2] MatLab community MatLab documantation, MathWork [3] Michael Kass, Andrew Witkin and Demetri Terzopoulos Snakes: Active contour models International Journal of Computer Vision volume (1988) 321-331 [4] ROSS T WHITAKER A Level-Set Approach to 3D Reconstruction from Range Data International Journal of Computer Vision 29(3), 203–231 (1998) [5] Samir Shah and Arun Ross, Member Iris Segmentation Using Geodesic Active Contours IEEE Transactions on Information Forensics and Security (Volume: 4, Issue: (2009) 824-836 [6] Tony Chan and Luminita Vese An Active Contour Model without Edges International Conference on Scale-Space Theories in Computer Vision (1999) 141-151 51