Đối với phương pháp lọc trên miền tần số, ảnh ban đầu sẽ được biến đổi để chuyểnsang một phương pháp biểu diễn khác trước khi thực hiện việc giảm nhiễu.. Đối với mô hình học sâu tích chậ
Các cách tiếp cận đã có
Trong những năm gần đây, nghiên cứu về giảm nhiễu ảnh đã tập trung vào hai hướng tiếp cận chính Hướng tiếp cận truyền thống dựa trên các thuật toán được thiết kế thủ công, trong khi hướng tiếp cận học sâu sử dụng các mạng lưới thần kinh nhân tạo được đào tạo trên bộ dữ liệu nhiễu.
Hướng tiếp cận truyền thống sử dụng các lớp lọc, để lọc ảnh trên không gian ảnh ban đầu, cũng như xây dựng các thuật toán để giải các bài toán tối ưu Một cách tiếp cận truyền thống khác đó là sử dụng các phương pháp biến đổi ảnh để chuyển ảnh sang một miền không gian khác, trước khi áp dụng các phương pháp trên. Đối với phương pháp lọc, các lớp lọc sẽ được áp dụng lên ảnh, thực hiện việc tính toán các điểm ảnh dựa trên các điểm ảnh xung quanh nó Một số lớp lọc được sử dụng phổ biến đó là lọc trung bình, lọc trung vị [5], lọc Wiener [1] và lọc Bilateral[2] Các phương pháp này sử dụng một ma trận làm bộ lọc, sau đó thực hiện việc tính toán giá trị điểm ảnh trung tâm của bộ lọc, dựa trên các giá trị nằm xung quanh nó.
Trong luận văn này, lớp ảnh y tế là lớp ảnh được lựa chọn để xử lý Đối với lớp ảnh này, ảnh thu được có hai đặc điểm thường thấy, đó là tính thưa và tính tự tương quan.
• Tính thưa: các ảnh con của ảnh thường có thể được biểu diễn thông qua một vài đường nét đơn giản Ví dụ, trong hình 1.2, ảnh con màu đen (được phóng to ở bên trái) có thể được biểu diễn thông qua 2 đường thẳng.
• Tính tự tương quan: Trên một bức ảnh, chúng ta thường có thể tìm được các ảnh con có cấu trúc tương tự nhau ở những vị trí khác nhau Cụ thể, trong hình 1.2, các ảnh con màu trắng (được phóng to ở bên phải) có cấu trúc tương tự với nhau.
Đối với ảnh có đặc tính thưa, ta có thể áp dụng các phương pháp như biểu diễn thưa Ngược lại, đối với ảnh có tính tự tương quan, ta nên sử dụng các phương pháp như non-local regularization hay cực tiểu hóa bậc thấp Phương pháp lọc ảnh trên miền tần số thực hiện chuyển đổi miền ảnh trước khi tiến hành lọc nhiễu, và biến đổi wavelet được sử dụng phổ biến cho phương pháp này Biến đổi wavelet đưa ảnh sang miền tần số, sau đó áp dụng ngưỡng hóa và biến đổi wavelet ngược để thu được ảnh đã lọc nhiễu Ưu điểm của phương pháp này là khả năng khử nhiễu đa dạng nhưng đòi hỏi lựa chọn biểu diễn wavelet và ngưỡng hóa phù hợp, ảnh hưởng đáng kể đến kết quả lọc nhiễu.
Ngoài hướng tiếp cận truyền thống, một hướng tiếp cận khác nổi lên trong những năm gần đây, đó là sử dụng các mô hình học sâu Các mô hình học sâu thường được sử dụng bao gồm mô hình nơ-ron nhiều tầng [7], [8], mô hình học sâu tích chập [3], [9] và mô hình đối nghịch tạo sinh [10]. Đối với mô hình nơ-ron nhiều tầng [7], [8], ảnh sẽ được chia thành các ảnh con, chồng lên nhau trước khi đưa vào mô hình để thu được ảnh giảm nhiễu Sau đó các ảnh con được ghép lại để thu được ảnh giảm nhiễu. Đối với mô hình học sâu tích chập [3], [9], ảnh sẽ được đưa qua các lớp tích chập để học biểu diễn của ảnh, trước khi biểu diễn này tiếp tục được đưa qua các lớp tích chập chuyển vị để từ đó thu được ảnh giảm nhiễu. Đối với mô hình đối nghịch tạo sinh [10], mô hình là sự kết hợp của hai mô hình con, đó là mô hình sinh và mô hình so sánh Ảnh giảm nhiễu đầu tiên sẽ được đưa qua mô hình sinh để thực hiện việc sinh ra một ảnh mới Sau đó, mô hình so sánh sẽ thực hiện việc so sánh giữa ảnh không nhiễu và ảnh đã được sinh ra bởi mô hình sinh.
Quá trình giảm nhiễu ảnh sử dụng mạng đối kháng sinh tổng quát (GAN) hoạt động dựa trên cơ chế lặp lại liên tục Mô hình tạo ra ảnh bị nhiễu, trong khi mô hình thứ hai phân biệt giữa ảnh bị nhiễu và ảnh gốc Quá trình này diễn ra cho đến khi mô hình phân biệt không còn nhận ra sự khác biệt giữa ảnh gốc và ảnh tạo ra, lúc này ảnh do mô hình tạo ra sẽ là bản khử nhiễu của ảnh gốc.
Phương pháp đề xuất
Trong hai cách tiếp cận trên, cách tiếp cận sử dụng các phương pháp truyền thống có ưu điểm ở tính giải thích cao, cũng như được xây dựng một cách tường minh về mặt thuật toán Trong khi đó, các phương pháp sử dụng mô hình học sâu, đặc biệt là mô hình học sâu tích chập, lại có được khả năng học rất tốt và cho kết quả giảm nhiễu tốt hơn so với các phương pháp truyền thống [3], [9]
Một hướng tiếp cận đang được quan tâm gần đây là kết hợp các thuật toán truyền thống với mô hình học sâu để xây dựng mô hình giảm nhiễu Những mô hình này có thể giải thích được và có khả năng học các tham số bổ sung của thuật toán Do đó, chúng đạt hiệu suất cao với số lượng tham số ít hơn đáng kể so với mô hình học sâu Nghiên cứu này tập trung vào việc khám phá các mô hình được xây dựng theo hướng tiếp cận này.
Những nghiên cứu và đóng góp chính của luận văn bao gồm:
1 Đề xuất mô hình giảm nhiễu mới, dựa trên sự kết hợp giữa biểu diễn thưa và mô hình học sâu, ứng dụng trong ảnh y tế,
2 Xây dựng cấu trúc từ điển gồm nhiều lớp tích chập chồng lên nhau, cho phép mô hình học được nhiều đặc trưng từ ảnh bị nhiễu hơn, từ đó thu được ảnh giảm nhiễu tốt hơn.
Luận văn gồm bốn chương chính Trong đó, Chương 2 sẽ tập trung phân tích bài toán giảm nhiễu cho ảnh bị nhiễm nhiễu trắng Gauss, đồng thời trình bày các phương pháp giải quyết bài toán này một cách chi tiết.
Chương 3 trình bày về các mô hình học sâu, sử dụng biểu diễn thưa để giảm nhiễu ảnh cũng như đưa ra mô hình đề xuất để giảm nhiễu ảnh y tế Chương 4 trình bày về quá trình thực nghiệm giảm nhiễu ảnh với một số mô hình trình bày trong chương 3,từ đó thảo luận, đưa ra kết luận cũng như các hướng phát triển trong tương lai.
Bài toán giảm nhiễu và các phương pháp giảm nhiễu
Giới thiệu về bài toán
Bài toán giảm nhiễu ảnh mà một bài toán quan trọng trong xử lý ảnh Cụ thể, luận văn tập trung vào việc giảm nhiễu trắng Gaussian, cú kỳ vọngà =0và độ lệch chuẩn làσ Khi đó, về mặt toán học, ảnh nhiễu có thể được tạo ra từ mô hình như sau:
Ảnh bị nhiễu YYY được mô tả theo phương trình YYY = XXX + VVV (2.1), trong đó XXX là ảnh không nhiễu, VVV là nhiễu trắng Gaussian Nhiễu có thể ước lượng bằng phương pháp độ lệch trung vị và phân tích thành phần chính Mục đích của giảm nhiễu ảnh là loại bỏ nhiễu, bảo toàn thuộc tính ảnh gốc và cải thiện tỷ lệ tín hiệu-nhiễu Các thách thức trong giảm nhiễu ảnh bao gồm:
• Các khu vực phẳng cần phải mượt,
• Các cạnh cần được bảo vệ và không bị làm mờ,
• Kết cấu của ảnh cần được giữ lại, và
• Không nên tạo thêm các đối tượng mới. Để tìm được ảnh không bị nhiễu XXX trong công thức trên là một bài toán đặt không chỉnh, chúng ta không thể có lời giải duy nhất từ ảnh ban đầu với nhiễu ĐặtXXXˆ là một ước lượng củaXXX Để có đượcXXXˆ tốt, rất nhiều phương pháp đã được nghiên cứu trong thời gian qua [3], [9], [13], [14] Tuy nhiên, một trong những yếu tố quan trọng trong giảm nhiễu ảnh, đó là việc xác định được mức độ nhiễu của ảnh, để từ đó cân bằng giữa việc giảm nhiễu và giữ lại các chi tiết trong ảnh Trong phần tiếp theo, một số phương pháp ước lượng mức độ nhiễu của ảnh sẽ được trình bày.
Các phương pháp ước lượng mức độ nhiễu của ảnh
Phương pháp phân tích thành phần chính
Một trong những phương pháp thường dùng để tìm mức nhiễu của ảnh, đó là phương pháp dựa trên phân tích thành phần chính [12] Phương pháp này chỉ ra rằng chúng ta có thể ước lượng mức nhiễu dựa trên giá trị riêng nhỏ nhất của ma trận hiệp phương sai các ảnh con của ảnh Cụ thể, phương pháp này đưa ra một giả thiết như sau:
Giả thiết 1 ChoXXX∈R M×N là một ảnh không nhiễu vàYYY =XXX+VVV là ảnh nhận được,vớiVVV là nhiễu trắng Gaussian với trung bình bằng 0 và độ lệch chuẩnσ V V V Gọi p ′ là một số dương cho trước Khi đó, ta giả sử rằng thông tin của mọi ảnh conxxx iii (được chuyển thành vectơ p chiều) chỉ nằm trong không gian con p−p ′ chiều, ít hơn số chiều của ảnh con.
Algorithm 1EstimateNoiseVariance Đầu vào: ảnh yyy Đầu ra: Mức nhiễuσ est 2 σ ub 2 = GetUpperBound(yyy) σ est 2 =σ ub 2 fori=1toi max do σ next 2 =GetNextEstimate(yyy,σ est 2 ,σ ub 2 ) ifσ est 2 ==σ next 2 then return σ est 2 end if σ est 2 =σ next 2 end for return σ est 2
Từ giả thiết trên, thuật toán tìm mức nhiễu dựa trên phân tích thành phần chính đã được xây dựng, bao gồm 2 hàm EstimateNoiseVariance và GetNextEstimate Trong hai hàm trên, hàm EstimateNoiseVariance là hàm chính trả về mức nhiễu của ảnh, gọi hai hàm con là GetUpperBound và GetNextEstimate Về mặt ký hiệu, Q(p) là mức phân vị thứ pcủa tập hợp phương sai của các ảnh conyyy iii ∈R M , cònB(p)là tập hợp các ảnh conyyy iii có phương sai nhỏ hơnQ(p)
Hàm GetUpperBound thực hiện tính giá trị chặn trên của mức nhiễu cần tìm Cụ thể hàm này tínhC 0 Q(p 0 ), vớiC 0 và p 0 là các giá trị cho trước.
Hàm GetNextEstimate thực hiện lấy các ảnh con của ảnh thuộc tập B(p), với giá trị pban đầu bằng 1và giảm dần trong quá trình chạy hàm Sau đó, hàm này sử dụng hàm ApplyPCA để tìm các giá trị riêng của ma trận hiệp phương sai các ảnh con trongB(p) Từ các giá trị riêng tìm được, hàm kiểm tra điều kiệnλ yyy,M−m+1 −λ yyy,M