Luận án tiến sĩ Vật lý kỹ thuật: Ước lượng thông tin và tái tạo hình ảnh cấu trúc hấp thụ ánh sáng trong không gian ba chiều từ một ảnh hai chiều thu được khi ánh sáng hồng ngoại gần truyền qua môi trường tán xạ

Luận án này đề xuất phương pháp cải thiện hiệu quả khử mờ tán xạ trên các ảnh truyền qua của các cấu trúc hấp thụ phức tạp như mạch máu và chuột được chụp bằng ánh sáng hồng ngoại gần, v

TỔNG QUAN

Mục tiêu đề tài

Đề tài nghiên cứu: “ƯỚC LƯỢNG THÔNG TIN VÀ TÁI TẠO HÌNH ẢNH CẤU TRÚC HẤP THỤ ÁNH SÁNG TRONG KHÔNG GIAN BA CHIỀU TỪ MỘT ẢNH HAI CHIỀU THU ĐƯỢC KHI ÁNH SÁNG HỒNG NGOẠI GẦN TRUYỀN QUA MÔI TRƯỜNG TÁN XẠ” là sự kế thừa các kết quả nghiên cứu đi trước của Shimizu, Trần Trung Nghĩa và Phan Văn Tô Ni bao gồm thiết kế, nghiên cứu trên các mẫu giả lập (phantom), các nghiên cứu ứng dụng NIR để chụp các mạch máu dưới da, ước lượng độ sâu, tái tạo cấu trúc 3D và nghiên cứu cơ bản về xác định trạng thái các cơ quan hấp thụ ánh sáng bên trong mô sinh học [20], [42], [43]

Luận án trình bày việc sử dụng ánh sáng hồng ngoại gần (NIR) để chụp ảnh các cấu trúc hấp thụ trong môi trường tán xạ Từ hình ảnh thu được, các kỹ thuật khử mờ tán xạ và ước lượng thông tin của cấu trúc hấp thụ được phát triển bằng cách sử dụng hàm sáng điểm phụ thuộc độ sâu PSF nhằm tái tạo lại ảnh cấu trúc hấp thụ rõ nét Quá trình thực nghiệm sẽ thu hình ảnh qua các mô phỏng, các thực nghiệm với mẫu giả (phantom) và chuột Bằng cách thu được ảnh rõ nét ở cả xung quanh 360độ, việc áp dụng các kỹ thuật tái tạo ảnh phổ biến như phép lọc chiếu ngược (Filtered Back Projection – FBP) sẽ cho phép tái tạo ảnh cắt lớp của cấu trúc cũng như hình ảnh ba chiều của cấu trúc Luận án cũng hướng đến việc phát triển kỹ thuật tái tạo cấu trúc ba chiều từ số lượng ảnh thu được giới hạn nhằm tăng cường hiệu quả và thời gian xử lý Kết quả của nghiên cứu đóng góp một phần công sức cho việc phát triển một phương thức chẩn đoán sự bất thường của cấu trúc hấp thụ ánh sáng trong mô sinh học bằng phương pháp truyền qua với ánh sáng hồng ngoại gần Từ đó có thể phát triển một phương thức sử dụng kỹ thuật hình ảnh quang học trong việc chẩn đoán khối mô bất thường, chụp ảnh cấu trúc hấp thụ ánh sáng trong cơ thể động vật nhỏ, chụp ảnh mạch máu tay người và các ứng dụng y học và sinh trắc học khác

Luận án thiết kế gồm có 03 mục tiêu chính như sau:

Mục tiêu thứ nhất: Đề xuất giải pháp khử mờ tán xạ và nâng cao hiệu quả của các giải pháp khử mờ tán xạ nhằm tái tạo lại hình ảnh cấu trúc hấp thụ ánh sáng một cách rõ nét;

Mục tiêu thứ hai: Đề xuất giải pháp ước lượng thông tin (độ sâu và độ rộng) của cấu trúc hấp thụ nhằm tái tạo lại hình ảnh ba chiều của cấu trúc hấp thụ trong mô sinh học;

Mục tiêu thứ ba: Tiến hành xây dựng kỹ thuật tạo ảnh ba chiều cấu trúc hấp thụ ánh sáng từ một ảnh thu được

Các mục tiêu này được xây dựng và sắp xếp có liên hệ chặt chẽ với nhau, bổ trợ lẫn nhau trong quá trình, nhằm mục đích cuối cùng là tối ưu hóa kỹ thuật chụp ảnh truyền qua và tái tạo lại hình ảnh ba chiều cấu trúc hấp thụ trong mô sinh học.

Nhiệm vụ của đề tài

Để hoàn thành được các mục tiêu được đặt ra, trong quá trình nghiên cứu, tác giả tiến hành xây dựng các phần nhiệm vụ như sau:

Nhiệm vụ thứ nhất: Nghiên cứu sử dụng phương pháp khử mờ tán xạ (scattering suppresion) trên ảnh truyền qua bằng cách áp dụng giải chập với hàm sáng điểm (point spread function – PSF);

Nhiệm vụ thứ hai: Nghiên cứu ước lượng thông tin (độ rộng, độ sâu) của cấu trúc hấp thụ trong mô sinh học từ ảnh thu được khi ánh sáng hồng ngoại gần lan truyền qua mô sinh học;

Nhiệm vụ thứ ba: Nghiên cứu nâng cao hiệu quả kỹ thuật khử mờ tán xạ và ước lượng độ sâu từ ảnh cấu trúc hấp thụ bằng phương pháp học sâu;

Nhiệm vụ thứ tư: Nghiên cứu giải pháp sử dụng phương pháp học sâu để khử mờ tán xạ và tái tạo hình ảnh ba chiều cấu trúc hấp thụ từ một ảnh hai chiều thu được khi ánh sáng hồng ngoại gần truyền qua môi trường tán xạ;

Nhiệm vụ thứ năm: Tổng kết, đánh giá hiệu quả của các phương pháp trên thực nghiệm với mô hình giả lập, thực nghiệm với chuột

Quang học mô và lan truyền ánh sáng trong mô sinh học Ánh sáng chiếu tới mô với các đặc điểm bước sóng, công suất, diện tích vết chiếu, khoảng cách từ đầu phát đến bề mặt mô cũng như các thông số quang học mô sẽ dẫn đến các hiện tượng tương tác, lan truyền ánh sáng khác nhau trong mô sinh học như mô

17 tả trong Hình 1.16 Các thông số quang học mô bao gồm hệ số hấp thụ, hệ số tán xạ, hệ số bất đẳng hướng, chiết suất

Khi ánh sáng hồng ngoại gần đi đến bề mặt mô sinh học sẽ xảy ra hiện tượng phản xạ và khúc xạ ánh sáng tại bề mặt mô do sự khác biệt chiết suất của môi trường Khi ánh sáng truyền tới mô tại mặt phân cách giữa mô với môi trường một góc tới bất kì thì luôn có xảy ra phản xạ một phần tại bề mặt và một phần truyền qua mặt phân cách lan truyền sâu vào trong mô Ánh sáng tiếp tục đi vào mô sẽ xảy ra quá trình hấp thụ, tán xạ và cuối cùng có thể truyền qua mô Quá trình tán xạ trong mô có nhiệm vụ thay đổi hướng truyền của ánh sáng giúp mở rộng sự tác động đối với mô Ngoài ra, sự hấp thụ và tán xạ ánh sáng trong mô cũng là một trong những thành phần quan trọng để thay đổi sự phân bố năng lượng quang học trong mô

Hình 1.16 Hình ảnh thể hiện các sự tương tác giữa ánh sáng với mô sinh học [47]

Hình 1.17 Phổ hấp thụ ánh sáng của các thành phần chính trong mô sinh học [48]

18 Hình 1.17 mô tả phổ hấp thụ ánh sáng của các thành phần chính trong mô sinh học theo bước sóng Khi ánh sáng hồng ngoại gần đi qua mô, mô sinh học sẽ hấp thụ một phần ánh sáng nhưng hầu hết ánh sáng sẽ bị tán xạ Điều này dẫn đến đường đi của ánh sáng trong mô là một đường zic-zac và không phải là đường thẳng Chỉ một lượng rất nhỏ ánh sáng truyền thẳng mà không xảy ra một sự kiện tán xạ nào, các photon ánh sáng như vậy gọi là photon “truyền thẳng” hoặc photon “đạn đạo”

Một số ánh sáng truyền đến mạch máu sẽ bị hấp thụ bởi các huyết sắc tố có trong máu, và hầu hết các tia sáng sẽ lan truyền về phía trước do kích thước lớn của tế bào hồng cầu Đối với máu ở vùng tĩnh mạch thì bị deoxy-hemoglobin chi phối với nồng độ oxy- hemoglobin khoảng 47% trong khi đó ở động mạch chứa nhiều oxy-hemoglobin (90 - 95%) Cả hai loại quang thụ thể trên đều có sự hấp thụ ánh sáng khác nhau tính chất Sự hấp thụ yếu trong vùng ánh sáng hồng ngoại gần của các thành phần chính trong mô sinh học dẫn đến ánh sáng hồng ngoại gần có thể “xuyên sâu” hơn vào mô trước khi năng lượng bị mô hấp thụ hoàn toàn Trong vùng 600 nm – 900 nm, ánh sáng bị tán xạ nhiều hơn bị hấp thụ và đó cũng là vùng bước sóng mà mô có mức độ “trong suốt” cao nhất.

Sự phản xạ và khúc xạ

Phản xạ và khúc xạ ánh sáng là hiện tượng xảy ra khi truyền ánh sáng trong môi trường có chiết suất n gặp một môi trường có chiết suất n′′ Các mô sinh học đều có chiết suất, do đó phản xạ và khúc xạ ánh sáng xảy ra ở ranh giới của hai mô khác nhau Mô sinh học bao gồm nhiều loại khác nhau, nên có các đặc điểm khác với thủy tinh hoặc tinh thể, tuy nhiên ranh giới giữa hai lớp thì không rõ ràng; Chỉ số khúc xạ được thể hiện trên một thể tích mô nhất định, do đó, phản xạ và khúc xạ ánh sáng trong mô sinh học là hiện tượng của nhiều phản xạ và khúc xạ liên quan đến nhiều ranh giới cục bộ và chiết suất Những thay đổi về hướng và biên độ truyền ánh sáng có thể được tính toán bằng cách sử dụng lý thuyết về phản xạ và khúc xạ

Hình 1.17 minh họa các thông số cơ bản khi ánh sáng truyền từ mô chiết suất n thành mô có chiết suất n′, trong đó mặt phẳng biên là mặt phẳng XY trong hệ tọa độ Descartes Hướng của ánh sáng tới, ánh sáng phản xạ và khúc xạ được xác định bởi vector sóng k , k′, và k′′ tương ứng Góc giữa ba vector sóng và trục Z là θ, θ′, và θ′′, tương ứng

19 Hình 1.18 Sự lan truyền ánh sáng vào hai mô có chiết suất n và n’’ [24] Ánh sáng khúc xạ truyền trong vật liệu với một chiết suất khác, do đó: n sin θ = n′′ sin θ′′ (1.1)

Sự lan truyền ánh sáng trong mô được xác định bởi sự tương tác của nó với các thành phần trong mô Ánh sáng sẽ bị phản xạ và khúc xạ tại mặt phân cách giữa hai vật liệu mô khác nhau Ngoài ra, sự hấp thụ và tán xạ ánh sáng trong mô cũng là một trong những thành phần quan trọng để thay đổi sự phân bố năng lượng quang học trong mô.

Sự hấp thụ

Sự hấp thụ ánh sáng của một vật liệu có thể được hiểu như chuyển động dao động tắt dần của một vật thể Vật giảm chấn làm giảm tốc độ chuyển động bằng cách chuyển động năng của chuyển động thành các dạng năng lượng khác như nhiệt năng sinh ra do ma sát Trong ánh sáng, dao động điện từ lan truyền với sự tắt dần, nó truyền năng lượng điện từ cho các nguyên tử hoặc phân tử trong môi trường truyền Năng lượng điện từ được truyền có thể: tạo ra nhiệt trong môi trường bằng cách tăng năng lượng dao động hoặc năng lượng quay của các nguyên tử hoặc phân tử của nó, phát xạ lại từ môi trường dưới dạng huỳnh quang hoặc lân quang hoặc gây ra phản ứng hóa học như truyền năng lượng phân tử, biến tính, ion hóa, Có những loại lượng tử khác có thể hấp thụ năng lượng ánh sáng, chẳng hạn như phonon và exciton Sự truyền ánh sáng theo hướng z điện trường có thể được biểu thị bằng:

Trong đó: 𝜇a là hệ số hấp thụ phụ thuộc nhiều vào bước sóng ánh sáng

Theo định luật Lambert - Beer chiều dài hấp thụ 𝐿a được xác định là độ dài mà sau đó cường độ ánh sáng trở thành 1 ⁄ 𝑒 cường độ ban đầu:

Sự tán xạ

Sự tán xạ ánh sáng trong vật chất là một quá trình rất phức tạp, tuy nhiên, hệ số tán xạ (𝜇s) và yếu tố dị hướng (g) có thể được tính toàn bằng ánh sáng tán xạ trong mô Sự tán xạ được gọi là đàn hồi khi quá trình này không làm mất năng lượng photon và tổng cường độ ánh sáng tới và cường độ ánh sáng tán xạ bằng nhau Sự tán xạ không đàn hồi khi quá trình này liên quan đến sự mất năng lượng của photon Sự tán xạ đàn hồi hoặc không đàn hồi có liên quan đến tần số của các phân tử của môi trường nơi photon lan truyền Sự tán xạ trong mô là do các hạt có hai kích thước đặc biệt: các hạt nhỏ hơn bước sóng ánh sáng gây ra tán xạ Rayleigh, các hạt lớn hơn bước sóng ánh sáng gây ra tán xạ

Mie Hệ số tán xạ là đặc điểm của vật liệu làm giảm cường độ tới 1⁄𝑒 sau khi ánh sáng truyền đi chiều dài tán xạ (𝐿s)

Góc tán xạ (θ) là một góc so với phương truyền ánh sáng Tán xạ Mie chủ yếu là tán xạ về phía trước (∼0) và không phụ thuộc nhiều bước sóng Hệ số dị hướng (g) là cosin trung bình của góc tán xạ và có giá trị từ - 1 (tán xạ ngược) đến 1 (tán xạ thuận), nếu g

= 0 thì tán xạ tại mọi hướng là như nhau Đối với hầu hết các mô sinh học thì g ∼ 0,9 vậy nên tán xạ Mie cũng chiếm ưu thế hơn tán xạ Rayleigh Hệ số dị hướng có liên quan đến phân phối xác suất (P) dưới dạng một hàm của góc tán xạ được biểu thị bằng hàm pha Henyey-Greenstein: p(𝑐𝑜𝑠𝜃) = (1−g 2 )

Hệ số tán xạ suy giảm (𝜇𝑠′) do tính dị hướng được tính như sau:

Phương trình lan truyền bức xạ (RTE)

Phương trình lan truyền bức xạ (Radiative Transport Equation – RTE) là một phương trình bảo toàn giải thích sự lan truyền năng lượng của hạt trong một môi trường khi xảy ra các quá trình ngẫu nhiên bao gồm: sự thay đổi của cường độ bức xạ, hấp thụ, phát xạ, tán xạ Phương trình RTE phát biểu rằng bức xạ (số lượng photon trong một đơn vị thể tích) của photon di chuyển từ điểm r theo phương s tại thời điểm t thì bằng với tổng của phần bức xạ còn lại và tất cả các quá trình xảy ra làm suy giảm bức xạ đó

Số hạng thứ nhất phía bên phải công thức (1.7) mô tả tốc độ biến thiên cường độ bức xạ trong không gian Môi trường có xu hướng làm bức xạ sau khi truyền qua bị phân tán thành các hướng khác nhau Số hạng còn lại mô tả mức tăng cường độ do hiệu ứng tán xạ, hiệu ứng tán xạ xuất hiện mọi hướng (trên toàn bộ góc, 0 – 4π) Nếu chuyển số hạng thứ hai bên trái công thức qua bên phải thì số hạng này mô tả sự mất cường độ do hiệu ứng hấp thụ và tán xạ ngoài Suy giảm cường độ là kết quả của năng lượng hấp thụ dọc theo đường di chuyển và năng lượng chuyển thất thoát từ hiệu ứng tán xạ

Trong đó: 𝜎: hằng số Stefan–Boltzmann (5.67x10 -8 𝑊𝑚 −2 𝐾 4 );

𝐼: cường độ bức xạ (𝑊 𝑚 −2 ); Փ: hàm pha;

𝑟 : vectơ vị trí; Ω ′ : góc khối (𝑠𝑟);

𝑠 : vectơ hướng; 𝜇 𝑎 : hệ số hấp thụ (m -1 );

𝑠 ′ : vectơ hướng phản xạ; 𝜇 𝑠 : hệ số tán xạ (m -1 );

Hấp thụ Tốc độ biến thiên cường độ bức xạ trong không gian

22 Phương trình RTE mô hình hóa ánh sáng lan truyền trong các mô dưới dạng các gói photon có quỹ đạo khác nhau trong môi trường, bỏ qua các tính chất sóng của ánh sáng như phân cực hoặc nhiễu xạ [49], [50]

Các tính chất quang học của môi trường như chiết suất (n), hệ số hấp thụ (μa), hệ số tán xạ (μs) và hệ số tán xạ dị hướng (g) quyết định đường đi của photon trong môi trường Trong đó, hệ số hấp thụ (μa) do thành phần hóa học bên trong mô gây ra và hệ số tán xạ (μs) do sự thay đổi chiết suất hoặc do va chạm giữa photon với các hạt trong môi trường

Phương trình lan truyền bức xạ (RTE) về cơ bản cho tổng năng lượng chứa trong một phần tử thể tích của tán xạ môi trường khi ánh sáng truyền qua nó rất phức tạp và phụ thuộc vào một số các biến, một phiên bản RTE đơn giản hơn nhiều được gọi là phương trình khuếch tán (DE) được sử dụng cho phân tích sự truyền ánh sáng qua các mô như mô tả trong phương trình (1.8) Nhưng giải phương trình khuếch tán một cách giải tích rất phức tạp và mất thời gian Phương trình xấp xỉ lan truyền bức xạ thường được gọi là phương trình khuếch tán (DE) và được cho bởi:

∂u(r⃗ ,t) v ∂t + 𝜇 𝑎 u(r ,t) – D∇ 2 u(r ,t) = I(r ,t) (1.8) trong đó, μ a là hệ số hấp thụ và μ’ s là hệ số tán xạ suy giảm, r biểu thị vectơ vị trí của photon, t là thời điểm tức thời mà nguồn được áp dụng, v là tốc độ ánh sáng trong môi trường, u là photon tốc độ lan truyền được định nghĩa là dòng năng lượng trên mỗi đơn vị diện tích trên một đơn vị thời gian trong môi trường đã cho, I là cường độ của nguồn được cung cấp và D là hằng số khuếch tán:

Một điều kiện để gần đúng khuếch tán là μ a 0,2 mm) Thành phần khuếch tán thu được bằng cách áp dụng xấp xỉ độ khuếch tán với phương trình lan truyền bức xạ RTE Phương trình khuếch tán của nguồn điểm nằm trong môi trường tán xạ là:

𝑘 𝑑 2 = 3𝜇 𝑎 (𝜇 ′ 𝑠 + 𝜇 𝑎 ) là cường độ khuếch tán trung bình;

𝜇 ′ 𝑠 = (1 − 𝑔)𝜇 𝑠 𝑈 𝑑 (𝑟 ) là hệ số tán xạ suy giảm;

𝜇 𝑎 là hệ số hấp thụ; g là hệ số bình đẳng hướng

Giải phương trình trên, ta có:

Sử dụng kết quả trên, ta có công thức hàm điểm point spread function (PSF):

(1.16) trong đó: 𝑘 𝑑 2 = 3𝜇 𝑎 (𝜇 ′ 𝑠 + 𝜇 𝑎 ) cường độ khuếch tán trung bình;

𝑃 0 là công suất quang của nguồn điểm;

𝜌 là khoảng cách xuyên tâm tính từ trục z trong hệ tọa độ trụ và độ sâu của nguồn điểm tính từ bề mặt của môi trường tán xạ;

𝜇 ′ 𝑠 = (1 − g)𝜇 𝑠 𝑈 𝑑 (𝑟) là hệ số tán xạ suy giảm;

𝜇 𝑎 là hệ số hấp thụ

PHƯƠNG PHÁP – THIẾT KẾ NGHIÊN CỨU

Kỹ thuật chụp ảnh truyền quang

Khi chiếu một nguồn sáng qua đối tượng cần nghiên cứu, phương pháp chụp ảnh truyền quang là phương pháp thu hình ảnh do ánh sáng chiếu từ phía bên kia “xuyên qua” đối tượng Trong kỹ thuật chụp ảnh truyền quang của cấu trúc hấp thụ ánh sáng, ánh sáng đồng nhất chiếu sáng từ một phía bên ngoài môi trường tán xạ Ánh sáng tán xạ đi qua môi trường tán xạ và ảnh thu được bằng cảm biến của camera Quá trình tạo ảnh có thể được mô tả như trong Hình 2.1

Hình 2.1 Quá trình lan truyền ánh sáng truyền qua môi trường tán xạ và tạo ảnh trên cảm biến ảnh [36]

Hình ảnh thu được từ các thiết bị ghi nhận hình ảnh như các cảm biến máy ảnh CCD, CMOS đặt ở mặt đối diện của vật thể Bằng cách điều chỉnh phù hợp với các điều kiện truyền qua, chúng ta có thể thu được sự phân bổ cấu trúc hấp thụ ở bề mặt cơ thể Kỹ thuật này tồn tại một số nhược điểm Phương pháp này chỉ thích hợp với phần cơ thể khi có ánh sáng truyền qua và điều kiện ánh sáng phân bố đều trong mô Thậm chí, chúng ta không thể thu được một ảnh truyền qua cho dù có một ánh sáng tồn tại ngay sát bề mặt cấu trúc hấp thụ nếu vật thể đó quá dày làm cho ánh sáng truyền qua không đủ cho sự tạo ảnh [50]

28 Hình 2.2 mô tả ảnh thu được khi đặt một đĩa kim loại hình tròn trong môi trường trong suốt và trong môi trường tán xạ

Hình 2.2 Tạo ảnh khi đặt một đĩa kim loại hình tròn: (a) môi trường trong suốt và (b) môi trường tán xạ

Ta có thể thấy ảnh thu được chính là bóng của vật thể trên bề mặt Vật hấp thụ càng xa bề mặt thu ảnh thì ảnh thu được càng mờ và kích thước của vật trên bề mặt cũng thay đổi tương ứng Hầu hết các thiết bị hiện tại trên thị trường đều thu ảnh tĩnh mạch gần sát bề mặt da và chiếu lại hình ảnh đó trên các thiết bị hiển thị hoặc trên bề mặt da Đối với các mạch máu sâu bên dưới da thì hình ảnh thường cho kích thước sai, độ phân giải kém và thiếu các thông tin về độ sâu Việc sử dụng các phương pháp xử lý ảnh số thông qua việc kết hợp các bộ lọc, các kênh màu chỉ có thể chỉ ra vị trí bóng của mạch máu trên bề mặt da, không thể cho ra thông tin chính xác về kích thước, độ sâu, hình dạng cụ thể của cấu trúc hấp thụ ánh sáng Hình 2.3 mô tả nguyên lý thu nhận hình ảnh huỳnh quang truyền qua da Ánh sáng kích thích đã được chiếu từ bên ngoài đến vị trí cần nghiên cứu bên trong cơ thể Ánh sáng chiếu từ bên ngoài kích thích phát ánh sáng huỳnh quang trên vật thể chứa chất phát huỳnh quang Ánh sáng huỳnh quang phát ra truyền đến bề mặt vật thể Bước sóng của huỳnh quang khác với bước sóng của ánh sáng kích thích do đó những ánh sáng bị tán xạ ở bề mặt khi chiếu rọi đến thiết bị thu nhận hình ảnh, được lọc bằng kính lọc quang học Bằng cách này chúng ta có thể thu được ảnh huỳnh quang truyền qua

29 Hình 2.3 Kỹ thuật hình ảnh huỳnh quang truyền qua da [33]

Hình ảnh bị mờ hay phân bố ánh sáng trên bề mặt môi trường tán xạ thu được thông qua camera có thể được đặt trưng bởi công thức sau:

Trong đó: y là ảnh thu được thông qua camera; h là hàm sáng điểm point spread function (PSF); x là ảnh gốc; n là thành phần nhiễu của hệ thống; × là hàm tích chập

Hình 2.4 mô tả quá trình tạo ảnh từ công thức (2.1) khi bỏ qua nhiễu

Hình 2.4 Tạo ảnh huỳnh quang truyền qua môi trường tán xạ

30 Hình ảnh thu được thông qua phương pháp truyền qua bị mờ bởi sự tán xạ ánh sáng huỳnh quang đến bề mặt da Tuy nhiên với những hình ảnh mờ này, sự xuất hiện của nguồn huỳnh quang và vị trí xác định của nó vẫn có thể biết được Mặt khác, điều kiện tiên quyết thường đòi hỏi không gian tốt hơn để phân biệt các cơ quan hoặc hiểu được hình dạng phân bố huỳnh quang.

Tạo ảnh của cấu trúc hấp thụ ánh sáng trong kỹ thuật chụp ảnh truyền quang

Hàm PSF thu được qua công thức (1.16) là hình ảnh phân bố ánh sáng từ một nguồn ánh sáng điểm quan sát thấy ở bề mặt môi trường tán xạ Do đó, khả năng áp dụng được cho hình ảnh truyền qua (transillumination) của một cấu trúc hấp thụ phải được kiểm tra

Hình 2.5 Phân bố ánh sáng được quan sát thấy ở bề mặt môi trường tán xạ trong thực tế đối với hình ảnh truyền qua Điểm tròn màu cam biểu thị nguồn điểm sáng trong cả hai trường hợp

Hình 2.5 thể hiện sơ đồ phân bố cường độ ánh sáng quan sát được trên bề mặt môi trường tán xạ Trong hình ảnh truyền qua thu được của mô sinh học có chứa cấu trúc hấp thụ ánh sáng, ánh sáng đồng nhất được chiếu xạ bên ngoài môi trường tán xạ Ánh sáng tán xạ đi qua cấu trúc hấp thụ và chiếu lên bề mặt vật thể tán xạ Tuy nhiên, môi trường tán xạ được xem như rộng vô hạn; các đường màu cam biểu thị sự phân bố ánh sáng của nguồn sáng có cùng kích thước với vật hấp thụ Ánh sáng tán xạ đi qua cấu trúc hấp thụ và chiếu bóng lên bề mặt của môi trường tán xạ Hình ảnh quan sát hoặc thu được qua camera có thể xem xét giả định cấu trúc hấp

31 thụ như một tập hợp các điểm thiếu ánh sáng nếu ánh sáng được khuếch tán tốt ở độ sâu của cấu trúc hấp thụ Như vậy, hình ảnh của cấu trúc hấp thụ được quan sát ở bề mặt là tập hợp các phân bố thiếu ánh sáng lan truyền chính là PSF thu được ở trên PSF từ công thức phụ thuộc vào độ sâu có thể áp dụng vào hình ảnh tán xạ truyền qua của cấu trúc hấp thụ nếu giả thiết này đúng Trong nghiên cứu này, nhiễu được bỏ qua, hình ảnh thu được bởi camera có thể được đặc trưng bởi công thức sau:

Hình 2.6 mô tả trình tạo ảnh của cấu trúc hấp thụ theo công thức (2.2)

Hình 2.6 Công thức tạo ảnh của cấu trúc hấp thụ

Cấu trúc hấp thụ ℎ 𝑎𝑏𝑠 có thể được tính toán qua công thức:

ℎ 𝑎𝑏𝑠 = 𝑦 ⊗ 𝑥 (2.3) với y là hình ảnh của cấu trúc hấp thụ thu được qua hệ thống camera và x là ảnh gốc của cấu trúc hấp thụ ⊗ biểu diễn phép giải chập Để so sánh hàm cấu trúc hấp thụ từ công thức (2.3) được nghịch đảo và so sánh với hàm sáng điểm PSF từ công thức (1.16), các thí nghiệm đã được thực hiện Trần Trung Nghĩa thực hiện và các kết quả so sánh cho thấy có sự tương quan gần như đồng nhất như mô tả trong Hình 2.7và Hình 2.8 [20]

32 Hình 2.7 So sánh hàm cấu trúc hấp thụ và hàm nguồn sáng điểm PSF ở độ sâu = 8,00 mm [20]: (a) hình ảnh được quan sát với môi trường tán xạ, (b) hình ảnh được quan sát với môi trường trong suốt, (c) hàm cấu trúc hấp thụ từ công thức (2.3) được nghịch đảo, (d) hàm PSF nguồn sáng từ công thức (1.10)

Hình 2.8 So sánh FWHM hàm cấu trúc hấp thụ và hàm nguồn sáng điểm PSF ở các độ sâu [20]

Trong thực tế, do giới hạn của hình ảnh quan sát được, sự phân bố ánh sáng đã bị cắt ra như trong Hình 2.9 Ở kỹ thuật chụp ảnh huỳnh quang, ánh sáng phân bổ như trong trường hợp vô cực Nhưng ở kỹ thuật chụp ảnh truyền quang sự phân bố ánh sáng đã cắt ra và giảm xuống như thể hiện bằng các đường nét đứt màu cam như trong Hình 2.9 (b), điều này không còn đúng trong trường hợp rộng vô hạn Vì vậy nếu giả sử PSF là một nguồn sáng điểm thì không thể áp dụng trực tiếp vào các ảnh truyền qua thu được bằng phép giải chập

33 Hình 2.9 Sự phân bố ánh sáng tại bề mặt môi trường tán xạ thực tế (a) ảnh huỳnh quang truyền qua và (b) ảnh truyền qua Để khắc phực vấn đề này, sự phân bổ ánh sáng trong ảnh truyền qua thu được sẽ được đảo ngược Khi đó phân bố ánh sáng ở hình ảnh quan sát sẽ trở thành phân bố hấp thụ trong hình ảnh ngược và nguồn sáng điểm PSF từ công thức (1.10) sẽ được áp dụng chính xác trong hình ảnh ngược

Hình 2.10 mô tả toàn bộ quá trình tạo ảnh truyền qua của cấu trúc hấp thụ ánh sáng tại bề mặt môi trường tán xạ Vì vậy, hình ảnh gốc của cấu trúc hấp thụ ánh sáng có thể thu được:

Công thức (2.4) chính là quá trình triệt tiêu tán xạ ánh sáng trong ảnh truyền qua thu được bằng cách giải chập với nguồn sáng điểm PSF Trong đó x, y, h lần lượt là hình ảnh gốc, ảnh thu được và nguồn sáng PSF Hình ảnh quan sát y đã được chuẩn hóa thành từ 0 đến 1 ⊗ biểu thị cho phép giải chập

34 Hình 2.10 Quá trình tạo ảnh truyền qua của cấu trúc hấp thụ ánh sáng tại bề mặt môi trường tán xạ.

Kỹ thuật khử mờ tán xạ

Hình ảnh khi thu nhận từ phương pháp ảnh truyền qua thường mờ do nhiều yếu tố trong đó phần lớn do tán xạ của ánh sáng đi xuyên qua môi trường tán xạ Để khử các hình ảnh bị mờ do hiệu ứng tán xạ, ảnh mờ do tán xạ có thể giải chập với hàm PSF đặc trưng cho tán xạ nếu biết mức độ làm mờ của hàm PSF đó như mô tả ở Hình 2.11

Hình 2.11 Nguyên lý tạo ảnh truyền qua và tái tạo ảnh gốc của cấu trúc hấp thụ ánh sáng tại bề mặt môi trường tán xạ

35 Ước lượng độ sâu hấp thụ của cấu trúc hấp thụ

Hiệu ứng tán xạ có thể được triệt tiêu một cách hiệu quả bằng cách giải chập ảnh thu được với nguồn sáng điểm PSF được tính từ công thức (1.10) Tuy nhiên, các PSF này phụ thuộc vào độ sâu, do đó thông tin độ sâu là một yêu cầu thực tiễn Mặt khác, nếu ước lượng được các thông số của cấu trúc hấp thụ (chiều sâu và chiều rộng) thì thông tin về cấu trúc hấp thụ và việc tái tạo hình ảnh gốc trở nên khả thi Như mô tả ở phần trên, khi ảnh thu được giải chập với hàm PSF ở một độ sâu cụ thể d i nào đó, hình ảnh xuất phát từ độ sâu d i đó có thể khôi phục một cách chính xác Các phần khác của hình ảnh từ những độ sâu khác nhau thì không chính xác nhưng chúng thường bị mờ hoặc nhỏ hơn kích thước thật của cấu trúc hấp thụ Các phương pháp mới ước lượng độ sâu được đề xuất và kiểm chứng tính hiệu quả theo hai phương pháp đề xuất sau:

Ước lượng độ sâu của cấu trúc hấp thụ bằng ảnh chụp với các bước sóng khác nhau

Phương pháp này được Trần Trung Nghĩa đề xuất và kiểm chứng bởi Kohei Yamamoto tại Đại học Hokkaido, Nhật Bản năm 2013 khi Kohei Yamamoto thực hiện luận văn thạc sĩ dưới sự hướng dẫn của Trần Trung Nghĩa và Shimizu Luận án cũng đã tiến hành khảo sát kiểm chứng khi thực hiện các thí nghiệm tương tự Ước lượng độ sâu của cấu trúc hấp thụ bằng ảnh chụp ở các bước sóng khác nhau được đề xuất như một phương pháp mới để ước lượng độ sâu của cấu trúc hấp thụ đơn giản bằng cách sử dụng các ảnh thu được với hai bước sóng khác nhau Các bước sóng được lựa chọn có thông số quang học mô khác biệt Vì thông số quang học mô phụ thuộc bước sóng, nếu thu được những ảnh ở các bước sóng khác nhau bằng cách thay đổi bước sóng của nguồn sáng hoặc thay đổi nồng độ các quang thụ thể Ảnh thu được của một cấu trúc hấp thụ đơn giản đặt ở độ sâu d trong môi trường tán xạ với bước sóng tương ứng có thể được miêu tả qua biểu thức sau:

𝑂𝑏𝑠(𝜆 𝑖 , 𝑑) = 𝑂𝑟𝑖 × 𝑃𝑆𝐹(𝜆 𝑖 , 𝑑), (2.5) Với:Obs( i ,d) là ảnh thu được;

PSF  i là hàm sáng điểm PSF được tính từ công thức (1.16)

Bằng cách tích chập với hàm PSF của bước sóng khác, ảnh sau khi tích chập sẽ tương đồng với nhau, như mô tả qua biểu thức sau:

Vì vậy, việc ước lượng độ sâu của cấu trúc hấp thụ có thể được thực hiện bằng cách thay đổi độ sâu khi tính toán PSF và tìm ra cặp ảnh sau tích chập tương đồng nhất Quá trình này có thể được mô tả như sau:

Hình 2.12 mô tả quá trình ước lượng độ sâu của cấu trúc hấp thụ đơn giản trong môi trường tán xạ

Hình 2.12 Quá trình ước lượng độ sâu của cấu trúc hấp thụ đơn giản trong môi trường tán xạ ở hai bước sóng

Phương pháp này đã được tác giả khảo sát và thực hiện công bố Tạp chí Phát triển Khoa học Công nghệ - chuyên san Khoa học Công nghệ - VNUHCM (Ngoc An Dang Nguyen,

To Ni Phan Van, Kohei Yamamoto, Minh Quang Nguyen, Anh Tu Tran, Takeshi Namita, Koichi Shimizu and Trung Nghia Tran, Depth estimation of the absorbing

37 structure in a slab turbid medium using point spread function, VNUHCM Journal of Engineering and Technology, 3 (SI3), SI10 - SI21, 2020 ISSN: 2615 - 9872).

Ước lượng độ sâu cấu trúc hấp thụ bằng ảnh chụp với một bước sóng

Nếu có thể ước lượng được độ sâu của cấu trúc hấp thụ ánh sáng, hàm sáng điểm có thể được tính từ công thức (1.16) Do đó, có thể tái tạo lại được ảnh cấu trúc hấp thụ gần tương đồng với ảnh cấu trúc gốc thu được khi đặt trong môi trường trong suốt Từ đó, kích thước của cấu trúc hấp thụ có thể được xác định Trường hợp có thể thu được ảnh ở nhiều góc độ khác nhau (ví dụ: xung quanh 360 độ) việc tái tạo cấu trúc vật thể hoàn toàn khả thi với kỹ thuật lọc chiếu ngược (filtered-back projection) [20]

Phương pháp ước lượng độ sâu của cấu trúc hấp thụ bằng ảnh chụp với một bước sóng được mô tả bao gồm 07 bước:

Hình 2.13 Mô tả quá trình giải chập ảnh thu được với hàm PSF (d = 4,0 mm)

Bước 1: Giải chập ảnh thu được với hàm PSF ở độ sâu xác định d i , (d i =0…d max ) như mô tả trong Hình 2.14

Bước 2: Tính y i bằng tích chập ảnh thu được ở bước 1 với PSF ở từng độ sâu xác định d i như mô tả trong 14:

Bước 3: So sánh độ tương quan giữa ảnh y i thu được từ (2.9) và ảnh ban đầu y:

𝑐𝑜𝑟𝑟 = 𝑐𝑜𝑟𝑟2𝑑(𝑦, 𝑦 𝑖 ); (2.10) Ảnh mờ (𝑑 𝑡𝑟𝑢𝑒 = 4,0 mm) PSF (d = 4,0 mm) Sau giải chập

38 Độ sâu ước lượng d est là độ sâu xác định d i khi độ tương quan đạt cực đại

Bước 4: Tính toán sai biệt (residual) r giữa ảnh thu được y và ảnh y i-est ở độ sâu d est :

Bước 5: Giải chập sai biệt (residual) r với PSF tương ứng với độ sâu d est :

Bước 6: Ảnh tái tạo x abs là tổng:

Bước 7: Kích thước của cấu trúc được xác định bằng cách xác định full-width-half- maximum (FWHM) trong ảnh tái tạo x abs

PSF (d = 6,0 mm) Hình 2.14 Mô tả quá trình tích chập ảnh thu được với PSF ở các độ sâu khác nhau

39 Phương pháp này đã được tác giả khảo sát và thực hiện công bố trong Kỷ yếu Hội nghị Quốc tế CAEP VI, Thái Nguyên, 22-26/10/2019 (Ngoc An Dang Nguyen, Minh Quang Nguyen, To Ni Phan Van, Hoang Nhut Huynh, Anh Tu Tran, Phuong Anh Bui, Trung

An Dang Nguyen, Van Chinh Nguyen, Koichi Shimizu, and Trung Nghia Tran, 3D Reconstruction Of Absorbing Structure In Biological Tissue From Single 2D Near Infrared Transillumination –image - Blood Vessel Phantom Study, Proceedings Advances in Applied and Engineering Physics VI, 298 - 303, 2019 ISBN: 978 – 604 -

Phương pháp này đã được tác giả khảo sát và thực hiện công bố Tạp chí Phát triển Khoa học Công nghệ - chuyên san Khoa học Công nghệ - VNUHCM (Ngoc An Dang Nguyen,

To Ni Phan Van, Kohei Yamamoto, Minh Quang Nguyen, Anh Tu Tran, Takeshi Namita, Koichi Shimizu and Trung Nghia Tran, Depth estimation of the absorbing structure in a slab turbid medium using point spread function, VNUHCM Journal of Engineering and Technology, 3(SI3), SI10-SI21, 2020 ISSN: 2615-9872).

Ước lượng độ rộng của cấu trúc hấp thụ ánh sáng

Kích thước bề rộng của cấu trúc hấp thụ ánh được ướcc lượng thông qua việc ước lượng FWHM (Full width at half maximum) trong các ảnh đã khôi phục x abs như mô tả ở Hình 2.15

Theo tính chất của hàm Gaussian, ta có

Hình 2.15 Độ rộng của cấu trúc hấp thụ

40 Phương pháp xác định FWHM và tìm vị trí có đỉnh cực đại (peak_max) được mô tả như sau:

Xét không gian một chiều 1D với mảng ma trận đơn giản có dạng: a b c d e f g h i

2 5 3 1 3 4 7 9 8 và giả sử tất cả những số trong ma trận này từ a - i) đều dương

Nếu một giá trị lớn hơn hoặc bằng các giá trị bên trái và bên phải của nó thì có thể xem nó là một đỉnh Trong trường hợp ở vị trí biên thì chỉ so sánh với một phía Ví dụ ở vị trí 2 được xem là đỉnh khi và chỉ khi b  a và b  c và vị trí 9 được xem là đỉnh khi i  h

Từ đây ta sẽ xác định thuật toán như sau:

Hình 2.16 Ma trận A[1…n], xác định điểm đỉnh

Giả sử đỉnh (temp_peak) nằm ở giữa, các giá trị sẽ bắt đầu tăng dần từ trái sang phải đến đỉnh và sau đó giảm dần Do đó thuật toán sẽ xem xét vị trí 𝑛

2− 1]thì đỉnh nằm về bên trái, thực hiện vòng lặp đi từ [ 𝑛

2] ->1 cho đến khi xác định được giá trị lớn nhất thì vòng lặp dừng lại

2+ 1] thì đỉnh nằm phía bên phải, thực hiện vòng lặp đi từ [ 𝑛

>n cho đến khi xác định được giá trị lớn nhất thì vòng lặp dừng lại

2] là đỉnh khi và chỉ khi: 𝐴 [ 𝑛

41 Mặt khác hình ảnh nguồn sáng điểm chụp trong điều kiện lý tưởng, không bị nhiễu như thì đường biểu diễn cường độ sáng dọc theo đường giữa mô tả trên hình vẽ sẽ có dạng giống phân bố Gaussian

Hình 2.17 Nguồn sáng điểm và đường biểu diễn cường độ dọc theo vị trí trung tâm

√2𝜋𝜎 2 𝑒 −(𝑥−𝜇)2 2𝜎2 với  là độ lệch chuẩn và à là trung bỡnh

FWHM của hàm Gaussian thu được từ hàm: f(x)= 𝐶𝑒 −(𝑥−𝜇)2 2𝜎2 Đặt (𝑥 − 𝜇) = ℎ ở vị trí một nửa chiều cao tối đa ta có phương trình: 1

Với FWHM là chiều rộng tối đa ở một nửa Ở đây, FWHM không phụ thuộc vào x, chỉ phụ thuộc theo  Do đó nếu biết được  ta sẽ tính được bề rộng phân bố (FWHM)

Cách xác định độ lệch chuẩn  :

42 Chọn các giá trị quanh đỉnh để làm khớp và dựa vào phương pháp tính sai phân trung tâm để tuyến tính hàm Gaussian ta có thể xác định độ lệch chuẩn

Công thức tính gần đúng đạo hàm theo phương pháp sai phân trung tâm:

Mặt khác logarit cơ số e cho hai vế của phương trình hàm Gaussian ta có:

Phương trình (2.20) trở thành Y=ax+b Đại lượng 𝑌 = 𝑙𝑛 𝑦 (𝑥−1)

𝑦 (𝑥+1) rõ ràng là một hàm tuyến tính theo x Áp dụng phương pháp hồi quy tuyến tính ta có:

Sau khi biết bề rộng của cấu trúc (FWHM), ta có thể tái tạo lại đường biểu diễn cường độ sáng bằng hàm Gaussian

Phương pháp này đã được tác giả khảo sát và thực hiện công bố trong Kỷ yếu Hội nghị Quốc tế CAEP VI, Thái Nguyên, 22 - 26/10/2019 (Ngoc An Dang Nguyen, Minh Quang Nguyen, To Ni Phan Van, Hoang Nhut Huynh, Anh Tu Tran, Phuong Anh Bui, Trung

An Dang Nguyen, Van Chinh Nguyen, Koichi Shimizu, and Trung Nghia Tran, 3D Reconstruction Of Absorbing Structure In Biological Tissue From Single 2d Near Infrared Transillumination image - Blood Vessel Phantom Study, Proceedings Advances in Applied and Engineering Physics VI, 298 - 303, 2019 ISBN: 97 8 – 604 -

Ứng dụng học sâu trong khử mờ tán xạ và ước lượng thông tin cấu trúc hấp thụ

thụ Ứng dụng học sâu với các mạng tích chập trong khử mờ tán xạ và ước lượng độ sâu của cấu trúc hấp thụ được đề xuất và khảo sát bởi Phan Văn Tô Ni tại Đại học Waseda, Nhật Bản dưới sự hướng dẫn của Trần Trung Nghĩa, Hiroshi Inujima và Koichi Shimizu Các kết quả của các khảo sát tính khả thi cũng như hiệu quả thông qua mô phỏng và thực nghiệm đã được Phan Văn Tô Ni thực hiện và công bố năm 2021 [43] Tuy nhiên, các kết quả trong công bố này vẫn còn một số hạn chế trong quá trình triển khai, chẳng hạn như giới hạn của hiệu quả khử mờ và ước lượng bị giới hạn đối với các cấu trúc có độ sâu khoảng 10,0 mm

Trong luận án này, một giải pháp mới đã được đề xuất để tăng cường hiệu quả khử mờ và ước lượng độ sâu của cấu trúc với các cấu trúc khác nhau ở sâu hơn bên trong môi trường tán xạ Kết quả của giải pháp này đã được khảo sát, đánh giá và công bố [52].

Mạng nơ-ron tích chập (CNN)

Mạng nơ-ron tích chập (CNN) là một trong những mô hình học sâu hiện đại nhất hiện nay như mô tả trong Hình 2.18 Kiến trúc này thường được sử dụng để xử lý hình ảnh, nhận dạng hình ảnh và phân tích video CNN có thể thu nhận một hình ảnh đầu vào, xác

44 định đặc trưng của các đối tượng khác nhau trong hình ảnh và có thể phân biệt một hình ảnh với những hình ảnh khác Tên gọi “tích chập” bắt nguồn từ một phép toán liên quan đến tích chập của các hàm khác nhau CNN bao gồm một đầu vào và một lớp đầu ra, cũng như nhiều lớp ẩn Các lớp ẩn của CNN thường bao gồm một loạt các lớp phức hợp Cách thức hoạt động của CNN, đầu tiên mạng nhận dữ liệu đầu vào, mỗi đầu vào hình ảnh sẽ đi qua một loạt các lớp tích chập cùng với hàm phi tuyến, rồi tới các lớp gộp Tiếp theo, làm phẳng đầu ra và đưa nó vào lớp được kết nối đầy đủ, nơi tất cả các lớp của mạng được kết nối với mọi nơ-ron từ lớp trước đến các nơ-ron từ lớp tiếp theo để đưa ra kết quả phân loại

Hình 2.18 Cấu trúc của mạng CNN [53].

Mạng tích chập toàn phần (FCN)

Kiến trúc cơ bản trong phân đoạn hình ảnh bao gồm một bộ mã hóa (encoder) và một bộ giải mã (decoder) Bộ mã hóa có nhiệm vụ trích xuất các đặc trưng từ hình ảnh Bộ giải mã dùng để tạo ra đầu ra cuối cùng thường là một mặt nạ phân đoạn đối tượng Một số mô hình mạng học sâu hiện đại trong nhiệm vụ phân đoạn như: FCN, Unet

Mô hình mạng nơ-ron tích chập toàn phần (FCN) như mô tả trong Hình 2.19, được giới thiệu bởi J Long và cộng sự, là một kiến trúc mạng có phần mã hóa được xây dựng dựa trên kiến trúc mạng CNN nhưng đã lược bỏ đi các lớp kết nối đầy đủ nhằm mục đích phân đoạn một hình ảnh đầu vào bằng cách dự đoán nhãn cho từng pixel trên ảnh đầu

45 vào [54] Tại phần giải mã, FCN sử dụng các lớp tích chập và lớp tích chập chuyển vị để tạo ra đầu ra có kích thước tương tự với đầu vào Tuy nhiên, ranh giới đầu ra đối tượng dự đoán thường bị mờ do mất độ phân giải trong quá trình gộp

Hình 2.19 Kiến trúc mạng FCN [54].

U-Net

Mô hình mạng U-Net được giới thiệu bởi O Ronneberger và cộng sự dành cho phân đoạn ảnh y sinh với cấu trúc như mô tả trong Hình 2.20 [55] U-Net được cải tiến và phát triển dựa trên mô hình mạng FCN Phần mã hóa cũng gồm các lớp tích chập và các lớp gộp tương tự như các mạng nơ-ron tích chập truyền thống Phần giải mã sử dụng các lớp tích chập và lớp tích chập chuyển vị Điểm nổi bật của U-Net là sử dụng các kết nối tắt (skip connection) để kết hợp thông tin từ các lớp trong phần mã hóa trước đó với các lớp trong phần giải mã Việc sử dụng kết nối tắt nhằm phục hồi lại thông tin đã mất trong quá trình gộp So với mô hình FCN, mô hình U-Net cho kết quả phân đoạn ảnh tốt hơn Tại thời điểm công bố, mô hình đã đạt được độ chính xác đứng đầu bảng trong thử thách về phân vùng ảnh chụp từ kính hiển vi điện tử, phân vùng tế bào trong ảnh được tổ chức bởi Hội nghị quốc tế về hình ảnh y sinh (ISBI)

Hình 2.20 Kiến trúc mạng U-Net [55]

Về cơ bản U-Net được xây dựng nhằm giải quyết hai vấn đề cụ thể đối với lĩnh vực phân đoạn ảnh y sinh Đầu tiên là việc thiếu bộ dữ liệu đào tạo lớn trong lĩnh vực này Mục tiêu của kiến trúc này là tạo ra kết quả phân đoạn tốt hơn với số lượng dữ liệu đào tạo tương đối ít Các mạng thần kinh học sâu truyền thống có một số lượng lớn các tham số để tìm hiểu, do đó thường đòi hỏi các bộ dữ liệu đào tạo phải lớn Vấn đề thứ hai mà kiến trúc mạng U-Net đã khắc phục là nắm bắt chính xác bối cảnh và khoanh vùng các đối tượng ở những kích thước, độ phân giải khác nhau Hiện nay, U-Net là mô hình được sử dụng phổ biến nhất trong phân đoạn hình ảnh.

Kỹ thuật tạo bộ dữ liệu đào tạo

Kỹ thuật học sâu yêu cầu phải huấn luyện nhiều cặp dữ liệu để đảm bảo quá trình huấn luyện có độ chính xác tối ưu và hiệu suất Việc tạo ra tập dữ liệu thông qua các thí nghiệm là một thách thức đối với các kỹ thuật chụp ảnh quang học để tạo ra số lượng cặp dữ liệu đào tạo phù hợp Tuy nhiên, thách thức đã được giải quyết thông qua việc sử dụng hàm điểm PSF phụ thuộc vào độ sâu như đã mô tả ở trên bằng cách thiết lập một số lượng ảnh cấu trúc hấp thụ gốc một cách ngẫu nhiên và tích chập với hàm sáng điểm PSF ở các độ sâu khác nhau Điều này làm cho tập dữ liệu về hình ảnh truyền qua cho kỹ thuật học sâu trở nên dễ dàng và dễ dàng hơn Hiệu quả của phương pháp này đã được đánh giá và xác nhận một cách nghiêm ngặt thông qua các thí nghiệm tương đương với mô và trên động vật nhỏ [20], [43]

47 Giá trị của phép tính gần đúng khuếch tán dựa trên điều kiện là độ dày của môi trường tán xạ lớn hơn đáng kể so với độ dài đường tự do trung bình là 1 à ′ 𝑠 , và bề mặt quan sỏt rộng vô hạn Trong thực tế, mặt phẳng ảnh không rộng vô hạn Vì vậy, nó là cần thiết để đảm bảo rằng sự phân bố ánh sáng trên mặt phẳng ảnh vẫn có phân bố Gaussian với chiều rộng ít nhất gấp ba lần độ lệch chuẩn trong khi đặt nguồn sáng điểm ở vị trí sâu nhất của mô hình Vì vậy, cần hết sức thận trọng khi áp dụng các biện pháp trên trong trường hợp √𝜌 2 + 𝑑 2 không lớn hơn 1 à ′ 𝑠

Hình ảnh gốc tạo ra ban đầu được thu từ ảnh của 12 mẫu cấu trúc riêng biệt được thiết kế ngẫu nhiên và đặt trong môi trường trong suốt Hình 2.21 thể hiện 10 trong số 12 cấu trúc gốc được sử dụng để tạo dữ liệu đào tạo [43] Các cấu trúc này đã được sử dụng để khảo sát tính khả thi khi ứng dụng mạng học sâu trong nghiên cứu của Phan Văn Tô Ni và cộng sự [43]

Các thông số quang học là các thông số thực hiện để tạo bộ dữ liệu như sau: Hệ số tán xạ μ’ s = 1,00 mm -1 , hệ số hấp thụ à a = 0,0056 mm -1 Tỉ lệ 100/1324 mm/pixel Chiều ngang ảnh X = 2025 pixel; Chiều dọc ảnh Y = 2025 pixel

Hình 2.21 Hình mô tả các cấu trúc gốc được sử dụng để tạo dữ liệu đào tạo [43]

Với mục tiêu mong đợi để có được một hình ảnh rõ nét dưới dạng đầu ra của mô hình đào tạo Fully Convolutional Network (FCN) và ước lượng độ sâu dưới dạng đầu ra của mô hình đào tạo Convolutional Neural Network (CNN) từ hình ảnh mờ của cấu trúc hấp thụ Tính khả thi của kỹ thuật này đã được kiểm tra thông qua mô phỏng và thực nghiệm [20], [43] Các hình ảnh mờ của cấu trúc hấp thụ được tạo ra từ các hình ảnh rõ nét ban

48 đầu bằng cách tích chập với các hàm sáng điểm PSF được tính từ công thức (1.10) bằng MATLAB Hình 2.22 mô tả quá trình tạo các cặp dữ liệu đào tạo ở các độ sâu khác nhau Hình ảnh gốc và hình ảnh bị mờ được sử dụng làm cặp huấn luyện cho mạng tích chập toàn phần (FCN) để tiến hành khử mờ hình ảnh như mô tả trong Hình 2.21 Độ sâu d và hình ảnh mờ được sử dụng làm cặp huấn luyện cho mạng nơron tích chập (CNN) để ước tính độ sâu cấu trúc hấp thụ như mô tả trong Hình 2.22

Hình 2.22 Hình mô tả các cặp dữ liệu đào tạo được tạo ra bằng cách tích chập [43] Đối với mô hình khử mờ tán xạ, tập dữ liệu gồm 204.000 cặp hình ảnh Tập dữ liệu tổng được thu thập từ bốn bộ dữ liệu, mỗi bộ dữ liệu mô phỏng các đối tượng có kích thước khác nhau, cụ thể là phóng đại 0,1; 0,5; 1,0; và 2,0 lần cấu trúc gốc trong phạm vi độ sâu từ 0,1 mm đến 100,0 mm, với kích thước bước là 0,1 mm Mỗi tập dữ liệu này cho ra 51.000 cặp ảnh Mỗi cặp hình ảnh được tăng cường dữ liệu bằng cách xoay góc, từ 0 độ đến 360 độ với bước chuyển 20 độ như minh họa trong Hình 2.22 Bộ dữ liệu được sử dụng để huấn luyện, tổng cộng có 3.672.000 cặp hình ảnh như trong Bảng 2.1

49 Hình 2.23 Mô hình tạo tập dữ liệu

Quy trình huấn luyện của mô hình khử mờ tán xạ được thể hiện trong Hình 2.24 Sau khi chuẩn bị bộ dữ liệu gồm 4 độ phóng đại khác nhau (hình vẽ thể hiện dữ liệu của 1 mẫu trong 12 mẫu đã chuẩn bị), cặp dữ liệu bao gồm ảnh gốc và ảnh mờ có độ sâu từ 0,1 đến 100,0 mm (bước 0,1mm) sẽ được đưa vào mô hình FCN Đầu ra của mô hình sẽ là hình ảnh được khử mờ của cấu trúc hấp thụ

Hình 2.24 Quy trình đào tạo mạng học sâu cho mô hình khử mờ tán xạ

Hình 2.25 Quy trình đào tạo mạng học sâu cho mô hình ước lượng độ sâu

50 Trong môi trường trong suốt, các đối tượng có kích thước khác nhau có thể được phân biệt Tuy nhiên, trong môi trường tán xạ, sự phân biệt này thường trở nên khó khăn, đặc biệt khi các vật thể có kích thước khác nhau cùng tồn tại và phân bố ở các độ sâu khác nhau Để giải quyết thách thức này, khi đào tạo mô hình khử mờ tán xạ với cấu trúc phức tạp có chứa các cấu trúc kích thước khác nhau trong cùng một ảnh, luận án đã sử dụng bốn kích thước khác nhau bằng cách điều chỉnh độ phóng đại cấu trúc gốc với tỷ lệ 0,1; 0,5; 1,0; và 2,0 Cách tiếp cận này giải quyết một cách hiệu quả vấn đề khử mờ đối với các cấu trúc phức tạp mà trong đó chiều rộng của cấu trúc là thông tin quan trọng Một ví dụ điển hình liên quan đến các vật thể nhỏ nằm ở độ sâu đáng kể; hình ảnh chúng tạo ra có thể lớn hơn và thường bị hiểu sai là những vật thể lớn hơn ở gần bề mặt hơn Hiệu ứng này được minh họa trong Hình 2.26, trong đó hiển thị bốn hình ảnh, mỗi hình đại diện cho một đối tượng có kích thước và phân bố ở các độ sâu khác nhau Sau khi tích chập với hàm PSF để mô phỏng hiệu ứng tán xạ, hình ảnh bị biến dạng rõ rệt

Hình 2.26 mô tả hệ số tương quan giữa các ảnh tích chập A, B, C và D cao đối với cặp

A và B (∆𝑑 = 20 mm và 𝜎 = 0,9887), A và C (∆𝑑 = 40 mm và 𝜎 = 0,8964), A và D ( ∆𝑑

= 80 mm và 𝜎 = 0,5926), B và C (∆𝑑 = 20 mm và 𝜎 = 0,9487), B và D (∆𝑑 = 60 mm và

51 Hình 2.26 Các hình ảnh gốc có kích thước và độ sâu khác nhau (trái) và kết quả đầu ra tương ứng sau khi tích chập với PSF (phải)

Hình 2.27 Hệ số tương quan và đường biểu diễn cường độ sáng ở giữa các hình (A),

(B), (C), (D) trong Hình 2.26 sau khi tích chập

52 Bất chấp sự khác biệt về độ sâu, mối tương quan cao nhấn mạnh thách thức của việc phân biệt các vật thể có kích thước khác nhau ở các độ sâu khác nhau Các giá trị tương quan này ảnh hưởng đáng kể đến hiệu suất và độ tin cậy của ước tính kích thước trong đầu ra của mô hình khử mờ tán xạ Trong nghiên cứu này, việc sử dụng độ phóng đại 0,1; 0,5; 1,0; và 2,0 thể hiện nhiều kích cỡ khác nhau Việc bao gồm các kích thước khác sẽ được phát triển và thực nghiệm trong nghiên cứu trong tương lai

Trong mô hình ước tính độ sâu, tập dữ liệu bao gồm các cặp hình ảnh mờ và thông tin độ sâu tương ứng Những hình ảnh mờ này được tạo ra bằng cách kết hợp các hình ảnh gốc với hàm PSF Tương tự như mô hình làm mờ, các kỹ thuật tăng cường dữ liệu được áp dụng nhưng chỉ dành riêng cho dữ liệu có độ phóng đại 1,0 Việc phân bổ tập dữ liệu là 80% cho đào tạo, 10% cho thử nghiệm và 10% cho xác thực, tổng cộng có 918.000 cặp dữ liệu, như trong Bảng 2.1 Hình 2.28 minh họa quá trình đào tạo mô hình ước lượng độ sâu Mô hình sẽ đưa ra thông tin độ sâu tương ứng với cấu trúc tán xạ trong ảnh đầu vào

Bảng 2.1 Phân bố dữ liệu cho đào tạo và kiểm tra cho quá trình khử mờ tán xạ và ước lượng độ sâu

Hệ số phóng đại so với tập dữ liệu gốc Đào tạo Thử nghiệm Xác thực Tổng cộng

Phương pháp ước tính độ sâu đã áp dụng một phương pháp riêng biệt để sử dụng dữ liệu, đặc biệt tập trung vào tập dữ liệu có kích thước đối tượng là 1 Quyết định này xuất

53 phát từ các quan sát thực nghiệm trong quá trình đào tạo sơ bộ, cho thấy rằng các số liệu đánh giá tạo ra các giá trị đồng nhất và tương quan nhất trên các kích thước đối tượng khác nhau Bằng cách tập trung vào một quy mô duy nhất, quá trình đào tạo sẽ tránh được sự pha loãng từ các biến thể không đóng góp, duy trì quỹ đạo học tập trung và hiệu quả Cách tiếp cận này không chỉ bảo tồn tài nguyên tính toán bằng cách tránh đào tạo về các bộ dữ liệu có tác động không đáng kể đến trình độ ước tính độ sâu mà còn cho phép mô hình hiểu rõ hơn về sự phức tạp của ước tính độ sâu mà không gây ảnh hưởng từ các bộ dữ liệu có kích thước khác nhau

Cuối cùng, trong khi các kích thước đối tượng đa dạng nâng cao quá trình khử mờ bằng cách cung cấp phạm vi học tập rộng, mô hình ước tính độ sâu đã đạt được hiệu quả đào tạo tối ưu bằng cách nhắm mục tiêu cụ thể vào tập dữ liệu có kích thước 1 Sự phân kỳ chiến lược này nêu bật nhu cầu quan trọng về việc tùy chỉnh các phương pháp đào tạo để đáp ứng các nhu cầu riêng biệt và thách thức của từng thành phần trong khuôn khổ học tập sâu.

Khử mờ bằng FCN

Kết quả ảnh rõ nét hơn có thể thu được dưới dạng đầu ra của mạng nơ-ron tích chập khi cho đầu vào là hình ảnh bị mờ nếu mạng nơ-ron được huấn luyện với nhiều cặp hình ảnh trước và sau khi làm mờ Trong học sâu, FCN thường được sử dụng để phân loại, phát hiện và phân đoạn hình ảnh Trong đề xuất của Phan Văn Tô Ni và của luận án này, đầu ra của mạng tích chập phải là một hình ảnh đã được sửa đổi

Trong nghiên cứu của Phan Văn Tô Ni đã sử dụng mạng tích chập toàn phần (FCN) dựa trên mạng U-net có kết nối được bỏ qua Do đó, FCN được sử dụng trong đó lớp kết nối toàn phần cuối cùng đã được thay thế bằng lớp chập

Hình 2.28 trình bày khái niệm khử mờ bằng FCN

54 Hình 2.28 Hình mô tả quá trình đào tạo và khử mờ bằng FCN Để khử mờ trên ảnh cấu trúc hấp thụ với các độ sâu hơn, mô hình Attention U-Net và mô hình Attention Res-UNet đã được tác giả đề xuất và khảo sát cho quá trình khử mờ [52] Cổng chú ý (attention) là một cơ chế nhấn mạnh có chọn lọc các vùng quan tâm cụ thể đồng thời ngăn chặn việc kích hoạt các vùng không liên quan trên một đầu vào bản đồ đặc trưng X Để đạt được điều này, cổng chú ý tận dụng tín hiệu cổng G ∈ ℝC’ × H × W𝐺, thu được ở quy mô thô hơn và kết hợp thông tin theo ngữ cảnh Khi sự chú ý bổ sung được sử dụng, cổng chú ý sẽ tính toán hệ số điều phối Ban đầu, cả đầu vào X và tín hiệu cổng G đều trải qua ánh xạ tuyến tính tới không gian ℝ𝐹×𝐻×𝑊 Sau đó, đầu ra được nén trong miền kênh để tạo bản đồ trọng số chú ý theo không gian 𝑆∈ℝ1×𝐻×𝑊, như được mô tả trong Hình 2.29 Toàn bộ quá trình có thể được xây dựng như mô tả trong công thức (2.17) và công thức (2.18), trong đó 𝜙, 𝜙𝑥, và 𝜙𝑔 là các phép biến đổi tuyến tính được thực hiện dưới dạng tích chập 1×1 [56]

Các khối dư, là các khối bỏ qua kết nối, được thiết kế để tìm hiểu các hàm dư bằng cách tham chiếu đến đầu vào của lớp thay vì học các hàm không được tham chiếu Các khối

55 này ban đầu được giới thiệu như một thành phần của kiến trúc Res-Net Theo nghĩa hình thức, biểu thị ánh xạ cơ bản mong muốn là 𝐻(𝑥), các lớp phi tuyến tính xếp chồng lên nhau nhằm mục đích ước tính một ánh xạ bổ sung nhằm nắm bắt sự khác biệt giữa đầu ra hiện tại và đầu vào, được mô tả trong công thức (2.30) Bằng cách mô hình hóa rõ ràng ánh xạ phần dư, mạng có thể tìm hiểu các hàm phần dư một cách hiệu quả và tăng cường tối ưu hóa

Hình 2.29 Sơ đồ mô tả cổng chú ý (attention gate) Ánh xạ ban đầu được định dạng lại thành (x) + x, trong đó F(x) + x, đại diện cho thành phần dư, do đó dẫn đến thuật ngữ “khối dư H(x)” Cơ sở lý luận đằng sau cách tiếp cận này nằm ở chỗ việc tối ưu hóa ánh xạ dư thường khả thi hơn việc tối ưu hóa ánh xạ ban đầu, không được tham chiếu Trong một số trường hợp nhất định, việc giảm thiểu phần dư để đạt đến mức 0 có thể đơn giản hơn việc điều chỉnh ánh xạ nhận dạng bằng cách sử dụng một loạt các lớp phi tuyến tính Mạng được trang bị tốt hơn để tìm hiểu các ánh xạ giống với các phép biến đổi danh tính bằng cách kết hợp các kết nối bỏ qua Khung đề xuất bao gồm một kiến trúc học sâu mới được gọi là Att-Res-UNet và một hàm mất mát mới dựa trên mất mát Dice Att-Res-UNet kết hợp đường trục bộ mã hóa/giải mã U-Net với các kết nối còn lại, cấu trúc chập Atrous, nhóm phân tích cú pháp và suy luận

56 đa nhiệm, do đó nâng cao khả năng của nó cho các tác vụ phân tích hình ảnh khác nhau, như trong Hình 2.30

Hình 2.30 Sơ đồ mô tả khối dư (residual block).

Ước lượng độ sâu bằng CNN

Trong hình ảnh truyền qua, mức độ mờ phụ thuộc vào độ sâu của cấu trúc hấp thụ trong môi trường tán xạ, với độ sâu tăng dần dẫn đến hình ảnh ngày càng mờ hơn Để ước tính độ sâu của cấu trúc hấp thụ, mô hình mạng nơron tích chập (CNN) được huấn luyện bằng cách sử dụng các hình ảnh mờ được tạo ra Phan Văn Tô Ni đã sử dụng mạng nơ- ron tích chập dựa trên Res-Net (CNN) trong nghiên cứu trước và có các kết quả khả quan [43] Quá trình đào tạo cho mô hình ước tính độ sâu được thể hiện trực quan trong Hình 2.30 Tác giả luận án đã sử dụng bốn mô hình được đào tạo trước là Res-Net50, VGG-16, VGG-19 và Dense-Net169 cho thử nghiệm ước tính độ sâu Các hình ảnh được ghép nối với nhãn độ sâu tương ứng trong giai đoạn huấn luyện Ước tính độ sâu của cấu trúc hấp thụ có được bằng cách nhập hình ảnh mờ vào mô hình CNN Quá trình này phù hợp với nhiệm vụ phân loại cơ bản trong học sâu Hình 2.31 minh họa quy trình ước tính độ sâu của cấu trúc hấp thụ bằng mô hình CNN

Hình 2.31 Hình mô tả quá trình đào tạo và ước lượng độ sâu bằng CNN.

Phương pháp quét từng điểm ảnh (pixel-by-pixel scanning)

Tái tạo cấu trúc 3D từ những thông tin kết hợp từ mô hình FCN (Attention U-Net) và CNN (DenseNet-169) cho thấy một bước tiến trong phương pháp xử lý và phân tích hình ảnh Trong cách tiếp cận này, tác giả tận dụng thế mạnh của học sâu để giải quyết hiệu quả các thách thức đặt ra do sự tán xạ trong hình ảnh truyền qua của các cấu trúc hấp thụ trong môi trường tán xạ

Trong Hình 2.32, nguyên tắc hoạt động của phương pháp ma trận quét từng điểm ảnh được minh họa Ma trận vùng màu xám được mô tả, bao gồm B × B pixels, thể hiện hình ảnh mờ đang được xem xét Ma trận vùng màu xanh lá cây, mở rộng trên S × S pixels, đóng vai trò là ma trận quét Việc áp dụng kỹ thuật đệm số 0 (zero-padding) sẽ tạo ra hình ảnh tăng cường có kích thước (2– + B - 2) × (2– + B - 2) Do đó, cung cấp các điểm dữ liệu bổ sung để phân tích Trong suốt quá trình tính toán, ma trận quét sẽ điều hướng theo chiều ngang từ trái sang phải và sau đó từ vùng trên xuống vùng dưới của hình ảnh không có phần đệm

Mỗi điểm ảnh (pixel) hoặc ô tính toán trong ma trận quét được đánh giá bằng mô hình FCN /CNN Sau đó, giá trị ước tính được ghi vào chuỗi tương ứng với pixel cụ thể đó Khi quá trình quét hoàn tất, giá trị ước lượng có tần số ước tính cao nhất sẽ được chọn làm giá trị cuối cùng cho các điểm ảnh liên quan, được trình bày qua công thức (2.31):

Do đó, phương pháp này cung cấp cách tiếp cận phân tích pixel toàn diện có khả năng cải thiện độ rõ nét và độ chính xác của hình ảnh y sinh, đặc biệt trong các ứng dụng yêu cầu độ phân giải tỉ mỉ và chi tiết chính xác

Hình 2.32 Phương pháp quét từng điểm ảnh

Hình 2.32 minh họa ước lượng giá trị pixel trong trường hợp chế độ khử mờ và ước lượng độ sâu tương ứng Hình 2.33A mô tả quá trình khử mờ cho hình ảnh mờ 3 × 3, được mô tả bằng màu vàng và được xử lý bằng ma trận quét màu xanh lá cây 2 × 2 làm đầu ra của mô hình làm mờ, bao gồm bốn bước trượt riêng biệt, được gắn nhãn bước I,

Khi kiểm tra pixel tại tọa độ (2, 2), quá trình khử mờ sẽ hiển thị các giá trị 0, 1;1 và 1 cho mỗi bước tương ứng Hiệu ứng này là kết quả của mã nhị phân của mặt nạ huấn luyện của hình ảnh, dữ liệu giới hạn các giá trị cường độ điểm ảnh ở mức 0 hoặc 1 Do đó, đầu ra của mô hình làm mờ là nhị phân, được giới hạn ở hai giá trị này Theo phương trình (2.31), phương trình trả về kết quả có tần số cao nhất trong tập hợp, giá trị tại pixel tại tọa độ (2, 2) được tính là 1 Sau đó, quy trình này được lặp lại một cách có hệ thống cho các pixel còn lại trong ma trận 3 × 3

59 Hình 2.33 Minh họa ước tính giá trị pixel: (A) khử mờ và (B) ước lượng độ sâu

Mạng tích chập toàn phần (FCN), cụ thể là mạng Attention ResU-Net, đóng một vai trò then chốt trong việc khử mờ và khôi phục hình ảnh bị mờ Với kích thước ma trận 256 × 256 pixels, mô hình FCN phân tích pixel hình ảnh bị mờ theo từng pixel Cách tiếp cận này giảm thiểu tác động của sự tán xạ, mang lại hình ảnh khử mờ hai chiều (2D) rõ ràng và sắc nét giúp nâng cao khả năng hiển thị của các cấu trúc hấp thụ Tuy nhiên, quá trình trượt đôi khi có thể dẫn đến thiếu hụt điểm ảnh ở các cạnh của hình ảnh Để giải quyết vấn đề này và đảm bảo xử lý thống nhất tất cả các vùng hình ảnh theo mô hình FCN, kỹ thuật đệm 0 (zero-padding) đã được sử dụng Kỹ thuật này đệm các cạnh của hình ảnh bằng các số 0, mở rộng kích thước của hình ảnh một cách hiệu quả để cho phép khử mờ toàn diện mà không ảnh hưởng đến độ chính xác của kết quả

Trong trường hợp mô hình ước lượng độ sâu sử dụng cùng một hình ảnh mờ 3 × 3, được xử lý với ma trận quét màu xanh lá cây 2 × 2, phương pháp cũng bao gồm bốn bước trượt (I, II, III và IV), như minh họa trong Hình 2.33B

Tại tọa độ định vị pixel (2, 2), giá trị ước lượng độ sâu tính toán cho các bước này lần lượt là 5,0; 5,1; 5,2; và 5,0 Các giá trị này được lấy từ dữ liệu huấn luyện của mô hình ước tính độ sâu, bao gồm hình ảnh mờ và độ sâu nhãn tương ứng trong khoảng từ 0,1 mm đến 100,0 mm, với bước tăng 0,1 mm Do đó, mô hình dự đoán một tập hợp các giá trị độ sâu Theo phương trình (2.34), giá trị độ sâu tại điểm pixel (2, 2) được xác định là

60 5,0 mm Quá trình từng bước này lặp lại tương tự cho các pixel khác trong ma trận 3 ×

3 Mô hình CNN chịu trách nhiệm ước lượng độ sâu có ý nghĩa quyết định đến quá trình tái tạo hình ảnh ba chiều (3D) Mô hình CNN hoạt động dựa trên ma trận kích thước

224 × 224 pixels và giống như mô hình FCN, nó trượt qua hình ảnh với từng bước pixel một Cách tiếp cận này cho phép mô hình CNN phân tích độ sâu của từng pixel, giúp ước tính chính xác sự phân bố không gian và đặc điểm của các cấu trúc hấp thụ

Phương pháp và các kết quả liên quan trình bày trong nội dung này đã được tác giả thực hiện công bố trên Tạp chí Applied Sciences (Ngoc An Dang Nguyen, Hoang Nhut Huynh, Trung Nghia Tran and Koichi Shimizu, Reconstructing 3D de-blurred structures from limited angles of view through turbid media using deep learning, Applied Sciences, 14(5), 1689, 2024.).

Cách đánh giá mô hình học sâu

Các chỉ số đánh giá phổ biến

Phương pháp đánh giá được sử dụng phổ biến trong đánh giá mạng học sâu là “Ma trận nhầm lẫn” (Confusion Matrix), đây là ma trận bảng được sử dụng trong quá trình đánh giá hiệu suất mô hình phân loại rất nhiều nhà nghiên cứu Phương pháp này rất dễ hình dung đồng thời lại trực quan và dễ hiểu, để có thể hiểu về phương pháp này có thể hình dung qua ví dụ sau:

Một trăm mẫu xét nghiệm được đưa vào mô hình dự đoán trong đó có 60 mẫu mang bệnh và 40 mẫu không mang bệnh Sau khi được qua mô hình dự đoán ta thu được kết quả như sau:

+ Trong 60 mẫu bệnh thì 45 mẫu được xác định bệnh dương tính còn 15 mẫu được dự đoán âm tính

+ Trong 40 mẫu không mang bệnh thì 30 mẫu được xác định âm tính còn 10 mẫu được dự đoán là dương tính

Ký hiệu được quy định như sau:

P (Condition positive): Tổng số ca dương tính thực tế;

N (Condition negative): Tổng số ca âm tính thực tế;

TP (True positive): Số ca dự đoán dương tính đúng;

TN (True negative): Số ca dự đoán âm tính đúng;

FP (False positive): Số ca dự đoán dương tính giả;

FN (False negative): Số ca dự đoán âm tính giả

Bảng tóm tắt tổng quát các giả trị trên được minh họa chi tiết trong Hình 2.34

Hình 2.34 Tóm tắt chi tiết các giá trị trong ví dụ minh họa về ma trận nhầm lẫn Qua các thông số này, thông số đánh giá được tính toán như sau: Độ chuẩn xác – Accuracy:

Khi phát triển mô hình ước tính độ sâu, độ chuẩn xác được sử dụng làm thước đo phân loại để đo tỷ lệ các trường hợp được dự đoán chuẩn xác trong đó độ sâu dự đoán vượt quá độ sâu thực tế Nó cung cấp cái nhìn sâu sắc về hiệu suất của mô hình trên tập dữ liệu Độ chuẩn xác được tính bằng cách chia tổng của Âm tính thực (TN) và Dương tính thực (TP) cho tổng số mẫu trong tập dữ liệu kiểm thử Đây là giá trị tổng quan nhất để đánh giá nhanh mô hình, tuy nhiên nó có một điểm yếu là không thể đánh giá chi tiết cho từng nhãn trong mô hình được, ví dụ ta có 1.000 hình với 10 class với độ chính xác

62 90%, nghĩa là 900 tấm hình được dự đoán đúng còn 100 tấm bị dự đoán sai Nếu trường hợp 100 đó lại dồn hết về một nhóm thì trong thực tế nó là 1 thảm họa, ngoài ra thì ta không thể nhận biết và khắc phục điều này dễ dàng được đòi hỏi ta cần có sự kết hợp giữa nhiều thông số khác nhau Độ hồi – Recall:

Thông số này đặc trưng cho sự chính xác khi mô hình đưa ra dự đoán dương tính Nghĩa là recall càng cao thì khi mô hình dưa ra dự đoán là dương tính sẽ càng có giá trị Thông số này được dùng để đánh giá khá năng dự đoán đúng của mô hình trên từng nhãn

Thông số này đặc trưng cho xác suất dự đoán đúng của mô hình dựa trên các kết quả dự đoán trong lịch sử, thông số này có ý nghĩa trong việc theo dõi chất lượng mô hình của hiện tại với mô hình trong quá khứ Nghĩa là nếu thông số này tăng dần theo thời gian thì mô hình đang tốt lên và ngược lại

45 + 10= 0,82 (2.34) Điểm f1 – f1 score: Điểm f1 là phương thức “chấm điểm” cho mô hình, điểm F1 càng cao chứng tỏ khả năng mô hình hoàn thành nhiệm vụ đã đề ra càng tốt và ngược lại điểm F1 càng thấp thì mô hình có khả năng hoàn thành nhiệm đã đề ra càng kém

Giá trị trung bình –vĩ mô - macro average:

Thông số này là giá trị trung bình của các giá trị được biểu diễn trên nó trong ma trận nhầm lẫn

(2.36) trong đó N là số nhãn có trong tập dữ liệu, trong bài ví dụ này tập chỉ có một nên N=1 ta sẽ có phương trình được tính toán như sau:

Trung bình trọng số - weighted average:

Giá trị này đại diện cho điểm f1 trung bình nhân theo trọng số Nghĩa là nếu ta tính macro avg cho f1 thì giá trị đó chỉ là điểm trung bình của từng nhãn, tuy nhiên trong một số trường hợp tập phân loại nhãn của chúng ta dùng để đánh giá mô hình không có sự đồng đều về nhãn thì thông số này sẽ tối ưu hơn là tính giá trị trung bình vĩ mô Giá trị này được tính theo phương trình sau:

Trong đó: N là số nhãn có trong tập dữ liệu; f1 của nhãn N tức là giá trị f1 của nhãn đó ví dụ f1 của nhãn bình thường; Support (số mẫu kiểm tra) là thông số thể hiện số lượng ảnh của mỗi nhãn;

Tỉ lệ support là tỉ lệ phần trăm của nhãn đó trong tổng tệp ảnh đầu vào

Hệ số tương quan (correlation coefficient)

Hệ số tương quan là chỉ số đo lường mức độ tương quan hoặc mối quan hệ giữa hai hình ảnh Chỉ số này được tính toán dựa trên công thức:

√(∑ ∑ (𝐴 𝑚 𝑛 𝑚𝑛 − 𝐴̅) 2 )(∑ ∑ (𝐵 𝑚 𝑛 𝑚𝑛 − 𝐵̅) 2 ) (2.39) Với 𝐴 𝑚𝑛 và 𝐵 𝑚𝑛 là giá trị của điểm ảnh tại vị trí (𝑚 , 𝑛) trong hai hình ảnh A và B 𝐴̅ là giá trị trung bình của ma trận hình ảnh A và 𝐵̅ là giá trị ma trận hình ảnh B Việc tính

64 toán hệ số tương quan giúp đánh giá mức độ tương đồng giữa hai hình ảnh Phương pháp này bao gồm việc chuyển đổi hình ảnh thành các ma trận số và áp dụng các công thức thống kê để xác định mức độ tương quan

Hệ số DICE được phát triển để đánh giá sự giống nhau giữa hai mẫu Khi thực hiện phân đoạn hình ảnh bằng CNN, hệ số DICE hay LOSS DICE thường được sử dụng Khi thực hiện phân đoạn hình ảnh, muốn đánh giá mô hình trong quá trình đào tạo nghĩa là các bước thử nghiệm, phương trình giữa hình ảnh thu được và mặt nạ dự đoán cần được tính toán Bằng cách xem xét các giá trị của các số liệu này, mô hình có thể được đánh giá đang hoạt động tốt hay không Phương trình của hệ số DICE có thể được sử dụng như một số liệu xác định phương trình của hệ số DICE là hai lần giao nhau giữa giá trị ảnh thu được và mặt nạ dự đoán, chia cho tổng của giá trị ảnh thu được và mặt nạ dự đoán

Tái tạo hình ảnh ba chiều cấu trúc hấp thụ được khử mờ từ một ảnh hai chiều thu được

Hình 2.35 mô tả nguyên lý của phương pháp tái tạo hình ảnh ba chiều (3D) của các cấu trúc đã được khử mờ bắt nguồn từ một hình ảnh hai chiều bị mờ thu được khi ánh sáng lan truyền qua môi trường tán xạ

Như được mô tả trong Hình 2.36, nếu có thể thu được các hình ảnh có phạm vi xoay hoàn chỉnh 360 độ thì có thể đạt được một bộ hình ảnh được khử mờ 360 độ tương ứng Những hình ảnh đã khử mờ này đóng vai trò là các ảnh hình chiếu ở góc tương ứng Dựa trên dữ liệu này, bằng kỹ thuật lọc chiếu ngược (FBP), hình ảnh cắt lớp và hình ảnh cấu trúc ba chiều có thể được tái tạo Đáng chú ý, kỹ thuật này vẫn giữ được hiệu quả ngay cả khi số lượng hình ảnh thu được bị hạn chế

Tuy nhiên, trong trường hợp chỉ có một hình ảnh bị mờ hoặc số lượng ảnh thu được quá ít thì không thể thực hiện tái tạo hình ảnh ba chiều bằng phương pháp lọc chiếu ngược được Trong trường hợp này, với thông tin độ sâu đã được ước lượng, hình ảnh ba chiều của các cấu trúc hấp thụ từ một góc hoặc một vài góc chiếu khác nhau có thể được tái tạo như mô tả trong Hình 2.37

Hình 2.35 Nguyên lý tái tạo cấu trúc bị mờ 3D từ một hình ảnh bị mờ

Hình 2.36 Nguyên lý tái tạo ảnh 3D từ một ảnh 2D duy nhất.

Khử mờ tán xạ

Giai đoạn đầu tiên liên quan đến việc chuyển đổi hình ảnh bị mờ thành hình ảnh 2D sắc nét và rõ ràng Sử dụng mô hình FCN (Attention ResU-Net) kết hợp với quy trình quét từng pixel sẽ giúp khử mờ có hệ thống ảnh đầu vào Mô hình xử lý hình ảnh bị mờ thông qua ma trận 256 × 256 bằng phương pháp quét từng pixel Kỹ thuật đệm không (zero padding) được triển khai để đảm bảo xử lý toàn diện toàn bộ hình ảnh, bao gồm cả các cạnh của nó, nâng cao chất lượng hình ảnh 2D tốt hơn.

Ước lượng độ sâu

Sau khi hình ảnh 2D được làm rõ, việc xác định độ sâu không gian của từng pixel trở nên cần thiết Mô hình CNN (DenseNet-169), được thiết kế cho nhiệm vụ này, sử dụng ma trận ước tính 224 × 224 pixels để phân tích hình ảnh đầu vào, xác định độ sâu ở mỗi

67 pixel Quá trình này mang lại một bản đồ độ sâu, làm nổi bật vị trí không gian của các cấu trúc hấp thụ bên trong môi trường tán xạ

Thêm vào đó mô hình CNN, kết hợp với phương pháp quét từng điểm ảnh, được sử dụng để ước lượng độ sâu và khử mờ tán xạ, được trình bày ở Hình 2.35 và Hình 2.36 Phương pháp này sử dụng ma trận độ sâu bắt nguồn từ mô hình ước tính độ sâu và phương pháp quét điểm ảnh Cách tiếp cận dựa trên việc thiết lập ngưỡng (khác 0) được sử dụng, trong đó cường độ điểm ảnh được đặt thành 1 nếu giá trị ma trận độ sâu nằm dưới ngưỡng xác định trước; ngược lại, nó được đặt thành 0 nếu vượt quá ngưỡng Điều này tạo điều kiện thuận lợi cho việc tái tạo hình ảnh hai chiều 2D cấu trúc hấp thụ từ ma trận độ sâu Sử dụng hình ảnh hai chiều 2D và bản đồ độ sâu liên quan của nó, phương pháp này cho phép tái tạo hình ảnh 3D từ hình gốc 2D ban đầu

Bằng cách kết hợp phương pháp quét từng điểm ảnh (pixel-by-pixel scanning) với mạng học sâu CNN, phương pháp được luận án đề xuất cũng vượt qua nghiên cứu của Phan Văn Tô Ni như giảm khối lượng tính toán khi chỉ sử dụng một mạng học sâu CNN để ước lượng độ sâu và tái tạo ra hình ảnh hai chiều, hình ảnh ba chiều của các cấu trúc hấp thụ từ một ảnh thu được bị mờ khi ánh sáng lan truyền qua môi trường tán xạ Điều này được mô tả trong Hình 2.36 với đường kết nối màu đỏ

Phương pháp và các kết quả liên quan trình bày trong nội dung này đã được tác giả thực hiện công bố trên Tạp chí Applied Sciences (Ngoc An Dang Nguyen, Hoang Nhut Huynh, Trung Nghia Tran and Koichi Shimizu, Reconstructing 3D de-blurred structures from limited angles of view through turbid media using deep learning, Applied Sciences, 14(5), 1689, 2024.)

Thí nghiệm môi trường tán xạ trong môi trường giả lập môi trường tán xạ

Lưu đồ trong Hình 2.37 mô tả cơ bản quá trình mô phỏng và thực nghiệm để tiến hành các bước khử mờ và ước lượng thông tin cấu trúc hấp thụ trong môi trường tán xạ

68 Hình 2.37 Lưu đồ các bước thực nghiệm

Thí nghiệm khảo sát hiệu quả ước lượng độ sâu và kích thước bề rộng cấu trúc hấp thụ đơn giản bằng cách sử dụng ảnh thu được trong hai điều kiện khác nhau Để xác nhận lại khả năng áp dụng phương pháp trên, các thí nghiệm với môi trường giả lập tương đương mô sinh học đã được thực hiện.Hình 2.38 mô tả mô hình thí nghiệm Môi trường tán xạ được tạo ra bằng cách trộn dung dịch Intralipid (Fresenius Kabi AG) với nước cất và mực đen (INK-30-B; Pilot Corp) để tạo ra một môi trường tương đương mô sinh học Cấu trúc hấp thụ sử dụng miếng kim loại hình vuông được sơn đen (10 mm × 10 mm × 1 mm) Cấu trúc hấp thụ này được đặt trong một hộp acrylic (40 mm ×

100 mm × 100 mm) đổ đầy bằng môi trường tán xạ Độ sâu của cấu trúc hấp thụ so với mặt phẳng thu nhận ảnh thay đổi với hai vị trí 4,00 mm và 6,00 mm Mẫu này được chiếu sáng bằng một nguồn sáng hồng ngoại gần qua một bộ mở rộng chùm tia (beam expander) để tạo sự chiếu sáng đồng nhất Ảnh thu được bằng CMOS camera (C11440- 10C; Hamamatsu Photonics K.K.) đặt đối diện ở phía bên kia của mẫu so với hướng chiếu sáng

Hình 2.38 Bố trí thí nghiệm với độ sâu của cấu trúc lần lượt d = 4,00 mm và 6,00 mm

69 Hình 2.39 Mô tả ảnh gốc cấu trúc hấp thụ thu được khi đặt trong môi trường trong suốt

Hình 2.39 Ảnh gốc cấu trúc hấp thụ khi chụp với môi trường trong suốt

Trong thí nghiệm này, bước sóng của ánh sáng không đổi nhưng thông số quang học của môi trường tán xạ thay đổi nhằm giả lập sự khác biệt khi sử dụng hai bước sóng có độ hấp thụ và độ tán xạ khác nhau.

Thí nghiệm khảo sát hiệu quả ước lượng độ sâu và tái tạo ảnh 3D cấu trúc hấp thụ đơn giản bằng cách sử dụng 01 bước sóng

hấp thụ đơn giản bằng cách sử dụng 01 bước sóng Để xác nhận và đánh giá hiệu quả của phương pháp này, một thí nghiệm với mẫu giả lập môi trường tương tương mô sinh học đã tiến hành, tương tự như thí nghiệm ở Hình 2.39 Hình 2.40 mô tả thí nghiệm này Môi trường tán xạ được tạo ra với các thông số quang học (μ' s = 1,00 mm -1 , μ a = 0,01 mm -1 ) Cấu trúc kim loại hình chữ Y sơn đen được sử dụng để giả lập mạch máu với các nhánh hình ống trụ có đường kính 4,00 mm Cấu trúc này được đặt cách bề mặt thu nhận ảnh 5,00 mm

Hình 2.40 Bố trí thí nghiệm với độ sâu của cấu trúc hấp thụ d = 5,00 mm

70 Hình 2.41 mô tả một thí nghiệm khác dùng một que hình trụ có đường kính 4,0 mm giả lập một đoạn mạch máu ở cẳng tay đi từ trên xuống Thí nghiệm này dùng ánh sáng hồng ngoại có bước sóng 850 nm và một kính lọc thông cao 830 nm (long-pass filter

830 nm) Môi trường tán xạ tạo ra trong hình hộp có thông số quang học μ’ s = 1,00 mm -

Hình 2.41 Bố trí thí nghiệm với mô hình mạch máu hình trụ

Hình 2.42 Mô tả một thí nghiệm khác dùng một que hình trụ tương tự nhưng đặt xiên từ trên xuống Cấu trúc hấp thụ được đặt nghiêng để tạo mức độ phức tạp của mô hình Mụi trường tỏn xạ tạo ra trong hỡnh hộp cú thụng số quang học μ’ s = 1,00 mm -1 , à a 0,0056 mm -1

Hình 2.42 Bố trí thí nghiệm với mô hình cấu trúc hình trụ đặt nghiêng

Thí nghiệm với cấu trúc phức tạp trong môi trường giả lập mô sinh học

Tính khả thi và hiệu quả của các phương pháp đề xuất sử dụng mạng học sâu sẽ được kiểm tra trong một thí nghiệm với các cấu trúc phức tạp được đặt trong môi trường giả lập mô sinh học như mô tả trong Hình 2.43 Mô hình được chiếu sáng bằng ánh sáng cận hồng ngoại (NIR) 800 nm từ tia laser thông qua thiết bị mở rộng chùm tia và bộ khuếch tán để chiếu sáng đồng nhất Hình ảnh được chụp ở quay xung quanh 360 độ bằng cách sử dụng camera CMOS đặt ở phía đối diện Ảnh quan sát được bằng môi trường tán xạ khá mờ so với ảnh quan sát được bằng môi trường trong suốt như minh họa trong Hình 2.43

Hình 2.43Thiết lập thí nghiệm với cấu trúc hấp thụ phức tạp.

Thí nghiệm trên chuột

Các thí nghiệm trên chuột được Trần Trung Nghĩa thực hiện tại Đại học Hokkaido, Nhật Bản dưới sự hướng dẫn của Koichi Shimizu Các thí nghiệm được thực hiện tuân thủ nghiêm ngặt theo Tuyên bố Helsinki và được phê duyệt bởi Ủy ban Đạo đức của Đại học Hokkaido (mã số: 2010-02, ngày phê duyệt: 28 tháng 7 năm 2010) [17, 22] Quy trình nghiên cứu trên động vật đã được phê duyệt bởi Hội đồng Đánh giá Đạo đức của Đại học Hokkaido (mã số: 08-0127, ngày phê duyệt: 18 tháng 3 năm 2008) [17, 22] Tác giả luận án sử dụng dữ liệu thí nghiệm để tiến hành các khảo sát trên ảnh thu được nhằm mục đích đánh giá hiệu quả của các phương pháp đề xuất

72 Một con chuột (Slc: ICR, 11 tuần tuổi, trọng lượng 38,4g) đã được gây mê bằng cách tiêm pentobarbital (Nembutal) Con chuột được giữ trong một giá đỡ hình trụ làm bằng nhựa acrylic trong suốt như trong Hình 2.44

Hình 2.44.Chuột (Slc: ICR, 11 tuần tuổi, trọng lượng 38,4g) dùng trong thí nghiệm

Hệ chụp được thiết lập bao gồm một camera và bộ lọc hồng ngoại như trong mô tả thí nghiệm trình bày ở trên Nguồn sáng laser (Ti: Sapphire), bước sóng 760 nm và bước sóng 850 nm lần lượt được sử dụng chiếu sáng từ một bên của giá đỡ và hình ảnh được ghi lại bằng camera C11440-10C, Hamamatsu Photonics K.K từ mặt đối diện như mô tả trong Hình 2.45 Hình ảnh truyền qua thu được khi xoay giá đỡ bằng hệ thống bệ đỡ xoay chuyển Sử dụng kỹ thuật này, hình ảnh 3D có thể được tái tạo bằng cách sử dụng thuật toán lọc chiếu ngược (filtered back projection – FBP) nếu có thể thu được ảnh chiếu ở nhiều góc độ khác nhau

Hình 2.45 Mô hình thí nghiệm chụp ảnh với chuột

KẾT QUẢ VÀ BÀN LUẬN

Thí nghiệm ước lượng độ sâu bằng cách sử dụng các bước sóng khác

Trước tiên, thí nghiệm được thực hiện với thông số quang học của môi trường tán xạ được chọn như sau 𝜇 𝑠 ′ (𝜆 1 ) = 𝜇 𝑠 ′ (𝜆 2 ) = 1,00

𝑚𝑚 Hình 3.1 và Hình 3.2 mô tả sự khác biệt sai số quân phương trung bình (Root Mean Square Error

- RMS) tại từng độ sâu khác nhau Như được mô tả trong các hình này, tại độ sâu thực, sự khác biệt RMS là cực tiểu

Hình 3.1 Ước lượng độ sâu của cấu trúc hấp thụ (dt= 4,00 mm) ứng với 𝜇 𝑠 ′ (𝜆 1 ) 𝜇 𝑠 ′ (𝜆 2 ) = 1,00

Hình 3.2 Ước lượng độ sâu của cấu trúc hấp thụ ứng với (dt= 6,00 mm) 𝜇 𝑠 ′ (𝜆 1 ) 𝜇 𝑠 ′ (𝜆 2 ) = 1,00

74 Tiếp theo, thí nghiệm được thực hiện với thông số quang học của môi trường tán xạ được chọn như sau 𝜇 𝑠 ′ (𝜆 1 ) = 0,80

𝑚𝑚 Hình 3.3 và Hình 3.4 mô tả sự khác biệt RMS tại từng độ sâu Như được mô tả trong các hình này, tại độ sâu thực, sự khác biệt RSM là cực tiểu

Hình 3.3 Ước lượng độ sâu của cấu trúc hấp thụ (dt= 4,00 mm) ứng với 𝜇 𝑠 ′ (𝜆 1 ) = 0,80

Hình 3.4 Ước lượng độ sâu của cấu trúc hấp thụ (dt= 6,00 mm) ứng với 𝜇 𝑠 ′ (𝜆 1 ) = 0,80

Như đã thấy trong các hình trên, việc ước lượng độ sâu cho thấy có độ chính xác và xác định độ sâu tương đồng với độ sâu cho trước Hiệu quả của phương pháp đề nghị đã được xác nhận trong các thí nghiệm với mẫu giả lập tương đương mô sinh học

75 Hình 3.5 mô tả kết quả ảnh tái tạo từ ảnh thu được của trường hợp cấu trúc hấp thụ ở độ sâu 6,00 mm Để so sánh, các ảnh giải chập với PSF tại d = 4,00 mm và 8,00 mm cũng được thể hiện bên cạnh Bằng cách có được độ sâu chính xác, cấu trúc hấp thụ có thể được tái tạo lại gần chính xác và kích thước gần tương đồng với kích thước thật cho trước Thông qua các phân tích này, hiệu quả của phương pháp ước lượng độ sâu bằng cách sử dụng nhiều bước sóng khác nhau đã được xác nhận

Hình 3.5 Hiệu quả của việc khử tán xạ bằng cách giải chập khi sử dụng độ sâu được ước lượng Hình vuông màu vàng mô tả kích thước thật của cấu trúc hấp thụ.

Ước lượng bề rộng của cấu trúc hấp thụ sau khi ảnh được khử mờ tán xạ

Hình 3.6 và Hình 3.7 mô tả kết quả thu được khi xác định bề rộng của một cấu trúc hấp thụ là một miếng kim loại hình vuông được sơn đen mô phỏng tại độ sâu d = 5,0 mm và bề rộng w = 4,8 mm Ảnh gốc (b) Tích chập (c) Giải chập Hình 3.6 Ảnh của một vật hấp thụ tại độ sâu d=5,0 mm

76 Chiều rộng của cấu trúc hấp thụ thực tế là 4,8 mm, kết quả đo được sau khi chụp là 12,8 mm và kết quả sau khi xử lý đo được là 5,1 mm

Hình 3.7 Đường biểu diễn cường độ dọc theo vị trí trung tâm các hình.

Thí nghiệm ước lượng độ sâu bằng cách sử dụng một bước sóng

Kết quả tính toán độ tương quan (correlation coefficient) và giá trị được trình bày như trong Bảng 3.1 giá trị cực đại của độ tương quan đạt được ở độ sâu 5,00 mm Kích thước của vật thể (bề rộng) đo được bằng cách đo FWHM trong ảnh tái tạo là 3,96 mm so với kích thước thật là 4,00 mm

Bảng 3.1 Giá trị tương quan Độ sâu d i Hệ số tương quan Độ sâu d i Hệ số tương quan d = 1,00 mm 0,936294 d = 6,00 mm 0,993661 d = 2,00 mm 0,983037 d = 7,00 mm 0,989976 d = 3,00 mm 0,992057 d = 8,00 mm 0,984547 d = 4,00 mm 0,994275 d = 9,00 mm 0,978196 d = 5,00 mm 0,995017 d = 10,00 mm 0,970553

Sử dụng phương pháp đề xuất trên, việc khử mờ do tán xạ, ước lượng được độ sâu và kích thước của cấu trúc hấp thụ đã được thực hiện, khảo sát, đánh giá và cho thấy hiệu quả Với những thông tin thu được, có thể định vị được cấu trúc hấp thụ từ một ảnh 2D thu được trong không gian ba chiều Với giả thiết biết trước hình dạng cấu trúc có dạng ống trụ trên các nhánh Tại mỗi vị trí tương ứng có cấu trúc trong không gian ba chiều, ta có thể vẽ một hình tròn với đường kính là kết quả bề rộng đã được ước lượng Bằng cách này ta có thể thu được vị trí của cấu trúc trong không gian ba chiều và tái tạo được hình ảnh cấu trúc từ một ảnh thu được

Hình 3.8 mô tả kết quả ảnh thu được qua phương pháp ước lượng độ sâu và sử dụng một ảnh duy nhất để tái tạo cấu trúc 3D Hình 3.8c mô tả ảnh tái tạo 3D cấu trúc mạch máu giả lập ở cùng một độ sâu

Hình 3.8 Tái tạo cấu trúc 3D mô hình mạch máu từ một ảnh 2D duy nhất (a) Ovserved

Hình 3.9 mô tả kết quả một thí nghiệm khác dùng một que hình trụ có đường kính 4,0 mm giả lập một đoạn mạch máu ở cẳng tay đi từ trên xuống và có độ nghiêng so với mặt trước của hộp chứa để cho độ sâu thay đổi tăng dần so với vị trí camera Hình 3.9b là kết quả tái tạo ảnh 3D bằng cách xác định các thông số độ sâu và bề rộng bằng cách tính toán FWHM theo từng hàng của từ ảnh đã xử lý khử mờ bằng hàm PSF

78 Hình 3.9Tái tạo mô hình 3D

Ngoài ra, trong trường hợp que trụ được đặt nghiêng so với trục dọc thì lúc đó độ sâu của cấu trúc hấp thụ bị thay đổi so với mặt phẳng chụp Nếu biết được độ nghiêng của que trụ, chúng ta có thể tính độ thay đổi hay còn gọi là độ sâu Giả sử chúng ta biết được độ sâu thay đổi đó thì chúng ta có thể giải chập từng hàng của ảnh thu được với từng PSF khác nhau có độ sâu tương ứng Sau đó xếp chồng kết quả các hình ảnh giải chập cắt ngang lại với nhau ta được bức ảnh rõ nét và cũng có thể tái tạo lại ảnh 3D từ các thông số đã biết như mô tả trong Hình 3.10 và Hình 3.11

Hình 3.10 Nguyên lý tái tạo ảnh khử mờ bằng cách giải chập với các PSF khác nhau

Hình 3.11Tái tạo mô hình 3D cấu trúc nghiêng.

Khử mờ tán xạ và ước lượng thông tin cấu trúc hấp thụ bằng học sâu

Hình 3.12 trình bày một quy trình làm việc cho phương pháp nghiên cứu được đề xuất, bao gồm ba bước chính:

Mô phỏng cấu trúc hấp thụ trong môi trường tán xạ: Hình ảnh gốc được kết hợp với hàm trải rộng điểm (PSF) để tạo ra hiệu ứng làm mờ Điều này mô phỏng sự tán xạ và hấp thụ ánh sáng trong mô sinh học, dẫn đến một hình ảnh mờ của các cấu trúc hấp thụ

Khử mờ ảnh truyền qua: Tiếp theo, hình ảnh mờ này được xử lý bằng một mô hình mạng tích chập toàn phần (FCN), như Attention UNet hoặc Attention res-UNet Mục tiêu của bước này là khôi phục lại hình ảnh gốc từ hình ảnh mờ Ước lượng độ sâu của cấu trúc hấp thụ: hình ảnh sau khi khử mờ được phân tích bằng mô hình mạng nơron tích chập (CNN) để ước lượng độ sâu của cấu trúc hấp thụ Mục tiêu của nghiên cứu này là tối ưu hóa quy trình để tái tạo cấu trúc 3D của mô sinh học từ hình ảnh 2D, và những kết quả thu được sẽ hướng tới mục tiêu đó trong các nghiên cứu tiếp theo

Hình 3.12 Mô hình đào tạo, khử mờ và ước lượng độ sâu cấu trúc hấp thụ bằng học sâu Để lựa chọn được mô hình học sâu phù hợp, tập dữ liệu khảo sát được giảm bớt để tiến hành khảo sát nhanh hơn Đối với nghiên cứu khử mờ, một tập dữ liệu toàn diện bao gồm 8.000 cặp hình ảnh rõ và mờ đã được tạo bằng cách kết hợp 10 trong số 12 cấu trúc ban đầu với PSF được đưa ra bởi phương trình (1.10) ở độ sâu từ 0,1 mm đến 20,0 mm (khoảng 0,1 mm) và sau đó quay theo bốn góc khác nhau, như minh họa trong Bảng 3.2 trong số 12 cấu trúc ban đầu còn lại được sử dụng để tạo dữ liệu cho thử nghiệm Trong quá trình đào tạo để khử mờ, tập dữ liệu được tạo sẽ được sử dụng để huấn luyện các mô hình có kích thước lô là 8 Tốc độ học được đặt thành 10 -4 và các mô hình được huấn luyện trong 100 kỳ

Bảng 3.2 So Bộ dữ liệu để đào tạo, xác nhận và kiểm tra khả năng khử mờ tán xạ và ước lượng độ sâu

Nhiệm vụ Đào tạo Thử nghiệm Xác thực Tổng cộng

Khử mờ tán xạ 5.600 800 1.600 8.000 Ước lượng độ sâu 56.320 7.040 14.080 70.400 Đối với nghiên cứu ước lượng độ sâu, nhãn độ sâu tương ứng liên quan đến hình ảnh mờ đã được sử dụng Một tập dữ liệu gồm 70.400 hình ảnh đã được tạo ra mô tả các cấu trúc hấp thụ trong môi trường tán xạ ở các độ sâu khác nhau Các hình ảnh mờ trong tập dữ liệu này được tạo ra bằng cách kết hợp 11 trong số 12 cấu trúc ban đầu với PSF được

81 đưa ra bởi phương trình (1.10) ở độ sâu từ 0,5 mm đến 20,0 mm (khoảng cách 0,5 mm) và sau đó xoay ở 160 góc khác nhau, như minh họa trong Bảng 1 Cấu trúc ban đầu còn lại được sử dụng để tạo dữ liệu nhằm kiểm tra hiệu suất của các mô hình mạng nơ-ron tích chập Trong quá trình đào tạo ước tính độ sâu, tập dữ liệu được tạo đã được sử dụng để huấn luyện các mô hình có kích thước lô là 32 Tốc độ học được đặt thành 10 -4 và các mô hình đã được đào tạo trong 20 kỳ

Quá trình đào tạo được thực hiện trên máy trạm hiệu suất cao có hai CPU Intel® Xeon® E5-2683 v4 với RAM 64 GB Ngoài ra, bộ xử lý đồ họa NVIDIA Quadro K2200 đã được sử dụng để tăng tốc các tác vụ tính toán liên quan đến quá trình đào tạo Các tham số đào tạo cụ thể được sử dụng, bao gồm kích thước lô, tốc độ học và số kỳ, được cung cấp trong Bảng 3.2 và Bảng 3.3

Kết quả của đề xuất này đã được tác giả khảo sát và công bố ở Tạp chí Applied Science (Ngoc An Dang Nguyen, Hoang Nhut Huynh and Trung Nghia Tran, Improvement of the Performance of Scattering Suppression and Absorbing Structure Depth Estimation on Transillumination Image by Deep Learning, Applied Sciences, 13 (18), 10047, 2023 ISSN: 2076 -3417, Web of Science: SCIE).

Lựa chọn mạng học sâu cho khử mờ tán xạ

Mục tiêu chính của nghiên này là thu được hình ảnh khử mờ tán xạ bằng cách sử dụng mô hình Attention Unet và Attention Res-Unet Quá trình đào tạo sử dụng cặp hình ảnh đào tạo bao gồm hình ảnh truyền qua và hình ảnh rõ nét với các độ sâu tương ứng Cách kết hợp này cho phép các mô hình học tập các mối quan hệ phức tạp giữa các độ sâu khác nhau và sự tán xạ tương ứng, tạo điều kiện cho việc khử mờ hình ảnh chính xác

Dựa vào phương pháp được trình bày ở mục 2.4.5, nghiên cứu này sử dụng tiến bộ của hai khối Attention Gating và Residual Block tích hợp vào kiến trúc của mô hình U-net Việc xác định các tác động của các khối này lên hiệu suất khử mờ tán xạ được tiến hành

Tác động của khối Attention Gating được trình bày ở Hình 3.13 Trong đó, Hình 3.13A thể hiện hình ảnh mờ thu được, Hình 3.13B thể hiện ảnh rõ ràng của vật thể, Hình 3.13C thể hiện hình ảnh đầu ra khi thực hiện khử mờ tán xạ sử dụng mô hình U-Net và Hình 3.13D thể hiện hình ảnh đầu ra khi thực hiện khử mờ tán xạ sử dụng mô hình Attention-

82 Unet Hình ảnh khử mờ bằng mô hình Attention Unet cho thấy độ rõ nét và trung thực cao hơn so với hình ảnh khử mờ bằng mô hình U-net, vì cơ chế của cổng Attetion cho phép ngăn chặn ảnh hưởng của sự tán xạ và cải thiện việc tái tạo hình ảnh của cấu trúc hấp thụ

Bằng cách gán trọng số quan trọng đến các phần khác nhau của hình ảnh, mô hình sẽ nắm bắt và tái tạo chính xác hình ảnh của cấu trúc hấp thụ với các độ sâu khác nhau, việc kết hợp khối Attention Gate vào mô hình U-Net có thể nâng cao hiệu suất và độ tin cậy của hình ảnh được khử mờ, đặc biệt trong các trường hợp có độ tán xạ cao

Về mặt đánh giá định lượng được biểu thị bằng chỉ số IoU, đối với mô hình Unet chỉ số IoU đạt 0,831 và mô hình Attention Unet chỉ số IoU đạt 0,908 với hình ảnh mờ ở độ sâu 15,0 mm Sự cải thiện này chứng minh khả năng của cổng Attention Gate trong việc trích xuất đặc trưng tốt hơn và giảm tác động của sự tán xạ, dẫn đến kết quả hình ảnh khử mờ được cải thiện

Hình 3.13 Ảnh hưởng của khối Attention Gate trong quá trình khử mờ tán xạ: (A): hình ảnh truyền qua (ảnh mờ), (B) hình ảnh rõ nét của vật thể, (C) hình ảnh khử mờ sử dụng mô hình U-Net, (D) hình ảnh khử mờ sử dụng mô hình Attention U-Net

Tác động của khối Residual Block đến quá trình khử mờ tán xạ được thể hiện ở Hình 3.14 Trong đó, Hình 3.14A thể hiện hình ảnh mờ thu được, Hình 3.14B thể hiện ảnh rõ ràng của vật thể, Hình 3.14C thể hiện hình ảnh đầu ra khi thực hiện khử mờ tán xạ sử dụng mô hình U-Net và Hình 3.14D thể hiện hình ảnh đầu ra khi thực hiện khử mờ tán xạ sử dụng mô hình Residual Unet Kết quả đầu ra của mô hình Residual Unet cho thấy sự cải thiện về việc khử mờ tán xạ so với kết quả từ mô hình U-Net, với chỉ số IoU là 0,885 đối với hỉnh ảnh mờ ở độ sâu 15,0 mm với sự tán xạ cao Trong khi chỉ số IoU của mô hình U-Net là 0,831, cho thấy hiệu suất khử mờ tán xạ thấp hơn Hiệu suất cao

83 hơn của mô hình Residual Unet là do các khối Residual truyền và giữ lại thông tin một cách hiệu quả, bằng cách kết hợp hai luồng thông tin sau khi đi qua các lớp tích chập và thông tin ban đầu giúp mô hình trích xuất đặc trưng mới và giữ lại những đặc trưng quan trọng để giảm những ảnh hưởng của hiệu ứng tán xạ

Hình 3.14 Ảnh hưởng của khối Residual Block trong quá trình khử mờ tán xạ: (A): hình ảnh truyền qua (ảnh mờ), (B) hình ảnh rõ nét của vật thể, (C) hình ảnh khử mờ sử dụng mô hình U-Net, (D) hình ảnh khử mờ sử dụng mô hình Attention U-Net Hiệu suất quá trình đào tạo của các mô hình khử mờ tán xạ được thống kê trong Bảng 3.3 gồm các thông tin về giá trị nhỏ nhất, giá trị lớn nhất, giá trị trung bình, giá trị trung vị và phương sai của chỉ số Dice được trình bày ở mục 2.4.8

Mô hình Attention Unet đạt giá trị Dice nhỏ nhất là 0,931056, lớn nhất là 0,999487, với giá trị trung bình là 0,996319, giá trị trung vị là 0,999195 Sự thay đổi hiệu suất của mô hình được thể hiện bằng độ lệch chuẩn 0,009583

Tương tự, mô hình Attention Res-Unet thể hiện các giá trị so sánh với hệ số Dice nhỏ nhất là 0,930391, lớn nhất là 0,999492, giá trị trung bình và trung vị lần lượt là 0,996443 và 0,999223 Sự thay đổi hiệu suất của mô hình được thể hiện bằng độ lệch chuẩn 0,009603

Bảng 3.3 So sánh hiệu quả của các mô hình dựa trên chỉ số Dice

Mô hình Giá trị nhỏ nhất

Giá trị trung vị Độ lệch chuẩn

84 Tổng thể, cả hai mô hình Attention Unet và Attention Res-Unet thể hiện sự ổn định về hiệu suất trên chỉ số Dice Điều này thể hiện tính hiệu quả và khả năng ứng dụng của các mô hình trong việc khử mờ cấu trúc hấp thụ Hình 3.15 thể hiện giá trị của chỉ số Dice và Dice-loss trong quá trình đào tạo và xác thực

Hình 3.15 Quá trình đào tạo và xác thực cho khử mờ tán xạ: (A, B) Attention Unet, (C,

Hình 3.16 Hình mô tả quá trình khử mờ ở các độ sâu khác nhau: (A) 0,1 mm, (b) 5,0 mm, (C) 10,0 mm, (D) 20,0 mm

Hình 3.16 cho thấy so sánh giữa các hình ảnh gốc và hình ảnh đã được khử mờ của cấu trúc hấp thụ Những hình ảnh này được xử lý bằng cách sử dụng hai mô hình khác nhau: Attention U-Net và Attention Res-UNet Sau khi áp dụng các mô hình này, Hình 3.17 hệ số tương quan giữa hình ảnh gốc và hình ảnh khử mờ được tính toán như mô tả trong Kết quả cho thấy, khi độ sâu của cấu trúc hấp thụ tăng, hiệu ứng mờ trong hình ảnh cũng tăng theo, làm giảm chất lượng hình ảnh một cách rõ rệt Ngoài ra, việc giảm số lượng hình ảnh dùng để huấn luyện cũng ảnh hưởng đáng kể đến hệ số tương quan này

Hình 3.17 Phân tích tương quan giữa hình ảnh gốc và hình ảnh bị mờ với kích thước hình ảnh đầu vào 256 × 256

Kết quả từ thử nghiệm mô hình Attention UNet cho thấy hệ số tương quan cao, dao động từ 0,9149 đến 0,9013, cho độ sâu từ 0,1 mm đến 5,0 mm Khi độ sâu tăng lên trên 5,0 mm, hệ số tương quan bắt đầu giảm, với giá trị 0,8921 ở độ sâu 10,0 mm Từ 10,1 mm đến 20,0 mm, hệ số tương quan tiếp tục giảm nhanh, từ 0,8918 xuống còn 0,8801 tại độ sâu 20,0 mm, với sự giảm rõ rệt hơn khi vượt quá 10,1 mm

Lựa chọn mạng học sâu cho ước lượng độ sâu

Phần này giới thiệu một phương pháp học sâu được thiết kế để ước lượng độ sâu từ hình ảnh truyền qua của cấu trúc hấp thụ Mục tiêu chính là phân tích các đặc điểm của cấu trúc hấp thụ dựa trên độ sâu của chúng Để thực hiện điều này, một tập hợp dữ liệu bao

91 gồm 7.040 hình ảnh, mỗi hình ảnh mô tả cấu trúc hấp thụ và được gán nhãn với một trong 40 giá trị độ sâu khác nhau, từ 0,1 mm đến 20 mm, đã được sử dụng mô tả các thông số được sử dụng cho mô hình

Bảng 3.5 Các thông số cho mô hình ước lượng độ sâu

Thông số Giá trị à’s 1,0 mm -1 Độ sâu cực tiểu – độ sâu cực đại 0,5-20,0 mm

Bước nhảy độ sâu 0,5 mm

Số lượng ảnh đào tạo một kỳ 32

Hàm mất mát Categorical Cross-entropy

Bảng 3.6 Độ chính xác trong quá trình huấn luyện và xác nhận sau 20 kỳ

Mô hình Độ chính xác đào tạo Độ chính xác thực

Bốn mô hình học sâu phổ biến được sử dụng trong nghiên cứu này, bao gồm ResNet50, VGG16, VGG19 và DenseNet169, đã được đào tạo và kiểm thử trên tập dữ liệu này Độ chính xác của mỗi mô hình được đánh giá dựa trên tỷ lệ phần trăm hình ảnh mà độ sâu đã được dự đoán chính xác Bảng 3.6 trình bày độ chính xác thu được trong quá trình huấn luyện và xác nhận của từng mô hình sau 20 kỳ huấn luyện

Bảng 3.6 chỉ ra rằng trong quá trình huấn luyện và kiểm nghiệm, DenseNet169 đạt được độ chính xác cao nhất, tiếp theo là VGG16, VGG19 và ResNet50 So sánh với các thử nghiệm trước đây sử dụng tập dữ liệu nhỏ hơn, kết quả hiện tại cho thấy tất cả các mô hình này đều có hiệu suất cải thiện, điều này phản ánh ảnh hưởng tích cực của việc sử dụng tập dữ liệu lớn hơn và đa dạng hơn Tuy nhiên, mặc dù có sự cải thiện, độ chính xác tổng thể của mọi mô hình vẫn ở mức thấp, cho thấy độ khó của nhiệm vụ ước lượng độ sâu Để hiểu rõ hơn về cách thức hoạt động của các mô hình này, đường cong chính xác của từng mô hình trong suốt quá trình huấn luyện và kiểm thử được biểu diễn trong Hình 3.20

Hình 3.20 Đánh giá độ chính xác của nhiều mô hình khác nhau: ResNet50, VGG16,

Hình 3.20 biểu diễn độ chính xác của các mô hình thấp và có sự biến động lớn Điều này cho thấy khó khăn mà các mô hình gặp phải khi cố gắng học từ tập dữ liệu hình ảnh gồm 7.040 mẫu Sự phức tạp của tập dữ liệu này có thể được giải thích qua việc nó bao gồm 40 lớp khác nhau, nhưng mỗi lớp chỉ có ít hơn 176 hình ảnh Kết quả là, các mô hình gặp khó khăn trong việc phân biệt các đặc điểm ở các độ sâu khác nhau, làm giảm khả năng học hỏi tổng thể của chúng Sự dao động trong độ chính xác, rõ ràng qua các đường cong không ổn định sau mỗi chu kỳ huấn luyện, cũng chỉ ra sự ảnh hưởng của các mô hình trước sự biến động của dữ liệu, làm tăng tính bất ổn Để cải thiện hiệu suất, kỹ thuật tăng cường dữ liệu đã được áp dụng Cụ thể, phương pháp xoay ảnh đã được sử dụng, tạo ra hình ảnh mới từ những hình ảnh hiện có bằng cách quay chúng ngẫu nhiên ở 160 góc độ khác nhau, với mỗi góc nằm trong khoảng từ

0 độ đến 360 độ Điều này đã tạo ra một tập dữ liệu tăng cường lên đến 70.400 hình ảnh (7.040 hình ảnh nhân với 10), với các nhãn độ sâu được giữ nguyên như ban đầu

Việc sử dụng 160 góc độ khác nhau để xoay hình ảnh trong quá trình tạo dữ liệu là một bước quan trọng trong nghiên cứu này, nhằm tăng cường khả năng tổng quát hóa của các mô hình mạng nơron tích chập (CNN) được huấn luyện Kỹ thuật tăng cường dữ liệu này giúp mô hình học cách nhận diện và phân tích các đặc điểm từ nhiều góc độ khác nhau, qua đó cải thiện khả năng xác định độ sâu từ hình ảnh mờ trong môi trường tán xạ Lợi ích của việc xoay hình ảnh bao gồm:

93 Tăng tính biến đổi: Tạo ra hình ảnh từ nhiều góc độ giúp tập dữ liệu trở nên đa dạng hơn, giảm nguy cơ mô hình chỉ học thuộc lòng nội dung cụ thể thay vì hiểu rõ các tính năng cần thiết

Tính định hướng ổn định: Huấn luyện mô hình với hình ảnh ở các hướng khác nhau giúp tăng cường khả năng thích ứng với sự thay đổi hướng của đối tượng

Trích xuất đặc trưng: Kỹ thuật này khuyến khích mô hình tìm hiểu các đặc trưng bất biến, tức là nhấn mạnh vào các tính năng nhất quán qua nhiều hướng, hỗ trợ quá trình trích xuất thông tin hữu ích

Khái quát hóa: Mô hình được huấn luyện với nhiều góc độ giúp tăng khả năng tổng quát hóa kiến thức cho các tình huống mới

Lựa chọn 160 góc độ dựa trên sự cân nhắc giữa việc tạo ra một tập dữ liệu đa dạng và yêu cầu tính toán trong quá trình huấn luyện Điều này được xác nhận qua thử nghiệm và đánh giá để đảm bảo mô hình có thể học hiệu quả từ tập dữ liệu đa dạng mà không làm tăng quá mức yêu cầu tính toán

Sử dụng tập dữ liệu tăng cường này, các mô hình như ResNet50, VGG16, VGG19 và DenseNet169 đã trải qua quá trình huấn luyện và kiểm thử nghiêm ngặt Chúng được đánh giá dựa trên một loạt các chỉ số bao gồm độ chính xác, độ hồi và điểm f1, như được thể hiện trong Bảng 3.7 Điều này giúp đánh giá toàn diện khả năng của mô hình trong việc ước tính độ sâu từ nhiều khía cạnh khác nhau Các mô hình này được huấn luyện trong 100 kỳ, với kích thước lô là 20 và tốc độ học 0,001, nhằm đảm bảo đánh giá kỹ lưỡng năng lực của chúng từ nhiều góc độ

Bảng 3.7 Đánh giá hiệu suất của các mô hình khác nhau sau 100 kỳ trên tập dữ liệu tăng cường

Mô hình Độ chính xác Độ chuẩn xác Độ hồi Điểm f1

94 Dựa vào dữ liệu từ Bảng 3.7, có thể rút ra những nhận định sau:

Tất cả các mô hình đã đạt được hiệu suất ổn định trên các chỉ số đánh giá, điều này cho thấy hiệu quả của chúng trong việc ước lượng độ sâu

DenseNet169 nổi bật với kết quả cao nhất trên mọi chỉ số, theo sau lần lượt là VGG16, VGG19 và ResNet50

Có sự nhất quán giữa các chỉ số đánh giá như độ chính xác, độ chính xác, độ hồi và điểm f1 trong các mô hình, điều này chứng tỏ họ đã thực hiện tốt không chỉ ở các lớp dự đoán đúng mà còn ở các lớp dự đoán sai

Kỹ thuật xoay góc đã được sử dụng để tăng cường dữ liệu, và kết quả là sự cải thiện rõ rệt về các chỉ số đánh giá so với khi sử dụng tập dữ liệu ban đầu

Ngoài ra, sự tiến triển trong quá trình huấn luyện và kiểm nghiệm của các mô hình qua

Kết quả khử mờ tán xạ, ước lượng thông tin và tái tạo hình ảnh ba chiều bằng học sâu

Kết quả giới thiệu trong phần này được tiến hành khi sử dụng các mạng học sâu được lựa chọn ở mục 2.2.1 và mục 2.2.2, tập dữ liệu mô tả trong mục 2.4.4, dữ liệu thí nghiệm mô tả ở mục 2.1.3 và 2.2

Các kết quả trình bày trong nội dung này đã được tác giả thực hiện công bố trên Tạp chí Applied Sciences (Ngoc An Dang Nguyen, Hoang Nhut Huynh, Trung Nghia Tran and

97 Koichi Shimizu, Reconstructing 3D de-blurred structures from limited angles of view through turbid media using deep learning, Applied Sciences, 14(5), 1689, 2024.).

Thí nghiệm với cấu trúc phức tạp trong môi trường giả lập mô sinh học

Hình 3.23 Khử mờ tán xạ trong ảnh truyền qua ở hướng 0 độ với ảnh có kích thước

530 x 530 pixels (𝜇 𝑠 ′ = 1,00/mm, 𝜇 𝑎 = 0,01/mm): (a) ảnh quan sát được trong môi trường trong suốt, (b) ảnh quan sát được trong môi trường tán xạ, (c) kết quả sử dụng kỹ thuật giải chập với PSF, (d) kết quả sử dụng kỹ thuật đề xuất và (e) các đường biểu diễn cường độ sáng trong các ảnh (a)-(d) ở hàng pixel thứ 150

Hình 3.23 mô tả kết quả khử mờ tán xạ trong ảnh truyền qua môi trường tán xạ (𝜇 𝑠 ′ 1,00/mm, 𝜇 𝑎 = 0,01/mm) ở hướng 0 độ với ảnh có kích thước 530 x 530 pixels, độ phân giải 10 mm/120 pixel Trong Hình 3.23a, hình ảnh cấu trúc hấp thụ được quan sát trong môi trường trong suốt ở hướng 0 độ, cung cấp cơ sở để so sánh với chiều rộng w= 8,17 mm Hình 3.23b minh họa hình ảnh quan sát được của cùng cấu trúc ở Hình 3.23a trong môi trường tán xạ, nêu bật tác động của hiệu ứng tán xạ lên chiều rộng cấu trúc hấp thụ ánh sáng và độ tương phản của ảnh được ghi ở mức 0,7485 Sử dụng phương pháp khử mờ tán xạ được đề xuất trong nghiên cứu trước đây, hiệu quả của triệt tiêu tán xạ thông qua giải mã PSF được thể hiện trong Hình 3.23c, độ tương phản được cải thiện với giá trị 0,9375 Hình 3.23c có sai số 12,20% Sử dụng kỹ thuật được đề xuất trong luận án

98 này, Hình 3.23d đạt được độ tương phản tối đa là 1,00 Kết quả này là do đầu ra của mô hình đã được khử mờ và phương pháp quét từng pixel tạo ra các giá trị nhị phân (0 và 1), với chiều rộng đối tượng w = 8,83 mm sai số 8,08%

Hình 3.24 mô tả kết quả khử mờ tán xạ trong ảnh truyền qua môi trường tán xạ (𝜇 𝑠 ′ 1,00/mm, 𝜇 𝑎 = 0,01/mm) ở hướng 90 độ với ảnh có kích thước 530 x 530 pixels, độ phân giải 10 mm/120 pixel

Hình 3.24 Khử mờ tán xạ trong ảnh truyền qua ở hướng 90 độ với ảnh có kích thước

530 x 530 pixels (𝜇 𝑠 ′ = 1,00/mm, 𝜇 𝑎 = 0,01/mm): (a) ảnh quan sát được trong môi trường trong suốt, (b) ảnh quan sát được trong môi trường tán xạ, (c) kết quả sử dụng kỹ thuật giải chập với PSF, (d) kết quả sử dụng kỹ thuật đề xuất và (e) các đường biểu diễn cường độ sáng trong các ảnh (a)-(d) ở hàng pixel thứ 350

Trong nghiên cứu này, quá trình tái tạo hình ảnh ba chiều (3D) cấu trúc hấp thụ trung bình là 88,0 giây cho mỗi hình ảnh Mức hiệu suất này đạt được bằng cách sử dụng thiết lập tính toán bao gồm GPU NVIDIA Tesla V100, được bổ sung bởi bộ nhớ GPU 11,0

GB và được hỗ trợ bởi bộ xử lý Intel Xeon 16 nhân Các thông số kỹ thuật phần cứng này, mặc dù không phải là tiên tiến nhất, nhưng được chọn để thể hiện những cân nhắc của phương pháp được đề xuất trên các thiết bị phổ biến hiện có, giúp phương pháp này có thể truy cập được cho các ứng dụng chẩn đoán và nghiên cứu y học rộng hơn Cách

99 tiếp cận này đảm bảo rằng phương pháp này thực tế được cải thiện rõ rệt không chỉ về mặt hiệu suất kỹ thuật mà còn về khả năng thích ứng với nhiều môi trường thực tế khác nhau

Tỷ lệ cải thiện độ tương phản (CIR) đóng vai trò là thước đo để đánh giá hiệu quả của các kỹ thuật xử lý hình ảnh khác nhau trên các góc quay 360 độ của một đối tượng, như được mô tả trong Hình 3.25 Đường màu cam trong biểu đồ biểu thị CIR của phương pháp giải chập với hàm PSF, đường màu tím biểu thị CIR của phương pháp được đề xuất trong luận án và đường màu đỏ biểu thị sự cải thiện phần trăm giữa hai phương pháp này

Một quan sát đáng chú ý từ biểu đồ này là xu hướng tương tự được thể hiện bởi cả hai phương pháp, đặc biệt là giá trị CIR thấp nhất của chúng tại góc quay 90 độ và 270 độ

Sự giống nhau về xu hướng CIR và các điểm thấp cụ thể ở các góc này có thể là do một số yếu tố Thứ nhất, các góc này thường tương ứng với đường đi dài nhất xuyên qua vật thể, có khả năng dẫn đến tăng độ tán xạ và giảm độ tương phản Thứ hai, việc căn chỉnh các đặc điểm nhất định trong cấu trúc của vật thể ở những góc này có thể khuếch đại hiệu ứng tán xạ, làm giảm độ tương phản hơn nữa Tính nhất quán của xu hướng này trên cả hai phương pháp cho thấy rằng những điểm giảm trong CIR này có thể là do đặc tính hình học và quang học vốn có của vật thể chứ không phải do những hạn chế của kỹ thuật xử lý hình ảnh góc và tăng về góc thứ 180, giảm xuống mức tối thiểu khác ở góc thứ 270, sau đó là tăng về góc thứ 360, làm nổi bật ảnh hưởng của hướng của đối tượng và điều kiện hình ảnh đến hiệu suất của các phương pháp Bản chất lặp lại của mô hình này ngụ ý rằng các góc độ nhất định luôn đưa ra những thách thức hoặc lợi thế cho sự nâng cao độ tương phản

Hình 3.25 Tỷ lệ cải thiện độ tương phản (CIR) trong quá trình khử mờ ở xung quanh

360 độ bằng phương pháp giải mã (màu cam), phương pháp đề xuất (màu tím) và phần trăm cải thiện giữa hai phương pháp (màu đỏ)

Hình 3.26 Ảnh cắt lớp ở độ cao của vật phía trên trong Hình 3.23: (a) từ ảnh quan sát được trong môi trường trong suốt, (b) từ ảnh quan sát được trong môi trường tán xạ, (c) từ ảnh khử mờ bằng kỹ thuật giải chập, (d) từ ảnh khử mờ bằng kỹ thuật đề xuất

Hình 3.27 Ảnh cắt lớp ở độ cao của vật phía trên trong Hình 3.23: (a) từ ảnh quan sát được trong môi trường trong suốt, (b) từ ảnh quan sát được trong môi trường tán xạ, (c) từ ảnh khử mờ bằng kỹ thuật giải chập, (d) từ ảnh khử mờ bằng kỹ thuật đề xuất

101 Hình 3.26 hiển thị các hình ảnh cắt lớp ở độ cao giữa của vật thể phía trên trong Hình 3.23 Trong Hình 3.26a, hình ảnh thu được trong môi trường rõ ràng cho thấy chiều rộng vật thể là 11,69 mm Hình 3.26b biểu diễn ảnh trong môi trường tán xạ, trong đó hiệu ứng tán xạ che khuất kích thước của vật thể Hình 3.26c thể hiện việc áp dụng kỹ thuật giải chập, mang lại chiều rộng đối tượng được tái tạo là 12,86 mm, tương ứng đến sai số 10,01% Lỗi này cho thấy rằng mặc dù kỹ thuật này có lợi cho việc nâng cao độ rõ của hình ảnh, nó có thể làm thay đổi kích thước tái tạo của đối tượng Cuối cùng, Hình 3.26d mô tả kết quả của kỹ thuật đề xuất, với chiều rộng đối tượng được tái tạo là 12,39 mm và giảm sai số 5,98% Phần giảm này cho thấy độ trung thực cao hơn trong việc bảo tồn tính chân thực của đối tượng trong khi khử mờ tán xạ một cách hiệu quả

Tương tự, Hình 3.27 hiển thị các hình ảnh cắt ngang ở độ cao giữa của vật thể phía trên trong Hình 3.23 Trong Hình 3.27a, từ các hình được chụp trong môi trường trong suốt, chiều rộng của vật thể được đo là 10,89 mm Hình 3.27b, từ các hình chụp trong môi trường tán xạ, ảnh tái tạo cho thấy các hiệu ứng tán xạ có thể che khuất đáng kể kích thước của vật thể Việc sử dụng kỹ thuật giải chập được hiển thị trong Hình 3.27c dẫn đến chiều rộng đối tượng được tái tạo là 11,71 mm, với sai số là 7,53% Điều này cho thấy rằng mặc dù kỹ thuật này giúp tăng cường độ rõ nét của hình ảnh nhưng nó cũng có thể làm biến đổi kích thước của đối tượng một chút Đáng chú ý, với kỹ thuật được đề xuất trong luận án, như trong Hình 3.27d đạt được sự tái tạo chính xác hơn, với chiều rộng đối tượng là 11,35 mm và sai số thấp hơn đáng kể là 4,22% Điều này chứng tỏ độ chính xác cao hơn của kỹ thuật này trong việc duy trì kích thước thực của vật thể, bất chấp sự hiện diện của hiệu ứng tán xạ

Hình 3.28 thể hiện kết quả của phương pháp lọc chiếu ngược được sử dụng tập dữ liệu

Thí nghiệm trên chuột

Hình 3.31a cho thấy hình ảnh siêu âm vùng thận ở chuột thí nghiệm với kích thước nằm ngang của thận trái 9,20 mm

Hình 3.31 Ảnh cắt lớp được tái tạo từ ảnh thu được ở 360 độ của một con chuột: (a) hình ảnh siêu âm, (b) từ các hình ảnh thu được, (c) từ các hình ảnh khử mờ bằng giải chập, (d) kỹ thuật được đề xuất

Hình 3.31b cho thấy hình ảnh cắt lớp trong đó thận được nhìn thấy trong mặt phẳng nằm ngang được tái tạo lại bằng phương pháp lọc chiếu ngược từ hình ảnh thu được ở 360 độ của chuột Tuy nhiên, trong hình ảnh được quan sát này, các cơ quan nội tạng như thận hầu như không thể nhận thấy và khó phân biệt Hình 3.31c mô tả hình ảnh cắt lớp được tái tạo bằng phương pháp lọc chiếu ngược từ các hình ảnh được giải chập Trong hình ảnh tái tạo này, thận trái có thể phân biệt được, với chiều rộng đo được là 10,06 mm và sai số liên quan là 9,35% Bằng cách sử dụng kỹ thuật được đề xuất, Hình 3.31d cho thấy một hình ảnh được làm mờ giúp cải thiện đáng kể hình ảnh cắt lớp Thận trái được tái tạo trong hình ảnh này có chiều rộng 9,00 mm, với sai số 2,18%, chứng tỏ hiệu quả của kỹ thuật đề xuất trong việc nâng cao độ rõ nét và độ chính xác của hình ảnh

Khi xếp chồng các hình ảnh cắt lớp theo chiều dọc, hình ảnh 3D của các cấu trúc hấp thụ có thể được tái tạo Hình 3.32 thể hiện kết quả với các mức ngưỡng khác nhau khi áp dụng ngưỡng chung cho các hình ảnh ba chiều

Hình 3.32 Hình ảnh 3D được tái tạo từ hình ảnh chiếu sáng 360 độ của chuột: (a) hình ảnh được quan sát, (b) hình ảnh được giải mã, (c) kỹ thuật được đề xuất

Trong Hình 3.32a, cấu trúc bên trong hầu như không thể nhìn thấy được, nhưng kỹ thuật trước đây của Trần Trung Nghĩa (Hình 3.32b) và kỹ thuật được đề xuất trong luận án (Hình 3.32c) cho thấy khả năng hiển thị rõ ràng hơn Điều này cho phép xác định các cơ quan có khả năng hấp thụ cao như thận và phần dưới của gan

Hình 3.33 cho thấy hai giai đoạn trong tái tạo hình ảnh ba chiều 3D Hình 3.33a hiển thị hình ảnh đầu ra của quá trình khử mờ tán xạ, làm nổi bật hình ảnh của cấu trúc với hình dạng tương tự quan sát được trong môi trường trong suốt Hiệu ứng tán xạ trong ảnh đã được triệt tiêu một cách hiệu quả, hiển thị chi tiết rõ ràng hơn về cấu trúc hấp thụ Hình 3.33b minh họa kết quả của hình ảnh tái tạo 3D, kết hợp việc làm mờ tán xạ và ước lượng độ sâu Kết quả là một hình ảnh được tái tạo với thông tin ba chiều cung cấp sự thể hiện đầy đủ và toàn diện về các cấu trúc hấp thụ ánh sáng bên trong môi trường tán xạ Việc bổ sung thông tin độ sâu góp phần vào quan sát không gian, nâng cao khả năng trực quan hóa các cấu trúc trong bối cảnh ba chiều

Hình 3.33 Hình ảnh 3D được tái tạo bằng kỹ thuật đề xuất từ một hình ảnh mờ duy nhất có thang màu thể thiện độ sâu theo mm

Nghiên cứu này giải quyết các nhiệm vụ đầy thách thức của việc khử mờ do tán xạ, khôi phục các cấu trúc hấp thụ phức tạp và ước tính độ sâu của các cấu trúc phức tạp được thể hiện trong hình ảnh truyền qua khi ánh sáng lan truyền qua môi trường tán xạ như mô sinh học Đóng góp chính của nghiên cứu là việc phát triển phương pháp quét điểm ảnh (pixel- by- pixel scanning) kết hợp các mô hình học sâu để cung cấp thông tin và giá trị độ sâu từ hình ảnh mờ thu được của các cấu trúc hấp thụ

Cách tiếp cận mới này cho phép liên kết thông tin độ sâu của từng điểm ảnh và sau đó ước tính độ sâu của các cấu trúc hấp thụ trong toàn bộ hình ảnh Điều này cũng cho phép khả năng ước lượng các cấu trúc chồng lấn khi tiếp tục các nghiên cứu trong tương lai

Ngoài ra, điều đáng chú ý là khi có tập hợp một số góc quan sát phù hợp, nghiên cứu này đã chứng minh khả năng tái tạo lại các cấu trúc 3D hoàn chỉnh, cung cấp sự hiểu biết toàn diện về các cấu trúc trong môi trường tán xạ mà không cần thiết phải thực hiện thu ảnh đầy đủ 360 độ

Việc tích hợp mô hình U-Net và CNN trong quá trình tái tạo ảnh đã mang lại kết quả đáng ghi nhận Kết hợp hình ảnh 2D rõ ràng từ mô hình U-Net với nhiều ước tính độ sâu từ mô hình CNN, hình ảnh ba chiều 3D của cấu trúc hấp thụ trong môi trường tán xạ có thể được tái tạo Điều này cung cấp thông tin có giá trị lớn cho các nhà nghiên cứu và chuyên gia, đồng thời giúp hiểu được bản chất phức tạp của các cấu trúc hấp thụ trong môi trường tán xạ và ứng dụng các lĩnh vực liên quan khác

Mặc dù cách tiếp cận này tận dụng khả năng của các mô hình học sâu nhưng điều cốt lõi để giải quyết những thách thức liên quan đến kích thước dữ liệu, kỹ thuật tạo dữ liệu và sức mạnh tính toán Việc tạo các tập dữ liệu lớn để đào tạo và thực hiện các hoạt động tính toán chuyên sâu đòi hỏi phải xem xét và thực hiện cẩn thận

Khả năng mở rộng của việc khử mờ tán xạ và ước tính độ sâu cho các cấu trúc hấp thụ trong môi trường tán xạ như mô sinh học bằng cách sử dụng phương pháp học sâu, kết

107 hợp với phương pháp quét từng điểm ảnh mà luận án này đề xuất đã thể hiện một thành tựu đáng kể giúp cải thiện hiệu suất và hiệu quả của phương pháp học sâu

Kỹ thuật này có thể được áp dụng để nâng cao chất lượng hình ảnh y tế trong các ứng dụng phân đoạn ảnh và các lĩnh vực liên quan khác Sử dụng điểm mạnh của mô hình U-Net và CNN và quá trình ước tính độ sâu mới đề xuất, các nhà nghiên cứu có được một công cụ mạnh mẽ để tái tạo các cấu trúc ba chiều 3D từ các hình ảnh hai chiều 2D hoặc thậm chí một hình ảnh hai chiều 2D khi thu được ảnh trong môi trường tán xạ