Nghiên cứu phương pháp phát hiện tự động polyp dựa trên lọc hessian, biến đổi hough và đặc trưng biên trong ảnh y học

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Họ tên tác giả: Phạm Văn Tứ NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN TRONG ẢNH Y HỌC LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH Hà Nội – 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Họ tên tác giả: Phạm Văn Tứ NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN TRONG ẢNH Y HỌC Chuyên ngành: Máy tính Mã số: 8480104 LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH CÁN BỘ HƯỚNG DẪN KHOA HỌC Hướng dẫn 1: TS NGÔ TRƯỜNG GIANG Hướng dẫn 2: PGS.TS NGÔ QUỐC TẠO Hà Nội – 2021 LỜI CAM ĐOAN Tôi Phạm Văn Tứ, học viên khóa 2019B, ngành Máy tính, chun ngành Công nghệ thông tin Tôi xin cam đoan luận văn “Nghiên cứu phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn TS Ngô Trường Giang PGS.TS Ngô Quốc Tạo, chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2021 Tác giả Phạm Văn Tứ LỜI CẢM ƠN Để hoàn thành khóa luận tốt nghiệp với đề tài “Nghiên cứu phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học”, bên cạnh cố gắng nỗ lực không ngừng thân, tơi xin bày tỏ lịng biết ơn chân thành đến: - Các thầy cô Học viện khoa học Công nghệ Việt Nam, Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam nói chung thầy môn Hệ thống thông tin khoa Công nghệ thơng tin nói riêng giảng dạy truyền đạt kiến thức quý báu suốt khoá cao học vừa qua, giúp tơi có kiến thức chun môn tảng để làm sở lý luận khoa học cho luận văn - Đặc biệt xin chân thành cảm ơn thầy TS Ngô Trường Giang PGS.TS Ngơ Quốc Tạo dìu dắt hướng dẫn tơi suốt q trình làm luận văn, bảo định hướng thầy giúp tự tin nghiên cứu vấn đề giải tốn cách khoa học Tơi xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho học tập làm luận văn cách thuận lợi Luận văn hỗ trợ đề tài CS21.04 Viện Công nghệ thông tin (IOIT), Viện Hàn lâm Khoa học Công nghệ Việt Nam (VAST), Hà Nội, Việt Nam Tuy nhiên, kiến thức chun mơn nhiều hạn chế với việc thân chưa có nhiều kinh nghiệm nên luận văn khơng khỏi thiếu sót Kính mong nhận góp ý bảo quý thầy cô người Hà Nội, ngày tháng năm 2021 Tác giả Phạm Văn Tứ MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ MỞ ĐẦU Tính cấp thiết đề tài Mục tiêu luận văn Cấu trúc luận văn CHƯƠNG GIỚI THIỆU VỀ ẢNH, ẢNH TRONG Y HỌC, PHÁT HIỆN ĐỐI TƯỢNG TRONG ẢNH 1.1 Giới thiệu ảnh, khái niệm xử lý ảnh 1.1.1 Điểm ảnh, Ảnh số 1.1.2 Mức xám 1.1.3 Biểu đồ xám (Histogram), Cân sáng (histogram equalization) 1.1.4 Phóng đại ảnh (Scale ảnh) 1.1.5 Làm mờ ảnh (blur) 1.1.6 Gradient (độ dốc) 11 1.1.7 Biên 11 1.2 Ảnh y học 16 1.2.1 Giới thiệu 16 1.2.2 Chẩn đốn dựa hình ảnh 17 1.2.3 Các chuẩn hình ảnh ứng dụng y tế 18 1.2.4 Polyp 19 1.3 Phát đối tượng (object detection) ảnh 20 1.4 Non Maximum Suppression 21 1.5 Kết luận chương 23 CHƯƠNG PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN 24 2.1 Phương pháp trích đặc trưng HOG (Histogram of oriented gradients) 24 2.2 Phương pháp lọc Hessian 29 2.3 Phương pháp biến đổi Hough 32 2.4 Phân loại dựa phương pháp SVM 36 2.5 Đánh giá mơ hình phân lớp 40 2.6 Overfitting Underfitting 41 2.7 Kết luận chương 42 CHƯƠNG ỨNG DỤNG VÀ THỬ NGHIỆM VỚI ẢNH ĐẠI TRÀNG 43 3.1 Giới thiệu toán 43 3.2 Mô tả liệu thử nghiệm 43 3.3 Xây dựng chương trình thử nghiệm 44 3.4 Đánh giá kỹ thuật 47 3.5 Kết luận 48 TÀI LIỆU THAM KHẢO 49 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải NBF Normalized Box Filter Lọc trung bình CIE-Lab Commission Internationale de l’Eclairage Hệ màu – CIE CT Computed Tomography Siêu âm, chụp cắt lớp vi tính MRI Magnetic Resonance Imagin Chụp cộng hưởng từ KTV Kỹ thuật viên Kỹ thuật viên CNTT Công nghệ thông tin Công nghệ thông tin PACS Picture Archiving and Communication System Hệ thống lưu trữ, xử lý truyền ảnh động, mạng xử lý DICOM Digital Imaging and Communications in Medicine Truyền ảnh số hoá CNN Convolutional Neural Network Mạng nơ-ron phức hợp R-CNNs Regions with Convolutional Neural Network Họ mơ hình object detection dựa Convolutional Neural Network Non-Maximum Suppression Thuật toán để loại bỏ bounding box dư thừa đối tượng tượng ảnh IoU Intersection over Union Là thông số sử dụng để đánh giá độ che lấp lên bounding boxes HT Hough Transform Biến đổi Hough CTH Circle Hough Transform Biến đổi Hough cho hình trịn NMS EHT Ellipse Hough Transform Biến đổi Hough cho hình elip ML Machine Learning Học máy, máy có khả học tập CVPR Computer Vision and Pattern Hội nghị hàng đầu Thị Giác Máy tính Recognition HOG Histogram of oriented gradients Biểu đồ hướng gradient SVM Vector Support Machine Máy vector hỗ trợ DANH MỤC HÌNH VẼ Hình 1.1 Ví dụ Histogram ảnh Hình 1.2 Kết phát biên sử dụng toán tử khác 15 Hình 1.3 Các chuẩn truyền ảnh mạng 18 Hình 1.4 Ví dụ Polyp 19 Hình 1.5 Ví dụ Object Detection 20 Hình 2.1 Các bước xây dựng mơ hình phát đối tượng với HOG SVM 24 Hình 2.2 Chia ảnh thành khối, 26 Hình 2.3 Rời rạc hóa độ lớn vào bin tương ứng 27 Hình 2.4 Biểu đồ Histogram of Gradient gồm bins tương ứng với ô vuông lưới ô vuông 27 Hình 2.5 Biểu diễn nhóm véc tơ histogram lưới vng hình ảnh gốc Các phương véc tơ phổ biến chiều dọc trùng với chiều ảnh 29 Hình 2.6 Ảnh gốc(bên trái) ảnh lọc low-pass(bên phải) 30 Hình 2.7 Ảnh gốc (bên trái) ảnh tăng cường(bên phải) 31 Hình 2.8 Ảnh phân đoạn 31 Hình 2.9 Vùng ứng cử viên polyp 32 Hình Hình Hình Hình Hình 2.10 Minh họa biến đổi Hough cho hình trịn 33 2.11 Sự xác định trục elip 36 2.12 Ví dụ liệu SVM 37 2.13 So sánh lề(margin) 39 2.14 Ví dụ kết thuật tốn SVM (hình bên trái lề cứng hình bên phải lề mềm) 39 Hình 2.15 Một số ví dụ lõi SVM 40 Hình 3.1 Dự đốn polyp hình ảnh nội soi đại tràng 43 Hình 3.2 Ví dụ cấu trúc thư mục tập liệu ảnh nội soi đại tràng 44 Hình 3.3 Mơ hình phát đối tượng ảnh 44 Hình 3.4 Các bước huấn luyện 45 Hình 3.5 Các bước phát polyp ảnh đầu vào 46 Hình 3.6 Kết dự đoán thực nghiệm polyp ảnh nội soi đại tràng 47 MỞ ĐẦU Một lĩnh vực quan trọng Trí tuệ nhân tạo thị giác máy Thị giác máy tính lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Phát đối tượng có lẽ khía cạnh sâu sắc thị giác máy số lần sử dụng thực tế Phát đối tượng đề cập đến khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh xác định đối tượng Phát đối tượng sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái, Có nhiều cách để nhận diện đối tượng ứng dụng nhiều lĩnh vực thực tế Trong Y học việc chẩn đốn bệnh dựa hình ảnh kết phát yếu tố tiên việc chẩn đốn Tính cấp thiết đề tài Hiện bệnh viện hầu hết thiết bị như: máy chụp X quang, siêu âm màu, nội soi, chụp cắt lớp vi tính (CT Scanner), cộng hưởng từ hạt nhân (MRL), dừng mức chụp ảnh, việc chẩn đốn chun gia y tế Việc sàng lọc thủ công đối tượng polyp, ung thư, viêm, loét, khối u, người gặp lỗi “mù thống qua”, “mù khơng chủ ý” gây bỏ sót Để giảm yếu tố lỗi người đòi hỏi phải bao gồm người quan sát thứ hai gây tốn nhân lực Từ thực tế nêu việc Nghiên cứu phương pháp phát tự động đối tượng dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học cần thiết Giúp hỗ trợ chẩn đoán tự động, giảm lỗi gánh nặng người Mục tiêu luận văn - Nghiên cứu số phương pháp tiền xử lý ảnh, nâng cao chất lượng ảnh - Nghiên cứu số phương pháp nhận dạng, phát đối tượng - Nghiên cứu đặc trưng HOG, phương pháp lọc Hessian, biến đổi Hough - Nghiên cứu phương pháp phân loại SVM Machine Learning, kỹ thuật nâng cao chất lượng mơ hình phân loại - Áp dụng nghiên cứu vào thực tiễn: phát tự động polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học b Biến đổi Hough cho ellipse Hình trịn quan trọng việc phát hình dạng từ nhiều đối tượng có hình dạng tròn Tuy nhiên, quan điểm máy ảnh, hình trịn khơng ln ln trơng giống hình trịn hình ảnh Hình ảnh hình thành cách ánh xạ hình khơng gian 3D vào mặt phẳng (mặt phẳng ảnh) Cách ánh xạ thực thay đổi quan điểm Trong trình này, hình trịn bị biến dạng trơng giống hình elip Chúng ta xác định ánh xạ hình trịn hình elip chuyển đổi tương tự Đó là: 𝑡 cos (𝜌) sin (𝜌) 𝑆& 𝑥 𝑥 /= / 𝑆 / / + 𝑡& / (2.19) 𝑦 −sin (𝜌) cos (𝜌) - 𝑦 (x′, y′) xác định tọa độ hình trịn phương trình 2.31, ρ đại diện cho định hướng, (Sx, Sy) thừa số tỷ lệ (tx, ty) dịch chuyển Nếu xác định 𝑎0 = 𝑡& 𝑎& = 𝑆& cos (𝜌) 𝑏& = 𝑆- sin (𝜌) (2.20) 𝑏0 = 𝑡- 𝑎- = −𝑆& sin (𝜌) 𝑏- = 𝑆- cos (𝜌) Sau ta có hình trịn bị biến dạng thành: 𝑥 = 𝑎0 + 𝑎& cos (𝜃) + 𝑏& sin (𝜃) 𝑦 = 𝑏0 + 𝑎- cos (𝜃) + 𝑏- sin (𝜃) (2.21) Phương trình tương ứng với biểu diễn cực hình elip Hình thức cực có sáu tham số (a0, b0, ax, bx, ay, by) đặc trưng cho hình dạng hình elip θ tham số tự đề cập đến điểm cụ thể quỹ tích elip Tuy nhiên, tham số khơng cần thiết tính cách xem xét tính trực giao trục elip (tích số axbx+ayby = thuộc tính bật hình elip) Do đó, hình elip xác định trung tâm (a0, b0) ba tham số trục(ax, bx, ay, by) Điều cho phép tham số trực giác xác từ hình elip xác định trung tâm (hai thơng số), chỉnh kích thước dọc theo hai trục (hai thơng số hơn) phép quay (một tham số) Trong tổng số trạng thái tham số mô tả hình elip, ba tham số trục phải mơ tả kích thước phép quay Trong thực tế, thơng số trục liên quan đến việc định hướng chiều dài dọc theo trục bởi: tan (𝜌) = 2# 𝑎 = \𝑎&" + 𝑎-" 𝑏 = \𝑏&" + 𝑏-" $ Trong (a, b) trục elip 35 (2.22) Hình 2.11 Sự xác định trục elip Thuật toán Ellipse Hough Transform: Bước 1: Xác định biên ảnh đầu vào Bước 2: Bản đồ khoảng cách Euclid tạo từ ảnh biên Bước 3: Tạo danh sách điểm biên từ ảnh biên Bước 4: Các ứng cử viên trung tâm phát cách vote điểm hai điểm biên Bước 5: Các ứng cử viên slope phát cách vote đường phân giác vuông góc hai điểm cạnh Bước 6: Mọi ứng cử viên đánh giá đồ khoảng cách Euclide 2.4 Phân loại dựa phương pháp SVM Support vector machine (SVM) phương pháp học có giám sát Vladimir N Vapnik đề xuất vào năm 1995, ngày sử dụng phổ biến nhiều lĩnh vực, đặc biệt lĩnh vực phân loại mẫu nhận dạng mẫu SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác Do SVM thuật tốn phân loại nhị phân Ý tưởng SVM tìm siêu mặt phẳng (hyperplane) để phân tách điểm liệu Siêu phẳng chia không gian thành miền khác miền chứa loại liệu SVM dựa sở toán học vững Tuy nhiên việc huấn luyện mẫu sử dụng SVM đòi hỏi phải giải toán tối ưu nhiều biến Ban đầu, SVM phát triển để giải toán phân lớp, sau tính ưu việt, cịn ứng dụng rộng rãi để giải toán hồi quy Bài toán SVM đặt sau, cho tập liệu biểu diễn không gian nhiều chiều Giả sử tập liệu khả tách tuyến tính Hãy tìm siêu phẳng chia tập liệu làm hai phần (phân loại nhị phân) thỏa 36 mãn điều kiện khoảng cách từ điểm gần tập đến siêu phẳng lớn Gọi tập liệu huấn luyện (𝑥! , 𝑦! ), (𝑥" , 𝑦" ), … , (𝑥3 , 𝑦3 ) với x liệu y nhãn liệu tương ứng Giả sử y nhận giá trị -1 (bài tốn phân loại nhị phân) liệu biểu diễn khơng gian hai chiều Ta hình dung liệu huấn luyện sau: Hình 2.12 Ví dụ liệu SVM Trong hình, điểm màu xanh đỏ biểu diễn class -1 Đường thẳng 𝑊 x + b = 𝑤# 𝑥# + 𝑤$ 𝑥$ + b = đường thẳng cần tìm để phân loại hai tập liệu Với điểm liệu (xn, yn) bất kỳ, ta có khoảng cách từ điểm đến đường thẳng phân tách là: *')𝒘( $' 0C+ (2.23) ∥𝒘∥" Với ∥ 𝐰 ∥" = H∑4$%!   𝑤$" với d số nhãn Nhiệm vụ tốn SVM tìm w b để giá trị lề (margin) lớn nhất, ta có mơ tả tốn học SVM sau: (𝐰, 𝑏) = arg 𝑚𝑎𝑥  S𝑚𝑖𝑛   𝐰,1 +! 3𝐰 " 𝐱! 516 ∥𝐰∥# # V = arg 𝑚𝑎𝑥  S∥𝐰∥ 𝑚𝑖𝑛𝑦2 (𝐰 𝐱 + 𝑏 )V (2.24) 𝐰,1 # Ta giả sử: 𝑦2 (𝒘 𝑥2 + 𝑏) ≥ Trong dấu xảy điểm gần đường thẳng Bài toán tối ưu SVM mơ tả sau: ! (𝒘, 𝑏) = arg 𝑚𝑖𝑛   " ∥ 𝒘 ∥"" 𝒘,6 (2.25) thoả mãn − 𝑦2 (𝒘 𝑥2 + 𝑏) ≤ 0, ∀𝑛 = 1,2, … , 𝑁 Ở đây, n số lượng điểm liệu (xi, yi) cịn việc lấy bình phương chia đơi nhằm dễ dàng tính tốn tối ưu lồi Bài tốn giải thơng qua 37 tốn đối ngẫu sử dụng phương pháp nhân tử Lagrance Lúc này, ta cần tìm giá trị λ sau: ! " 𝜆 = arg 𝑚𝑎𝑥  ∑3$%!   𝜆$ − ∑3$,7%!   𝜆$ 𝜆7 𝑦$ 𝑦7 𝐱 $8 𝐱7 (2.26) thoả mãn 𝜆$ ≥ ∧ ∑3$%!   𝜆$ 𝑦$ = 0, 𝑖 ∈ [1, 𝑛] Việc giải λ thực phương pháp quy hoạch động bậc (Quadratic Programing) Sau tìm λ ta có tham số: 𝐰 = ∑*!#-   𝜆! 𝑦! 𝐱! 𝑏 = 𝑦! − ∑*"#-   𝜆" 𝑦" 𝐱": 𝐱! (2.27) Ở (xi,yi) điểm liệu nằm đường biên gốc Điểm liệu gọi Support Vector Tên phương pháp SVM từ mà Tuy nhiên, thường người ta tính phép lấy trung bình tổng tất bi Giả sử, ta có tập S Support Vectors thì: - 𝑏 = |𝕊| ∑!∈𝕊   O𝑦! − ∑*"#-   𝜆" 𝑦" 𝐱": 𝐱! P (2.28) Khi đó, điểm liệu phân loại dựa theo: 𝑐𝑙𝑎𝑠𝑠(𝐱) = sgn 2d   𝜆8 𝑦8 𝒙;𝒊 𝒙 + 𝑏4 (2.29) 89# Trong hàm sgn hàm xác định dấu, nhận giá trị đối số không âm -1 ngược lại Như vậy, cần điểm Support Vector đường biên gốc ta ước lượng tham số tối ưu cho toán Việc có lợi tính tốn giúp phương pháp tiết kiệm tài nguyên thực thi Hiểu cách đơn giản, thuật tốn SVM có mục đích tìm mơ hình phân chia tập liệu miền cho liệu miền nhãn nhiều Tuy nhiên có điều kiện có nhiều mơ hình thỏa mãn số có nhiều mơ hình khơng phải tốt SVM thêm điều kiện “khoảng cách” từ điểm gần đến mơ hình lớn Khoảng cách lề Lề lớn mơ hình phân tách liệu dự đoán liệu chưa xuất tốt Hay nói cách khác, lề thể việc mơ hình dự đốn loại liệu cách “công bằng” chịu nhiễu tốt hay không 38 Hình 2.13 So sánh lề(margin) Ta thấy, đường mơ hình hình bên phải (lề lớn) tốt nhiều so với đường mơ hình hình bên trái Trong hình biên trái, đường mơ hình bị lệch nhiều bên đỏ kiến cho điểm màu đỏ không xuất huấn luyện dễ bị nhận nhầm sang màu xanh Với hình bên phải, đường mơ hình nằm hai tập liệu Đây lề lớn đạt đường mơ hình tốt để phân chia hai tập liệu Trong huấn luyện, SVM định nghĩa siêu tham số gọi C Tham số đại diện cho việc huấn luyện ưu tiên mơ hình phân loại xác điểm liệu hay ưu tiên tìm mơ hình có lề lớn Ban đầu, thuật toán SVM xác định lề cứng, tức bắt buộc toàn liệu phải chia xác Tuy nhiên thực tế, tồn liệu thõa mãn điều kiện Từ khái niệm SVM lề mềm đưa Theo đó, thuật toán SVM cho phép chấp nhận số điểm khơng chia xác tuyệt đối Điều giúp thuật tốn áp dụng với tốn thực tế Và này, tham số C có ý nghĩa việc điều kiển việc huấn luyện ưu tiên điều kiện phân loại điểm liệu hay ưu tiên khả chịu nhiễu dự đốn liệu chưa xuất Hình 2.14 Ví dụ kết thuật tốn SVM (hình bên trái lề cứng hình bên phải lề mềm) 39 Trong ví dụ trên, mơ hình nhắc đến đường thẳng Tuy nhiên thực tế, mặt phẳng phân tách liệu không đơn giản đường thẳng mà phương trình phức tạp (ví dụ đường cong, hình trịn ) Đây siêu tham số cần lựa chọn huấn luyện mơ hình gọi lõi (kernel) Mỗi loại lõi cho kết tốt với trường hợp liệu cụ thể Hình 2.15 Một số ví dụ lõi SVM 2.5 Đánh giá mơ hình phân lớp Khơng thể khẳng định phương pháp phân lớp xác hồn tồn Bất kỳ phương pháp có độ sai lệch Vì việc đưa độ đo để đánh giá hiệu thuật tốn phân lớp giúp ta xác định mơ hình tốt nhất, nhất, từ áp dụng thuật tốn vào việc phân lớp Confusion matrix kỹ thuật đánh giá hiệu mơ hình cho tốn phân lớp Confusion matrix ma trận thể số lượng điểm liệu thuộc vào class dự đoán thuộc vào class Confusion matrix cung cấp thêm thông tin tỉ lệ phân lớp lớp, hay giúp phát lớp có tỉ lệ phân lớp nhầm cao nhờ vào khái niệm True (False) Positive (Negative) Predicted Class Actual Class Positive Negative True Positive (TP) Flase Negative (FN) Negative False Positive (FP) True Negative (TN) Positive • True Positive (TP): đối tượng lớp Positive, mơ hình phân đối tượng vào lớp Positive (dự đốn đúng) 40 • True Negative (TN): đối tượng lớp Negative, mơ hình phân đối tượng vào lớp Negative (dự đốn đúng) • False Positive (FP): đối tượng lớp Negative, mơ hình phân đối tượng vào lớp Positive (dự đốn sai) – Type I Error • False Negative (FN): đối tượng lớp Positive, mơ hình phân đối tượng vào lớp Negative (dự đoán sai) – Type II Error Với thơng tin có từ Confusion matrix, định lượng độ hiệu mơ hình qua nhiều thang đo khác Độ hồi tưởng (Recall) độ xác (Precision), độ đo F1-score dùng để đánh giá chất lượng thuật toán phân lớp Precision: tỉ lệ số điểm true positive số điểm phân loại positive (TP + FP) Precision cao đồng nghĩa với việc độ xác điểm tìm cao precision = TP × 100% (2.30) TP + FP Recall: tỉ lệ số điểm true positive số điểm thực positive (TP + FN) Recall cao đồng nghĩa với việc True Positive Rate cao, tức tỉ lệ bỏ sót điểm thực positive thấp recall = TP × 100% (2.31) TP + FN F1-score: trung bình điều hịa (harmonic mean) tiêu chí Precision Recall Một mơ hình có số F1-score cao số Precision Recall để cao Một hai số thấp kéo điểm F1score xuống F# score = × recall × precision (2.32) recall + precision 2.6 Overfitting Underfitting Mơ hình sau huấn luyện đạt hiệu khơng tốt dự đoán với liệu Chuyện xảy mơ hình chưa tổng qt hố với toàn tập liệu Nguyên nhân dễ hiểu mà tập huấn luyện tập nhỏ chưa thể đại diện cho toàn thể liệu cịn bị nhiễu Người ta chia nguyên nhân làm loại chưa khớp khớp v Chưa khớp (Underfitting) 41 Mơ hình coi chưa khớp chưa phù hợp với tập liệu huấn luyện mẫu dự đoán Nguyên nhân mơ hình chưa đủ độ phức tạp cần thiết để bao quát tập liệu v Q khớp (Overfitting) Mơ hình hợp lý, khớp với tập huấn luyện đem dự đốn với liệu lại khơng phù hợp Nguyên nhân chưa đủ liệu để đánh giá mơ hình q phức tạp Mơ hình bị q phức tạp mà mơ hình sử dụng nhiễu lớn tập liệu để học, dẫn tới tính tổng qt mơ hình Làm để tránh Overfitting? Cả hai tượng Overfitting Underfitting khiến mơ hình xây dựng có độ xác Nhưng nay, vấn đề phổ biến xuất Overfitting Overfitting thực vấn đề quan trọng việc đánh giá mơ hình học máy liệu huấn luyện khác biệt với việc đánh giá độ xác tổng thể (những liệu mà mơ hình chưa gặp bao giờ) Có hai kỹ thuật quan trọng việc đánh giá mơ hình học máy tránh tượng overfitting: • Sử dụng kỹ thuật lấy lại mẫu để ước lượng độ xác mơ hình • Sử dụng tập Validation test Lấy lại mẫu (resampling methods) kỹ thuật phổ biến Khi đó, ta chia tập liệu thành k tập Cách gọi k-fold cross validation Điều cho phép thực huấn luyện tập liệu khác k lần, từ đó, xây dựng ước lượng độ xác mơ hình học máy với liệu Sử dụng Cross-validation tiêu chuẩn tốt học máy để ước lượng độ xác mơ hình với liệu Cịn trường hợp có nhiều liệu, việc sử dụng tập Validation phương pháp tuyệt vời 2.7 Kết luận chương Chương trình bày giới thiệu kỹ thuật phát đối tượng dựa đặc trưng HOG, kỹ thuật lọc Hessain, biến đổi Hough cho hình trịn, elip để dự đoán vùng ứng cử viên, thuật toán phân loại SVM tuyến tính cách đánh giá, nâng cao chất lượng mơ hình phân lớp Nội dung chương nội dung sở sử dụng chương sau 42 CHƯƠNG ỨNG DỤNG VÀ THỬ NGHIỆM VỚI ẢNH ĐẠI TRÀNG Trong chương mô tả bước xây dựng toán phát Polyp, đánh giá thuật toán, kết thực nghiệm từ nội dung trình bày Chương Chương bao gồm: 3.1 Giới thiệu toán Các nội dung sở trình bày Chương Chương 2, Chương luận văn cài đặt chạy thử việc phát Polyp ảnh nội soi đại tràng Sử dụng kỹ thuật phát biên Gradient, kỹ thuật lọc Hessian, kỹ thuật biến đổi Hough, đặc trưng HOG phương pháp phân loại SVM máy học để tìm kiếm tự động vùng Polyp Hình 3.1 Dự đốn polyp hình ảnh nội soi đại tràng 3.2 Mô tả liệu thử nghiệm - Dữ liệu frame ảnh trích xuất từ nhiều video nội soi đại tràng khác - Dữ liệu có sẵn cơng khai: + CVC ClinicDB: 612 frame (384 × 288 pixels) - Các frame có vùng có polyp Ngồi frame, liệu cung cấp “giá trị thật liệu” - ground truth cho polyp Ground Truth bao gồm mặt nạ tương ứng với vùng che phủ polyp ảnh - Cơ sở liệu bao gồm hai loại hình ảnh khác nhau: 1) Hình ảnh gốc: original/frame_number.png 2) Mặt nạ polyp: ground truth/frame_number.png 43 Hình 3.2 Ví dụ cấu trúc thư mục tập liệu ảnh nội soi đại tràng 3.3 Xây dựng chương trình thử nghiệm Các thuật tốn cài đặt thử nghiệm ngơn ngữ lập trình Python Thư viện OpenCV thư viện nguồn mở hàng đầu cho Computer Vision Machine Learning OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng theo xu hướng chạy đua sử dụng computer vision công ty công nghệ OpenCV ứng dụng rộng rãi toàn cầu, với cộng đồng 47.000 người, với nhiều mục đích tính khác từ interactive art, đến khai thác mỏ, khai thác web map qua robotic cao cấp Hình 3.3 Mơ hình phát đối tượng ảnh Mơ hình phát Polyp bao gồm số bước bản: ü Bước 1: Tiền xử lý liệu ü Bước 2: Trích xuất đặc trưng ü Bước 3: Huấn luyện mơ hình ü Bước 4: Phát đối tượng (Phân loại) 44 v Bước huấn luyện: Hình 3.4 Các bước huấn luyện ü Bước 1: Dựa vào ảnh Ground Truth ta trích vùng polyp vùng polyp tương ứng với ảnh nội soi gốc Khi hồn tất việc trích vùng ta hai tập liệu: polyp (612 ảnh) non-polyp (612 ảnh polyp) ü Bước 2: Tiền xử lý ảnh: grayscale, cân sáng, lọc Gaussian, scale ảnh tập huấn luyện chung kích thước ü Bước 3: Trích đặc trưng HOG tập liệu với khơng gian hướng = 9(00–1800), kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell chồng lấn cell ü Bước 4: Huấn luyện mô hình với thuật tốn SVM với train_size/test_size = 80/20 v Bảng kết huấn luyện không áp dụng lọc ảnh, scale = 124x64 pixel, kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 15x7x36=3.780 chiều: Precision Recall F1-Score polyp 0.86 0.80 0.83 non-polyp 0.76 0.83 0.79 Từ bảng kết độ đo ta thấy khả phát thấp tỉ lệ bỏ sót Polyp cao, mơ hình dự đốn cho kết xác thấp v Bảng kết huấn luyện không áp dụng lọc ảnh, scale = 96x48 pixel, kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 11x5x36=1.980 chiều: 45 Precision Recall F1-Score polyp 0.89 0.78 0.83 non-polyp 0.75 0.87 0.81 Từ bảng kết độ đo ta thấy khả phát cải thiện nhiên thấp tỉ lệ bỏ sót Polyp cao, mơ hình dự đốn cho kết xác thấp v Bảng kết huấn luyện áp dụng lọc Gauss, scale = 96x48 pixel, kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 11x5x36=1.980 chiều: Precision Recall F1-Score polyp 0.94 0.91 0.93 non-polyp 0.89 0.93 0.91 Từ bảng kết độ đo ta thấy khả phát polyp cải thiện tỉ lệ bỏ sót giảm, mơ hình dự đốn cho kết xác v Bước phát Polyp (phân loại): Hình 3.5 Các bước phát polyp ảnh đầu vào ü Bước 1: Từ ảnh đầu vào thông qua lọc Hessian biến đổi Hough ta xác định vùng ứng cử viên polyp ü Bước 2: Tiền xử lý ảnh: grayscale, lọc Gaussian, scale kích thước 96x48 ü Bước 3: Trích xuất đặc trưng HOG vùng ứng cử viên, với tham số khơng gian hướng = 9(00–1800), kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell chồng lấn cell 46 ü Bước 4: Sử dụng mơ hình SVM huấn luyện để dự đoán vùng ứng cử viên có phải polyp hay khơng, dự đoán polyp vùng bao khung đỏ để đánh dấu Hình 3.6 Kết dự đoán thực nghiệm polyp ảnh nội soi đại tràng 3.4 Đánh giá kỹ thuật Thời gian thực thuật tốn tìm polyp thuật tốn Hessian chậm kỹ thuật Hough Phép biến đổi Hough Circle cho phép phát vật thể có dạng tương tự hình trịn xác định vị trí tâm, độ dài bán kính đường trịn mơ tả cho vật thể Cách tiếp cận đơn giản, kết thu đơi khơng xác Trong trường hợp nhóm nhiều polyp chồng lấp lên nhau, Hough Circle nhận dạng thừa thiếu polyp xác định vị trí tâm khơng phù hợp Trong object detection, thuật toán HOG tỏ hiệu ứng dụng tốt để phát đối tượng với nhiều kích thước khác Việc áp dụng phương pháp cổ điển để trích lọc đặc trưng HOG mang lại kết tốt mà tốn tài nguyên chi phí tính tốn Trong luận văn khơng sử dụng deep learning mà sử dụng phương pháp trích chọn đặc trưng HOG tơi muốn sở để đánh giá so sánh với mơ hình deep learning tiếp tục nghiên cứu thử nghiệm 47 3.5 Kết luận Trong luận văn tìm hiểu số kiến thức tổng quan tốn phát đối tượng ảnh, tìm hiểu số thuật toán áp dụng vào việc phát polyp Trong trình nghiên cứu Phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học đạt số kết định sau: Các vấn đề mà luận văn làm được: Trình bày kiến thức tổng quan xử lý ảnh, ảnh y học, mơ tả thuật tốn: Lọc Hessian, Cricle Hough Transform, đặc trưng HOG, phân loại SVM… Nắm bước xây dựng toán phát đối tượng Trong trình xây dựng tập liệu đào tạo, huấn luyện cho phát polyp giúp tơi có kinh nghiệm q báu việc xây dựng mơ hình dự đốn Xây dựng thành cơng chương trình thử nghiệm phát tự động Polyp Hướng nghiên cứu luận văn nghiên cứu cải tiến thuật toán, tiếp tục tiến hành thử nghiệm so sánh với thuật toán khác việc tìm kiếm polyp để có đánh giá khách quan Mặc dù cố gắng, thời gian trình độ cịn hạn chế định nên luận văn khơng tránh khỏi thiếu sót Trong tương lai học viên cố gắng hoàn thiện phát triển vấn đề nêu trên, nhằm mang lại vấn đề khả quan Rất mong nhận đóng góp ý kiến thầy bạn để luận văn hoàn thiện 48 TÀI LIỆU THAM KHẢO [1] Ngô Quốc Tạo, 2003, Bài giảng môn xử lý ảnh [2] Rafael C Gonzalez, 2018, Digital Image Processing, 4Th Edition [3] Mark Nixon, 2008, Feature Extraction and Image Processing 2nd Edition [4] Andriy Burkov, 2019, The Hundred-Page Machine Learning Book [5] Christopher M Bishop, 2006, Pattern Recognition and Machine Learning [6] O'Reilly Media, Inc, 2015, Data Algorithms [7] Ayyadevara, Kishore, 2018, Pro Machine Learning Algorithms [8] Erik R Ranschaert, Sergey Morozov, Paul R Algra, 2019, Artificial Intelligence in Medical Imaging [9] Guorong Wu, Dinggang Shen, Mert Sabuncu, 2016, Machine Learning and Medical Imaging [10] N Dalal and B Triggs, 2005, Histogram of oriented gradients for human detection, International Conference on Computer Vision & Pattern Recognition, volume [11] Jason Brownlee, 2019, Deep Learning for Computer Vision: Image Classification, Object Detection, and Face Recognition in Python [12] Yuji Iwahori, Takayuki Shinohara, Akira Hattori, Robert J Woodham, 2013, Automatic Polyp Detection in Endoscope Images Using a Hessian Filter [13] S Kevin Zhou, 2015, Medical Image Recognition, Segmentation and Parsing: Machine Learning and Multiple Object Approaches [14] Qinghui LIU, 2019, Deep Learning Applied to Automatic Polyp Detection in Colonoscopy Images [15] Younghak Shin, Ilangko Balasingham, 2017, Comparison of Hand-craft Feature based SVM and CNN based Deep Learning Framework for Automatic Polyp Classification [16] Carmen C Y Poon, Yuqi Jiang, Ruikai Zhang, Winnie W Y Lo, Maggie S H Cheung, Ruoxi Yu, Yali Zheng, John C T Wong, Qing Liu, Sunny H Wong, Tony W C Mak and James Y W Lau, 2020, AI-doscopist: a real-time deep-learning-based algorithm for localising polyps in colonoscopy videos with edge computing devices 49 ... CHƯƠNG PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN Trong chương trình b? ?y phương pháp phát Polyp dựa lọc Hessian, biến đổi Hough, đặc trưng biên HOG,... Lyy (x ,y) tích chập ảnh đầu vào L(x ,y) với Gxx (x, y) , Gxy (x, y) Gyy (x, y) tương ứng Đó là: Lxx(x ,y) =Gxx(x ,y) * L(x ,y) (2.11) Lxy(x ,y) =Gxy(x ,y) * L(x ,y) (2.12) Lyy(x ,y) =Gyy(x ,y) * L(x ,y) (2.13)... PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN 24 2.1 Phương pháp trích đặc trưng HOG (Histogram of oriented gradients) 24 2.2 Phương