(Luận văn) nghiên cứu phương pháp phát hiện tự động polyp dựa trên lọc hessian, biến đổi hough và đặc trưng biên trong ảnh y học

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM lu an Họ tên tác giả: Phạm Văn Tứ n va ie gh tn to p NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN TRONG ẢNH Y HỌC d oa nl w ll u nf va an lu oi m z at nh LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH z m co l gm @ an Lu n va Hà Nội – 2021 ac th si BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM lu Họ tên tác giả: Phạm Văn Tứ an n va p ie gh tn to NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN TRONG ẢNH Y HỌC nl w d oa Chuyên ngành: Máy tính ll u nf va an lu Mã số: 8480104 oi m LUẬN VĂN THẠC SĨ NGÀNH MÁY TÍNH z at nh z gm @ CÁN BỘ HƯỚNG DẪN KHOA HỌC m co l Hướng dẫn 1: TS NGÔ TRƯỜNG GIANG Hướng dẫn 2: PGS.TS NGÔ QUỐC TẠO an Lu Hà Nội – 2021 n va ac th si LỜI CAM ĐOAN Tôi Phạm Văn Tứ, học viên khóa 2019B, ngành Máy tính, chun ngành Cơng nghệ thông tin Tôi xin cam đoan luận văn “Nghiên cứu phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn TS Ngô Trường Giang PGS.TS Ngô Quốc Tạo, chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2021 Tác giả lu an n va to p ie gh tn Phạm Văn Tứ d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Để hồn thành khóa luận tốt nghiệp với đề tài “Nghiên cứu phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học”, bên cạnh cố gắng nỗ lực không ngừng thân, tơi xin bày tỏ lịng biết ơn chân thành đến: - Các thầy cô Học viện khoa học Công nghệ Việt Nam, Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam nói chung thầy mơn Hệ thống thông tin khoa Công nghệ thông tin nói riêng giảng dạy truyền đạt kiến thức quý báu suốt khoá cao học vừa qua, giúp tơi có kiến thức chun mơn tảng để làm sở lý luận khoa lu học cho luận văn - Đặc biệt xin chân thành cảm ơn thầy TS Ngô Trường Giang PGS.TS Ngô Quốc Tạo dìu dắt hướng dẫn tơi suốt trình làm luận an n va tn to văn, bảo định hướng thầy giúp tự tin nghiên cứu vấn đề giải toán cách khoa học p ie gh Tôi xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho học tập làm luận văn cách thuận lợi Luận văn hỗ trợ đề tài CS21.04 Viện Công nghệ thông tin (IOIT), Viện Hàn lâm Khoa học Công nghệ Việt Nam (VAST), Hà Nội, d oa nl w ll u nf va an lu Việt Nam Tuy nhiên, kiến thức chun mơn cịn nhiều hạn chế với việc thân chưa có nhiều kinh nghiệm nên luận văn khơng khỏi thiếu sót Kính mong nhận góp ý bảo quý thầy cô người m oi Hà Nội, ngày tháng năm 2021 z at nh Tác giả z m co l gm @ Phạm Văn Tứ an Lu n va ac th si MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ MỞ ĐẦU Tính cấp thiết đề tài Mục tiêu luận văn Cấu trúc luận văn CHƯƠNG GIỚI THIỆU VỀ ẢNH, ẢNH TRONG Y HỌC, PHÁT HIỆN ĐỐI TƯỢNG TRONG ẢNH lu 1.1 Giới thiệu ảnh, khái niệm xử lý ảnh an va 1.1.1 Điểm ảnh, Ảnh số n 1.1.2 Mức xám 1.1.4 Phóng đại ảnh (Scale ảnh) ie gh tn to 1.1.3 Biểu đồ xám (Histogram), Cân sáng (histogram equalization) p 1.1.5 Làm mờ ảnh (blur) w 1.1.6 Gradient (độ dốc) 11 oa nl 1.1.7 Biên 11 d 1.2 Ảnh y học 16 lu va an 1.2.1 Giới thiệu 16 u nf 1.2.2 Chẩn đốn dựa hình ảnh 17 ll 1.2.3 Các chuẩn hình ảnh ứng dụng y tế 18 m oi 1.2.4 Polyp 19 z at nh 1.3 Phát đối tượng (object detection) ảnh 20 z 1.4 Non Maximum Suppression 21 @ gm 1.5 Kết luận chương 23 m co l CHƯƠNG PHƯƠNG PHÁP PHÁT HIỆN TỰ ĐỘNG POLYP DỰA TRÊN LỌC HESSIAN, BIẾN ĐỔI HOUGH VÀ ĐẶC TRƯNG BIÊN 24 an Lu 2.1 Phương pháp trích đặc trưng HOG (Histogram of oriented gradients) 24 n va ac th si 2.2 Phương pháp lọc Hessian 29 2.3 Phương pháp biến đổi Hough 32 2.4 Phân loại dựa phương pháp SVM 36 2.5 Đánh giá mơ hình phân lớp 40 2.6 Overfitting Underfitting 41 2.7 Kết luận chương 42 CHƯƠNG ỨNG DỤNG VÀ THỬ NGHIỆM VỚI ẢNH ĐẠI TRÀNG 43 3.1 Giới thiệu toán 43 3.2 Mô tả liệu thử nghiệm 43 lu an 3.3 Xây dựng chương trình thử nghiệm 44 va n 3.4 Đánh giá kỹ thuật 47 gh tn to 3.5 Kết luận 48 p ie TÀI LIỆU THAM KHẢO 49 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải Normalized Box Filter Lọc trung bình CIE-Lab Commission Internationale de l’Eclairage Hệ màu – CIE CT Computed Tomography Siêu âm, chụp cắt lớp vi tính MRI Magnetic Resonance Imagin Chụp cộng hưởng từ KTV Kỹ thuật viên Kỹ thuật viên CNTT Công nghệ thông tin Công nghệ thông tin PACS Picture Archiving and Communication System Hệ thống lưu trữ, xử lý truyền ảnh động, mạng xử lý Digital Imaging and Communications in Medicine Truyền ảnh số hoá lu NBF an n va ie gh tn to p DICOM nl w CNN R-CNNs Regions with Convolutional Neural Network d oa Convolutional Neural Network Mạng nơ-ron phức hợp ll u nf va an lu Họ mơ hình object detection dựa Convolutional Neural Network IoU Intersection over Union Là thông số sử dụng để đánh giá độ che lấp lên bounding boxes HT Hough Transform Biến đổi Hough CTH Circle Hough Transform Biến đổi Hough cho hình trịn z at nh NMS oi m Non-Maximum Suppression Thuật toán để loại bỏ bounding box dư thừa đối tượng tượng ảnh z m co l gm @ an Lu n va ac th si EHT Ellipse Hough Transform Biến đổi Hough cho hình elip ML Machine Learning Học máy, máy có khả học tập CVPR Computer Vision and Pattern Hội nghị hàng đầu Thị Giác Máy tính Recognition HOG Histogram of oriented gradients Biểu đồ hướng gradient SVM Vector Support Machine Máy vector hỗ trợ lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si DANH MỤC HÌNH VẼ Hình 1.1 Ví dụ Histogram ảnh Hình 1.2 Kết phát biên sử dụng toán tử khác 15 Hình 1.3 Các chuẩn truyền ảnh mạng 18 Hình 1.4 Ví dụ Polyp 19 Hình 1.5 Ví dụ Object Detection 20 Hình 2.1 Các bước xây dựng mơ hình phát đối tượng với HOG SVM 24 lu Hình 2.2 Chia ảnh thành khối, ô 26 Hình 2.3 Rời rạc hóa độ lớn vào bin tương ứng 27 Hình 2.4 Biểu đồ Histogram of Gradient gồm bins tương ứng với ô vuông lưới ô vuông 27 Hình 2.5 Biểu diễn nhóm véc tơ histogram lưới vng hình ảnh an n va tn to gốc Các phương véc tơ phổ biến chiều dọc trùng với chiều ảnh 29 Hình 2.6 Ảnh gốc(bên trái) ảnh lọc low-pass(bên phải) 30 Hình 2.7 Ảnh gốc (bên trái) ảnh tăng cường(bên phải) 31 2.10 Minh họa biến đổi Hough cho hình trịn 33 2.11 Sự xác định trục elip 36 2.12 Ví dụ liệu SVM 37 2.13 So sánh lề(margin) 39 2.14 Ví dụ kết thuật tốn SVM (hình bên trái lề cứng hình bên d oa nl w va an lu Hình Hình Hình Hình Hình p ie gh Hình 2.8 Ảnh phân đoạn 31 Hình 2.9 Vùng ứng cử viên polyp 32 ll u nf phải lề mềm) 39 Hình 2.15 Một số ví dụ lõi SVM 40 Hình 3.1 Dự đốn polyp hình ảnh nội soi đại tràng 43 Hình 3.2 Ví dụ cấu trúc thư mục tập liệu ảnh nội soi đại tràng 44 Hình 3.3 Mơ hình phát đối tượng ảnh 44 oi m z at nh z Hình 3.4 Các bước huấn luyện 45 Hình 3.5 Các bước phát polyp ảnh đầu vào 46 Hình 3.6 Kết dự đốn thực nghiệm polyp ảnh nội soi đại tràng 47 m co l gm @ an Lu n va ac th si MỞ ĐẦU Một lĩnh vực quan trọng Trí tuệ nhân tạo thị giác máy Thị giác máy tính lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Phát đối tượng có lẽ khía cạnh sâu sắc thị giác máy số lần sử dụng thực tế Phát đối tượng đề cập đến khả hệ thống máy tính phần lu mềm để định vị đối tượng hình ảnh xác định đối tượng Phát đối tượng sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái, Có nhiều cách để nhận diện đối tượng ứng dụng nhiều lĩnh vực thực tế Trong Y học việc chẩn đốn bệnh dựa hình ảnh kết phát yếu an n va tố tiên việc chẩn đốn Tính cấp thiết đề tài tn to Hiện bệnh viện hầu hết thiết bị như: máy chụp X quang, siêu p ie gh âm màu, nội soi, chụp cắt lớp vi tính (CT Scanner), cộng hưởng từ hạt nhân (MRL), dừng mức chụp ảnh, việc chẩn đốn chun gia y tế d oa nl w Việc sàng lọc thủ công đối tượng polyp, ung thư, viêm, loét, khối u, người gặp lỗi “mù thống qua”, “mù khơng chủ ý” gây bỏ sót Để giảm yếu tố lỗi người đòi hỏi phải bao gồm người quan sát thứ hai gây tốn nhân lực Từ thực tế nêu việc Nghiên cứu phương pháp phát tự động va an lu ll u nf đối tượng dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học cần thiết Giúp hỗ trợ chẩn đoán tự động, giảm lỗi gánh nặng người oi m z at nh Mục tiêu luận văn - Nghiên cứu số phương pháp tiền xử lý ảnh, nâng cao chất lượng ảnh z - Nghiên cứu số phương pháp nhận dạng, phát đối tượng @ gm - Nghiên cứu đặc trưng HOG, phương pháp lọc Hessian, biến đổi Hough m co l - Nghiên cứu phương pháp phân loại SVM Machine Learning, kỹ thuật nâng cao chất lượng mơ hình phân loại an Lu - Áp dụng nghiên cứu vào thực tiễn: phát tự động polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học n va ac th si b Biến đổi Hough cho ellipse Hình trịn quan trọng việc phát hình dạng từ nhiều đối tượng có hình dạng tròn Tuy nhiên, quan điểm máy ảnh, hình trịn khơng ln ln trơng giống hình trịn hình ảnh Hình ảnh hình thành cách ánh xạ hình khơng gian 3D vào mặt phẳng (mặt phẳng ảnh) Cách ánh xạ thực thay đổi quan điểm Trong trình này, hình trịn bị biến dạng trơng giống hình elip Chúng ta xác định ánh xạ hình trịn hình elip chuyển đổi tương tự Đó là: 𝑡 cos (𝜌) sin (𝜌) 𝑆& 𝑥 𝑥 /= / 𝑆 / / + 𝑡& / (2.19) 𝑦 −sin (𝜌) cos (𝜌) - 𝑦 (x′, y′) xác định tọa độ hình trịn phương trình 2.31, ρ đại diện lu an n va to cho định hướng, (Sx, Sy) thừa số tỷ lệ (tx, ty) dịch chuyển Nếu xác định 𝑎0 = 𝑡& 𝑎& = 𝑆& cos (𝜌) 𝑏& = 𝑆- sin (𝜌) (2.20) 𝑏0 = 𝑡- 𝑎- = −𝑆& sin (𝜌) 𝑏- = 𝑆- cos (𝜌) gh tn Sau ta có hình trịn bị biến dạng thành: 𝑥 = 𝑎0 + 𝑎& cos (𝜃) + 𝑏& sin (𝜃) 𝑦 = 𝑏0 + 𝑎- cos (𝜃) + 𝑏- sin (𝜃) p ie (2.21) oa nl w Phương trình tương ứng với biểu diễn cực hình elip Hình thức cực có sáu tham số (a0, b0, ax, bx, ay, by) đặc trưng cho hình dạng d hình elip θ khơng phải tham số tự đề cập đến điểm cụ thể quỹ tích elip Tuy nhiên, tham số khơng cần thiết an lu va tính cách xem xét tính trực giao trục elip (tích số ll u nf axbx+ayby = thuộc tính bật hình elip) Do đó, hình elip xác định trung tâm (a0, b0) ba tham số trục(ax, m oi bx, ay, by) Điều cho phép tham số trực giác xác từ hình elip xác định trung tâm (hai thơng số), chỉnh kích thước dọc z at nh z theo hai trục (hai thông số hơn) phép quay (một tham số) Trong tổng số trạng thái tham số mơ tả hình elip, ba tham số trục phải @ tan (𝜌) = 2# 𝑎 = \𝑎&" + 𝑎-" 𝑏 = \𝑏&" + 𝑏-" $ m co l gm mô tả kích thước phép quay Trong thực tế, thơng số trục liên quan đến việc định hướng chiều dài dọc theo trục bởi: (2.22) an Lu Trong (a, b) trục elip n va ac th 35 si Hình 2.11 Sự xác định trục elip Thuật toán Ellipse Hough Transform: Bước 1: Xác định biên ảnh đầu vào lu Bước 2: Bản đồ khoảng cách Euclid tạo từ ảnh biên Bước 3: Tạo danh sách điểm biên từ ảnh biên an n va p ie gh tn to Bước 4: Các ứng cử viên trung tâm phát cách vote điểm hai điểm biên Bước 5: Các ứng cử viên slope phát cách vote đường phân giác vng góc hai điểm cạnh Bước 6: Mọi ứng cử viên đánh giá đồ khoảng cách oa nl w Euclide 2.4 Phân loại dựa phương pháp SVM d Support vector machine (SVM) phương pháp học có giám sát Vladimir N Vapnik đề xuất vào năm 1995, ngày sử dụng phổ biến nhiều lĩnh vực, đặc biệt lĩnh vực phân loại mẫu nhận dạng mẫu va an lu u nf SVM dạng chuẩn nhận liệu vào phân loại chúng vào hai lớp khác ll Do SVM thuật tốn phân loại nhị phân Ý tưởng SVM tìm siêu mặt phẳng (hyperplane) để phân tách điểm liệu Siêu phẳng chia không gian thành miền khác miền chứa loại liệu SVM dựa sở toán học vững Tuy nhiên việc huấn luyện mẫu sử oi m z at nh z m co l gm @ dụng SVM đòi hỏi phải giải toán tối ưu nhiều biến Ban đầu, SVM phát triển để giải toán phân lớp, sau tính ưu việt, cịn ứng dụng rộng rãi để giải toán hồi quy Bài toán SVM đặt sau, cho tập liệu biểu diễn không gian nhiều chiều Giả sử tập liệu khả tách tuyến tính Hãy tìm an Lu siêu phẳng chia tập liệu làm hai phần (phân loại nhị phân) thỏa n va ac th 36 si mãn điều kiện khoảng cách từ điểm gần tập đến siêu phẳng lớn Gọi tập liệu huấn luyện (𝑥! , 𝑦! ), (𝑥" , 𝑦" ), … , (𝑥3 , 𝑦3 ) với x liệu y nhãn liệu tương ứng Giả sử y nhận giá trị -1 (bài toán phân loại nhị phân) liệu biểu diễn khơng gian hai chiều Ta hình dung liệu huấn luyện sau: lu an n va Hình 2.12 Ví dụ liệu SVM tn to Trong hình, điểm màu xanh đỏ biểu diễn class -1 Đường p ie gh thẳng 𝑊 x + b = 𝑤# 𝑥# + 𝑤$ 𝑥$ + b = đường thẳng cần tìm để phân loại hai tập liệu Với điểm liệu (xn, yn) bất kỳ, ta có khoảng cách từ điểm đến đường thẳng phân tách là: nl w *')𝒘( $' 0C+ (2.23) d oa ∥𝒘∥" va an lu Với ∥ 𝐰 ∥" = H∑4$%!   𝑤$" với d số nhãn u nf Nhiệm vụ tốn SVM tìm w b để giá trị lề (margin) lớn ll nhất, ta có mơ tả tốn học SVM sau: m ∥𝐰∥# # V = arg 𝑚𝑎𝑥  S∥𝐰∥ 𝑚𝑖𝑛𝑦2 (𝐰 𝐱 + 𝑏 )V (2.24) 𝐰,1 z at nh 𝐰,1 +! 3𝐰 " 𝐱! 516 oi (𝐰, 𝑏) = arg 𝑚𝑎𝑥  S𝑚𝑖𝑛   # z Ta giả sử: 𝑦2 (𝒘 𝑥2 + 𝑏) ≥ Trong dấu xảy điểm gần đường thẳng Bài tốn tối ưu SVM mô tả sau: (2.25) l 𝒘,6 gm @ ! (𝒘, 𝑏) = arg 𝑚𝑖𝑛   " ∥ 𝒘 ∥"" m co thoả mãn − 𝑦2 (𝒘 𝑥2 + 𝑏) ≤ 0, ∀𝑛 = 1,2, … , 𝑁 an Lu Ở đây, n số lượng điểm liệu (xi, yi) cịn việc lấy bình phương chia đơi nhằm dễ dàng tính tốn tối ưu lồi Bài tốn giải thơng qua n va ac th 37 si toán đối ngẫu sử dụng phương pháp nhân tử Lagrance Lúc này, ta cần tìm giá trị λ sau: ! " 𝜆 = arg 𝑚𝑎𝑥  ∑3$%!   𝜆$ − ∑3$,7%!   𝜆$ 𝜆7 𝑦$ 𝑦7 𝐱 $8 𝐱7 (2.26) thoả mãn 𝜆$ ≥ ∧ ∑3$%!   𝜆$ 𝑦$ = 0, 𝑖 ∈ [1, 𝑛] Việc giải λ thực phương pháp quy hoạch động bậc (Quadratic Programing) Sau tìm λ ta có tham số: 𝐰 = ∑*!#-   𝜆! 𝑦! 𝐱! 𝑏 = 𝑦! − ∑*"#-   𝜆" 𝑦" 𝐱": 𝐱! (2.27) lu Ở (xi,yi) điểm liệu nằm đường biên gốc Điểm liệu gọi Support Vector Tên phương pháp SVM từ mà Tuy nhiên, thường người ta tính phép lấy trung bình tổng tất bi Giả sử, ta có tập S Support Vectors thì: an - n va 𝑏 = |𝕊| ∑!∈𝕊   O𝑦! − ∑*"#-   𝜆" 𝑦" 𝐱": 𝐱! P (2.28) tn to Khi đó, điểm liệu phân loại dựa theo: ie gh 𝑐𝑙𝑎𝑠𝑠(𝐱) = sgn 2d   𝜆8 𝑦8 𝒙;𝒊 𝒙 + 𝑏4 (2.29) p 89# Trong hàm sgn hàm xác định dấu, nhận giá trị đối số không d oa nl w âm -1 ngược lại Như vậy, cần điểm Support Vector đường biên gốc ta ước lượng tham số tối ưu cho toán Việc có lợi tính tốn giúp phương pháp tiết kiệm tài nguyên thực thi Hiểu cách đơn giản, thuật tốn SVM có mục đích tìm mơ hình phân chia tập liệu miền cho liệu miền nhãn u nf va an lu ll nhiều Tuy nhiên có điều kiện có nhiều mơ hình thỏa mãn số có nhiều mơ hình tốt SVM thêm điều kiện “khoảng cách” từ điểm gần đến mơ hình lớn Khoảng cách lề Lề lớn mơ hình phân tách liệu dự đoán liệu chưa xuất tốt Hay nói cách khác, lề oi m z at nh z @ m co l gm thể việc mơ hình dự đốn loại liệu cách “công bằng” chịu nhiễu tốt hay không an Lu n va ac th 38 si Hình 2.13 So sánh lề(margin) Ta thấy, đường mơ hình hình bên phải (lề lớn) tốt nhiều so với đường mơ hình hình bên trái Trong hình biên trái, đường mơ hình bị lệch nhiều bên đỏ kiến cho điểm màu đỏ không xuất huấn lu an n va gh tn to luyện dễ bị nhận nhầm sang màu xanh Với hình bên phải, đường mơ hình nằm hai tập liệu Đây lề lớn đạt đường mơ hình tốt để phân chia hai tập liệu Trong huấn luyện, SVM định nghĩa siêu tham số gọi C Tham số đại diện cho việc huấn luyện ưu tiên mơ hình phân loại xác điểm liệu hay ưu tiên tìm mơ p ie hình có lề lớn Ban đầu, thuật toán SVM xác định lề cứng, tức bắt buộc tồn liệu phải chia xác Tuy nhiên d oa nl w thực tế, tồn liệu thõa mãn điều kiện Từ khái niệm SVM lề mềm đưa Theo đó, thuật toán SVM cho phép chấp nhận số điểm khơng chia xác tuyệt đối Điều giúp thuật tốn lu ll u nf va an áp dụng với toán thực tế Và này, tham số C có ý nghĩa việc điều kiển việc huấn luyện ưu tiên điều kiện phân loại điểm liệu hay ưu tiên khả chịu nhiễu dự đoán liệu chưa xuất oi m z at nh z l gm @ m co Hình 2.14 Ví dụ kết thuật tốn SVM (hình bên trái lề cứng hình bên phải lề mềm) an Lu n va ac th 39 si Trong ví dụ trên, mơ hình nhắc đến đường thẳng Tuy nhiên thực tế, mặt phẳng phân tách liệu khơng đơn giản đường thẳng mà phương trình phức tạp (ví dụ đường cong, hình trịn ) Đây siêu tham số cần lựa chọn huấn luyện mơ hình gọi lõi (kernel) Mỗi loại lõi cho kết tốt với trường hợp liệu cụ thể lu an Hình 2.15 Một số ví dụ lõi SVM n va 2.5 Đánh giá mơ hình phân lớp gh tn to Khơng thể khẳng định phương pháp phân lớp xác hoàn p ie toàn Bất kỳ phương pháp có độ sai lệch Vì việc đưa độ đo để đánh giá hiệu thuật toán phân lớp giúp ta xác định mơ hình tốt nhất, nhất, từ áp dụng thuật tốn vào việc phân lớp Confusion matrix kỹ thuật đánh giá hiệu mơ hình cho toán phân lớp Confusion matrix ma trận thể số lượng điểm liệu d oa nl w lu ll u nf va an thuộc vào class dự đoán thuộc vào class Confusion matrix cung cấp thêm thông tin tỉ lệ phân lớp lớp, hay giúp phát lớp có tỉ lệ phân lớp nhầm cao nhờ vào khái niệm True (False) Positive (Negative) oi m Positive Negative True Positive (TP) Flase Negative (FN) z Positive z at nh @ Negative False Positive (FP) True Negative (TN) l gm Actual Class Predicted Class m co • True Positive (TP): đối tượng lớp Positive, mơ hình phân đối tượng vào lớp Positive (dự đốn đúng) an Lu n va ac th 40 si • True Negative (TN): đối tượng lớp Negative, mơ hình phân đối tượng vào lớp Negative (dự đốn đúng) • False Positive (FP): đối tượng lớp Negative, mơ hình phân đối tượng vào lớp Positive (dự đoán sai) – Type I Error • False Negative (FN): đối tượng lớp Positive, mơ hình phân đối tượng vào lớp Negative (dự đốn sai) – Type II Error Với thơng tin có từ Confusion matrix, định lượng độ hiệu mơ hình qua nhiều thang đo khác Độ hồi tưởng (Recall) độ xác (Precision), độ đo F1-score dùng để đánh giá chất lượng lu thuật toán phân lớp Precision: tỉ lệ số điểm true positive số điểm phân loại positive (TP + FP) Precision cao đồng nghĩa với việc độ xác điểm tìm cao an va n precision = tn to TP × 100% (2.30) TP + FP p ie gh Recall: tỉ lệ số điểm true positive số điểm thực positive (TP + FN) Recall cao đồng nghĩa với việc True Positive Rate cao, tức tỉ lệ bỏ sót w điểm thực positive thấp oa nl recall = TP × 100% (2.31) TP + FN d F1-score: trung bình điều hịa (harmonic mean) tiêu chí Precision Recall Một mơ hình có số F1-score cao số Precision Recall để cao Một hai số thấp kéo điểm F1score xuống u nf va an lu × recall × precision (2.32) recall + precision ll oi z at nh 2.6 Overfitting Underfitting m F# score = z Mơ hình sau huấn luyện đạt hiệu khơng tốt dự đoán với liệu Chuyện xảy mơ hình chưa tổng qt hố với toàn tập liệu Nguyên nhân dễ hiểu mà tập huấn luyện tập nhỏ chưa thể đại diện cho toàn thể liệu cịn m co l gm @ an Lu bị nhiễu Người ta chia nguyên nhân làm loại chưa khớp khớp v Chưa khớp (Underfitting) n va ac th 41 si Mơ hình coi chưa khớp chưa phù hợp với tập liệu huấn luyện mẫu dự đốn Ngun nhân mơ hình chưa đủ độ phức tạp cần thiết để bao quát tập liệu v Q khớp (Overfitting) Mơ hình hợp lý, khớp với tập huấn luyện đem dự đốn với liệu lại khơng phù hợp Ngun nhân chưa đủ liệu để đánh giá mơ hình q phức tạp Mơ hình bị q lu phức tạp mà mơ hình sử dụng nhiễu lớn tập liệu để học, dẫn tới tính tổng qt mơ hình Làm để tránh Overfitting? Cả hai tượng Overfitting Underfitting khiến mơ hình xây dựng có độ xác Nhưng nay, vấn đề phổ biến xuất an n va to Overfitting Overfitting thực vấn đề quan trọng việc đánh giá mơ hình học máy liệu huấn luyện khác biệt với việc đánh giá độ xác ie gh tn tổng thể (những liệu mà mô hình chưa gặp bao giờ) Có hai kỹ thuật quan trọng việc đánh giá mơ hình học máy tránh p tượng overfitting: nl w • Sử dụng kỹ thuật lấy lại mẫu để ước lượng độ xác mơ hình d oa • Sử dụng tập Validation test Lấy lại mẫu (resampling methods) kỹ thuật phổ biến Khi đó, ta chia tập liệu thành k tập Cách gọi k-fold cross validation Điều cho phép thực huấn luyện tập liệu khác k lần, từ đó, xây dựng ước lượng độ xác mơ hình học máy với liệu ll u nf va an lu oi m Sử dụng Cross-validation tiêu chuẩn tốt học máy để ước lượng z at nh độ xác mơ hình với liệu Cịn trường hợp có nhiều liệu, z việc sử dụng tập Validation phương pháp tuyệt vời 2.7 Kết luận chương @ l gm Chương trình bày giới thiệu kỹ thuật phát đối tượng dựa đặc trưng HOG, kỹ thuật lọc Hessain, biến đổi Hough cho hình trịn, elip để dự m co đốn vùng ứng cử viên, thuật tốn phân loại SVM tuyến tính cách đánh giá, nâng cao chất lượng mơ hình phân lớp Nội dung chương nội dung sở an Lu sử dụng chương sau n va ac th 42 si CHƯƠNG ỨNG DỤNG VÀ THỬ NGHIỆM VỚI ẢNH ĐẠI TRÀNG Trong chương mơ tả bước xây dựng tốn phát Polyp, đánh giá thuật toán, kết thực nghiệm từ nội dung trình bày Chương Chương bao gồm: 3.1 Giới thiệu toán Các nội dung sở trình bày Chương Chương 2, Chương luận văn cài đặt chạy thử việc phát Polyp ảnh nội soi đại tràng Sử dụng kỹ thuật phát biên Gradient, kỹ thuật lọc Hessian, kỹ thuật biến đổi Hough, đặc trưng HOG phương pháp phân loại SVM máy học để tìm kiếm tự động vùng Polyp lu an n va p ie gh tn to w oa nl Hình 3.1 Dự đốn polyp hình ảnh nội soi đại tràng d 3.2 Mô tả liệu thử nghiệm lu u nf va an - Dữ liệu frame ảnh trích xuất từ nhiều video nội soi đại tràng khác ll - Dữ liệu có sẵn cơng khai: oi m + CVC ClinicDB: 612 frame (384 × 288 pixels) - Các frame có vùng có polyp Ngồi frame, liệu z at nh z cung cấp “giá trị thật liệu” - ground truth cho polyp Ground Truth bao gồm mặt nạ tương ứng với vùng che phủ polyp @ l gm ảnh - Cơ sở liệu bao gồm hai loại hình ảnh khác nhau: m co 1) Hình ảnh gốc: original/frame_number.png 2) Mặt nạ polyp: ground truth/frame_number.png an Lu n va ac th 43 si Hình 3.2 Ví dụ cấu trúc thư mục tập liệu ảnh nội soi đại tràng 3.3 Xây dựng chương trình thử nghiệm lu Các thuật toán cài đặt thử nghiệm ngơn ngữ lập trình Python Thư viện OpenCV thư viện nguồn mở hàng đầu cho Computer Vision Machine Learning OpenCV có cộng đồng người dùng hùng hậu hoạt động khắp giới nhu cầu cần đến ngày tăng theo xu hướng chạy đua an n va sử dụng computer vision công ty công nghệ OpenCV ứng dụng to p ie gh tn rộng rãi toàn cầu, với cộng đồng 47.000 người, với nhiều mục đích tính khác từ interactive art, đến khai thác mỏ, khai thác web map qua robotic cao cấp d oa nl w ll u nf va an lu oi m z at nh z Hình 3.3 Mơ hình phát đối tượng ảnh @ gm Mơ hình phát Polyp bao gồm số bước bản: l ü Bước 1: Tiền xử lý liệu m co ü Bước 2: Trích xuất đặc trưng ü Bước 4: Phát đối tượng (Phân loại) n va ac th 44 an Lu ü Bước 3: Huấn luyện mơ hình si v Bước huấn luyện: Hình 3.4 Các bước huấn luyện ü Bước 1: Dựa vào ảnh Ground Truth ta trích vùng polyp vùng lu polyp tương ứng với ảnh nội soi gốc Khi hồn tất việc trích vùng ta hai tập liệu: polyp (612 ảnh) non-polyp (612 ảnh polyp) an n va to tn ü Bước 2: Tiền xử lý ảnh: grayscale, cân sáng, lọc Gaussian, scale ảnh ie gh tập huấn luyện chung kích thước p ü Bước 3: Trích đặc trưng HOG tập liệu với không gian hướng = d oa nl w 9(00–1800), kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell chồng lấn cell ü Bước 4: Huấn luyện mơ hình với thuật tốn SVM với train_size/test_size = 80/20 an lu ll u nf va v Bảng kết huấn luyện không áp dụng lọc ảnh, scale = 124x64 pixel, kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 15x7x36=3.780 chiều: oi m 0.86 non-polyp 0.76 Recall F1-Score 0.80 0.83 0.83 0.79 z polyp z at nh Precision @ gm Từ bảng kết độ đo ta thấy khả phát thấp tỉ lệ bỏ m co l sót Polyp cao, mơ hình dự đốn cho kết xác thấp v Bảng kết huấn luyện không áp dụng lọc ảnh, scale = 96x48 pixel, kích an Lu thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 11x5x36=1.980 chiều: n va ac th 45 si Precision Recall F1-Score polyp 0.89 0.78 0.83 non-polyp 0.75 0.87 0.81 Từ bảng kết độ đo ta thấy khả phát cải thiện nhiên thấp tỉ lệ bỏ sót Polyp cao, mơ hình dự đốn cho kết xác thấp v Bảng kết huấn luyện áp dụng lọc Gauss, scale = 96x48 pixel, kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell, chồng lấn cell, véc tơ HOG có kích thước 11x5x36=1.980 chiều: Recall F1-Score polyp 0.94 0.91 0.93 non-polyp 0.89 0.93 0.91 lu Precision an n va to p ie gh tn Từ bảng kết độ đo ta thấy khả phát polyp cải thiện tỉ lệ bỏ sót giảm, mơ hình dự đốn cho kết xác d oa nl w v Bước phát Polyp (phân loại): ll u nf va an lu m oi Hình 3.5 Các bước phát polyp ảnh đầu vào z at nh ü Bước 1: Từ ảnh đầu vào thông qua lọc Hessian biến đổi Hough ta z xác định vùng ứng cử viên polyp gm @ ü Bước 2: Tiền xử lý ảnh: grayscale, lọc Gaussian, scale kích thước 96x48 ü Bước 3: Trích xuất đặc trưng HOG vùng ứng cử viên, với tham số l m co khơng gian hướng = 9(00–1800), kích thước cell = 8x8 pixel, kích thước khối = 2x2 cell chồng lấn cell an Lu n va ac th 46 si ü Bước 4: Sử dụng mơ hình SVM huấn luyện để dự đoán vùng ứng cử viên có phải polyp hay khơng, dự đốn polyp vùng bao khung đỏ để đánh dấu Hình 3.6 Kết dự đốn thực nghiệm polyp ảnh nội soi đại tràng lu an 3.4 Đánh giá kỹ thuật n va tn to Thời gian thực thuật tốn tìm polyp thuật toán Hessian chậm kỹ thuật Hough p ie gh Phép biến đổi Hough Circle cho phép phát vật thể có dạng tương tự hình trịn xác định vị trí tâm, độ dài bán kính đường trịn mơ tả cho oa nl w vật thể Cách tiếp cận đơn giản, kết thu đơi khơng xác Trong trường hợp nhóm nhiều polyp chồng lấp lên nhau, Hough d Circle nhận dạng thừa thiếu polyp xác định vị trí tâm khơng phù hợp an lu u nf va Trong object detection, thuật toán HOG tỏ hiệu ứng dụng tốt để phát đối tượng với nhiều kích thước khác Việc áp dụng ll oi m phương pháp cổ điển để trích lọc đặc trưng HOG mang lại kết tốt mà tốn tài nguyên chi phí tính tốn z at nh z Trong luận văn không sử dụng deep learning mà sử dụng phương pháp trích chọn đặc trưng HOG tơi muốn sở để đánh giá so sánh với m co l gm @ mơ hình deep learning tiếp tục nghiên cứu thử nghiệm an Lu n va ac th 47 si 3.5 Kết luận Trong luận văn tơi tìm hiểu số kiến thức tổng quan toán phát đối tượng ảnh, tìm hiểu số thuật tốn áp dụng vào việc phát polyp Trong trình nghiên cứu Phương pháp phát tự động Polyp dựa lọc Hessian, biến đổi Hough đặc trưng biên ảnh Y học đạt số kết định sau: Các vấn đề mà luận văn làm được: Trình bày kiến thức tổng quan xử lý ảnh, ảnh y học, mô tả thuật toán: Lọc Hessian, Cricle Hough Transform, đặc trưng HOG, phân loại SVM… Nắm bước xây dựng toán phát đối tượng lu Trong trình xây dựng tập liệu đào tạo, huấn luyện cho phát polyp giúp tơi có kinh nghiệm quý báu việc xây dựng mơ hình dự đốn an va n Xây dựng thành cơng chương trình thử nghiệm phát tự động Polyp tn to p ie gh Hướng nghiên cứu luận văn nghiên cứu cải tiến thuật toán, tiếp tục tiến hành thử nghiệm so sánh với thuật tốn khác việc tìm kiếm polyp để có đánh giá khách quan d oa nl w Mặc dù cố gắng, thời gian trình độ cịn hạn chế định nên luận văn khơng tránh khỏi thiếu sót Trong tương lai học viên cố gắng hoàn thiện phát triển vấn đề nêu trên, nhằm mang lại vấn đề khả quan Rất mong nhận đóng góp ý kiến thầy bạn để luận văn hoàn thiện ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th 48 si TÀI LIỆU THAM KHẢO [1] Ngô Quốc Tạo, 2003, Bài giảng môn xử lý ảnh [2] Rafael C Gonzalez, 2018, Digital Image Processing, 4Th Edition [3] Mark Nixon, 2008, Feature Extraction and Image Processing 2nd Edition [4] Andriy Burkov, 2019, The Hundred-Page Machine Learning Book [5] Christopher M Bishop, 2006, Pattern Recognition and Machine Learning [6] O'Reilly Media, Inc, 2015, Data Algorithms [7] Ayyadevara, Kishore, 2018, Pro Machine Learning Algorithms [8] Erik R Ranschaert, Sergey Morozov, Paul R Algra, 2019, Artificial Intelligence in Medical Imaging [9] Guorong Wu, Dinggang Shen, Mert Sabuncu, 2016, Machine Learning and lu an n va tn to Medical Imaging [10] N Dalal and B Triggs, 2005, Histogram of oriented gradients for human detection, International Conference on Computer Vision & Pattern Recognition, volume gh [11] Jason Brownlee, 2019, Deep Learning for Computer Vision: Image p ie Classification, Object Detection, and Face Recognition in Python [12] Yuji Iwahori, Takayuki Shinohara, Akira Hattori, Robert J Woodham, 2013, Automatic Polyp Detection in Endoscope Images Using a Hessian Filter d oa nl w lu [13] S Kevin Zhou, 2015, Medical Image Recognition, Segmentation and u nf va an Parsing: Machine Learning and Multiple Object Approaches [14] Qinghui LIU, 2019, Deep Learning Applied to Automatic Polyp Detection ll in Colonoscopy Images [15] Younghak Shin, Ilangko Balasingham, 2017, Comparison of Hand-craft oi m z at nh Feature based SVM and CNN based Deep Learning Framework for Automatic Polyp Classification z [16] Carmen C Y Poon, Yuqi Jiang, Ruikai Zhang, Winnie W Y Lo, Maggie @ gm S H Cheung, Ruoxi Yu, Yali Zheng, John C T Wong, Qing Liu, Sunny l H Wong, Tony W C Mak and James Y W Lau, 2020, AI-doscopist: a m co real-time deep-learning-based algorithm for localising polyps in n va ac th 49 an Lu colonoscopy videos with edge computing devices si