Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS.TS NGUYỄN XUÂN THẢO HD2: GS.TSKH NGUYỄN TIẾN DŨNG Hà Nội - 2023 LỜI CAM ĐOAN Luận án viết dựa nghiên cứu tác giả Đại học Bách khoa Hà Nội, hướng dẫn hai thầy PGS.TS Nguyễn Xuân Thảo GS.TSKH Nguyễn Tiến Dũng Các kết luận án chưa cơng bố cơng trình khoa học tác giả khác Hà Nội, ngày 19 tháng năm 2023 Nghiên cứu sinh Lê Bích Phượng TM Tập thể hướng dẫn PGS TS Nguyễn Xuân Thảo LỜI CẢM ƠN Luận án hoàn thành Đại học Bách khoa Hà Nội, hướng dẫn khoa học tận tình hai thầy PGS.TS Nguyễn Xuân Thảo GS.TSKH Nguyễn Tiến Dũng Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Tác giả xin chân thành cảm ơn Viện Tốn ứng dụng Tin học Phịng Đào tạo - Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi cho tác giả suốt trình học tập nghiên cứu Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan), GS TSKH Hồ Tú Bảo (Viện Nghiên cứu cao cấp toán) TS Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy người bạn ln động viên tác giả q trình học tập, nghiên cứu đồng thời có ý kiến đóng góp sâu sắc nội dung tác giả hoàn thành luận án Tác giả xin chân thành cảm ơn Ban Giám hiệu, thầy cô Khoa Khoa học Cơ bản, Bộ mơn Tốn, Trường Đại học Mỏ - Địa chất, nơi tác giả công tác, tạo điều kiện thuận lợi cho tác giả trình hoàn thành luận án Cuối đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lịng đến gia đình mình, nơi ln dành cho tác giả tình u thương vơ hạn Trong q trình học tập hoàn thành luận án, thành viên gia đình ln sát cánh, động viên ủng hộ tác giả, nguồn động lực to lớn giúp tác giả hoàn thành luận án Tác giả Lê Bích Phượng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÍ HIỆU DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC CÁC THUẬT NGỮ CƠ BẢN DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG 10 MỞ ĐẦU 11 Chương KIẾN THỨC CHUẨN BỊ 20 1.1 Mô hình chung trình học máy 20 1.2 1.3 Dữ liệu cho học máy 24 Các “đặc trưng” học máy 27 1.4 Kiểm tra hiệu máy 1.5 Biểu kiểm định chéo 1.6 Tối ưu dựa Gradient 1.7 Phép tích chập mạng nơ-ron tích chập 1.8 Kết luận bình luận cuối chương 30 31 32 35 37 Chương ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 2.1 38 Các thước đo độ xác máy phân loại nhị phân 2.1.1 Âm tính, dương tính ba tỉ lệ 2.1.2 Độ xác có trọng số (weighted accuracy) 2.1.3 Độ xác cân (balanced accuracy) 38 38 41 42 2.2 2.1.4 Điểm số F (F-score) 42 Đường cong ROC thước đo độ xác máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid máy tối ưu 2.4 Cải thiện độ xác biểu 2.5 Kết luận bình luận cuối chương 50 54 56 Chương ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57 3.1 Tổng quan hàm mát (loss function) 57 3.1.1 Các hàm mát hồi quy 3.1.2 Các hàm mát phân loại (phân lớp) 58 3.1.3 Các hàm mát thường dùng tốn phân đoạn hình ảnh 59 3.2 Học máy vi phân hàm mát 3.3 3.4 Hàm mát lồi xác suất bị bóp méo 67 Các hàm mát không lồi bẫy ngẫu nhiên 69 3.5 Kết luận bình luận cuối chương 61 75 60 Chương TỐI ƯU HĨA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TÔ-PÔ 4.1 4.2 4.3 Phương pháp biểu tô-pô 76 77 4.1.1 Phân đoạn hình ảnh khoảng cách Jaccard 77 4.1.2 Biểu số học 4.1.3 Biểu tô-pô: Dạng đơn giản 4.1.4 4.1.5 Biểu tô-pô địa phương 81 Biểu kết hợp (biểu lai): tô-pô số học 79 Tính hợp lý biểu tơ-pơ 84 4.2.1 Trường hợp chiều 85 4.2.2 Trường hợp hai chiều 90 Các kết thực nghiệm biểu tô-pô 80 93 4.3.1 Phân đoạn muối hình ảnh địa chấn 4.3.2 4.3.3 Phân đoạn khuôn mặt người 98 Phân đoạn mạch máu 103 4.4 Kết luận bình luận cuối chương 106 KẾT LUẬN 107 KIẾN NGHỊ 108 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ CỦA LUẬN ÁN 109 TÀI LIỆU THAM KHẢO 110 83 93 DANH MỤC CÁC KÍ HIỆU Kí hiệu Ý nghĩa ≫ ≈ uT Lớn đáng kể Xấp xỉ Gradient hàm số f Đạo hàm riêng hàm số f theo biến x Vec-tơ chuyển vị vec-tơ u ∗ Σ Tích chập Tổng ∇ x f ( x) ∂ f ( x) ∂x i ∼ ∼ P(X > x) exp +∞ Rx ◦ ϕ −1 P (Y (x) = 1|ϕ(x) = φ) R Q ∩ ||u|| f (a)da R f (x)dx RΩ (0, 1) [0, 1] i Tuân theo quy luật phân phối (trong xác suất) Tương đương (trong giải tích) Xác suất để biến ngẫu nhiên X lớn giá trị x Hàm e mũ Tích phân từ x đến +∞ Phép hợp thành Ánh xạ ngược ánh xạ ϕ Xác suất Y (x) = với điều kiện ϕ(x) = φ Tập hợp số thực Tích Giao hai tập hợp Chuẩn véc-tơ u Tích phân tồn miền xác định a Tích phân tập Ω Khoảng từ đến Đoạn từ đến DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt AI ANN AUC BA CNN DL FN FP hb IoT IOU LF MAE MBA MBE ML MOM MSE MWA PR RNN ROC SVM TP TN WA Ý nghĩa Từ gốc tiếng Anh Trí tuệ nhân tạo Artificial Intelligence Mạng nơ-ron nhân tạo Artificial Neural Network Diện tích đường cong Area Under the Curve Độ xác cân Balanced Accuracy Mạng nơ-ron dạng tích chập Convolutional Neural Network Học sâu Deep Learning Tỷ lệ âm tính giả False Negative rate Tỷ lệ dương tính giả False Positive rate Nửa mù half blind Internet kết nối vạn vật Internet of Things Giao chia cho hợp Intersection Over Union Hàm mát Loss Function Trung bình giá trị tuyệt đối độ lỗi Mean Absolute Error Độ xác cân cao Maximal Balanced Accuracy Trung bình độ lỗi thiên vị Mean Bias Error Học máy Machine Learning Tối thiểu tối đa Min Over Max Trung bình bình phương độ lỗi Mean Square Error Độ xác có trọng cao Maximally Weighted Accuracy Tỉ lệ xác Precision Rate Mạng nơ-ron hồi quy Recurrent Neural Network Đường cong đặc trưng hoạt động Receiver Operating Characteristic Máy vec-tơ hỗ trợ Support Vector Machine Tỷ lệ dương tính thật True Positive rate Tỷ lệ âm tính thật True Negative rate Độ xác có trọng Weighted Accuracy DANH MỤC CÁC BẢNG Bảng Bảng Bảng Bảng Bảng Bảng Bảng Tên bảng Bảng tổng kết thước đo độ xác Máy bay với khơng phải máy bay Chó với khơng phải chó So sánh phương pháp biểu fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối sử dụng binary accuracy Bảng 4.4 So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người Bảng 4.5 So sánh phương pháp biểu 15 fold tập liệu DRIVE 2.1 3.1 3.2 4.1 4.2 4.3 Trang 44 72 73 94 97 98 103 106 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Chú thích Trang Hình 1.1 Một ví dụ sơ đồ mạng nơ-ron: nút tròn “nơ-ron”, đường nối “axon” 21 Hình 1.2 Một trình huấn luyện điển hình 24 Hình 1.3 Một phần fresco Mantegna nhà thờ Emeritani 29 Hình 1.4 Mơ tả phương pháp k-fold Cross Validation 31 Hình 1.5 Trượt Gradient 33 Hình 1.6 Các loại điểm tới hạn 33 Hình 1.7 Xấp xỉ giá trị cực tiểu 34 Hình 2.1 Cách chia tập liệu Ω 39 Hình 2.2 Đường cong ROC đường tiếp tuyến điểm mà trung bình có trọng lớn 48 Hình 3.1 Các hàm mát thường dùng toán phân đoạn hình ảnh 61 Hình 3.2 Dáng điệu số hàm mát lồi Hàm mát cross-entropy (hàm log) điều chỉnh cách cho thêm số dương epsilon nhỏ để tránh tình ln0 63 Hình 3.3 Một số hàm mát sử dụng cho thí nghiệm học máy phân loại nhị phân tập CIFAR-10 70 Hình 3.4 Rơi vào bẫy sau thoát sau bước học máy Vấn đề phân loại “Mèo mèo” CIFAR-10, huấn luyện với VGG16 hàm brokenloss1 Khi bẫy, máy lấy ảnh mèo (sensitivity = 1, specificity = mức threshold σ = 0.5) 74 Hình 3.5 Rơi vào bẫy khơng được, brokenloss1, c=1, r=9 74 Hình 3.6 Một ví dụ khác rơi vào bẫy ra, brokenloss3, c=2, r=9 75 Hình 4.1 Một ví dụ cho biểu tơ-pơ địa phương với s = 83 Hình 4.2 Một ví dụ bỏ phiếu kết hợp Tại vòng 1, segmentator and segmentator bị loại trừ chúng cách xa khác, phần lại vào vòng sử dụng biểu số học (có thể mềm cứng) 84 Hình 4.3 So sánh biểu số học (biểu trung bình) phương pháp n biểu tơ-pơ trường hợp chiều (a) {S i }i=1 độc lập tuân theo n Hình 4.4 Hình 4.5 quy luật N (0, 1); (b) {S i }i=1 độc lập tuân theo quy luật U (0, 1) So sánh trường hợp chiều với phân phối x i khác f (a) x i ∼ U (0, 1) với i, f (x) = 1/(1 + x); (b) x i ∼ U (0, 1) với i, f (x) = x So sánh f hàm đối xứng, x i ∼ U (−1, 1), f (x) = x (a) Hiển thị cho tất mẫu; (b) Phóng to phần mẫu 87 91 92 Hình 4.13: Ví dụ thứ ba: So sánh phương pháp biểu cho tốn nhận diện khn mặt người (a) Dự đoán fold (với Mobilenet); (b) Dự đoán fold cuối (với Mobilenet); (c) Dự đoán fold (với EfficienNet); (d) Dự đoán fold cuối (với EfficienNet); (e) Ảnh gốc; (f ) f : Biểu tô-pô, f : Biểu lai (kết hợp) (threshold = 2), f : Biểu số học, f 4: Mặt nạ thực Tỉ số Jaccard đo xác phương pháp biểu khác 20 mơ hình đưa Bảng 4.4 Nó cho thấy biểu kết hợp cho kết tốt nhất, cách loại trừ phân đoạn mắc lỗi lớn 102 Bảng 4.4: So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người AI Model MobileNet Model EfficientNet Model Segmentor 0,7572 0,7827 Segmentor 0,7495 0,7845 Segmentor 0,7525 0,7843 Segmentor 0,7527 0,7805 Segmentor 0,7625 0,7849 Segmentor 0,7588 0,7878 Segmentor 0.7611 0.7879 Segmentor 0,7553 0,7917 Segmentor 0,7637 0,7788 Segmentor 10 0,7604 0,7795 Biểu số học (mềm) 0,7909 0,8035 Biểu tô-pô (mềm) 0,7832 0,7990 Biểu tô-pô (cứng) 0,7833 0,7985 Điểm số phương pháp biểu 20 segmentor Khoảng p (N = 1000, c = 90%) Biểu số học (mềm) 0,8088 (0,7875; 0,8285) Biểu tô-pô mềm 0,8043 (0,7828; 0,8242) Biểu tô-pô cứng 0,8032 (0,7816; 0,8231) Biểu lai (kết hợp) (threshold = 1,5) 0,8092 (0,7879; 0,8289) Biểu lai (kết hợp) (threshold = 2) 0,8093 (0,7880; 0,8289) Biểu lai (kết hợp) (threshold = 3) 0,8092 (0,7879; 0,8289) Biểu lai (kết hợp) (n select = 10) 0,8085 (0,7871; 0,8282) Biểu lai (kết hợp) (n select = 15) 0,8090 (0,7877; 0,8287) Biểu lai (kết hợp) (n select = 17) 0,8091 (0,7878; 0,8287) 4.3.3 Phân đoạn mạch máu Vấn đề phân đoạn cấu trúc dạng cây, chẳng hạn kéo dài tế bào micro glia (micro glia extensions), cấu trúc thần kinh mạch (neurovascular structures), mạch máu (blood vessels) phổi (pulmonary trees) vấn đề vô vùng hấp hẫn ứng dụng trí tuệ nhân tạo vào y tế (xem [60]) Rouchdy Cohen nghiên cứu vấn đề phân đoạn mạch máu hình ảnh võng mạc, phương pháp gọi “biểu trắc địa có bán kính”, geodesic voting with radius (khơng sử dụng học sâu), cho thấy tính ưu việt phương pháp so với phương pháp cũ hơn, phương pháp “tập hợp mức dựa cạnh” (the edge-based level set method) [61], phương pháp Chan Vese [62], phương pháp kết nối mờ (the fuzzy connectedness method) [19] Cơ sở liệu mà họ sử dụng hình ảnh võng mạc kĩ 103 thuật số liệu phân tích mạch máu gọi “DRIVE” [63] Trong phần này, ta sử dụng học sâu để giải vấn đề phân đoạn mạch máu võng mạc cách sử dụng tập liệu DRIVE mạng MobileNet [56] Mạng nơron sâu cho kết phân đoạn tốt phương pháp xử lý ảnh trước đây, bao gồm phương pháp biểu trắc địa [60] Bộ liệu DRIVE chứa 20 hình ảnh có kích thước 565 × 5844 Đầu tiên, ta chia thành hai tập: 15 hình ảnh để huấn luyện hình ảnh để kiểm định Sử dụng 15 ảnh huấn luyện để tạo 15 fold cho trình huấn luyện kiểm định chéo (cross-validation) Mỗi fold cho ta phân đoạn, tổng cộng có 15 phân đoạn riêng lẻ để biểu Mỗi fold sử dụng 13 hình ảnh để huấn luyện hình ảnh để kiểm định Trước đưa vào chương trình CNN dựa MobileNet để huấn luyện kiểm định, hình ảnh chuyển đổi (tăng cường) cách sử dụng kết hợp phép biến đổi bao gồm xoay ngẫu nhiên, lật, đệm, sửa đổi độ sáng, thêm nhiễu để biến chúng thành hình ảnh vng có kích thước 256 × 256 Năm hình ảnh gốc sử dụng để thử nghiệm cắt thành 2000 hình ảnh có kích thước x × y x y số tự nhiên ngẫu nhiên khoảng [220, 256] sau chuyển đổi thành hình ảnh vng với kích thước 256 × 256 Vì tập thử nghiệm có tổng cộng 2000 hình ảnh kích thước 256 × 256 Hình 4.14 cho thấy ví dụ 15 phân đoạn riêng lẻ hình ảnh từ tập thí nghiệm, kết ba phương pháp biểu khác 15 phân đoạn so với mặt nạ thực Ta thấy cách trực quan qua ảnh phương pháp tô-pô địa phương phương pháp biểu kết hợp cho kết tốt phương pháp biểu số học: pixel bị thiếu so với mặt nạ thực (mặt nạ mạch bị vỡ hơn) Bảng 4.5 biểu thị so sánh phương pháp biểu tập liệu DRIVE 104 Hình 4.14: So sánh phương pháp biểu cho vấn đề phân đoạn mạch máu (a) Dự đoán fold đầu tiên; (b) Dự đoán fold thứ hai; (c) Dự đoán fold cuối cùng; (d) Ảnh gốc; (e) e : Biểu tô-pô địa phương với s = 10, e : Biểu lai (kết hợp) ( s = 10, threshold = 2), e3 : Biểu số học, e : mặt nạ thực Ta thấy số Jaccard thu toán phân đoạn mạch máu thấp nhiều so với hai toán trước Lí đơn giản: mạch mỏng đó, tỉ số Jaccard nhạy với biến đổi nhỏ phân đoạn Điều quan trọng lợi ích thu từ phương pháp biểu kết hợp tơ-pơ số học có độ xác cao so với phương pháp biểu số học 105 Bảng 4.5: So sánh phương pháp biểu 15 fold tập liệu DRIVE Mơ hình AI Hard Jaccard Khoảng p (N=2000, c=90%) Segmentor 0,6159 (0,5978; 0,6337) Segmentor 0,6339 (0,6160; 0,6515) Segmentor 0,6116 (0,5935; 0,6294) Segmentor 0,6197 (0,6016; 0,6374) Segmentor 0,6282 (0,6102; 0,6458) Segmentor 0,6224 (0,6043; 0,6401) Segmentor 0,6105 (0,5924; 0,6283) Segmentor 0,6105 (0,5924; 0,6283) Segmentor 0,6175 (0,5994; 0,6353) Segmentor 10 0,6145 (0,5964; 0,6323) Segmentor 11 0,6204 (0,6023; 0,6381) Segmentor 12 0,6133 (0,5952; 0,6311) Segmentor 13 0,6139 (0,5958; 0,6317) Segmentor 14 0,6241 (0,6061; 0,6418) Segmentor 15 0,6117 (0,5936; 0,6295) Biểu tơ-pơ địa phương (bán kính = 20) 0,6347 (0,6168; 0,6523) Biểu số học mềm 0,6364 (0,6185; 0,6540) Biểu tơ-pơ địa phương (bán kính = 10) 0,6384 (0,6205; 0,6560) Biểu tô-pô địa phương (bán kính = 5) 0,6391 (0,6212; 0,6566) Biểu kết hợp (bán kính = 20, ngưỡng = 2) 0,6399 (0,6220; 0,6574) Biểu kết hợp (bán kính = 5, ngưỡng = 2) 0,6412 (0,6233; 0,6587) Biểu kết hợp (bán kính = 10, ngưỡng = 2) 0,6418 (0,6239; 0,6593) 4.4 Kết luận bình luận cuối chương Trong Chương Định nghĩa 4.1 4.2 4.3 trình bày ba phương pháp biểu có tính đến cấu trúc toàn mặt nạ Các kết thực nghiệm ba ví dụ chứng minh tốn học Định lý 4.1 khẳng định phương pháp biểu tô-pô mà luận án đưa phù hợp hiệu Biểu tô-pô cho kết tốt biểu số học chứng tỏ hình có nghĩa có tính chất hình học định, điểm gắn kết với theo quy luật định tập hợp điểm ngẫu nhiên, rời rạc Trong phiên biểu tô-pô mà luận án đưa ra, NCS chọn biểu tơ-pơ địa phương phiên thích nhất, cho s chạy từ đến vơ ta thu nhiều biểu từ số học đến tô-pô tồn cục Khi có nhiều lựa chọn nhiều khả chọn kết tốt 106 KẾT LUẬN Luận án đạt kết sau: Các bất đẳng thức liên hệ thước đo độ xác AUC ROC, MBA MWA (Định lý 2.1) Tính tối ưu máy xác suất thực tính lồi đường ROC máy xác suất thực (Định lý 2.2 ) Hàm mát bình phương hàm cross-entropy hai hàm mát tự nhiên nhất, theo nghĩa máy làm tối thiểu hóa mát theo hàm mát máy xác suất thực (Định lý 3.1) Các hàm mát siêu lồi dẫn đến nghiệm cực tiểu máy tối ưu độ xác, máy biến đổi tham số máy xác suất thực (Định lý 3.2) Phương pháp biểu tô-pô biến thể (Định nghĩa 4.1 4.2 4.3) Chứng minh phương pháp biểu tô-pô hợp lý trường hợp chiều (Định lý 4.1) cho kết tốt phương pháp biểu số học cổ điển minh họa (4.2.2) 107 KIẾN NGHỊ Tiếp theo kết Luận án, số hướng nghiên cứu sau: Mở rộng kết tính tự nhiên hàm cross-entropy hàm mát bình phương cho vấn đề khác hồi quy (regression) hay phân cụm (clustering) Dựa vào kết tính lồi hàm mát để thiết kế hàm mát thích hợp cho toán học máy, thiết kế hàm mát để nghiên cứu bẫy ngẫu nhiên Sử dụng phương pháp biểu tơ-pơ tốn phân đoạn hình ảnh thực tế, y tế trắc địa, để tăng độ xác cho mơ hình học máy Tăng cường nghiên cứu phương pháp mặt lý thuyết trường hợp nhiều chiều 108 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ CỦA LUẬN ÁN [T1 ] Le Bich Phuong and Nguyen Tien Zung(2019), On the dynamics of loss functions (Symmetry and Singularity of Geometric Structures and Differential Equations), RIMS Kokyuroku, 2137: pp.102-111 [T2 ] Nga T T Nguyen and Phuong B Le (2022), Topological Voting Method for Image Segmentation, Journal of Imaging 8, no 2: 16 pp.1-24 (Scopus-Q2) [T3 ] Le Bich Phuong and Nguyen Tien Zung (2022), Accuracy Measures and the Convexity of ROC Curves for Binary Classification Problems, Biomedical and Other Applications of Soft Computing, Springer Nature Switzerland AG 2023 pp.155-163 (Scopus) [T4 ] Phuong Bich Le and Zung Tien Nguyen (2022), ROC Curves, Loss Functions, and Distorted Probabilities in Binary Classification, Mathematics 10, no 9: 1410 pp.1-13 (ISI-Q2) 109 TÀI LIỆU THAM KHẢO [1] Sasaki, Y (2007).The truth of the F-measure [2] Powers, David M W (2011) Evaluation: From Precision, Recall and FMeasure to ROC, Informedness, Markedness & Correlation Journal of Machine Learning Technologies (1): 37–63 [3] Chicco D, Jurman G (January 2020) The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation BMC Genomics 21 (1): 6-1–6-13 doi:10.1186/s12864019-6413-7 PMC 6941312 PMID 31898477 [4] Williams, Christopher K I (2021) The Effect of Class Imbalance on Precision-Recall Curves Neural Computation 33 (4): 853–857 [5] Gneiting, T.; Vogel, P (2021) Receiver Operating Characteristic (ROC) Curves Mach Learn [6] Hang Zhao, Orazio Gallo, Iuri Frosio, Jan Kautz, (2017) Loss Functions for Image Restoration With Neural Networks IEEE Trans Comput Imaging, 3, 47–57 [7] Abraham, N.; Khan, N.M (2019) A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation In Proceedings of the 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019), Venice, Italy, 8–11 April 2019 [8] Gosh, A.; Kumar, H.; Sastry, P.S (2017) Robust loss functions under label noise for deep neural networks In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI-17), San Francisco CA, USA, 4–9 February, 2017 Rev Stat J 5, 19–39 [9] James, G.M (2003) Variance and Bias for General Loss Functions Mach Learn 51, 115-135 110 [10] Kervadec, H.; Bouchtiba, J.; Desrosiers, C.; Dolz, E.G.J.; Ayed, I.B (2019) Boundary loss for highly unbalanced segmentation arXiv, arXiv:1812.07032 [11] Lin, T.-Y.; Goyal, P.; Girshick, R.; He, K.; Dollár, P (2017) Focal Loss for Dense Object Detection arXiv, arXiv:1708.02002 [12] Cucker, F.; Smale, S (2002) On the Mathematical Foundation of Learning Bull Am Math Soc., 39, 1-49 [13] Ian Goodfellow, Yoshua Bengio, and Aaron Courville (2016) Deep Learning Cambridge, MA: MIT Press, [2017]| Series: Adaptive Computation and machine learning series| Includes bibliographical references and index [14] Lee, T.-H (2007) Loss Functions in Time Series Forecasting ; Publisher: University of California, USA [15] Kim, H.;Thiagarajan, J.J; Bremer, P.T (2014) Image segmentation using consensus from hierarchial segmentation ensembles In Proceedings of the 2014 IEEE International Conference on Image Processing (ICIP), Paris, France, 27-30 October 2014; pp.3272-3276 [16] Franek, L.; Abdala, D.D; Ve-ga Pons, S.; Jiang, X (2010) Image Segmentation Fusion Using General Ensemble Clustering Methods In Computer Vision -ACCV 2010; Springer: Berlin/ Heidelberg, Germany, 2011; pp.373384 [17] Cyganek, B.(2011) One-Class Support Vector Ensembles for Image Segmentation and Classification J Math Imaging Vis.2011, 42, 103-117 [18] Phung, S.L.; Bouzerdoum, A.; Chai, D (2005) Skin segmentation using color pixel classification: analysis and comparison IEEE Trans Pattern Anal Mach Intell, 27, 148–154 [19] Udupa, J.K.; Samarasekera, S (1996) Fuzzy Connectedness and Object Definition: Theory, Algorithms, and Applications in Image Segmentation Graph Model Image Process, 58, 246-261 111 [20] Beyeler, M (2017) Machine Learning for Open CV: Intelligent Image Processing with Python; Packt Publishing Ltd.: London, UK [21] Lam, L.; Suen, S.Y (1997) Application of majority voting to pattern recognition: An analysis of its behavior and performance IEEE Trans Syst Man Cybern Part Syst Humans, 27, 533-568 [22] Panagiotakis, C (2015) Poit Clusterning via Voting Maximization J Classif, 32, 212-240 [23] Zhou, Z.H (2012) Ensemble Methods: Foundations and Algorithms, 1st ed.; Chapman and Hall/ CRC: Boca Raton, FL, USA [24] Jaccard, P (1991) Distribution de la Flore Alpine dans le Bassin des Dranses et dans quelques régions voisines Bull Soc Vaudoise Des Sci Nat, 37 241-272 [25] Fawcett, T (2006) An Introduction to ROC Analysis Pattern Recognit Lett, 27; 861-874 [26] Hernandez-Orallo, J.; Flach, P.A.; Ferri, C (2012) A unified view of performance metrics: Translating threshold choice into expected classification loss J Mach Learn Res 13, 2813-2869 [27] Lorenzo L Pesce, Charles E Metz, and Kevin S Berbaum, (2010) On the convexity of ROC curves estimated from radiological test results Acad Radiol., 17, 960-968 [28] John A Swets, Robyn M Dawes, and John Monahan, (2000) Psychological science can improve diagnostic decisions Psychol Sci Public Interest, 1, [29] Wikipedia page on ROC Available online: https://en.wikipedia.org/ wiki/Receiver_operating_characteristic (Accessed on 16 August 2020) [30] Jăurgen Braun, (2010) On Kolmogorov’s Superposition Theorem and Its Applications, SVH Verlag, 192 112 [31] ISIC 2019 Challenge (Skin cancer classification): https://challenge isic-archive.com/landing/2019/ [32] 24 Evaluation Metrics for Binary Classification Available online: https:// neptune.ai/blog/evaluation-metrics-binary-classification (Accessed on 19 September 2021) [33] Livieris, I.E.; Kiriakidou, N.; Stavroyiannis, S.; Pintelas, P (2021) An Advanced CNN-LSTM Model for Cryptocurrency Forecasting Electronics, 10, 287 [34] Cristianini, N.; Shawe Taylor, J (2000) An Introduction to Support Vector Machines; Cambridge University Press: Cambridge, UK [35] Hennig, C.; Kutlukaya, M (2007) Some thoughts on the design of loss functions Revstat - Statistical Journal, 5(1):19-39 [36] https://en.wikipedia.org/wiki/Hinge_loss [37] Lapin, M.; Hein, M.; Schiele, B (2016) Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification arXiv:1612.03663 [38] Wu, L.; Tian, F.; Xia, Y.; Fan, Y.; Qin, T.; Lai, J.; Liu, T.-Y (2018) Learning to Teach with Dynamic Loss Functions In Proceedings of the 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, QC, Canada, accessed on 12 January 2019 [39] Sudre, C.H.; Li, W.; Vercauteren, T.; Ourselin, S.; Cardoso, M.J (2017) Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, LNCS 10553; Springer: Berlin/Heidelberg, Germany [40] Shen, C.; Roth, H.R.; Oda, H.; Oda, M.; Hayashi, Y.; Misawa, K.; Mori, K (2018) On the influence of Dice loss function in multi-class organ segmentation of abdominal CT using 3D fully convolutional networks , arXiv:1801.05912v1 113 [41] Rosasco, L.; De Vito, E.; Caponnetto, A.; Piana M.; Verri, A (2004) Are Loss Functions All the Same? Neural Comput, 16, 1063–1076 [42] Nabila Abraham, Naimul Mefraz Khan, (2018) A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation, arXiv:1810.07842 [43] Maksim Lapin, Matthias Hein, and Bernt Schiele, (2016) Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification, arxiv [44] Kuhn, M.; Johnson, K (2013) Applied Predictive Modeling; Springer: Berlin / Heidelberg, Germany [45] Niculescu-Mizil, A.; Caruana, R (2005) Predicting good probabilities with supervised learning In Proceedings of the 22nd International Conference on Machine Learning, Bonn, Germany, 7–11 August, 2005; pp 625–632 [46] Simonyan, K.; Zisserman, A (2014) Very Deep Convolutional Networks for Large-Scale Image Recognition , arXiv:1409.1556 [47] Krizhevsky, A CIFAR Dataset (Accessed on 16 August 2020) [48] Technical Report: Learning Multiple Layers of Features from Tiny Images 2009 (Accessed on 16 August 2012) [49] Hoel Kervadec, Jihene Bouchtiba, Christian Desrosiers, Eric Granger Jose Dolz, Ismail Ben Ayed, (2019) Boundary loss for highly unbalanced segmentation Proceedings of Machine Learning Research, [50] Aziz Taha, Abdel (2015) Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool BMC Medical Imaging 15 (29): 1–28 doi:10.1186/s12880-015-0068-x [51] Bunch, A.G.; Kiforenko, L.; Kraft, D (2017) Rotational Subgroup Voting and Pose Clustering for Robust 3D Object Recognition ; IEEE: Piscataway, NJ, USA; pp 4137-4145 114 [52] Hu, Y.; Mageras, G.; Grossberg, M (2021) Multi-class medical image segmentation using one-vs-rest graph cuts and majority voting J Med Imaging, 32, 034003 [53] Rucklidge, W (1996) Efficient Visual Recognition Using the Hausdorff Distance; Springer: Berlin / Heidelberg, Germany [54] Rockafellar, R.; Wets, R (2004) Variational Analysis; Springer: Berlin / Heidelberg, Germany; Volume 317 [55] TGS TGS Salt Identification Challenge (2018) Available online: https: //www.kaggle.com/c/tgssaltidentificationchallenge (Accessed on January 2022) [56] Howard, A.G.; Zhu, M.; Chen, B.; Kalenichenko, D.; Wang, W.; Weyand, T.; Andreetto, M.; Adam, H (2017) MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications., arXiv:1704.04861 [57] Chollet, F Keras (2015) Available online https://github.com/ fchollet/keras (Accessed on January 2022) [58] Milletari, F.; Navab, N.; Ahmadi, S.A (2016) V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation In Proceedings of the 2016 Fourth International Conference on 3D Vision (3DV), Stanford, CA, USA, 25–28 October 2016; pp 565–571 [59] Tan, M.; Le, Q.V (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks., arXiv: 1905.11946 [60] Rouchdy, Y.; Cohen, L.D (2013) Geodesic voting methods: Overview, extensions and application to blood vessel segmentation Comput Methods Biomech Biomed Eng Imaging Vis 1, 79–88 [61] Malladi, R.; Sethian, J.A.; Vemuri, B.C (1995) Shape modeling with front propagation: A level set approach IEEE Trans Pattern Anal Mach Intell 17, 158 - 175 [62] Chan, T.F.; Vese, L.A (2001) Active contours without edges EEE Trans Image Process, 10, 266-277 115 [63] Staal, J.; Abramoff, M.; Niemeijer, M.; Viergever, M.; van Ginneken, B (2004) Ridge based vessel segmentation in color images of the retina IEEE Trans Med Imaging, 23, 501 - 509 [64] Cardinal (2011) Mathematics Stack Exchange Version: 2011–03-24 [65] Hishro-Nik, H (2014) Introduction to Probability, Statistics, and Random Processes; Lecture Notes; Kappa Research, LLC: Boston, MA, USA [66] Jurgen Braun, (2010) On Kolmogorov’s Superposition Theorem and Its Applications, SVH Ver- ¨ lag, 192 pp [67] Hastie, T.; Tibshirani, R.; Friedman, J (2001) The Elements of Statistical Learning; Springer: New York, NY, USA [68] Vapnik, V (1998) Statistical Learning Theory; Wiley: New York, NY, USA 116