Luận án áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS.TS NGUYỄN XUÂN THẢO HD2: GS.TSKH NGUYỄN TIẾN DŨNG Hà Nội - 2023 LỜI CAM ĐOAN Luận án viết dựa nghiên cứu tác giả Đại học Bách khoa Hà Nội, hướng dẫn thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Các kết luận án chưa cơng bố cơng trình khoa học tác giả khác Hà Nội, ngày 24 tháng năm 2023 Nghiên cứu sinh Lê Bích Phượng TM Tập thể hướng dẫn PGS TS Nguyễn Xuân Thảo LỜI CẢM ƠN Luận án hoàn thành Đại học Bách khoa Hà Nội, hướng dẫn khoa học tận tình thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Tác giả xin chân thành cảm ơn Viện Tốn ứng dụng Tin học Phịng Đào tạo - Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi cho tác giả suốt trình học tập nghiên cứu Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan) TS Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy người bạn động viên tác giả q trình học tập, nghiên cứu có ý kiến đóng góp sâu sắc nội dung tác giả hoàn thành luận án Tác giả xin chân thành cảm ơn Ban Giám hiệu, thầy cô Khoa Khoa học Cơ bản, Bộ mơn Tốn, Trường Đại học Mỏ - Địa chất, nơi tác giả công tác, tạo điều kiện thuận lợi cho tác giả q trình hồn thành luận án Cuối đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lịng đến gia đình mình, nơi ln dành cho tác giả tình u thương vơ hạn Trong q trình học tập hồn thành luận án, thành viên gia đình ln sát cánh, động viên ủng hộ tác giả, nguồn động lực to lớn giúp tác giả hồn thành luận án Tác giả Lê Bích Phượng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÍ HIỆU DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC CÁC THUẬT NGỮ CƠ BẢN DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG 10 MỞ ĐẦU 11 Chương KIẾN THỨC CHUẨN BỊ 20 1.1 Mơ hình chung q trình học máy 20 1.2 Dữ liệu cho học máy 24 1.3 Các “đặc trưng” học máy 27 1.4 Kiểm tra hiệu máy 30 1.5 Biểu kiểm định chéo 31 1.6 Tối ưu dựa Gradient 32 1.7 Phép tích chập mạng nơ-ron tích chập 35 1.8 Kết luận bình luận cuối chương 37 Chương ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 2.1 38 Các thước đo độ xác máy phân loại nhị phân 38 2.1.1 Âm tính, dương tính ba tỉ lệ 38 2.1.2 Độ xác có trọng số (weighted accuracy) 41 2.1.3 Độ xác cân (balanced accuracy) 42 2.1.4 Điểm số F (F-score) 42 2.2 Đường cong ROC thước đo độ xác máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid máy tối ưu 50 2.4 Cải thiện độ xác biểu 54 2.5 Kết luận bình luận cuối chương 56 Chương ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57 3.1 Tổng quan hàm mát (loss function) 57 3.1.1 Các hàm mát hồi quy 58 3.1.2 Các hàm mát phân loại (phân lớp) 59 3.1.3 Các hàm mát thường dùng tốn phân đoạn hình ảnh 60 3.2 Học máy vi phân hàm mát 61 3.3 Hàm mát lồi xác suất bị bóp méo 67 3.4 Các hàm mát không lồi bẫy ngẫu nhiên 69 3.5 Kết luận bình luận cuối chương 75 Chương TỐI ƯU HÓA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TƠ-PƠ 4.1 4.2 4.3 4.4 76 Phương pháp biểu tô-pô 77 4.1.1 Phân đoạn hình ảnh khoảng cách Jaccard 77 4.1.2 Biểu số học 79 4.1.3 Biểu tô-pô: Dạng đơn giản 80 4.1.4 Biểu tô-pô địa phương 81 4.1.5 Biểu kết hợp (biểu lai): tô-pô số học 83 Tính hợp lý biểu tô-pô 84 4.2.1 Trường hợp chiều 85 4.2.2 Trường hợp hai chiều 90 Các kết thực nghiệm biểu tô-pô 93 4.3.1 Phân đoạn muối hình ảnh địa chấn 93 4.3.2 Phân đoạn khuôn mặt người 98 4.3.3 Phân đoạn mạch máu 103 Kết luận bình luận cuối chương 106 KẾT LUẬN 107 KIẾN NGHỊ 108 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ CỦA LUẬN ÁN 109 TÀI LIỆU THAM KHẢO 110 DANH MỤC CÁC KÍ HIỆU Kí hiệu ≫ ≈ ∇x f (x) ∂ ∂xi f (x) uT ∗ Σ ∼ ∼ P(X > x) exp R +∞ x ◦ ϕ−1 P (Y (x) = 1|ϕ(x) = φ) R Q ∩ ||u|| R f (a)da R f (x)dx Ω (0, 1) [0, 1] Ý nghĩa Lớn đáng kể Xấp xỉ Gradient hàm số f Đạo hàm riêng hàm số f theo biến xi Vec-tơ chuyển vị vec-tơ u Tích chập Tổng Tuân theo quy luật phân phối (trong xác suất) Tương đương (trong giải tích) Xác suất để biến ngẫu nhiên X lớn giá trị x Hàm e mũ Tích phân từ x đến +∞ Phép hợp thành Ánh xạ ngược ánh xạ ϕ Xác suất Y (x) = với điều kiện ϕ(x) = φ Tập hợp số thực Tích Giao hai tập hợp Chuẩn véc-tơ u Tích phân tồn miền xác định a Tích phân tập Ω Khoảng từ đến Đoạn từ đến DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt AI ANN AUC BA CNN DL FN FP hb IoT IOU LF MAE MBA MBE ML MOM MSE MWA PR RNN ROC SVM TP TN WA Ý nghĩa Trí tuệ nhân tạo Mạng nơ-ron nhân tạo Diện tích đường cong Độ xác cân Mạng nơ-ron dạng tích chập Học sâu Tỷ lệ âm tính giả Tỷ lệ dương tính giả Nửa mù Internet kết nối vạn vật Giao chia cho hợp Hàm mát Trung bình giá trị tuyệt đối độ lỗi Độ xác cân cao Trung bình độ lỗi thiên vị Học máy Tối thiểu tối đa Trung bình bình phương độ lỗi Độ xác có trọng cao Tỉ lệ xác Mạng nơ-ron hồi quy Đường cong đặc trưng hoạt động Máy vec-tơ hỗ trợ Tỷ lệ dương tính thật Tỷ lệ âm tính thật Độ xác có trọng Từ gốc tiếng Anh Artificial Intelligence Artificial Neural Network Area Under the Curve Balanced Accuracy Convolutional Neural Network Deep Learning False Negative rate False Positive rate half blind Internet of Things Intersection Over Union Loss Function Mean Absolute Error Maximal Balanced Accuracy Mean Bias Error Machine Learning Min Over Max Mean Square Error Maximally Weighted Accuracy Precision Rate Recurrent Neural Network Receiver Operating Characteristic Support Vector Machine True Positive rate True Negative rate Weighted Accuracy DANH MỤC CÁC BẢNG Bảng Bảng 2.1 Bảng 3.1 Bảng 3.2 Bảng 4.1 Bảng 4.2 Bảng 4.3 Bảng 4.4 Bảng 4.5 Tên bảng Bảng tổng kết thước đo độ xác Máy bay với khơng phải máy bay Chó với khơng phải chó So sánh phương pháp biểu fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối sử dụng binary accuracy So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người So sánh phương pháp biểu 15 fold tập liệu DRIVE Trang 44 72 73 94 97 98 103 106 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Hình 1.1 Hình Hình Hình Hình Hình Hình Hình Hình 1.2 1.3 1.4 1.5 1.6 1.7 2.1 2.2 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình Hình Hình Hình 3.5 3.6 4.1 4.2 Hình 4.3 Hình 4.4 Hình 4.5 Chú thích Một ví dụ sơ đồ mạng nơ-ron: nút tròn “nơ-ron”, đường nối “axon” Một trình huấn luyện điển hình Một phần fresco Mantegna nhà thờ Emeritani Mô tả phương pháp k-fold Cross Validation Trượt Gradient Các loại điểm tới hạn Xấp xỉ giá trị cực tiểu Cách chia tập liệu Ω Đường cong ROC đường tiếp tuyến điểm mà trung bình có trọng lớn Các hàm mát thường dùng toán phân đoạn hình ảnh Dáng điệu số hàm mát lồi Hàm mát cross-entropy (hàm log) điều chỉnh cách cho thêm số dương epsilon nhỏ để tránh tình ln0 Một số hàm mát sử dụng cho thí nghiệm học máy phân loại nhị phân tập CIFAR-10 Rơi vào bẫy sau sau bước học máy Vấn đề phân loại “Mèo mèo” CIFAR-10, huấn luyện với VGG16 hàm brokenloss1 Khi bẫy, máy lấy ảnh mèo (sensitivity = 1, specificity = mức threshold σ = 0.5) Rơi vào bẫy khơng được, brokenloss1, c=1, r=9 Một ví dụ khác rơi vào bẫy ra, brokenloss3, c=2, r=9 Một ví dụ cho biểu tơ-pơ địa phương với s = Một ví dụ bỏ phiếu kết hợp Tại vòng 1, segmentator and segmentator bị loại trừ chúng cách xa khác, phần lại vào vòng sử dụng biểu số học (có thể mềm cứng) So sánh biểu số học (biểu trung bình) phương pháp biểu tô-pô trường hợp chiều (a) {Si }ni=1 độc lập tuân theo quy luật N (0, 1); (b) {Si }ni=1 độc lập tuân theo quy luật U(0, 1) So sánh trường hợp chiều với phân phối xi khác f (a) xi ∼ U(0, 1) với i, f (x) = 1/(1 + x); (b) xi ∼ U(0, 1) với i, f (x) = x2 So sánh f hàm đối xứng, xi ∼ U(−1, 1), f (x) = x3 (a) Hiển thị cho tất mẫu; (b) Phóng to phần mẫu Trang 21 24 29 31 33 33 34 39 48 61 63 70 74 74 75 83 84 87 91 92 J Imaging 2022, 1, 13 of 24 (a) (b) (c) (d) (f) (e) Comparison of voting methods for human faces—The third example (a) Predictions of the Hình 4.13:Figure Ví dụ thứ ba: So sánh phương pháp biểu cho toán nhận diện khuôn mặt first folds (with Mobilenet); (b) Predictions of the last folds (with Mobilenet); (c) Predictions of the người (a)first Dự5 folds đoán(with củaEfficienNet); fold (với Mobilenet); (b) Dự đoán fold cuối (với (d) Predictions of the last folds (with EfficienNet); (e) Original image; Mobilenet); Dự đoánvoting, 5f2 :fold đầu tiên(threshold (với EfficienNet); (d) Dựvoting, đoánf4 :của fold cuối (f) (c) f : Topological Hybrid voting = 2), f : Arithmetical True5Mask (với EfficienNet); (e) Ảnh gốc; (f ) f1 : Biểu tô-pô, f2 : Biểu lai (kết hợp) (threshold = The accuracy scores of different voting methods on our 20 models are given in Table 2), f3 : Biểu quyếtthat số học, f4voting : Mặtgives nạ thực It shows hybrid the best results, by excluding those segmentors that make very gross mistakes Tỉ số Jaccard đo xác phương pháp biểu khác 20 mơ hình đưa Bảng 4.4 Nó cho thấy biểu kết hợp cho kết tốt nhất, cách loại trừ phân đoạn mắc lỗi lớn 102 Bảng 4.4: So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người AI Model MobileNet Model EfficientNet Model Segmentor 0,7572 0,7827 Segmentor 0,7495 0,7845 Segmentor 0,7525 0,7843 Segmentor 0,7527 0,7805 Segmentor 0,7625 0,7849 Segmentor 0,7588 0,7878 Segmentor 0.7611 0.7879 Segmentor 0,7553 0,7917 Segmentor 0,7637 0,7788 Segmentor 10 0,7604 0,7795 Biểu số học (mềm) 0,7909 0,8035 Biểu tô-pô (mềm) 0,7832 0,7990 Biểu tô-pô (cứng) 0,7833 0,7985 Điểm số phương pháp biểu 20 segmentor Khoảng p (N = 1000, c = 90%) Biểu số học (mềm) 0,8088 (0,7875; 0,8285) Biểu tô-pô mềm 0,8043 (0,7828; 0,8242) Biểu tô-pô cứng 0,8032 (0,7816; 0,8231) Biểu lai (kết hợp) (threshold = 1,5) 0,8092 (0,7879; 0,8289) Biểu lai (kết hợp) (threshold = 2) 0,8093 (0,7880; 0,8289) Biểu lai (kết hợp) (threshold = 3) 0,8092 (0,7879; 0,8289) Biểu lai (kết hợp) (nselect = 10) 0,8085 (0,7871; 0,8282) Biểu lai (kết hợp) (nselect = 15) 0,8090 (0,7877; 0,8287) Biểu lai (kết hợp) (nselect = 17) 0,8091 (0,7878; 0,8287) 4.3.3 Phân đoạn mạch máu Vấn đề phân đoạn cấu trúc dạng cây, chẳng hạn kéo dài tế bào micro glia (micro glia extensions), cấu trúc thần kinh mạch (neurovascular structures), mạch máu (blood vessels) phổi (pulmonary trees) vấn đề vơ vùng hấp hẫn ứng dụng trí tuệ nhân tạo vào y tế (xem [60]) Rouchdy Cohen nghiên cứu vấn đề phân đoạn mạch máu hình ảnh võng mạc, phương pháp gọi “biểu trắc địa có bán kính”, geodesic voting with radius (không sử dụng học sâu), cho thấy tính ưu việt phương pháp so với phương pháp cũ hơn, phương pháp “tập hợp mức dựa cạnh” (the edge-based level set method) [61], phương pháp Chan Vese [62], phương pháp kết nối mờ (the fuzzy connectedness method) [19] Cơ sở liệu mà họ sử dụng hình ảnh võng mạc kĩ 103 thuật số liệu phân tích mạch máu gọi “DRIVE” [63] Trong phần này, ta sử dụng học sâu để giải vấn đề phân đoạn mạch máu võng mạc cách sử dụng tập liệu DRIVE mạng MobileNet [56] Mạng nơron sâu cho kết phân đoạn tốt phương pháp xử lý ảnh trước đây, bao gồm phương pháp biểu trắc địa [60] Bộ liệu DRIVE chứa 20 hình ảnh có kích thước 565 × 5844 Đầu tiên, ta chia thành hai tập: 15 hình ảnh để huấn luyện hình ảnh để kiểm định Sử dụng 15 ảnh huấn luyện để tạo 15 fold cho trình huấn luyện kiểm định chéo (cross-validation) Mỗi fold cho ta phân đoạn, tổng cộng có 15 phân đoạn riêng lẻ để biểu Mỗi fold sử dụng 13 hình ảnh để huấn luyện hình ảnh để kiểm định Trước đưa vào chương trình CNN dựa MobileNet để huấn luyện kiểm định, hình ảnh chuyển đổi (tăng cường) cách sử dụng kết hợp phép biến đổi bao gồm xoay ngẫu nhiên, lật, đệm, sửa đổi độ sáng, thêm nhiễu để biến chúng thành hình ảnh vng có kích thước 256 × 256 Năm hình ảnh gốc sử dụng để thử nghiệm cắt thành 2000 hình ảnh có kích thước x × y x y số tự nhiên ngẫu nhiên khoảng [220, 256] sau chuyển đổi thành hình ảnh vng với kích thước 256 × 256 Vì tập thử nghiệm có tổng cộng 2000 hình ảnh kích thước 256 × 256 Hình 4.14 cho thấy ví dụ 15 phân đoạn riêng lẻ hình ảnh từ tập thí nghiệm, kết ba phương pháp biểu khác 15 phân đoạn so với mặt nạ thực Ta thấy cách trực quan qua ảnh phương pháp tô-pô địa phương phương pháp biểu kết hợp cho kết tốt phương pháp biểu số học: pixel bị thiếu so với mặt nạ thực (mặt nạ mạch bị vỡ hơn) Bảng 4.5 biểu thị so sánh phương pháp biểu tập liệu DRIVE 104 are random whole numbers in the interval [220, 256] and then padded to square images of size 256 × 256, so our test set consists of 2000 images of size 256 × 256 Figure 10 shows an example of our 15 individual segmentations of an image from the test set, and the results of three different voting methods on these 15 segmentations compared to the true mask One can see visually on these pictures that both the local topological method and the hybrid voting methods give better results than the arithmetical voting methods: fewer missing pixels compared to the true mask (the vessels are less broken) (a) (b) (c) (d) (e) Figure 10 Comparison of voting methods for blood vessel segmentation (a) Predictions of the first Hình 4.14: So sánh phương pháp biểu cho vấn đề phân đoạn mạch máu (a) Dự đoán folds; (b) Predictions of the second folds; (c) Predictions of the last folds; (d) Original image; e1 : Local voting 10, e2hai; : Hybrid = 10, threshold 2), e3 :cuối Arithmetical fold đầu tiên;(e)(b) Dựtopological đoán with folds =thứ (c)voting Dự(sđoán =fold cùng; (d) Ảnh gốc; voting, e4 : True Mask (e) e1 : Biểu tô-pô địa phương với s = 10, e2 : Biểu lai (kết hợp) (s = 10, threshold = 2), Tablee54shows comparison e3 : Biểu số học, : mặta nạ thực of voting methods on the DRIVE dataset Ta thấy số Jaccard thu toán phân đoạn mạch máu thấp nhiều so với hai toán trước Lí đơn giản: mạch mỏng đó, tỉ số Jaccard nhạy với biến đổi nhỏ phân đoạn Điều quan trọng lợi ích thu từ phương pháp biểu kết hợp tơ-pơ số học có độ xác cao so với phương pháp biểu số học 105 Bảng 4.5: So sánh phương pháp biểu 15 fold tập liệu DRIVE Mơ hình AI Hard Jaccard Khoảng p(N=2000, c=90%) Segmentor 0,6159 (0,5978; 0,6337) Segmentor 0,6339 (0,6160; 0,6515) Segmentor 0,6116 (0,5935; 0,6294) Segmentor 0,6197 (0,6016; 0,6374) Segmentor 0,6282 (0,6102; 0,6458) Segmentor 0,6224 (0,6043; 0,6401) Segmentor 0,6105 (0,5924; 0,6283) Segmentor 0,6105 (0,5924; 0,6283) Segmentor 0,6175 (0,5994; 0,6353) Segmentor 10 0,6145 (0,5964; 0,6323) Segmentor 11 0,6204 (0,6023; 0,6381) Segmentor 12 0,6133 (0,5952; 0,6311) Segmentor 13 0,6139 (0,5958; 0,6317) Segmentor 14 0,6241 (0,6061; 0,6418) Segmentor 15 0,6117 (0,5936; 0,6295) Biểu tơ-pơ địa phương (bán kính = 20) 0,6347 (0,6168; 0,6523) Biểu số học mềm 0,6364 (0,6185; 0,6540) Biểu tơ-pơ địa phương (bán kính = 10) 0,6384 (0,6205; 0,6560) Biểu tô-pô địa phương (bán kính = 5) 0,6391 (0,6212; 0,6566) Biểu kết hợp (bán kính = 20, ngưỡng = 2) 0,6399 (0,6220; 0,6574) Biểu kết hợp (bán kính = 5, ngưỡng = 2) 0,6412 (0,6233; 0,6587) Biểu kết hợp (bán kính = 10, ngưỡng = 2) 0,6418 (0,6239; 0,6593) 4.4 Kết luận bình luận cuối chương Trong Chương Định nghĩa 4.1 4.2 4.3 trình bày ba phương pháp biểu có tính đến cấu trúc tồn mặt nạ Các kết thực nghiệm ba ví dụ chứng minh tốn học Định lý 4.1 khẳng định phương pháp biểu tô-pô mà luận án đưa phù hợp hiệu Biểu tô-pô cho kết tốt biểu số học chứng tỏ hình có nghĩa có tính chất hình học định, điểm gắn kết với theo quy luật định tập hợp điểm ngẫu nhiên, rời rạc Trong phiên biểu tô-pô mà luận án đưa ra, NCS chọn biểu tô-pô địa phương phiên thích nhất, cho s chạy từ đến vơ ta thu nhiều biểu từ số học đến tơ-pơ tồn cục Khi có nhiều lựa chọn nhiều khả chọn kết tốt 106 KẾT LUẬN Luận án đạt kết sau: Các bất đẳng thức liên hệ thước đo độ xác AUC ROC, MBA MWA (Định lý 2.1) Tính tối ưu máy xác suất thực tính lồi đường ROC máy xác suất thực (Định lý 2.2 ) Hàm mát bình phương hàm cross-entropy hai hàm mát tự nhiên nhất, theo nghĩa máy làm tối thiểu hóa mát theo hàm mát máy xác suất thực (Định lý 3.1) Các hàm mát siêu lồi dẫn đến nghiệm cực tiểu máy tối ưu độ xác, máy biến đổi tham số máy xác suất thực (Định lý 3.2) Phương pháp biểu tô-pô biến thể (Định nghĩa 4.1 4.2 4.3) Chứng minh phương pháp biểu tô-pô hợp lý trường hợp chiều (Định lý 4.1) cho kết tốt phương pháp biểu số học cổ điển minh họa (4.2.2) 107 KIẾN NGHỊ Tiếp theo kết Luận án, số hướng nghiên cứu sau: Mở rộng kết tính tự nhiên hàm cross-entropy hàm mát bình phương cho vấn đề khác hồi quy (regression) hay phân cụm (clustering) Dựa vào kết tính lồi hàm mát để thiết kế hàm mát thích hợp cho toán học máy, thiết kế hàm mát để nghiên cứu bẫy ngẫu nhiên Sử dụng phương pháp biểu tơ-pơ tốn phân đoạn hình ảnh thực tế, y tế trắc địa, để tăng độ xác cho mơ hình học máy Tăng cường nghiên cứu phương pháp mặt lý thuyết trường hợp nhiều chiều 108 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ CỦA LUẬN ÁN [T1 ] Le Bich Phuong and Nguyen Tien Zung(2019), On the dynamics of loss functions (Symmetry and Singularity of Geometric Structures and Differential Equations), RIMS Kokyuroku, 2137: pp.102-111 [T2 ] Nga T T Nguyen and Phuong B Le (2022), Topological Voting Method for Image Segmentation, Journal of Imaging 8, no 2: 16 pp.1-24 (Scopus-Q2) [T3 ] Le Bich Phuong and Nguyen Tien Zung (2022), Accuracy Measures and the Convexity of ROC Curves for Binary Classification Problems, Biomedical and Other Applications of Soft Computing, Springer Nature Switzerland AG 2023 pp.155-163 (Scopus) [T4 ] Phuong Bich Le and Zung Tien Nguyen (2022), ROC Curves, Loss Functions, and Distorted Probabilities in Binary Classification, Mathematics 10, no 9: 1410 pp.1-13 (ISI-Q2) 109 TÀI LIỆU THAM KHẢO [1] Sasaki, Y (2007).The truth of the F-measure [2] Powers, David M W (2011) Evaluation: From Precision, Recall and FMeasure to ROC, Informedness, Markedness & Correlation Journal of Machine Learning Technologies (1): 37–63 [3] Chicco D, Jurman G (January 2020) The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation BMC Genomics 21 (1): 6-1–6-13 doi:10.1186/s12864019-6413-7 PMC 6941312 PMID 31898477 [4] Williams, Christopher K I (2021) The Effect of Class Imbalance on Precision-Recall Curves Neural Computation 33 (4): 853–857 [5] Gneiting, T.; Vogel, P (2021) Receiver Operating Characteristic (ROC) Curves Mach Learn [6] Hang Zhao, Orazio Gallo, Iuri Frosio, Jan Kautz, (2017) Loss Functions for Image Restoration With Neural Networks IEEE Trans Comput Imaging, 3, 47–57 [7] Abraham, N.; Khan, N.M (2019) A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation In Proceedings of the 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019), Venice, Italy, 8–11 April 2019 [8] Gosh, A.; Kumar, H.; Sastry, P.S (2017) Robust loss functions under label noise for deep neural networks In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI-17), San Francisco CA, USA, 4–9 February, 2017 Rev Stat J 5, 19–39 [9] James, G.M (2003) Variance and Bias for General Loss Functions Mach Learn 51, 115–135 110 [10] Kervadec, H.; Bouchtiba, J.; Desrosiers, C.; Dolz, E.G.J.; Ayed, I.B (2019) Boundary loss for highly unbalanced segmentation arXiv, arXiv:1812.07032 [11] Lin, T.-Y.; Goyal, P.; Girshick, R.; He, K.; Dollár, P (2017) Focal Loss for Dense Object Detection arXiv, arXiv:1708.02002 [12] Cucker, F.; Smale, S (2002) On the Mathematical Foundation of Learning Bull Am Math Soc., 39, 1–49 [13] Ian Goodfellow, Yoshua Bengio, and Aaron Courville (2016) Deep Learning Cambridge, MA: MIT Press, [2017]| Series: Adaptive Computation and machine learning series| Includes bibliographical references and index [14] Lee, T.-H (2007) Loss Functions in Time Series Forecasting ; Publisher: University of California, USA [15] Kim, H.;Thiagarajan, J.J; Bremer, P.T (2014) Image segmentation using consensus from hierarchial segmentation ensembles In Proceedings of the 2014 IEEE International Conference on Image Processing (ICIP), Paris, France, 27-30 October 2014; pp.3272-3276 [16] Franek, L.; Abdala, D.D; Ve-ga Pons, S.; Jiang, X (2010) Image Segmentation Fusion Using General Ensemble Clustering Methods In Computer Vision -ACCV 2010; Springer: Berlin/ Heidelberg, Germany, 2011; pp.373384 [17] Cyganek, B.(2011) One-Class Support Vector Ensembles for Image Segmentation and Classification J Math Imaging Vis.2011, 42, 103-117 [18] Phung, S.L.; Bouzerdoum, A.; Chai, D (2005) Skin segmentation using color pixel classification: analysis and comparison IEEE Trans Pattern Anal Mach Intell, 27, 148–154 [19] Udupa, J.K.; Samarasekera, S (1996) Fuzzy Connectedness and Object Definition: Theory, Algorithms, and Applications in Image Segmentation Graph Model Image Process, 58, 246 - 261 111 [20] Beyeler, M (2017) Machine Learning for Open CV: Intelligent Image Processing with Python; Packt Publishing Ltd.: London, UK [21] Lam, L.; Suen, S.Y (1997) Application of majority voting to pattern recognition: An analysis of its behavior and performance IEEE Trans Syst Man Cybern Part Syst Humans, 27, 533-568 [22] Panagiotakis, C (2015) Poit Clusterning via Voting Maximization J Classif, 32, 212 - 240 [23] Zhou, Z.H (2012) Ensemble Methods: Foundations and Algorithms, 1st ed.; Chapman and Hall/ CRC: Boca Raton, FL, USA [24] Jaccard, P (1991) Distribution de la Flore Alpine dans le Bassin des Dranses et dans quelques régions voisines Bull Soc Vaudoise Des Sci Nat, 37 241-272 [25] Fawcett, T (2006) An Introduction to ROC Analysis Pattern Recognit Lett, 27; 861–874 [26] Hernandez-Orallo, J.; Flach, P.A.; Ferri, C (2012) A unified view of performance metrics: Translating threshold choice into expected classification loss J Mach Learn Res 13, 2813–2869 [27] Lorenzo L Pesce, Charles E Metz, and Kevin S Berbaum, (2010) On the convexity of ROC curves estimated from radiological test results Acad Radiol., 17, 960–968.e4 [28] John A Swets, Robyn M Dawes, and John Monahan, (2000) Psychological science can improve diagnostic decisions Psychol Sci Public Interest, 1, [29] Wikipedia page on ROC Available online: https://en.wikipedia.org/ wiki/Receiver_operating_characteristic (Accessed on 16 August 2020) [30] Jă urgen Braun, (2010) On Kolmogorovs Superposition Theorem and Its Applications, SVH Verlag, 192 pp 112 [31] ISIC 2019 Challenge (Skin cancer classification): https://challenge isic-archive.com/landing/2019/ [32] 24 Evaluation Metrics for Binary Classification Available online: https:// neptune.ai/blog/evaluation-metrics-binary-classification (Accessed on 19 September 2021) [33] Livieris, I.E.; Kiriakidou, N.; Stavroyiannis, S.; Pintelas, P (2021) An Advanced CNN-LSTM Model for Cryptocurrency Forecasting Electronics, 10, 287 [34] Cristianini, N.; Shawe Taylor, J (2000) An Introduction to Support Vector Machines; Cambridge University Press: Cambridge, UK [35] Hennig, C.; Kutlukaya, M (2007) Some thoughts on the design of loss functions Revstat - Statistical Journal, 5(1):19-39 [36] https://en.wikipedia.org/wiki/Hinge_loss [37] Lapin, M.; Hein, M.; Schiele, B (2016) Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification arXiv:1612.03663 [38] Wu, L.; Tian, F.; Xia, Y.; Fan, Y.; Qin, T.; Lai, J.; Liu, T.-Y (2018) Learning to Teach with Dynamic Loss Functions In Proceedings of the 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, QC, Canada, accessed on 12 January 2019 [39] Sudre, C.H.; Li, W.; Vercauteren, T.; Ourselin, S.; Cardoso, M.J (2017) Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, LNCS 10553; Springer: Berlin/Heidelberg, Germany [40] Shen, C.; Roth, H.R.; Oda, H.; Oda, M.; Hayashi, Y.; Misawa, K.; Mori, K (2018) On the influence of Dice loss function in multi-class organ segmentation of abdominal CT using 3D fully convolutional networks , arXiv:1801.05912v1 113 [41] Rosasco, L.; De Vito, E.; Caponnetto, A.; Piana M.; Verri, A (2004) Are Loss Functions All the Same? Neural Comput, 16, 1063–1076 [42] Nabila Abraham, Naimul Mefraz Khan, (2018) A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation, arXiv:1810.07842 [43] Maksim Lapin, Matthias Hein, and Bernt Schiele, (2016) Analysis and Optimization of Loss Functions for Multiclass, Top-k, and Multilabel Classification, arxiv [44] Kuhn, M.; Johnson, K (2013) Applied Predictive Modeling; Springer: Berlin / Heidelberg, Germany [45] Niculescu-Mizil, A.; Caruana, R (2005) Predicting good probabilities with supervised learning In Proceedings of the 22nd International Conference on Machine Learning, Bonn, Germany, 7–11 August, 2005; pp 625–632 [46] Simonyan, K.; Zisserman, A (2014) Very Deep Convolutional Networks for Large-Scale Image Recognition , arXiv:1409.1556 [47] Krizhevsky, A CIFAR Dataset (Accessed on 16 August 2020) [48] Technical Report: Learning Multiple Layers of Features from Tiny Images 2009 (Accessed on 16 August 2012) [49] Hoel Kervadec, Jihene Bouchtiba, Christian Desrosiers, Eric Granger Jose Dolz, Ismail Ben Ayed, (2019) Boundary loss for highly unbalanced segmentation Proceedings of Machine Learning Research, [50] Aziz Taha, Abdel (2015) Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool BMC Medical Imaging 15 (29): 1–28 doi:10.1186/s12880-015-0068-x [51] Bunch, A.G.; Kiforenko, L.; Kraft, D (2017) Rotational Subgroup Voting and Pose Clustering for Robust 3D Object Recognition ; IEEE: Piscataway, NJ, USA; pp 4137-4145 114 [52] Hu, Y.; Mageras, G.; Grossberg, M (2021) Multi-class medical image segmentation using one-vs-rest graph cuts and majority voting J Med Imaging, 32, 034003 [53] Rucklidge, W (1996) Efficient Visual Recognition Using the Hausdorff Distance; Springer: Berlin / Heidelberg, Germany [54] Rockafellar, R.; Wets, R (2004) Variational Analysis; Springer: Berlin / Heidelberg, Germany; Volume 317 [55] TGS TGS Salt Identification Challenge (2018) Available online: https: //www.kaggle.com/c/tgssaltidentificationchallenge (Accessed on January 2022) [56] Howard, A.G.; Zhu, M.; Chen, B.; Kalenichenko, D.; Wang, W.; Weyand, T.; Andreetto, M.; Adam, H (2017) MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications., arXiv:1704.04861 [57] Chollet, F Keras (2015) Available online https://github.com/ fchollet/keras (Accessed on January 2022) [58] Milletari, F.; Navab, N.; Ahmadi, S.A (2016) V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation In Proceedings of the 2016 Fourth International Conference on 3D Vision (3DV), Stanford, CA, USA, 25–28 October 2016; pp 565–571 [59] Tan, M.; Le, Q.V (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks., arXiv: 1905.11946 [60] Rouchdy, Y.; Cohen, L.D (2013) Geodesic voting methods: Overview, extensions and application to blood vessel segmentation Comput Methods Biomech Biomed Eng Imaging Vis 1, 79–88 [61] Malladi, R.; Sethian, J.A.; Vemuri, B.C (1995) Shape modeling with front propagation: A level set approach IEEE Trans Pattern Anal Mach Intell 17, 158 - 175 [62] Chan, T.F.; Vese, L.A (2001) Active contours without edges EEE Trans Image Process, 10, 266-277 115 [63] Staal, J.; Abramoff, M.; Niemeijer, M.; Viergever, M.; van Ginneken, B (2004) Ridge based vessel segmentation in color images of the retina IEEE Trans Med Imaging, 23, 501 - 509 [64] Cardinal (2011) Mathematics Stack Exchange Version: 2011–03-24 [65] Hishro-Nik, H (2014) Introduction to Probability, Statistics, and Random Processes; Lecture Notes; Kappa Research, LLC: Boston, MA, USA [66] Jurgen Braun, (2010) On Kolmogorov’s Superposition Theorem and Its Applications, SVH Ver- ă lag, 192 pp [67] Hastie, T.; Tibshirani, R.; Friedman, J (2001) The Elements of Statistical Learning; Springer: New York, NY, USA [68] Vapnik, V (1998) Statistical Learning Theory; Wiley: New York, NY, USA 116