Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS.TS NGUYỄN XUÂN THẢO HD2: GS.TSKH NGUYỄN TIẾN DŨNG Hà Nội - 2023 LỜI CAM ĐOAN Luận án viết dựa nghiên cứu tác giả Đại học Bách khoa Hà Nội, hướng dẫn thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Các kết luận án chưa công bố cơng trình khoa học tác giả khác Hà Nội, ngày 24 tháng năm 2023 Nghiên cứu sinh Lê Bích Phượng TM Tập thể hướng dẫn PGS TS Nguyễn Xuân Thảo LỜI CẢM ƠN Luận án hoàn thành Đại học Bách khoa Hà Nội, hướng dẫn khoa học tận tình thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Tác giả xin chân thành cảm ơn Viện Toán ứng dụng Tin học Phòng Đào tạo - Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi cho tác giả suốt trình học tập nghiên cứu Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan) TS Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy người bạn ln động viên tác giả q trình học tập, nghiên cứu có ý kiến đóng góp sâu sắc nội dung tác giả hoàn thành luận án Tác giả xin chân thành cảm ơn Ban Giám hiệu, thầy cô Khoa Khoa học Cơ bản, Bộ mơn Tốn, Trường Đại học Mỏ - Địa chất, nơi tác giả công tác, tạo điều kiện thuận lợi cho tác giả q trình hồn thành luận án Cuối đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lịng đến gia đình mình, nơi ln dành cho tác giả tình u thương vơ hạn Trong q trình học tập hoàn thành luận án, thành viên gia đình ln sát cánh, động viên ủng hộ tác giả, nguồn động lực to lớn giúp tác giả hồn thành luận án Tác giả Lê Bích Phượng MỤC LỤC LỜICAMĐOAN LỜICẢMƠN MỤCLỤC DANHMỤCCÁCKÍHIỆU DANHMỤCCÁCCHỮVIẾTTẮT DANHMỤCCÁCBẢNG DANHMỤCCÁCHÌNHVẼ,ĐỒTHỊ DANHMỤCCÁCTHUẬTNGỮCƠBẢN DANHMỤCCÁCĐỊNHNGHĨAQUANTRỌNG 10 MỞĐẦU 11 Chương KIẾN THỨC CHUẨN BỊ 1.1 Mơ hình chung q trình học máy 20 20 1.2 Dữ liệu cho học máy 24 1.3 Các “đặc trưng” học máy 27 1.4 Kiểm tra hiệu máy 30 1.5 Biểu kiểm định chéo 31 1.6 Tối ưu dựa Gradient 32 1.7 Phép tích chập mạng nơ-ron tích chập 35 1.8 Kết luận bình luận cuối chương 37 Chương ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 2.1 Các thước đo độ xác máy phân loại nhị phân 38 38 2.1.1 Âm tính, dương tính ba tỉ lệ 38 2.1.2 Độ xác có trọng số (weighted accuracy) 41 2.1.3 Độ xác cân (balanced accuracy) 42 2.1.4 Điểm số F (F-score) 42 2.2 Đường cong ROC thước đo độ xác máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid máy tối ưu 50 2.4 Cải thiện độ xác biểu 54 2.5 Kết luận bình luận cuối chương 56 Chương ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57 3.1 Tổng quan hàm mát (loss function) 57 3.1.1 Các hàm mát hồi quy 58 3.1.2 Các hàm mát phân loại (phân lớp) 59 3.1.3 Các hàm mát thường dùng tốn phân đoạn hình ảnh 60 3.2 Học máy vi phân hàm mát 61 3.3 Hàm mát lồi xác suất bị bóp méo 67 3.4 Các hàm mát không lồi bẫy ngẫu nhiên 69 3.5 Kết luận bình luận cuối chương 75 Chương TỐI ƯU HĨA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TƠ-PƠ 4.1 Phương pháp biểu tơ-pơ 76 77 4.1.1 Phân đoạn hình ảnh khoảng cách Jaccard 77 4.1.2 Biểu số học 79 4.1.3 Biểu tô-pô: Dạng đơn giản 80 4.1.4 Biểu tô-pô địa phương 81 4.1.5 Biểu kết hợp (biểu lai): tô-pô số học 83 4.2 Tính hợp lý biểu tơ-pơ 84 4.2.1 Trường hợp chiều 85 4.2.2 Trường hợp hai chiều 90 4.3 Các kết thực nghiệm biểu tô-pô 93 4.3.1 Phân đoạn muối hình ảnh địa chấn 93 4.3.2 Phân đoạn khuôn mặt người 98 4.3.3 Phân đoạn mạch máu 103 4.4 Kết luận bình luận cuối chương 106 KẾTLUẬN 107 KIẾNNGHỊ 108 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ CỦA LUẬN ÁN 109 TÀILIỆUTHAMKHẢO 110 Kí hiệu ≫ ≈ ∇xf(x) ∂ f(x) ∂xi T u ∗ Σ ∼ DANH MỤC CÁC KÍ HIỆU Ý nghĩa Lớn đáng kể Xấp xỉ Gradient hàm số f Đạo hàm riêng hàm số f theo biến xi Vec-tơ chuyển vị vec-tơ u Tích chập Tổng Tuân theo quy luật phân phối (trong xác suất) ∼ P(X > x) exp Tương đương (trong giải tích) Xác suất để biến ngẫu nhiên X lớn giá trị x Hàm e mũ Tích phân từ x đến +∞ ◦ Phép hợp thành +∞ x ϕ−1 P (Y (x) = 1|ϕ(x) = φ) R ∩ ||u|| f(a)da Ω f(x)dx (0, 1) [0, 1] Ánh xạ ngược ánh xạ ϕ Xác suất Y (x) = với điều kiện ϕ(x) = φ Tập hợp số thực Tích Giao hai tập hợp Chuẩn véc-tơ u Tích phân tồn miền xác định a Tích phân tập Ω Khoảng từ đến Đoạn từ đến DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt AI ANN AUC BA CNN DL FN FP hb IoT IOU LF MAE MBA MBE ML MOM MSE MWA PR RNN ROC SVM TP TN WA Ý nghĩa Trí tuệ nhân tạo Mạng nơ-ron nhân tạo Diện tích đường cong Độ xác cân Mạng nơ-ron dạng tích chập Học sâu Tỷ lệ âm tính giả Tỷ lệ dương tính giả Nửa mù Internet kết nối vạn vật Giao chia cho hợp Hàm mát Trung bình giá trị tuyệt đối độ lỗi Độ xác cân cao Trung bình độ lỗi thiên vị Học máy Tối thiểu tối đa Trung bình bình phương độ lỗi Độ xác có trọng cao Tỉ lệ xác Mạng nơ-ron hồi quy Đường cong đặc trưng hoạt động Máy vec-tơ hỗ trợ Tỷ lệ dương tính thật Tỷ lệ âm tính thật Độ xác có trọng Từ gốc tiếng Anh Artificial Intelligence Artificial Neural Network Area Under the Curve Balanced Accuracy Convolutional Neural Network Deep Learning False Negative rate False Positive rate half blind Internet of Things Intersection Over Union Loss Function Mean Absolute Error Maximal Balanced Accuracy Mean Bias Error Machine Learning Min Over Max Mean Square Error Maximally Weighted Accuracy Precision Rate Recurrent Neural Network Receiver Operating Characteristic Support Vector Machine True Positive rate True Negative rate Weighted Accuracy DANH MỤC CÁC BẢNG Bảng Bảng 2.1 Bảng 3.1 Bảng 3.2 Bảng 4.1 Bảng 4.2 Bảng 4.3 Tên bảng Bảng tổng kết thước đo độ xác Máy bay với khơng phải máy bay Chó với khơng phải chó So sánh phương pháp biểu fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối sử dụng binary accuracy Bảng 4.4 So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người Bảng 4.5 So sánh phương pháp biểu 15 fold tập liệu DRIVE Trang 44 72 73 94 97 98 103 106 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Hình 1.1 Hình 1.2 Hình 1.3 Hình 1.4 Hình 1.5 Hình 1.6 Hình 1.7 Hình 2.1 Hình 2.2 Hình 3.1 Hình 3.2 Hình 3.3 Hình 3.4 Hình 3.5 Hình 3.6 Hình 4.1 Hình 4.2 Hình 4.3 Chú thích Một ví dụ sơ đồ mạng nơ-ron: nút trịn “nơ-ron”, đường nối “axon” Một trình huấn luyện điển hình Một phần fresco Mantegna nhà thờ Emeritani Mô tả phương pháp k-fold Cross Validation Trượt Gradient Các loại điểm tới hạn Xấp xỉ giá trị cực tiểu Cách chia tập liệu Ω Đường cong ROC đường tiếp tuyến điểm mà trung bình có trọng lớn Các hàm mát thường dùng tốn phân đoạn hình ảnh Dáng điệu số hàm mát lồi Hàm mát cross-entropy (hàm log) điều chỉnh cách cho thêm số dương epsilon nhỏ để tránh tình ln0 Một số hàm mát sử dụng cho thí nghiệm học máy phân loại nhị phân tập CIFAR-10 Rơi vào bẫy sau sau bước học máy Vấn đề phân loại “Mèo mèo” CIFAR-10, huấn luyện với VGG16 hàm brokenloss1 Khi bẫy, máy lấy ảnh mèo (sensitivity = 1, specificity = mức threshold σ = 0.5) Rơi vào bẫy khơng được, brokenloss1, c=1, r=9 Một ví dụ khác rơi vào bẫy ra, brokenloss3, c=2, r=9 Một ví dụ cho biểu tô-pô địa phương với s = Một ví dụ bỏ phiếu kết hợp Tại vịng 1, segmentator and segmentator bị loại trừ chúng cách xa khác, phần cịn lại vào vịng sử dụng biểu số học (có thể mềm cứng) So sánh biểu số học (biểu trung bình) phương pháp Trang 21 24 29 31 33 33 34 39 48 61 63 70 74 74 75 83 84 n Hình 4.4 biểu tô-pô trường hợp chiều (a) {S i}i =1 độc lập tuân theo n quy luật N (0, 1); (b) {Si}i =1 độc lập tuân theo quy luật U(0, 1) So sánh trường hợp chiều với phân phối x i khác f (a) xi ∼ U(0, 1) với i, f(x) = 1/(1 + x); Hình 4.5 (b) xi ∼ U(0, 1) với i, f(x) = x So sánh f hàm đối xứng, xi ∼ U(−1, 1), f(x) = x (a) Hiển thị cho tất mẫu; (b) Phóng to phần mẫu 87 91 92