Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS.TS NGUYỄN XUÂN THẢO HD2: GS.TSKH NGUYỄN TIẾN DŨNG Hà Nội - 2023 LỜI CAM ĐOAN Luận án viết dựa nghiên cứu tác giả Đại học Bách khoa Hà Nội, hướng dẫn thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Các kết luận án chưa công bố cơng trình khoa học tác giả khác Hà Nội, ngày 24 tháng năm 2023 Nghiên cứu sinh Lê Bích Phượng TM Tập thể hướng dẫn PGS TS Nguyễn Xuân Thảo LỜI CẢM ƠN Luận án hoàn thành Đại học Bách khoa Hà Nội, hướng dẫn khoa học tận tình thầy PGS.TS Nguyễn Xuân Thảo thầy GS.TSKH Nguyễn Tiến Dũng Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy Tác giả xin chân thành cảm ơn Viện Toán ứng dụng Tin học Phòng Đào tạo - Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi cho tác giả suốt trình học tập nghiên cứu Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan) TS Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy người bạn ln động viên tác giả q trình học tập, nghiên cứu có ý kiến đóng góp sâu sắc nội dung tác giả hoàn thành luận án Tác giả xin chân thành cảm ơn Ban Giám hiệu, thầy cô Khoa Khoa học Cơ bản, Bộ mơn Tốn, Trường Đại học Mỏ - Địa chất, nơi tác giả công tác, tạo điều kiện thuận lợi cho tác giả q trình hồn thành luận án Cuối đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lịng đến gia đình mình, nơi ln dành cho tác giả tình u thương vơ hạn Trong q trình học tập hoàn thành luận án, thành viên gia đình ln sát cánh, động viên ủng hộ tác giả, nguồn động lực to lớn giúp tác giả hồn thành luận án Tác giả Lê Bích Phượng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÍ HIỆU DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC CÁC THUẬT NGỮ CƠ BẢN DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG 10 MỞ ĐẦU 11 Chương KIẾN THỨC CHUẨN BỊ 20 1.1 Mơ hình chung q trình học máy 20 1.2 Dữ liệu cho học máy 24 1.3 Các “đặc trưng” học máy .27 1.4 Kiểm tra hiệu máy 30 1.5 Biểu kiểm định chéo .31 1.6 Tối ưu dựa Gradient 32 1.7 Phép tích chập mạng nơ-ron tích chập .35 1.8 Kết luận bình luận cuối chương .37 Chương ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 38 2.1 Các thước đo độ xác máy phân loại nhị phân 38 2.1.1 Âm tính, dương tính ba tỉ lệ 38 2.1.2 Độ xác có trọng số (weighted accuracy) .41 2.1.3 Độ xác cân (balanced accuracy) 42 2.1.4 Điểm số F (F-score) 42 2.2 Đường cong ROC thước đo độ xác máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid máy tối ưu 50 2.4 Cải thiện độ xác biểu 54 2.5 Kết luận bình luận cuối chương .56 Chương ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN……………………………………………………………………………………………….57 3.1 Tổng quan hàm mát (loss function) 57 3.1.1 Các hàm mát hồi quy 58 3.1.2 Các hàm mát phân loại (phân lớp) 59 3.1.3 Các hàm mát thường dùng toán phân đoạn hình ảnh 60 3.2 Học máy vi phân hàm mát 61 3.3 Hàm mát lồi xác suất bị bóp méo .67 3.4 Các hàm mát không lồi bẫy ngẫu nhiên 69 3.5 Kết luận bình luận cuối chương .75 Chương TỐI ƯU HĨA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TƠ-PƠ 76 4.1 Phương pháp biểu tơ-pơ 77 4.1.1 Phân đoạn hình ảnh khoảng cách Jaccard .77 4.1.2 Biểu số học 79 4.1.3 Biểu tô-pô: Dạng đơn giản 80 4.1.4 Biểu tô-pô địa phương .81 4.1.5 Biểu kết hợp (biểu lai): tô-pô số học 83 4.2 Tính hợp lý biểu tơ-pơ .84 4.2.1 Trường hợp chiều .85 4.2.2 Trường hợp hai chiều 90 4.3 Các kết thực nghiệm biểu tô-pô 93 4.3.1 Phân đoạn muối hình ảnh địa chấn 93 4.3.2 Phân đoạn khuôn mặt người 98 4.3.3 Phân đoạn mạch máu .103 4.4 Kết luận bình luận cuối chương 106 KẾT LUẬN 107 KIẾN NGHỊ 108 DANH MỤC CÁC CƠNG TRÌNH CÔNG BỐ CỦA LUẬN ÁN 109 TÀI LIỆU THAM KHẢO 110 DANH MỤC CÁC KÍ HIỆU Kí hiệu ≫ ≈ ∇xf (x) ∂ ∂xi f (x) uT ∗ Σ ∼ ∼ P(X > x) exp ∫ +∞ x ◦ ϕ−1 Ý nghĩa Lớn đáng kể Xấp xỉ Gradient hàm số f Đạo hàm riêng hàm số f theo biến xi Vec-tơ chuyển vị vec-tơ u Tích chập Tổng Tuân theo quy luật phân phối (trong xác suất) Tương đương (trong giải tích) Xác suất để biến ngẫu nhiên X lớn giá trị x Hàm e mũ Tích phân từ x đến +∞ Phép hợp thành Ánh xạ ngược ánh xạ ϕ P (Y (x) = 1|ϕ(x) = φ) Xác suất Y (x) = với điều kiện ϕ(x) = φ R Tập hợp số thực Q Tích ∩ Giao hai tập hợp ||u|| Chuẩn véc-tơ u f (a)da Tích phân tồn miền xác định a ∫ Tích phân tập Ω Ω f (x)dx (0, 1) Khoảng từ đến [0, 1] Đoạn từ đến DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt AI ANN AUC BA CNN DL FN FP hb IoT IOU LF MAE MBA MBE ML MOM MSE MWA PR RNN ROC SVM TP TN WA Ý nghĩa Trí tuệ nhân tạo Mạng nơ-ron nhân tạo Diện tích đường cong Độ xác cân Mạng nơ-ron dạng tích chập Học sâu Tỷ lệ âm tính giả Tỷ lệ dương tính giả Nửa mù Internet kết nối vạn vật Giao chia cho hợp Hàm mát Trung bình giá trị tuyệt đối độ lỗi Độ xác cân cao Trung bình độ lỗi thiên vị Học máy Tối thiểu tối đa Trung bình bình phương độ lỗi Độ xác có trọng cao Tỉ lệ xác Mạng nơ-ron hồi quy Đường cong đặc trưng hoạt động Máy vec-tơ hỗ trợ Tỷ lệ dương tính thật Tỷ lệ âm tính thật Độ xác có trọng Từ gốc tiếng Anh Artificial Intelligence Artificial Neural Network Area Under the Curve Balanced Accuracy Convolutional Neural Network Deep Learning False Negative rate False Positive rate half blind Internet of Things Intersection Over Union Loss Function Mean Absolute Error Maximal Balanced Accuracy Mean Bias Error Machine Learning Min Over Max Mean Square Error Maximally Weighted Accuracy Precision Rate Recurrent Neural Network Receiver Operating Characteristic Support Vector Machine True Positive rate True Negative rate Weighted Accuracy DANH MỤC CÁC BẢNG Bảng Bảng 2.1 Bảng 3.1 Bảng 3.2 Bảng 4.1 Bảng 4.2 Bảng 4.3 Bảng 4.4 Bảng 4.5 Tên bảng Bảng tổng kết thước đo độ xác Máy bay với khơng phải máy bay Chó với khơng phải chó So sánh phương pháp biểu fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối So sánh phương pháp biểu 10 fold tập liệu muối sử dụng binary accuracy So sánh phương pháp biểu 10 fold tập liệu khuôn mặt người So sánh phương pháp biểu 15 fold tập liệu DRIVE Trang 44 72 73 94 97 98 103 106 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Hình 1.1 Chú thích Trang Một ví dụ sơ đồ mạng nơ-ron: nút tròn “nơ-ron”, đường nối “axon” 21 Hình 1.2 Một trình huấn luyện điển hình 24 Hình 1.3 Một phần fresco Mantegna nhà thờ Emeritani 29 Hình 1.4 Mơ tả phương pháp k-fold Cross Validation 31 Hình 1.5 Trượt Gradient 33 Hình 1.6 Các loại điểm tới hạn 33 Hình 1.7 Xấp xỉ giá trị cực tiểu 34 Hình 2.1 Cách chia tập liệu Ω 39 Hình 2.2 Đường cong ROC đường tiếp tuyến điểm mà trung bình có trọng lớn 48 Hình 3.1 Các hàm mát thường dùng tốn phân đoạn hình ảnh 61 Hình 3.2 Dáng điệu số hàm mát lồi Hàm mát cross-entropy (hàm log) điều chỉnh cách cho thêm số dương epsilon nhỏ để tránh tình ln0 63 Hình 3.3 Một số hàm mát sử dụng cho thí nghiệm học máy phân loại nhị phân tập CIFAR-10 70 Hình 3.4 Rơi vào bẫy sau sau bước học máy Vấn đề phân loại “Mèo mèo” CIFAR-10, huấn luyện với VGG16 hàm brokenloss1 Khi bẫy, máy lấy ảnh mèo (sensitivity = 1, specificity = 74 mức threshold σ = 0.5) Hình 3.5 Rơi vào bẫy khơng được, brokenloss1, c=1, r=9 74 Hình 3.6 Một ví dụ khác rơi vào bẫy ra, brokenloss3, c=2, r=9 75 Hình 4.1 Một ví dụ cho biểu tô-pô địa phương với s = 83 Hình 4.2 Một ví dụ bỏ phiếu kết hợp Tại vòng 1, segmentator and segmentator bị loại trừ chúng cách xa khác, phần lại vào vòng sử dụng biểu số học (có thể mềm cứng) 84 Hình 4.3 So sánh biểu số học (biểu trung bình) phương pháp n biểu tơ-pơ trường hợp chiều (a) {Si=1 i} độc lập tuân theo n quy luật N (0, 1); (b) {Si=1 độc lập tuân theo quy luật U(0, 1) 87 i} Hình 4.4 So sánh trường hợp chiều với phân phối xi khác f (a) xi ∼ U(0, 1) với i, f (x) = 1/(1 + x); (b) xi ∼ U(0, 1) với i, f (x) = x2 91 Hình 4.5 So sánh f hàm đối xứng, xi ∼ U(−1, 1), f (x) = x3 (a) Hiển thị cho tất mẫu; (b) Phóng to phần mẫu 92