Đang tải... (xem toàn văn)
Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy.
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI Lê Bích Phượng ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TỐN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Tốn học Mã số: 9460101 TĨM TẮT LUẬN ÁN TIẾN SĨ TỐN HỌC Hà Nội - 2023 Cơng trình hoàn thành tại: ĐẠI HỌC BÁCH KHOA HÀ NỘI Người hướng dẫn khoa học: PGS.TS NGUYỄN XUÂN THẢO GS TSKH NGUYỄN TIẾN DŨNG Phản biện 1: Phản biện 2: Phản biện 3: Luận án bảo vệ trước Hội đồng đánh giá luận án tiến sĩ cấp Đại học Bách khoa Hà Nội, họp Đại học Bách khoa Hà Nội Vào hồi .giờ , ngày tháng năm 2023 Có thể tìm hiểu luận án tại: Thư viện Tạ Quang Bửu-ĐHBK Hà Nội Thư viện Quốc gia Việt Nam MỞ ĐẦU Lịch sử vấn đề lí lựa chọn đề tài Vấn đề phân lớp (phân loại) học máy trình phân lớp đối tượng liệu vào hay nhiều lớp cho trước nhờ mơ hình phân lớp Q trình phân lớp q trình gán nhãn cho đối tượng liệu Phân loại đối tượng vào n-lớp khác gọi trình phân lớp n-phân Mọi vấn đề phân lớp n-phân (n > 2) đưa vấn đề phân lớp nhị phân (binary classsification) Nghiên cứu thước đo độ xác nói chung thước đo độ xác phân lớp nhị phân nói riêng vấn đề quan trọng Chính mà thước đo độ xác tốn phân lớp nhị phân nghiên cứu nhiều, nghiên cứu thước đo cách riêng biệt Trong đề tài này, tác giả muốn nghiên cứu mối quan hệ số thước đo độ xác phổ biến, liệu chúng thay cho q trình học máy hay khơng? Ngồi ra, luận án nghiên cứu đến vấn đề máy tối ưu phân lớp nhị phân Hơn nữa, đường cong đặc trưng hoạt động máy thu (ROC-Receiver Operating Curve) từ quan điểm thực nghiệm cho lồi (hoặc tương đối lồi) mơ hình học máy hiệu Trong luận án này, tác giả muốn nghiên cứu mặt lí thuyết tính lồi đường cong ROC máy tối ưu phân lớp nhị phân Trong học máy, hàm mát (loss function) hàm dùng để đo xem máy cho kết khác với “sự thật bản” hay khác với “máy lí tưởng” chừng nào, để phản hồi (feedback) lại thơng tin cho máy, tìm cách thay đổi tham số máy nhằm giảm mát đi, khiến cho máy trở nên xác hay hiệu Trong phân lớp nhị phân, hàm mát hay dùng hàm mát bình phương hàm mát cross-entropy, hàm mát có tính chất đặc biệt mà sử dụng nó, thường thu mơ hình học máy mong muốn? Dựa vào tính chất đó, liệu có ngun tắc chung cho việc xây dựng hàm mát hay khơng? Với lí đây, tác giả muốn nghiên cứu ứng dụng phương pháp giải tích tối ưu vào vấn đề phân lớp nhị phân, cụ thể về: Các thước đo độ xác hàm mát phân lớp nhị phân Phân đoạn hình ảnh (Image Segmentation) thị giác máy tính kĩ thuật quan trọng, giúp giải nhiều toán thuộc lĩnh vực khác như: phát nhận dạng đối tượng, hệ thống camera thơng minh, xe tự lái, xử lí ảnh y tế, xử lí ảnh vệ tinh v.v Trong phân đoạn tự động phân đoạn thủ công, người ta thường tạo nhiều phân đoạn (segmentor) cho tốn Sau người ta hợp phân đoạn phương pháp biểu (voting method) với mong muốn tạo phân đoạn xác so với phân đoạn riêng lẻ chúng Phương pháp biểu hiển nhiên biểu số học.Tác giả cho phương pháp biểu số học chưa tính đến cấu trúc hình ảnh nên muốn đề xuất phương pháp biểu mới, gọi phương pháp biểu tô-pô Cùng với kết thực nghiệm tác giả muốn sử dụng kiến thức giải tích, xác suất tối ưu toán học để chứng minh phương pháp biểu hợp lý cho kết tốt phương pháp biểu số học thông thường Chính lí đó, tác giả chọn nghiên cứu áp dụng phương pháp giải tích tối ưu vào vấn đề biểu phân đoạn hình ảnh Mục đích, đối tượng phạm vi nghiên cứu Mục đích nghiên cứu ứng dụng phương pháp giải tích cực tiểu hóa tối ưu toán học tối ưu dựa gradient vào tốn phân lớp nhị phân phân đoạn hình ảnh, nhằm hiểu tính chất tốn học máy AI tăng cường hiệu việc học máy, tối ưu hóa máy Đối tượng nghiên cứu - Vấn đề phân lớp nhị phân, - Vấn đề phân đoạn hình ảnh Phạm vi nghiên cứu - Độ xác phân lớp nhị phân, - Hàm mát phân lớp nhị phân, - Biểu tăng độ xác phân đoạn hình ảnh Phương pháp công cụ nghiên cứu Phương pháp nghiên cứu bao gồm lý thuyết (các công cụ toán học, mệnh đề định lý chứng minh chặt chẽ) thực nghiệm (sử dụng tảng Tensorflow mạng thần kinh tích chập để tạo chương trình học máy phép biểu quyết, đo đạc so sánh hiệu chúng) Về mặt tốn học, cơng cụ mà tác giả dùng bao gồm giải tích hàm, lý thuyết xác suất, tối ưu toán học, cụ thể là: phương pháp biến phân, q trình ngẫu nhiên, biến đổi tích phân khơng gian xác suất, định lý giới hạn trung tâm, phương pháp giảm theo dòng gradient, v.v Cấu trúc, kết luận án ý nghĩa chúng Chương 1: Kiến thức chuẩn bị Chương 2: Độ xác máy phân loại nhị phân - Các bất đẳng thức liên hệ thước đo độ xác: diện tích miền nằm đường ROC (AUC ROCArea Under the Curve ROC), độ xác cân cao (MBA-Maximal Balanced Accuracy ) độ xác có trọng cao (MWA-Maximal Weighted Accuracy) Các bất đẳng thức cho thấy ba thước đo dùng thay cho để đánh giá độ xác máy phân loại nhị phân - Tính tối ưu máy xác suất thực, tính lồi đường ROC máy xác suất thực Kết giúp hiểu đường ROC máy phân loại nhị phân mà gặp cơng bố giới nói chung có dáng điệu gần lồi: máy tối ưu có đường ROC lồi, nên máy tạo trình học máy tốt, đạt gần tới tối ưu có đường ROC gần lồi - Cơng thức giới hạn tác dụng phương pháp biểu việc tăng cường độ xác máy phân loại nhị phân Ý nghĩa kết phương pháp biểu (đã biết có), nói chung ta tăng độ xác máy, dù số máy tham dự bỏ phiếu có tiến tới vơ độ xác qua việc bỏ phiếu không kỳ vọng tăng đến 100% Chương 3: Ảnh hưởng hàm mát đến toán phân loại nhị phân - Trong phân lớp nhị phân, hàm mát bình phương hàm cross-entropy hai hàm mát mà máy làm tối thiểu hóa mát theo hàm máy xác suất thực - Các hàm mát siêu-lồi dẫn đến nghiệm cực tiểu máy tối ưu độ xác Các máy biến đổi tham số máy xác suất thực - Tính chất lồi hàm mát tính chất quan trọng, thiếu q trình học máy bị rơi vào bẫy, tức rơi vào nơi mà máy tương ứng máy có độ xác mong muốn Chương 4: Tối ưu hóa phân đoạn hình ảnh biểu tô-pô Đưa phương pháp biểu mới, gọi biểu tô-pô Phương pháp bao gồm dạng: - Biểu tô-pô dạng đơn giản nhất, - Biểu tô-pô địa phương, - Biểu kết hợp tô-pô số học Chứng minh phương pháp biểu tô-pô lại hợp lý cho kết tốt phương pháp biểu số học cổ điển nhiều trường hợp Xây dựng nhiều mơ hình học máy cho ba vấn đề phân đoạn hình ảnh khác (bài tốn đóng khung mặt người ảnh, toán phân đoạn muối ảnh địa chấn toán phân đoạn mạch máu ảnh võng mạc) Ba toán chọn số toán tiếng giới Trong ba trường hợp, thống kê kết cho thấy phương pháp biểu tô-pô cho kết vượt trội phương pháp biểu số học cổ điển Công bố khoa học liên quan đến luận án Các kết luận án đăng báo, 01 báo đăng tạp chí thuộc danh mục ISI, 01 báo đăng tạp chí thuộc danh mục Scopus, 02 báo HNKHQT Chương KIẾN THỨC CHUẨN BỊ Chương trình bày kiến thức mà sử dụng Chương 2, 4, là: - Mơ hình chung q trình học máy, - Dữ liệu cho máy học, - Các “đặc trưng” học máy, - Kiểm tra hiệu máy, - Tối ưu dựa Gradient, - Phép tích chập mạng thần kinh tích chập Chương ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 2.1 Các thước đo độ xác máy phân loại nhị phân Phần trình bày thước đo độ xác máy phân loại nhị phân như: TP, TN, FN, FP, PR, WA, BA, Fb 2.2 Đường cong ROC thước đo độ xác máy phân loại nhị phân mềm Trong thực tế học máy, để xây dựng máy Yˆ dự đoán cho vấn đề phân lớp nhị phân Y : Ω → {0, 1} (2.1) người ta thường dùng “phương pháp xác suất” tạo hàm số M : Ω → [0, 1] (2.2) để dự đoán giá trị Y , sau đưa mức: σ ∈ (0, 1), với phần tử x ∈ Ω, đặt Yˆ (x) = Yσ (x) = M (x) ≥ σ (2.3) Yˆ (x) = Yσ (x) = M (x) < σ (2.4) Hình 2.1: Đường cong ROC đường tiếp tuyến điểm mà trung bình có trọng lớn ϕ:Ω→Φ (2.15) gọi phép chiếu thơng tin (information projection map) từ không gian liệu gốc Ω đến khơng gian thuộc tính chắt lọc (distilled features space) gọi khơng gian thông tin Φ, Σ : Φ → [0, 1] (2.16) hàm từ không gian thông tin Φ tới đoạn [0, 1] hay hàm sigmoid suy rộng (generalized sigmoid function) Định nghĩa 2.6 Với ký hiệu trên, hàm xác suất có điều kiện Σproba : Φ → [0, 1] cho công thức Σproba (φ) = P (Y (x) = 1|ϕ(x) = φ) (2.17) (với φ ∈ Φ) gọi hàm sigmoid xác suất thực (probability sigmoid function), máy Mproba = Σproba ◦ ϕ gọi máy xác suất thực 11 (2.18) Định lý 2.2 Với kí hiệu trên, ta có: (i) Nếu hàm sigmoid Σ : Φ → [0, 1] hàm tùy ý, máy xác suất thực Mproba = Σproba ◦ ϕ xác (hoặc xác bằng) máy M = Σ ◦ ϕ, theo nghĩa đường cong ROC Mproba nằm phía đường cong ROC M Nói cách khác, mức dương tính giả α ∈]0, 1[ nào, σ σproba mức tương ứng cho F PMproba (σproba ) = F PM (σ) = α, (2.19) T PMproba (σproba ) ≥ T PM (σ) (2.20) (ii) Đường cong ROC máy xác suất thực Mproba lồi 2.4 Cải thiện độ xác biểu Xác suất Sn có n/2 dự đoán (trong số n chuyên gia) xấp xỉ √ Sn ≈ Φ( n(p − 1/2) ) √ pq Φ(x) = √ 2π Z x e−x (2.21) /2 dx (2.22) −∞ Tập liệu Ω chia thành phần sau: Ω = Ωblind ∪ Ωhb ∪ Ωl (2.23) Cơng thức gần cho độ xác định tập thể biểu là: √ Sn ≈ Φ( n(p − 1/2) )(1 − Pblind − Phb ) + Phb √ pq 12 (2.24) Ta có công thức giới hạn sau: lim Sn = − Pblind − Phb n→∞ (2.25) Công thức (2.25) cho thấy dù có biểu đến ta khơng kì vọng đạt độ xác tuyệt đối, có “điểm mù” thơng thường có tính hệ thống mà vượt qua 2.5 Kết luận bình luận cuối chương Chương trình bày kết Các bất đẳng thức thước đo độ xác: AUC ROC, MBA, MWA, từ kết luận thước đo tương đương mặt tô-pô, theo nghĩa thước đo có giá trị dần đến thước đo khác có giá trị dần đến Điều có ý nghĩa thước đo độ xác AUC ROC, MWA MBA dùng thay cho học máy Kết luận máy xác suất thực không gian thông tin cho máy tối ưu, tức có độ xác cao số tất máy Hơn đường cong ROC máy xác suất thực đường lồi Kết giúp ta tin tưởng sử dụng máy xác suất thực toán phân lớp nhị phân máy cho độ xác cao số tất máy đường cong ROC lồi 13 Chương ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 3.1 Tổng quan hàm mát (loss function) Phần trình bày cách khái quát hàm mát hồi quy, hàm mát phân loại hàm mát thường dùng phân đoạn hình ảnh 3.2 Học máy vi phân hàm mát Định nghĩa 3.1 Hàm mát bình phương hàm có cơng thức sau: ℓquadratic (m, y) = (m − y)2 (3.1) Định nghĩa 3.2 Hàm mát cross-entropy nhị phân hàm có cơng thức sau: ℓcrossentropy (m, y) = − ln(1 − |m − y|) (3.2) Định nghĩa 3.3 Hàm mát bậc bốn hàm có cơng thức sau: ℓquartic (m, y) = (m − y)2 + (m − y)4 (3.3) Định lý 3.1 Với kí hiệu trên, ta có: (i) Máy xác suất thực điểm cực tiểu hàm mát bình phương (ii) Máy xác suất thực điểm cực tiểu hàm mát cross-entropy nhị phân 14 Hình 3.1: Dáng điệu số hàm mát lồi Hàm mát crossentropy (hàm log) điều chỉnh cách cho thêm số dương epsilon nhỏ vào để tránh tình ln 3.3 Hàm mát lồi xác suất bị bóp méo Định lý 3.2 Cho f : [0, 1] → R+ hàm số lồi tùy ý, đơn điệu tăng khả vi cho f ′ (0) = limσ→1 f ′ (σ) = +∞, c > số dương tùy ý (hệ số bất đối xứng), Z [(1 − Y (x)) · f (M (x)) + cY (x) · f (1 − M (x))] dx L(M ) = x∈Ω (3.4) mát máy M toán phân loại nhị phân cho trước Y , tạo f c Khi đó, máy cực tiểu M = Σ ◦ ϕ hàm mát L(M ) phép tham số hóa lại máy xác suất thực Nói cách khác, có song ánh tăng g : [0, 1] → [0, 1] cho máy với hàm sigmoid: Σ(φ) := g(Σproba (φ)) có mát tối thiểu theo L 15 (3.5) 3.4 Các hàm mát không lồi bẫy ngẫu nhiên Phần trình bày kết thí nghiệm dùng hàm mát khơng lồi máy học dễ bị rơi vào bẫy khơng Hình 3.2: Rơi vào bẫy khơng được, trường hợp c=1 r=9 3.5 Kết luận bình luận cuối chương Chương trình bày ba kết hàm mát Thứ là: Định lý 3.1 khẳng định hàm mát cross-entropy nhị phân hàm mát bình phương hàm mát tự nhiên Thứ hai là: Định lý 3.2 khẳng định cực tiểu hàm mát lồi nghiêm ngặt tùy ý máy tối ưu đưa máy xác suất thực (máy chứng minh Chương máy tối ưu) qua phép biến đổi tham số Thứ ba là: Các kết thử nghiệm (3.4) cho thấy hàm mát khơng lồi, cực tiểu nói chung máy tối ưu 16 Chương TỐI ƯU HĨA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TƠ-PƠ 4.1 4.1.1 Phương pháp biểu tơ-pơ Phân đoạn hình ảnh khoảng cách Jaccard Khoảng cách Jaccard mặt nạ S(x) đến mặt nạ thật (true mask) Strue (x) xác định công thức sau: dJaccard (S(x), Strue (x)) = − J(S(x), Strue (x)), đo “độ chênh lệch” S(x) Strue (x) Hai mặt nạ trùng khoảng cách Jaccard chúng 4.1.2 Biểu số học Biểu số học cứng: Lấy theo đa số Biểu số học mềm: Lấy trung bình mặt nạ mềm 4.1.3 Biểu tô-pô: Dạng đơn giản Định nghĩa 4.1 Biểu tô-pô phiên cứng bao gồm bước sau: (i) Đối với hình ảnh đầu vào x, lấy n mặt nạ S1 (x), , Sn (x) cho n phân đoạn khác S1 , , Sn ; (ii) Đối với số k ∈ {1, , n}, đo tổng khoảng cách từ Sk (x) tới mặt nạ khác, theo hàm 17 khoảng cách tự nhiên Xác định tổng khoảng cách dk (x) từ Sk (x) tới mặt nạ khác theo công thức sau: dk (x) = n X dJaccard (Si (x), Sk (x)) (4.1) i=1 (iii) (Winner takes all) Mặt nạ có tổng khoảng cách Jaccard đến mặt nạ khác nhỏ chiến thắng, tức Svoted (x) = Sl (x) với l = arg dk (x) (4.2) k Một cách tương tự để có quy tắc “Người thắng lấy tất” (“winner takes all”) là: mặt nạ với tổng tỉ số Jaccard cao chiến thắng, nghĩa là: Svoted (x) = Sl (x) với l = arg max Jk (x) (4.3) k Jk (x) = n X J(Si (x), Sk (x)) (4.4) i=1 Các khoảng cách tự nhiên khác hình học phù hợp với toán khác 4.1.4 Biểu tơ-pơ địa phương Định nghĩa 4.2 Thuật tốn biểu tô-pô địa phương bao gồm bước: (i) Chọn số tự nhiên s, mà dùng làm bán kính lân cận địa phương; 18 (ii) Đối với pixel, xét lân cận bán kính s quanh pixel đó: Nếu pixel điểm (x, y), s-lân cận hình vng [x − s, x + s] × [y − s, y + s] (Nếu pixel gần biên, s-lân cận phần giao hình vng với ảnh); (iii) Sử dụng thuật tốn biểu tơ-pơ, trình bày phần trước, mặt nạ dự đoán giới hạn s-lân cận pixel (x, y) để thu kết cho pixel (iv) Thực bước (iii) phía cho pixel để thu toàn mặt nạ qua biểu Thuật tốn tơ-pơ địa phương chứa tham số s, kích thước lân cận, hay gọi mức độ địa phương Lưu ý s = 0, vùng s-lân cận pixel nó, khơng có cấu trúc tơ-pơ tính đến, biểu tơ-pơ 0-lân cận chẳng qua biểu số học thông thường Khi s lớn kích thước hình ảnh, s-lân cận chứa tồn hình ảnh, quay trở lại phiên phương pháp biểu tô-pô Bằng cách thay đổi s từ đến +∞, ta thu họ phương pháp biểu bao gồm từ biểu số học (pixel-by-pixel) đến biểu tơ-pơ (tồn ảnh) 4.1.5 Biểu kết hợp: tô-pô số học Định nghĩa 4.3 Biểu kết hợp phương pháp biểu diễn sau: (i) Trong vòng đầu tiên, sử dụng biểu 19 tô-pô (địa phương tồn cục), khơng chọn “kẻ chiến thắng” mà chọn “kẻ thua” để loại trừ khỏi đua Cụ thể hơn, sử dụng hai quy tắc loại trừ đơn giản sau cho lần bỏ phiếu kết hợp: • Phương pháp 1: Chọn ngưỡng (mức) H > Với đầu vào x giữ mặt nạ Sk (x) mà thỏa mãn Pn Jk (x) ≥ n/H , Jk (x) = i=1 J(Sk (x), Si (x)) n số phân đoạn tham gia biểu Nếu Jk (x) < n/H Sk (x) coi “ngoại lai” (“outlier”) bị loại khỏi vịng thứ hai; • Phương pháp 2: Chọn số ≤ nselect ≤ n Với đầu vào x giữ lại nselect mặt nạ Sk (x) với tỉ số Jaccard cao Jk (x), loại n − nselect mặt nạ lại Trong phương pháp 1, số lượng mặt nạ chấp nhận vào vịng thứ hai khơng cố định khác đầu vào Trong phương pháp 2, số lượng mặt nạ số nselect (ii) Các ứng cử viên lại vòng hai biểu theo kiểu biểu số học 4.2 4.2.1 Tính hợp lý biểu tô-pô Trường hợp chiều Định lý 4.1 Nếu {Si }ni=1 có phân phối xác suất dương, liên tục bị chặn lân cận θ, Yn xác 20 định công thức Yn = arg n X d(Si , Sj ) (4.5) Si ∈{S1 ,S2 , ,Sn } j=1 d hàm khoảng cách ta có khẳng định sau: Yn = arg minSi ∈{S1 ,S2 , ,Sn } d(Si , Σn ) Yn hội tụ hầu chắn đến θ √ 4.2.2 n(Yn − θ) hội tụ theo phân phối đến N (θ, σ ) Trường hợp hai chiều 4.3 Các kết thực nghiệm biểu tô-pô 4.3.1 Phân đoạn muối hình ảnh địa chấn 21 4.3.2 Phân đoạn khuôn mặt người 4.3.3 Phân đoạn mạch máu 22 KẾT LUẬN Luận án đạt kết sau: Đưa bất đẳng thức liên hệ thước đo độ xác AUC ROC, MBA MWA (Định lý 2.1) Chứng minh tính tối ưu máy xác suất thực tính lồi đường ROC máy xác suất thực (Định lý 2.2 ) Chứng minh hàm mát bình phương hàm cross-entropy hai hàm mát tự nhiên nhất, theo nghĩa máy làm tối thiểu hóa mát theo hàm mát máy xác suất thực (Định lý 3.1) Chứng minh hàm mát siêu lồi dẫn đến nghiệm cực tiểu máy tối ưu độ xác, máy biến đổi tham số máy xác suất thực (Định lý 3.2) Đưa phương pháp biểu tơ-pơ biến thể (Định nghĩa 4.1 4.2 4.3) Chứng minh phương pháp biểu tô-pô hợp lý tiến hành thí nghiệm cho thấy phương pháp có kết tốt phương pháp biểu số học thông thường (Định lý 4.1, 4.3) 23 KIẾN NGHỊ Tiếp theo kết Luận án, số hướng nghiên cứu sau: Mở rộng kết tính tự nhiên hàm crossentropy hàm mát bình phương cho vấn đề khác hồi quy (regression) hay phân cụm (clustering) Dựa vào kết tính lồi hàm mát để thiết kế hàm mát thích hợp cho tốn học máy, thiết kế hàm mát để nghiên cứu bẫy ngẫu nhiên Sử dụng phương pháp biểu tơ-pơ cho tốn phân đoạn hình ảnh thực tế, y tế trắc địa, để tăng độ xác cho mơ hình học máy Nghiên cứu phương pháp mặt lý thuyết trường hợp nhiều chiều 24 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN [T1] Le Bich Phuong and Nguyen Tien Zung (2019), On the dynamics of loss functions (Symmetry and Singularity of Geometric Structures and Differential Equations), RIMS Kokyuroku, 2137: pp.102-111 [T2] Nga T T Nguyen and Phuong B Le (2022), Topological Voting Method for Image Segmentation, Journal of Imaging 8, no 2: 16 pp.1-24 (Scopus-Q2) [T3] Le Bich Phuong and Nguyen Tien Zung (2022), Accuracy Measures and the Convexity of ROC Curves for Binary Classification Problems, Biomedical and Other Applications of Soft Computing, Springer Nature Switzerland AG 2023 pp.155-163 (Scopus) [T4] Phuong Bich Le and Zung Tien Nguyen (2022), ROC Curves, Loss Functions, and Distorted Probabilities in Binary Classification, Mathematics 10, no 9: 1410 pp.1-13 (SCIE-Q2)