Luận án tiến hành nghiên cứu và phát triển các phương pháp xây dựng mô hình RBF thưa với số lượng tối thiểu các hàm cơ sở trên các tập dữ liệu lớn theo hai hướng tiếp cận khác nhau là hàm quyết định với lề cực đại (maximummargin) và mô hình xác suất Baysian (sparse Baysian learning).
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Quốc Thắng NÂNG CAO HIỆU NĂNG CÁC PHƯƠNG PHÁP PHÂN LOẠI ĐỐI TƯỢNG TRONG ẢNH Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 TĨM TẮT LUẬN ÁN TIẾN SĨ CƠNG NGHỆ THƠNG TIN Hà Nội, 2020 Cơng trình hồn thành tại: Trường Đại học Cơng nghệ, Đại học Quốc gia Hà Nội Người hướng dẫn khoa học: GS.TS Nguyễn Thanh Thủy PGS.TS Nguyễn Đức Dũng Phản biện: Phản biện: Phản biện: Luận án bảo vệ trước Hội đồng cấp Đại học Quốc gia chấm luận án tiến sĩ họp vào hồi ngày tháng năm Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Trung tâm Thông tin - Thư viện, Đại học Quốc gia Hà Nội Mở đầu Tính cấp thiết đề tài nghiên cứu: Phân loại (phân lớp, classfication) tiến trình xử lý nhằm xếp liệu hay đối tượng vào lớp định nghĩa trước Nhìn chung, toán phân loại đối tượng nhận dạng ngôn ngữ ký hiệu, cử chỉ, hành động, biển báo giao thông yêu cầu đặt thường đạt kết nhận dạng xác cao, thời gian thực nhanh hệ thống ứng dụng có ý nghĩa thực tiễn Mơ hình hàm sở (radial basis function models - RBF) mơ hình sử dụng rộng rãi nhiều ứng dụng khác phân loại, xấp xỉ hàm, dự đoán liệu theo thời gian Trong thực tế, mơ hình RBF đạt hiệu dự đoán tiên tiến nhiều ứng dụng nhận dạng hình ảnh, nhận dạng chữ số viết tay nhận dạng cử người Một mục tiêu chung phương pháp đề xuất thời gian gần tìm kiếm mơ hình RBF có cấu trúc đơn giản với số lượng hàm sở (mơ hình RBF thưa) Tốc độ tính tốn mơ hình RBF thưa liên quan trực tiếp đến số lượng hàm sở Với hàm sở, mơ hình RBF thưa cho kết nhanh hệ thống xử lý lương thông tin nhiều đơn vị thời gian Sự đơn giản mơ hình RBF thưa mang ý nghĩa thực tế quan trọng ứng dụng với yêu cầu xử lý thông tin cực nhanh xử lý tín video, hình ảnh, an tồn bảo mật thơng tin Bên cạnh đó, cần thiết tiến hành nghiên cứu, đánh giá phù hợp mơ hình RBF thưa loại liệu khác lĩnh vực khác thực tế Với bùng nổ thông tin, ứng dụng liệu ngày trở nên đa dạng phức tạp Các vật hay hay tượng liên kết mô tả loại liệu khác số, phi số Các véc-tơ biểu diễn liên tục hay rời rạc Mối liên hệ đối tượng đơn chiều hay đa chiều Những kết nghiên cứu đóng góp trực tiếp vào lĩnh vực ứng dụng thời xử lý liệu đa phương tiện, phân tích mạng xã hội, an tồn bảo mật thơng tin Một tồn chung huấn luyện mô hình RBF thưa u cầu tính tốn phức tạp tất phương pháp nêu Các ứng dụng xử lý liệu đa phương tiện có yêu cầu xử lý lượng thông tin cực lớn với độ xác ngày cao Để đạt yêu cầu trên, mơ hình học máy thường huấn luyện với lượng liệu khổng lồ vượt qua lực tính tốn nhớ thơng thường Điều địi hỏi có phương pháp với khả làm việc tốt tập liệu lớn Đây yêu cầu lý thuyết công nghệ cần nghiên cứu, giải Mục tiêu nghiên cứu: Luận án tiến hành nghiên cứu phát triển phương pháp xây dựng mơ hình RBF thưa với số lượng tối thiểu hàm sở tập liệu lớn theo hai hướng tiếp cận khác hàm định với lề cực đại (maximummargin) mơ hình xác suất Baysian (sparse Baysian learning) Với hướng tiếp cận thứ nhất, luận án tập trung vào phương pháp rút gọn số lượng hàm sở đảm bảo độ xác thuật tốn huấn luyện Với hướng tiếp cận thứ hai, luận án phát triển phương pháp hiệu để đảm bảo thuật toán có có khả làm việc tốt tập liệu huấn luyện lớn Mục tiêu luận án bao gồm: ❼ Nghiên cứu tổng quan, đánh giá so sánh phương pháp huấn luyện mơ hình RBF thưa với số lượng hàm sở rút gọn Nghiên cứu mang lại nhận định, phân tích, gợi ý việc sử dụng phương pháp huấn luyện khác toán thực tế khác ❼ Phát triển phương pháp rút gọn số lượng cần thiết hàm sở nhằm thỏa mãn hai tiêu chí độ xác tốc độ thực ❼ Phát triển thuật toán hiệu giúp cách tiếp cận phương pháp nêu có khả thực tốt tập liệu lớn Đối tượng phạm vi nghiên cứu: Để đạt mục tiêu trên, luận án thực nội dung nghiên cứu cụ thể sau: ❼ Nghiên cứu khảo sát phương pháp huấn luyện xấp xỉ mơ hình RBF thưa với cách tiếp cận hàm định với lề cực đại (RBF kernel support vector machines) ❼ Nghiên cứu khảo sát phương pháp huấn luyện mơ hình RBF thưa chế suy luận xác suất thông kê Bayes (sparse Bayesian learning) ❼ Nghiên cứu, phân tích, đánh giá hiệu phương pháp huấn luyện mơ hình RBF thưa ứng dụng phân loại đối tượng ❼ Phát triển phương pháp rút gọn số lượng hàm sở mơ hình RBF thưa huấn luyện phương pháp thuật toán khác ❼ Phát triển thuật toán nhằm nâng cao hiệu suất phương pháp khảo sát, tăng cường khả làm việc thuật toán tập liệu lớn Phương pháp nghiên cứu: Về nghiên cứu lý thuyết - Cơ sở lý thuyết cách tiếp cận hàm định với lề cực đại SVM, đặc biệt trọng đến ảnh hưởng việc rút gọn số lượng véc-tơ hỗ trợ có hàm định - Cơ sở lý thuyết phương pháp xây dụng mơ hình RBF thưa với cách tiếp cận dựa lý thuyết Bayes Phân tích khác biệt cách tiếp cận loại liệu khác có ứng dụng thực tế - Nghiên cứu phương pháp hiệu giải tốn tối ưu có vấn đề nghiên cứu trên, tốn tối ưu thực liệu véc-tơ nhiều chiều ma trận kích thước lớn Hai hướng nghiên cứu quan trọng cần quan tâm đặc biệt việc sử dụng hiệu không gian nhớ thuật tốn tìm kiếm nhanh khơng gian nhiều chiều Về nghiên cứu thực nghiệm - Cài đặt thuật tốn huấn luyện mơ hình RBF thưa cơng cụ lập trình C/C++, Matlab - Thử nghiệm, đánh giá, phân tích phương pháp cài đặt tập liệu chuẩn (benchmark data sets) khác - Cải tiến việc cài đặt để nâng cao tốc độ tính tốn hiệu sử dụng nhớ thuật tốn khác Các đóng góp luận án: ❼ Kết phân tích, so sánh đánh giá phương pháp huấn luyện mơ hình RBF thưa phân loại đối tượng yêu cầu tính tốn khác Những kết luận phù hợp phương pháp điều kiện hoàn cảnh cụ thể ❼ Đề xuất phát triển thuật toán stochastic SimpSVM hiệu đẩy nhanh việc huấn luyện, xây dựng mơ hình SimpSVM giản lược nghiệm SVM với đáng kể SVs, từ tăng tốc pha test SVM giữ độ xác phân lớp khơng thay đổi nhiều ❼ Đề xuất phát triển thuật toán FastRVM hiệu đẩy nhanh việc huấn luyện RVM lên nhiều lần đảm bảo độ xác phân loại cuối Đồng thời, tăng cường khả làm việc phương pháp RVM tập liệu lớn Những phương pháp đề xuất đóng góp phát triển chung cộng đồng nghiên cứu mơ hình RBF nói riêng lĩnh vực học máy hay trí tuệ nhân tạo nói chung ❼ Góp phần nghiên cứu ứng dụng mơ hình RBF thưa nhận dạng đối tượng, cụ thể phân loại đối tượng toán thực tế nhận dạng ngôn ngữ ký hiệu, nhận dạng cử chỉ, hành động Bố cục luận án: Ngoài phần mở đầu phần kết luận, Luận án chia thành chương Chương Mơ hình RBF thưa tốn phân lớp 1.1 Giới thiệu mơ hình RBF Mơ hình RBF sử dụng rộng rãi nhiều ứng dụng khác phân loại, xấp xỉ hàm, dự đoán liệu theo thời gian Với cấu trúc đơn giản dạng tổ hợp tuyến tính hàm sở M f (x) = wiφi(x) + b (1.1) i=1 hàm định (1.1) có nhiều lợi thế: khả tổng quát hóa mạnh cấu trúc mơ hình nhỏ gọn φi (x) = exp(−γ||x − ci ||2 ) hàm sở có tâm ci độ rộng hàm γ 1.2 SVM: mơ hình RBF phân lớp dựa lề cực đại Ý tưởng SVM chuyển tập mẫu từ không gian biểu diễn Rn chúng sang không gian Rd có số chiều lớn tìm siêu phẳng tối ưu để phân hoạch tập mẫu dựa phân lớp chúng 1.2.1 SVM tuyến tính Tập mẫu tập phân chia tuyến tính siêu phẳng SVM tìm siêu phẳng 1.2.2 SVM phi tuyến: sử dụng hàm nhân RBF Tìm hàm nhân k(x, y), sau giải toán siêu phẳng phân hoạch mềm với việc thay (x1 , x2 ) = k(x1 , x2 ) Hình 1.1: Một mặt phân chia phi tuyến trở thành siêu phẳng không gian lớn 1.3 RVM: mơ hình RBF phân lớp dựa phép suy luận Bayes Một tập ứng viên phổ biến cho y(x) có dạng: M wiφi(x) = wT φ(x) y(x; w) = (1.2) i=1 1.3.1 Mơ hình Bayesian thưa Công thức xác suất chuẩn giả định mục tiêu mẫu từ mơ hình với nhiễu bổ sung: tn = y(xn; w) + n (1.3) Do giả thiết tính độc lập tn , likelihood tập liệu hồn chỉnh viết sau: p(t|w, σ 2) = (2πσ 2)−N/2exp − t − Φw 2σ 2 (1.4) Suy luận Bayesian tiến hành cách tính tốn, từ quy tắc Bayes, hậu nghiệm cho trước liệu: p(t|w, α, σ 2)p(w, α, σ 2) p(w, α, σ |t) = p(t) (1.5) Sau đó, cho điểm test mới, x∗ , dự đoán thực cho đầu tương ứng t∗ , theo phân phối dự đoán: p(t∗|t) = p(t∗|w, α, σ 2)p(w, α, σ 2|t)dwdαdσ (1.6) Dựa phân phối hậu nghiệm trọng số, điều kiện giá trị cực đại αM P σM P Sau tính phân phối dự đoán, từ (1.6) cho liệu x∗ p(t∗|t, αM P , σM P) = 2 p(t∗|w, σM P )p(w|t, αM P , σM P )dw (1.7) Vì hai số hạng tích phân Gaussian, dễ dàng tính tốn, cho: 2 p(t∗|t, αM P , σM P ) = N (t∗ |y∗ , σ∗ ) 1.3.2 (1.8) Phân lớp với mơ hình Bayesian thưa Áp dụng hàm liên kết sigmoid logistic σ(y) = 1/(1 + e−y ) cho y(x) thông qua phân phối Bernoulli cho P (t|x), viết likelihood sau: N σ{y(xn; w)}tn [1 − σ{y(xn; w)}]1−tn P (t|w) = (1.9) n=1 đó, theo mơ tả xác suất, đầu tn ∈ {0, 1} 1.4 1.4.1 Độ phức tạp tính tốn phương pháp Độ phức tạp tính tốn SVM Khi test mẫu x, thủ tục tốn SVM so sánh với tồn SV thơng qua tính tốn nhân K Tính tốn tỉ lệ tuyến tính với số SV NS Trong nhiều trường hợp, số lượng lớn SV nguyên nhân làm cho hàm định (1.1) trở nên chậm chạp Như vậy, giảm so sánh làm giảm chậm chạp, có nghĩa làm tăng tốc độ pha test SVM Để tăng tốc SVM, tiếp cận rút ngắn thời gian pha huấn luyện đẩy nhanh pha test Theo quan điểm chúng tơi, đẩy nhanh pha test có ý nghĩa thực tiễn tạo máy dự đốn nhanh 1.4.2 Độ phức tạp tính tốn RVM Phép tốn nghịch đảo ma trận tính Σ yêu cầu phép toán O(N ) Việc tính tốn hạng mục lỗi u cầu phép tốn O(N ) Các ma trận Φ Σ có hạng đầy đủ, yêu cầu độ phức tạp không gian ban đầu O(N 2) Những vấn đề làm thời gian huấn luyện RVM chậm, hạn chế tính thực tiễn thuật tốn RVM tốn có kích thước vừa lớn 1.5 Học sâu mơ hình RBF lai Gần đây, học sâu (DL) trở thành xu hướng phát triển nhanh phân tích liệu lớn áp dụng rộng rãi thành công nhiều lĩnh vực 1.5.1 Mơ hình học sâu phân lớp CNN trích xuất đặc trưng cho thấy hiệu phân loại tốt Các đặc trưng học CNN sử dụng để huấn luyện thay cho đặc trưng “nông” thiết kế thủ công truyền thống 1.5.2 Mơ hình lai CNN-SVM Kiến trúc mơ hình lai CNN-SVM thiết kế cách thay layer đầu cuối CNN phân loại SVM Trong mơ hình này, CNN hoạt động trích xuất đặc trưng huấn luyện SVM hoạt động nhận dạng 1.5.3 Mơ hình lai đề xuất CNN-RVM Chúng tơi đề xuất mơ hình lai CNN-RVM với kiến trúc tương tự mơ hình lai CNN-SVM (Hình 1.2) CNN hoạt động trích xuất đặc trưng để huấn luyện RVM đóng vai trị học nhận dạng Hình 1.2: Mơ hình lai CNN-RVM phân loại ảnh Các mơ hình lai CNN-SVM, CNN-RVM mơ hình phân loại triển vọng do: ❼ Tự động trích xuất đặc trưng giúp tiết kiệm công sức, thời gian ❼ Mô hình lai CNN-SVM, CNN-RVM kết hợp ưu điểm CNN SVM, RVM, chúng mơ hình phân loại phổ biến thành công 1.6 Kết chương Chương luận án tập trung vào giới thiệu tổng quan mơ hình RBF tốn nhận dạng Phần đầu tập trung vào giới thiệu mô hình RBF Các phần sau chương trình bày hai mơ hình RBF: mơ hình RBF dựa biên cực đại (SVM) mơ hình RBF dựa suy luận xác suất thống kê (RVM) Tiếp theo phân tích độ phức tạp tính tốn phương pháp Đây sở lý thuyết giúp ích cho định hướng nghiên cứu xây dựng thuật tốn trình bày chương Chương Các thuật toán huấn luyện nhanh mơ hình RBF thưa 2.1 2.1.1 Các thuật tốn huấn luyện mơ hình RBF thưa Các thuật tốn tăng tốc SVM Đối với SVM, thủ tục tốn test vector đối tượng x so sánh với tồn SV thơng qua hàm nhân K Để giảm chi phí tính tốn này, hay để tăng tốc pha test, phương pháp tập rút gọn cố gắng thay NS , số SV gốc, NZ , số lượng nhỏ vectơ mới, gọi tập RV Hàm định sau trở thành (T = trường hợp hai lớp): NZ ft (x) = βtiK(zi, x) + bt, t = 1, , T (2.1) i=1 2.1.2 Các thuật toán tăng tốc RVM Có hai chiến lược để giảm độ phức tạp RVM đề xuất trước đây: + Thực phép nghịch đảo ma trận gần thay xác với chi phí tính tốn thấp + Lặp lấy mẫu liệu, giảm N 2.2 2.2.1 Thuật toán Stochastic SimpSVM Thuật toán SimpSVM-GD Kết hợp SV đa trọng số Giả sử muốn thay hai SV đa trọng số (xi , αti ) (xj , αtj ) vectơ (z, βt ), t = 1, , T , nghiệm tối ưu 2-norm cho toàn SVM usps, mnist Đánh giá hiệu Đánh giá hiệu thuật toán tập trung vào hai phương diện quan trọng giải thuật, hiệu phân lớp thời gian huấn luyện Hiệu phân lớp đánh giá cách tính tốn tỉ lệ mẫu phân lớp tổng số mẫu (độ xác) sử dụng công thức: Accuracy = TP + TN TP + FP + TN + FN (2.9) Lựa chọn tham số Chúng tơi sử dụng phương pháp tìm kiếm lưới để để lựa chọn tham số huấn luyện C, γ cho phân lớp SVM gốc huấn luyện có độ xác dự đốn tốt tập liệu test độc lập Kết thực nghiệm Trong thực nghiệm thứ nhất, chạy giải thuật SimpSVM đề xuất với giá trị Nz khác nhau, tốc độ tăng tốc giải thuật SimpSVM đề xuất pha test tập liệu Sau chúng tơi so sánh độ xác giải thuật SimpSVM với độ tăng tốc Nz tập liệu test Kết thực nghiệm Bảng 2.2 cho thấy giải thuật SimpSVM có độ xác phân lớp tương đồng theo thiết đặt độ tăng tốc Nz Trong hầu hết tập liệu với Nz khác nhau, SimpSVM-SVD có độ xác cao so với SimpSVM-SGD Trong thực nghiệm thứ hai, so sánh thời gian huấn luyện xây dựng mô hình giản lược giải thuật SimpSVM tập liệu với NZ nửa NS (hay tốc độ pha test giải thuật nhanh gấp đơi) So sánh Hình 2.1 Có thể thấy tập liệu này, SimpSVM-SGD có thời gian huấn luyện xây dựng mơ hình giản lược nhỏ so với SimpSVM-GD, nhiên mát chút độ xác dự đốn SimpSVM-SVD giảm thời gian cho việc giản lược SVM tốt hiệu dự đốn gần khơng thay đổi Đặc biệt, tập liệu "letter", "shuttle", "vowel" "mnist", có thời gian phần năm so với SimpSVM hay nói cách khác chạy nhanh lần so với SimpSVM mà khơng mát độ xác 2.3 2.3.1 Thuật toán FastRVM Thuật toán RVM2 Thuật toán cực đại likelihood biên: 11 %SVs Tập liệu 100% 50% 25% 10% 654 327 164 65 33 SimpSVM 94.44 94.52 94.18 94.44 94.86 SimpSVM-SVD 94.44 94.44 94.18 93.59 91.91 SimpSVM-SGD 94.44 94.01 93.42 93.09 90.73 # SV 6014 3007 1504 601 301 SimpSVM 97.04 97.00 96.74 91.54 80.86 SimpSVM-SVD 97.04 97.02 96.68 87.98 71.40 SimpSVM-SGD 97.04 96.88 96.26 87.02 68.54 # SV 3208 1604 802 321 160 SimpSVM 98.98 98.98 98.98 98.98 98.98 SimpSVM-SVD 98.98 98.98 98.98 98.98 98.98 SimpSVM-SGD 98.98 98.98 98.98 98.98 98.98 393 197 98 39 20 SimpSVM 60.82 60.82 59.52 38.31 37.45 SimpSVM-SVD 60.82 61.26 58.66 38.74 35.71 SimpSVM-SGD 60.82 60.82 58.44 39.83 39.18 948 474 237 95 47 SimpSVM 98.48 98.48 98.46 98.26 95.14 SimpSVM-SVD 98.48 98.48 98.37 97.94 95.74 SimpSVM-SGD 98.48 98.40 98.34 96.71 91.51 # SV 11554 5777 2889 1155 578 SimpSVM 98.31 98.34 98.26 98.03 97.84 SimpSVM-SVD 98.31 98.27 98.21 97.98 97.60 SimpSVM-SGD 98.31 98.33 97.94 96.96 95.36 # SV 5% Dna Letter Shuttle # SV Vowel # SV Pendigits Mnist Bảng 2.2: Chính xác dự đoán SimpSVM với tốc độ tăng tốc khác tập liệu Hình 2.1: So sánh thời gian rút gọn SimpSVM 12 Nếu hồi quy khởi tạo cho σ giá trị hợp lý (ví dụ: 0,1) Khởi tạo vector sở đơn φi , thiết lập, từ (??): φi αi = T φi t / φi − σ (2.10) Tất αm khác đặt vơ Tính tốn Σ, µ, giá trị khởi tạo sm , qm cho toàn M sở φm Chọn vectơ sở ứng viên φi từ tập hợp tồn M ∆ Tính tốn θi = qi2 − si Nếu θi > αi < ∞ (φi nằm mơ hình), ước lượng lại αi Nếu θi > αi = ∞, thêm φi vào mơ hình với αi cập nhật Nếu θi ≤ αi < ∞, xóa φi khỏi mơ hình đặt αi = ∞ Nếu hồi quy ước lượng mức nhiễu, cập nhật σ = t − y /(N − M + ΣmαmΣmm) 10 Tính tốn/cập nhật Σ, µ (sử dụng phương pháp xấp xỉ Laplace phân lớp) toàn sm qm 11 Nếu hội tụ chấm dứt, chưa quay lại Thuật toán đảm bảo tăng likelihood biên bước, đạt cực đại cục 2.3.2 Thuật toán đề xuất FastRVM (bRVMf) - Khởi tạo tập D1 cách chọn ngẫu nhiên B mẫu huấn luyện từ tổng toàn mẫu huấn luyện, huấn luyện D1 RVM2 thu model M1 Số mẫu huấn luyện lại Dr = D\D1 - Lặp i = đến kf old + Chọn ngẫu nhiên Di = B số mẫu huấn luyện số mẫu huấn luyện lại Dr , Dr = Dr \Di + Dùng model Mi−1 để tính si , qi , θi (= qi2 − si ) cho vector sở zi Di + Chọn tập Zi = NB số zi Di có θi lớn + Kết hợp Mi−1 với Zi , huấn luyện RVM2 thu model Mi - Huấn luyện lại lần cuối Mi toàn liệu huấn luyện tổng, thu model cuối Mf 2.3.3 Thuật toán đề xuất FastRVM (bRVMdml) - Khởi tạo tập D1 cách chọn ngẫu nhiên B mẫu huấn luyện từ tổng toàn mẫu huấn luyện, huấn luyện D1 RVM2 thu model M1 Số mẫu huấn luyện lại Dr = D\D1 - Lặp i = đến kf old 13 Hình 2.2: So sánh thời gian huấn luyện phân lớp RVM2 RVM Hình 2.3: So sánh lỗi phân lớp độ thưa mơ hình RVM2 RVM + Chọn ngẫu nhiên Di = B số mẫu huấn luyện số mẫu huấn luyện lại Dr , Dr = Dr \Di + Dùng model Mi−1 để tính si , qi , θi (= qi2 ˘si ) cho vector sở zi Di + Tính độ thay đổi log-likelihood ∆Li L(α) cho vector sở zi Di + Chọn tập Zi = NB số zi Di có ∆Li lớn + Kết hợp Mi−1 với Zi , huấn luyện RVM2 thu model Mi - Huấn luyện lại lần cuối Mi toàn liệu huấn luyện tổng, thu model cuối Mf 2.3.4 Thực nghiệm Trước tiên, thực nghiệm so sánh hiệu thuật toán RVM2 thuật toán RVM gốc Kết thời gian chạy trung bình 10 tập liệu sinh 14 ngẫu nhiên Hình 2.2 So sánh thời gian huấn luyện tập liệu với số mẫu N = 1000, thuật toán RVM gốc cần 298 giây thuật tốn RVM2 12.84 giây Bên cạnh đó, kết so sánh lỗi khái quát hóa độ thưa RVM2 RVM gốc thể Hình 2.3 Điều cho thấy RVM2 thuật toán FastRVM nhanh so với thuật tốn RVM gốc độ xác độ thưa mơ hình đạt gần tương đương Dữ liệu thực nghiệm Chúng chọn tập liệu đa lớp khác có sẵn công khai từ thư viện học máy UCI bao gồm: dna, satimages, pendigits, usps Đánh giá hiệu Đánh giá hiệu thuật toán tập trung vào hai phương diện quan trọng giải thuật, hiệu phân lớp thời gian huấn luyện Lựa chọn tham số Chúng tơi sử dụng tìm kiếm lưới để lựa chọn tham số huấn luyện cho phân lớp RVM đạt độ xác dự đoán cao tập liệu test Kết thực nghiệm Kết thực nghiệm so sánh độ xác phân lớp thời gian huấn luyện thuật tốn FastRVM tập liệu có sẵn Bảng 2.3 Như thấy bảng đó: + Hai thuật tốn FastRVM để xuất thu độ xác phân lớp tương tự RVM2 thể chúng hướng + Số lượng RV tương tự RVM2 nên giữ độ thưa lời giải hay độ nhanh pha test RVM + Thời gian để hội tụ (hay huấn luyện) nhỏ nhiều so với RVM2 toàn trường hợp Trên tập liệu chuẩn đó, thuật tốn FastRVM đề xuất chạy nhanh gấp hàng chục lần so với thuật toán RVM2 cần nhắc lại RVM2 thuật toán RVM nhanh Từ chứng tỏ thuật tốn FastRVM đề xuất tăng tốc pha huấn luyện RVM nhanh giữ độ thưa nghiệm (hay độ nhanh pha test) bảo toàn nhiều độ xác dự đốn Một vấn đề xem xét khác ứng dụng RVM cho tập liệu lớn hơn, ma trận thiết kế Φ không chứa nhớ khơng thể sử dụng thuật tốn RVM2 ban đầu Trong đó, hai thuật tốn FastRVM đề xuất nhờ lấy mẫu tập liệu, ma trận thiết kế Φ dựa tập 15 Tập liệu RVM2 bRVMf bRVMdml 92.66 93.09 92.16 Times 436 48 49 RVs 168 146 157 Acc(%) 97.91 97.88 97.68 Times 14490 666 604 141 136 136 Acc(%) 89.60 88.90 88.95 Times 2176 42 45 111 87 90 Acc(%) 93.97 94.22 94.37 Times 45316 2763 2681 321 309 307 Acc(%) DNA Pendigits RVs Satimages RVs USPS RVs Bảng 2.3: So sánh kết thuật toán FastRVM liệu nhỏ chứa nhớ, thuật tốn thực nên vượt qua tập liệu lớn 2.4 Kết chương Chương tập trung vào việc tìm hiểu thuật tốn huấn luyện nhanh mơ hình RBF thưa đề xuất số thuật toán tăng tốc SVM RVM Các thuật toán đề xuất stochastic SimpSVM nhằm mục đích đẩy nhanh việc huấn luyện, xây dựng mơ hình SimpSVM giản lược với đáng kể SVs, giúp tăng tốc pha test SVM Các thuật toán đề xuất FastRVM nhằm mục đích rút ngắn thời gian huấn luyện xây dựng mơ hình RVM đồng thời tăng cường khả làm việc RVM tập liệu lớn Hiệu thuật toán xác định thông qua thực nghiệm Cụ thể, phương pháp đề xuất thực nghiệm liệu chuẩn dùng phổ biến So sánh kết phân lớp sử dụng thuật toán gốc thuật toán cải tiến cho thấy thuật toán cải tiến tăng tốc pha test thuật toán tăng tốc pha huấn luyện thuật toán với độ xác đảm bảo, khơng thay đổi nhiều Các nghiên cứu nêu chương tổng hợp cơng bố cơng trình [CT4, CT5, CT6] tạp chí kỷ yếu hội nghị quốc tế có phản biện 16 Chương Ứng dụng mơ hình RBF thưa cho tốn phân loại đối tượng 3.1 Bài tốn nhận dạng ngơn ngữ ký hiệu Các ký hiệu ngôn ngữ Auslan ghi lại cách sử dụng găng tay dụng cụ với cảm biến 3.1.1 Mô tả tập liệu Tập liệu bao gồm mẫu chuỗi vectơ đặc trưng 22 chiều Toàn mẫu liệu gắn nhãn với từ ký hiệu tương ứng 3.1.2 Trích xuất đặc trưng Từ 22 kênh thơng tin, chúng tơi sử dụng phương pháp trích xuất đặc trưng "global" "meta" 3.1.3 Lựa chọn tham số Sử dụng phương pháp tìm kiếm lưới để tìm giá trị C, γ phù hợp 3.1.4 Phân lớp ký hiệu Thực phương pháp kiểm tra chéo 5-fold - Về hiệu nhận dạng: Hình 3.1 Hình 3.2, chúng tơi so sánh hiệu dự đốn số hàm sở mơ hình SVM, SimpSVMs RVMs kiểu đặc trưng: global, meta kết hợp Các kết số lượng đặc trưng tăng, toàn ba phương pháp tăng độ xác Với số vectơ yêu cầu nhỏ nhiều, pha test, phương pháp SimpSVMs RVMs nhanh đáng kể số lượng tính tốn 17 Hình 3.1: Độ xác mơ hình SVM, SimpSVM RVM kiểu đặc trưng Hình 3.2: Số hàm sở mơ hình SVM, SimpSVM RVM kiểu đặc trưng - Về thời gian huấn luyện: Hình 3.3 cho thấy thuật tốn đề xuất Stochastic SimpSVM, FastRVM có thời gian huấn luyện nhanh so với thuật toán gốc đến hàng chục lần độ xác khơng mát nhiều số SVs cuối gần tương đương 3.2 Bài toán nhận dạng cử người Gần đây, nhận dạng cử chỉ/hành động người thu hút nhiều ý thiết bị ghi lại chuyển động trở nên tốn cơng cụ phát triển phần mềm (SDK) công ty khổng lồ hỗ trợ rộng rãi 18 Hình 3.3: Thời gian huấn luyện mơ hình SVM, SimpSVM RVM kiểu đặc trưng 3.2.1 Tập liệu Bộ liệu Microsoft Research Cambridge-12 Kinect bao gồm chuỗi chuyển động người, biểu thị dạng vị trí phận thể cử liên quan hệ thống nhận dạng 3.2.2 Trích xuất đặc trưng Từ hai mươi tọa độ 3D khớp xương, sử dụng ba loại thông tin trích xuất: vận tốc điểm tương đối, góc khớp vận tốc góc khớp 3.2.3 Lựa chọn tham số Sử dụng phương pháp tìm kiếm lưới để tìm giá trị C, γ phù hợp 3.2.4 Phân lớp cử chỉ, hành động Từ kết thực nghiệm, nhận thấy điểm sau: - Về độ xác nhận dạng: Hình 3.4 cho thấy RVM2 xác ba đặc trưng, RVM2 loại bỏ tỷ lệ lớn hàm sở làm giảm độ xác dự đốn nhiều Tuy nhiên, Hình 3.5, số lượng SVs nhỏ yêu cầu RVM2, so với SVM dẫn đến RVM2 dự đoán nhanh pha test Ngoài ra, SimpSVM giúp giảm đáng kể số lượng SV SVM ban đầu giữ độ xác - Về thời gian huấn luyện: Hình 3.6 cho thấy thuật tốn đề xuất Stochastic SimpSVM, FastRVM có thời gian huấn luyện nhanh so với thuật toán gốc độ xác bảo tồn số SVs cuối gần tương đương 19 Hình 3.4: Độ xác mơ hình học SVM, SimpSVM RVM phân lớp cử chỉ, hành động Hình 3.5: Số hàm sở mơ hình học SVM, SimpSVM RVM phân lớp cử chỉ, hành động 3.3 Bài tốn nhận dạng ảnh hoa Mục đích nhận dạng ảnh hoa xác định loài hoa phù hợp cho ảnh dựa đặc trưng 3.3.1 Tập liệu Chúng tơi sử dụng tập liệu ảnh hoa Oxford 17-Flowers 102-Flowers Đại học Oxford Các ảnh đa dạng kích cỡ, góc chụp thay đổi ánh sáng Trong lớp ảnh có biến thiên lớn ảnh lớp hay ảnh gần giống với ảnh lớp khác Một số ví dụ ảnh hoa Hình 3.7 20 Hình 3.6: Thời gian huấn luyện mơ hình học SVM, SimpSVM RVM phân lớp cử chỉ, hành động Hình 3.7: Minh họa ví dụ ảnh lồi hoa tập liệu ảnh hoa Oxford 3.3.2 Trích xuất đặc trưng Chúng sử dụng CNN tên ResNet18 để trích xuất đặc trưng ảnh hoa cách giữ lại layer ConvNet CNN bỏ layer FC Sau dùng đầu layer ConvNet lại đặc trưng đầu vào để phân lớp mơ hình RBF thưa SVM, RVM 3.3.3 Lựa chọn tham số Sử dụng phương pháp tìm kiếm lưới để tìm giá trị C, γ phù hợp 3.3.4 Phân lớp ảnh hoa Các kết thực nghiệm cụ thể báo cáo lại Bảng 3.1 Từ kết thực nghiệm đó, nhận thấy điểm sau: - Về độ xác nhận dạng: mơ hình lai RBF nói chung đặc biệt mơ 21 Oxford 17-Flowers Methods Acc SVs Times CNN 96.32 #N/A #N/A CNN-SVM 97.06 789 0.69 CNN-SimpSVM-GD 96.69 395 386.69 CNN-SimpSVM-SVD 96.69 395 167.69 CNN-RVM2 95.99 137 193 CNN-FastRVM 96.32 136 27.25 Bảng 3.1: Hiệu phân loại ảnh hoa phương pháp hình CNN-SVM cho kết nhận dạng tốt mơ hình CNN ngun kết hợp ưu điểm đặc trưng trích xuất tự động mạng học sâu CNN với sức mạnh phân lớp SVM Mơ hình RVM máy xác tập đặc trưng học qua mạng học sâu ResNet nhiệm vụ phân lớp ảnh hoa RVM loại bỏ tỷ lệ đáng kể hàm sở, làm giảm độ xác dự đốn nhiều Tuy nhiên, số lượng SV nhỏ yêu cầu RVM, so với SVM dẫn đến RVM dự đoán nhanh pha test Ngoài ra, SVM giản lược (SimpSVM) giúp giảm đáng kể số lượng SV SVM ban đầu bảo tồn độ xác (tỷ lệ lỗi tăng khơng đáng kể) - Về thời gian huấn luyện: thời gian huấn luyện đo để so sánh tốc độ phương pháp xem xét Bảng 3.1 báo cáo thời gian huấn luyện mơ hình lai CNN-SVM, CNN-SimpSVM, CNN-RVM CNN-FastRVM Có thể thấy, thuật tốn đề xuất Stochastic SimpSVM, FastRVM có thời gian huấn luyện nhanh so với thuật toán gốc từ hai, ba đến hàng chục lần độ xác khơng mát nhiều số SVs cuối gần tương đương 3.4 Kết chương Chương tìm hiểu, khảo sát nghiên cứu, phương pháp liên quan đến toán nhận dạng ngơn ngữ ký hiệu tốn nhận dạng cử chỉ, hành động Từ đó, xây dựng giải pháp nhận dạng ngôn ngữ ký hiệu, cử chỉ, hành động dựa liệu thu từ cảm biến xử lý nhận dạng thông qua mô hình RBF thưa (các mơ hình SVM, RVM với thuật toán đề xuất stochastic SimpSVM, FastRVM Chương 2) Kết cho thấy mơ hình RBF thưa hồn tồn khả thi đạt kết nhận dạng tốt ứng dụng vào tốn nhận dạng ngơn ngữ ký hiệu hay cử chỉ, hành động Các nghiên cứu chương tổng hợp công bố công trình [CT1, CT2, CT3] kỷ yếu hội nghị quốc tế có phản biện 22 Kết luận Luận án trình bày khái quát vấn đề liên quan đến mơ hình RBF thưa nói chung khảo sát hai mơ hình RBF thưa cụ thể: mơ hình RBF dựa lề cực đại SVM mơ hình RBF dựa phép suy luận Bayes RVM Mỗi mơ hình có ưu điểm hạn chế định Mơ hình SVM có ưu điểm huấn luyện nhanh hạn chế pha test chậm số lượng lớn SVs bao gồm nghiệm Mơ hình RVM, ngược lại, có ưu điểm pha test nhanh nghiệm thưa, thường bao gồm số RVs thời gian huấn luyện lại chậm Với định hướng mục tiêu nâng cao hiệu phương pháp phân loại đối tượng, luận án tiến hành nghiên cứu, đề xuất số thuật toán cho phép nâng cao hiệu phương pháp mơ hình RBF Cụ thể, thuật toán stochastic SimpSVM giúp giản lược nghiệm SVM để bao gồm SVs, từ giúp tăng tốc pha test SVM bảo tồn độ xác phân loại Các thuật toán FastRVM giúp tăng tốc thời gian huấn luyện RVM nhanh bảo toàn độ xác phân loại Luận án tiến hành thực nghiệm tập liệu chuẩn sử dụng rộng rãi liệu hai tốn thực tế (nhận dạng ngơn ngữ ký hiệu nhận dạng cử chỉ, hành động) để khẳng định thuật tốn đáp ứng mục tiêu đặt Những đóng góp luận án: ❼ Kết phân tích, so sánh đánh giá phương pháp huấn luyện mơ hình RBF thưa phân loại đối tượng u cầu tính tốn khác Những kết luận phù hợp phương pháp điều kiện hoàn cảnh cụ thể ❼ Đề xuất phát triển thuật toán stochastic SimpSVM hiệu nhằm đẩy nhanh việc huấn luyện, xây dựng mơ hình SimpSVM giản lược nghiệm SVM với đáng kể SVs, từ tăng tốc pha test SVM giữ độ xác phân lớp không thay đổi nhiều ❼ Đề xuất phát triển thuật toán FastRVM hiệu nhằm đẩy nhanh việc huấn luyện RVM lên nhiều lần đảm bảo độ xác phân loại cuối Đồng thời, tăng cường khả làm việc phương pháp RVM tập liệu lớn Những phương pháp đề 23 xuất đóng góp phát triển chung cộng đồng nghiên cứu mơ RBF nói riêng lĩnh vực học máy hay trí tuệ nhân tạo nói chung ❼ Góp phần nghiên cứu ứng dụng mơ hình RBF thưa nhận dạng đối tượng, cụ thể phân loại đối tượng toán thực tế nhận dạng ngôn ngữ ký hiệu, nhận dạng cử chỉ, hành động 24 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CÔNG BỐ Pham Q.T., Nguyen D.D., Nguyen T.T., A comparison of SimpSVM and RVM on sign language recognition, In the Proceedings of the International Conference on Machine Learning and Soft Computing (ICMLSC 2017), ISBN: 978-14503-4828-7, ACM, 2017, pp 98-104 (Scopus) Pham Q.T., Nguyen T.T., Hoang T.L., The SVM, SimpSVM and RVM on sign language recognition problem, In the Proceedings of the 7th International Conference on Information Science and Technology (ICIST 2017), ISBN: 978-1-50905401-5, IEEE, 2017, pp 398-403 Nguyen D.H., Pham Q.T., Nguyen D.D., RBF Models with Shallow and Deep Feature for Skeleton-based Human Gesture Recognition, In the Proceedings of the National Foundation for Science and Technology Development (NAFOSTED) Conference on Information and Computer Science (NICS), IEEE, 2017, pp 72-77 Pham Q.T., Nguyen T.T., Hoang T.L., A Modification of Solution Optimization in Support Vector Machine Simplification for Classification, In: Bhateja V., Nguyen B., Nguyen N., Satapathy S., Le DN (eds) Information Systems Design and Intelligent Applications Advances in Intelligent Systems and Computing, vol 672 Springer, Singapore, 2018, pp 149-158 (ISI Web of Science, Scopus) Pham Q.T., Hoang T.L., Nguyen T.T., Improving Simplification of Support Vector Machine for Classification, International Journal of Machine Learning and Computing, vol 8, no 4, pp 372-376, 2018 (Scopus, Q3) ... hướng mục tiêu nâng cao hiệu phương pháp phân loại đối tượng, luận án tiến hành nghiên cứu, đề xuất số thuật toán cho phép nâng cao hiệu phương pháp mơ hình RBF Cụ thể, thuật toán stochastic SimpSVM... so sánh đánh giá phương pháp huấn luyện mơ hình RBF thưa phân loại đối tượng yêu cầu tính tốn khác Những kết luận phù hợp phương pháp điều kiện hoàn cảnh cụ thể ❼ Đề xuất phát triển thuật toán... thưa nhận dạng đối tượng, cụ thể phân loại đối tượng toán thực tế nhận dạng ngôn ngữ ký hiệu, nhận dạng cử chỉ, hành động Bố cục luận án: Ngoài phần mở đầu phần kết luận, Luận án chia thành chương