Phương pháp phân cụm kmeans và ứng dụng vào bài toán nhận diện chữ số viết tay

- ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KINH TẾ KHOA HỆ THỐNG THÔNG TIN KINH TẾ cK in h tế H uế -* - họ KHÓA LUẬN TỐT NGHIỆP SINH VIÊN THỰC HIỆN: NGƠ TRẦN HỒNG LÂM Tr ườ ng Đ ại PHƯƠNG PHÁP PHÂN CỤM KMEANS VÀ ỨNG DỤNG VÀO BÀI TOÁN NHẬN DIỆN CHỮ SỐ VIẾT TAY NIÊN KHÓA: 2015 – 2019 - ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KINH TẾ KHOA HỆ THỐNG THÔNG TIN KINH TẾ cK in h tế H uế -* - họ KHÓA LUẬN TỐT NGHIỆP ng Đ ại PHƯƠNG PHÁP PHÂN CỤM KMEANS VÀ ỨNG DỤNG VÀO BÀI TOÁN NHẬN DIỆN CHỮ SỐ VIẾT TAY Giảng viên hướng dẫn: Ngơ Trần Hồng Lâm TS Ngô Thời Nhân ườ Sinh viên thực hiện: Tr Lớp: K49B - Tin học kinh tế Niên khóa: 2015 – 2019 Huế, 05/2019 - Khóa luận tốt nghiệp LỜI CẢM ƠN Sau trình học tập rèn luyện trường Đại học Kinh tế - Đại học Huế, Khoa Hệ thống Thông tin Kinh tế gần tháng làm khóa luận nghiên cứu đề tài “phương pháp phân cụm Kmeans ứng dụng vào toán nhận diện chữ số viết uế tay” Tôi xin bày tỏ lòng cảm ơn chân thành giúp đỡ thầy, giảng viên, cán phịng, ban chức Trường Đại học Kinh tế - Đại học Huế giúp đỡ tơi tế H hồn thành khóa luận Đặc biệt, tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Ngô Thời Nhân – giảng viên trực tiếp hướng dẫn, bảo nhiệt tình cho tơi, giúp đỡ tơi nhiều q trình h làm khóa luận in Tơi xin chân thành cảm ơn anh, chị Công ty cổ phần COG chi nhánh cK Huế tận tình hướng dẫn, hỗ trợ địa điểm thực tập kiến thức để hồn thành tốt khóa luận Bên cạnh tơi xin cảm ơn gia đình bạn bè ủng hộ, động viên điểm tựa vơ to lớn lúc khó khăn vừa qua để họ tơi hồn thành khóa luận cách tốt Tôi xin chân thành cảm ơn ý kiến đóng góp Giảng viên phản biện Dương Đ ại Thị Hải Phương tận tình bảo, góp ý để khóa luận hồn thiện Tuy nhiên kiến thức chun mơn cịn hạn chế thân thiếu kinh nghiệm thực tiễn nên nội dung khóa luận khơng tránh khỏi sai sót, tơi ng mong nhận góp ý, bảo thêm q thầy để khóa luận hồn thiện ườ Một lần tơi xin gửi đến gia đình, thầy bạn bè anh chị Công Tr ty cổ phần COG chi nhánh Huế lời cảm ơn chân thành tốt đẹp nhất! Huế, tháng năm 2019 Sinh viên kí tên Ngơ Trần Hồng Lâm SV: Ngơ Trần Hồng Lâm i - Khóa luận tốt nghiệp LỜI CAM ĐOAN Tơi xin cam đoan rằng: Số liệu kết nghiên cứu khóa luận hồn tồn trung thực uế chưa sử dụng công bố cơng trình khác Mọi giúp đỡ cho việc thực khóa luận cảm ơn h tế H thông tin trích dẫn khóa luận ghi rõ nguồn gốc in Sinh viên thực Tr ườ ng Đ ại họ cK Ngơ Trần Hồng Lâm SV: Ngơ Trần Hồng Lâm ii - Khóa luận tốt nghiệp MỤC LỤC DANH MỤC HÌNH ẢNH .v DANH MỤC BẢNG BIỂU vii DANH MỤC CHỮ VIẾT TẮT viii uế PHẦN I ĐẶT VẤN ĐỀ Lý chọn đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu .2 Phương pháp nghiên cứu .2 Cấu trúc khóa luận .4 tế H h PHẦN II NỘI DUNG .5 in CHƯƠNG CƠ SỞ LÝ THUYẾT cK 1.1 Giới thiệu Học máy 1.2 Tổng quan học không giám sát 1.3 Tổng quan phân cụm họ 1.3.1 Giới thiệu phân cụm .9 1.3.2 Lý thực phân cụm .10 1.3.3 Các phương pháp phân cụm 11 Đ ại 1.3.4 Các ứng dụng phân cụm lĩnh vực khác 12 1.4 Phương pháp phân cụm Kmeans 13 1.4.1 Giới thiệu phương pháp phân cụm Kmeans .13 ng 1.4.2 Phân tích tốn học 15 1.4.3 Biến thể Kmeans .20 ườ 1.5 Logistic Regression 22 1.5.1 Bài toán phân lớp 22 Tr 1.5.2 Đường ranh giới định 24 1.5.3 Hàm chi phí .26 1.5.4 Ưu điểm nhược điểm Logistic Regression 29 1.5.5 Bình thường hóa Logistic Regression 30 CHƯƠNG BÀI TOÁN NHẬN DIỆN CHỮ SỐ VIẾT TAY VỚI THUẬT TOÁN PHÂN CỤM KMEANS 31 2.1 Giới thiệu toán 31 SV: Ngô Trần Hồng Lâm iii - Khóa luận tốt nghiệp 2.2 Áp dụng thuật toán phân cụm Kmeans vào toán nhận diện chữ số viết tay .33 2.3 Áp dụng Logistic Regressiom vào toán nhận diện chữ số viết tay 34 2.4 Các cơng trình liên quan 35 CHƯƠNG THÍ NGHIỆM VÀ KẾT QUẢ 38 uế 3.1 Thí nghiệm 38 tế H 3.1.1 Chương trình thử nghiệm với số trọng tâm khởi tạo ban đầu K = 10 38 3.1.2 Chương trình thử nghiệm với số trọng tâm khởi tạo ban đầu K = 20 41 3.1.3 Chương trình thử nghiệm với trọng tâm khởi tạo ban đầu K= 50 43 3.2 Kết 53 h PHẦN III KẾT LUẬN 56 Kết đạt 56 Hạn chế đề tài 57 Hướng phát triển đề tài .57 cK in Tr ườ ng Đ ại họ TÀI LIỆU THAM KHẢO .58 SV: Ngơ Trần Hồng Lâm iv - Khóa luận tốt nghiệp DANH MỤC HÌNH ẢNH Trang Hình 1.1 Hình minh họa cho ví dụ phương pháp học khơng giám sát Hình 1.2 Hình ảnh minh họa cho phương pháp Clustering (phân cụm) chia liệu uế thành cụm hình cầu 10 Hình 1.3 Hình ảnh minh họa phương pháp phân cụm chia liệu thành cụm có tế H hình dạng .10 Hình 1.4 Hình ảnh tốn phân cụm K-means với Cluster 14 Hình 1.5 Hình ảnh minh họa cho ví dụ tốn phân cụm K-means 15 h Hình 1.6 Sơ đồ hoạt động phương pháp K-means .18 in Hình 1.7 Đồ thị hàm Sigmoid .23 Hình 1.8 Đường ranh giới định (Decision Boundary) 25 cK Hình 1.9 Đường ranh giới (Decision Boundary) hàm khơng phải tuyến tính .25 Hình 1.10 Hình ảnh minh họa hàm chi phí lồi hàm chi phí khơng lồi 26 họ Hình 1.11 Hàm Cost Logistic Regression 27 Hình 2.1 Cấu trúc tập liệu chữ số viết tay 32 Đ ại Hình 2.2 Ví dụ chọn 250 mẫu ngầu nhiên liệu nhận diện chữ số viết tay 32 Hình 3.1 Hình ảnh thiết lập trọng tâm K = 10 số vòng lặp tối đa 100 38 ng Hình 3.2 Hình ảnh minh họa 10 mẫu chữ số viết tay ứng với K = 10 39 Hình 3.3 Hình ảnh trình chạy kết chương trình thử nghiệm phân ườ cụm Kmeans với K = 10 40 Hình 3.4 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Tr Kmeans 41 Hình 3.5 Hình ảnh thiết lập trọng tâm K = 20 số vòng lặp tối đa 100 41 Hình 3.6 Hình ảnh trình chạy kết chương trình thử nghiệm phân cụm Kmeans với K = 20 42 SV: Ngô Trần Hồng Lâm v - Khóa luận tốt nghiệp Hình 3.7 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans 42 Hình 3.8 Hình ảnh thiết lập trọng tâm K = 50 số vòng lặp tối đa 100 43 Hình 3.9 Hình ảnh trình chạy kết chương trình thử nghiệm phân uế cụm Kmeans với K = 50 44 Hình 3.10 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân tế H cụm Kmeans 44 Hình 3.11 Hình ảnh thiết lập trọng tâm K = 100 số vịng lặp tối đa 100 45 Hình 3.12 Hình ảnh trình chạy kết chương trình thử nghiệm phân cụm Kmeans với K = 100 46 in h Hình 3.13 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans 46 cK Hình 3.14 Hình ảnh thiết lập trọng tâm K = 150 số vòng lặp tối đa 100 47 Hình 3.15 Hình ảnh trình chạy kết chương trình thử nghiệm phân cụm Kmeans với K = 150 48 họ Hình 3.16 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans 48 Đ ại Hình 3.17 Hình ảnh thiết lập trọng tâm K = 200 số vòng lặp tối đa 100 49 Hình 3.18 Hình ảnh trình chạy kết chương trình thử nghiệm phân cụm Kmeans với K = 200 50 ng Hình 3.19 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans 50 ườ Hình 3.20 Hình ảnh thiết lập trọng tâm K = 250 số vòng lặp tối đa 100 51 Hình 3.21 Hình ảnh trình chạy kết chương trình thử nghiệm phân Tr cụm Kmeans với K = 250 52 Hình 3.22 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans 52 Hình 3.23 Hình ảnh minh họa bước cập nhật lại trọng tâm chương trình phân cụm Kmeans 53 SV: Ngơ Trần Hồng Lâm vi - Khóa luận tốt nghiệp DANH MỤC BẢNG BIỂU Trang Bảng Kết mơ hình nhận diện chữ số viết tay phương pháp phân cụm Kmeans 54 Tr ườ ng Đ ại họ cK in h tế H uế Bảng Kết mơ hình nhận diện chữ số viết tay phương pháp Logistic Regression thuật toán chuyên gia 55 SV: Ngơ Trần Hồng Lâm vii - Khóa luận tốt nghiệp DANH MỤC CHỮ VIẾT TẮT Chữ viết tắt Tiếng anh Tiếng việt ANN Artitficial Neural Network Mạng nơron nhân tạo AI Artificial Intelligence Trí tuệ nhân tạo CPU Central Processing Unit Đơn vị xử lý trung tâm EM LR Logistic Regression ML Machine Learning algorithm tế H Expectation – maximization uế STT Thuật tốn tối đa hóa kì vọng Hồi quy Logistic MNIST Modified National Institute of Standards and Technology database Cơ sở liệu tiêu chuẩn công nghệ viện sửa đổi quốc gia Tr ườ ng Đ ại họ cK in h Học máy SV: Ngơ Trần Hồng Lâm viii - Khóa luận tốt nghiệp 3.1.5 Chương trình thử nghiệm với trọng tâm khởi tạo ban đầu K = 150 họ cK in h tế H uế Bước Thiết lập số trọng tâm K số vòng lặp tối đa Tr ườ ng Đ ại Hình 3.14 Hình ảnh thiết lập trọng tâm K = 150 số vòng lặp tối đa 100 SV: Ngơ Trần Hồng Lâm 47 - Khóa luận tốt nghiệp họ cK in h tế H uế Bước Chạy chương trình ghi nhận kết xuất Hình 3.15 Hình ảnh trình chạy kết chương trình thử nghiệm phân Tr ườ ng Đ ại cụm Kmeans với K = 150 Hình 3.16 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans SV: Ngơ Trần Hồng Lâm 48 - Khóa luận tốt nghiệp 3.1.6 Chương trình thử nghiệm với trọng tâm khởi tạo ban đầu K = 200 họ cK in h tế H uế Bước Thiết lập số trọng tâm K số vòng lặp tối đa Tr ườ ng Đ ại Hình 3.17 Hình ảnh thiết lập trọng tâm K = 200 số vòng lặp tối đa 100 SV: Ngơ Trần Hồng Lâm 49 - Khóa luận tốt nghiệp cK in h tế H uế Bước Chạy chương trình ghi nhận kết xuất họ Hình 3.18 Hình ảnh trình chạy kết chương trình thử nghiệm phân Tr ườ ng Đ ại cụm Kmeans với K = 200 Hình 3.19 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans SV: Ngơ Trần Hồng Lâm 50 - Khóa luận tốt nghiệp 3.1.7 Chương trình thử nghiệm với trọng tâm khởi tạo ban đầu K = 250 họ cK in h tế H uế Bước Thiết lập số trọng tâm K số vòng lặp tối đa Tr ườ ng Đ ại Hình 3.20 Hình ảnh thiết lập trọng tâm K = 250 số vòng lặp tối đa 100 SV: Ngơ Trần Hồng Lâm 51 - Khóa luận tốt nghiệp cK in h tế H uế Bước Chạy chương trình ghi nhận kết xuất Hình 3.21 Hình ảnh trình chạy kết chương trình thử nghiệm phân Tr ườ ng Đ ại họ cụm Kmeans với K = 250 Hình 3.22 Hình ảnh nhãn dán dự đốn chương trình thử nghiệm phân cụm Kmeans SV: Ngơ Trần Hồng Lâm 52 - Khóa luận tốt nghiệp 3.2 Kết Như trình bày cách áp dụng thuật toán phân cụm Kmeans vào toán nhận dạng chữ số viết tay có bước lặp lặp lại bước gán họ cK in h tế H uế liệu cập nhật lại vị trí trọng tâm cụm Kmeans (Nguồn: http://datascienceandme.com/) ng Đ ại Hình 3.23 Hình ảnh minh họa bước cập nhật lại trọng tâm chương trình phân Dưới bảng kết sau thực phương pháp phân cụm Kmeans, đối ườ với phương pháp phân cụm Kmeans thấy độ xác tương đối tốt cao Tr số trọng tâm K tăng cao độ xác tăng theo SV: Ngơ Trần Hồng Lâm 53 - Khóa luận tốt nghiệp Bảng Kết mơ hình nhận diện chữ số viết tay phương pháp phân cụm Kmeans Số trọng tâm K Vòng lặp/Vòng lặp tối đa Độ xác Thời gian 00:02:55 32/100 58.14% 20 40/100 71.48% 50 35/100 79.44% 00:10:06 100 33/100 84.54% 00:19:01 150 29/100 87.54% 00:24:10 200 21/100 88.40% 00:24:24 250 11/100 88.50% 00:13:14 uế 10 in h tế H 00:04:21 cK Như ta thấy kết bảng 3.1, số lượng trọng tâm K định độ xác thuật toán phân cụm Kmeans Ở đây, số trọng tâm K tăng từ 10 đến 250 với độ xác tăng lên từ 58.14% lên đến 89.50% Tuy nhiên họ tăng số lượng trọng tâm K lên để đạt đến độ xác tuyệt đối 100% khơng nên, ta chọn trọng tâm K 5000 để đạt độ xác Đ ại 100% mục đích ban đầu phân cụm Trong liệu chữ số viết tay ta có 10 loại đối tượng chữ số từ đến 9, chữ số 2, 4, 7,… có nhiều kiểu viết khác tùy người nên ta không thiết phải chọn 10 centroids K mà chọn nhiều Số trọng tâm K định đến thời gian ng thực thuật tốn, ta thấy thời gian thực tăng lên số trọng tâm K ườ tăng lên, vị trí khởi tạo thuận lợi giúp thời gian thực thấp dù số trọng tâm K cao Tr Kết bảng 3.1, dựa vào độ xác thời gian thực ta thấy trọng tâm K = 200 thời gian thực chênh lệch lớn so với trọng tâm K = 250 (dài khoảng 11 phút) chắn trường hợp hi hữu vị trí khởi tạo trọng tâm K K = 250 thuận lợi nên có thời gian chạy nhanh Cịn độ xác trọng tâm K = 200 (88.40%) cao 0.86% so với trọng tâm K = 150 (87.54%) Đối với độ xác trọng tâm K = 250 (88.50%) có SV: Ngơ Trần Hồng Lâm 54 - Khóa luận tốt nghiệp tăng 0.1% khơng nhiều có xu hướng bị chững lại trọng tâm K = 200 số không nhỏ không lớn với liệu 5000 chữ số Vậy với liệu 5000 chữ số viết tay số trọng tâm K chọn ban đầu 200 lựa chọn thích hợp để phân cụm uế Đối với phương pháp Logistic Regression, lấy kết thuật tốn chuyên gia để so sánh nên không nêu bước thiết lập thí nghiệm Ta thấy độ định Bên cạnh cặp tế H xác cao đạt đến tuyệt đối số vòng lặp tăng đến mức độ định đến số vòng lặp ngược lại Bảng Kết mơ hình nhận diện chữ số viết tay phương pháp Logistic in h Regression thuật tốn chun gia 0.1 cK Độ xác 95.00% Kết bảng 3.2 kết thuật tốn chun gia, có chọn họ lựa để = 0.1, độ 95.00%, nhiên khơng có đảm bảo cặp α chọn ban đầu cho kết tốt Trong mặt lý thuyết ta phải cho cặp cặp α chạy để chọn cặp tốt Ví dụ ta có gồm 10 giá trị α 10 giá trị , tốt phải chạy 10x10 100 lần, thực Đ ại để tìm cặp thuật tốn phải có thời gian thực lâu thực xong Ở khóa luận, lấy kết thuật toán chuyên gia để so sánh nên người thực không điền ng thời gian vào kết quả, cần biết thời gian thực lâu lâu ườ nhiều so với phương pháp phân cụm Kmeans Tóm lại, ta thấy phương pháp phân cụm Kmeans ln có thời Tr gian thực nhanh nhiều so với phương pháp Logistic Regression, độ xác khơng cao phương pháp Logistic Regression Một điểm khác phương pháp phương pháp phân cụm Kmeans số lượng trọng tâm K chọn định độ xác thời gian thực thực tốn phương pháp Logistic Regression số vịng lặp cặp có định qua lại lẫn để có độ xác tốt SV: Ngơ Trần Hồng Lâm 55 - Khóa luận tốt nghiệp PHẦN III KẾT LUẬN Kết đạt uế Sau thực khóa luận tơi thấy đạt yêu cầu đề Tôi nắm lý thuyết học máy, lý thuyết phân cụm; biết cách thức hoạt tế H động mơ hình học máy nào; nắm yếu tố quan trọng thuật toán phân cụm Kmeans biết cách áp dụng vào tốn nhận diện chữ số viết tay; đặc biệt mơ hình thuộc mảng học khơng giám sát Bên cạnh nắm lý thuyết mảng học có giám sát, lý thuyết toán phân in Kmeans phương pháp Logistic Regression h lớp Logistic Regression Cùng với khác phương pháp phân cụm cK Khóa luận hồn thành mặt nội dung đề ra, kết đạt với độ xác cao, khơng cao thuật toán viết chuyên gia cho Octave/Matlab độ xác đề tài đạt mục tiêu đề họ chấp nhận Qua kết đạt thấy trọng tâm K = 200 tập 5000 chữ số viết tay số lượng trọng tâm K khởi tạo ban đầu hợp lí độ Đ ại xác đạt 89.20% tương đối cao, với thời gian thực 24 phút 24 giây Tất cho thấy phương pháp phân cụm Kmeans đạt độ xác tốt ta cung cấp cho số trọng tâm K ban đầu hợp lí thêm thời gian ng thực thuật toán lại khơng q lâu Vì phương pháp sử dụng rộng rãi có độ xác tốt ườ Ngồi kết kể trên, qua khóa luận này, tơi học kỹ lập trình Octave/Matlab gói phần mềm tính tốn giúp việc thử nghiệm, thực thi Tr chương trình học máy nhanh trước chuyển sang công đoạn khác cần đến công cụ, ngôn ngữ khác mang tính kỹ thuật để xây dựng phần mềm thương mại SV: Ngơ Trần Hồng Lâm 56 - Khóa luận tốt nghiệp Hạn chế đề tài Mặc dù khóa luận hồn thành nội dung chương trình nhận diện chữ số viết tay với phương pháp phân cụm Kmeans vài hạn chế cần khắc phục Đó việc chọn trọng tâm K đầu vào cho chương trình, để uế khơng làm chất phân cụm thuật tốn phân cụm Kmeans ta chọn trọng tâm K lớn, chọn khơng hợp lí q nhỏ độ xác tế H chương trình thấp thời gian thực tương đối nhanh, khó khăn tơi thực đề tài Một vấn đề phần kết bảng 3.2 lấy kết thuật toán thuật toán Logistic Regression nên chưa khách quan kết in cặp h chuyên gia nên người làm khóa luận chưa có thời gian thực hiện, số vịng lặp, Tơi tìm hiểu biết thời gian thực lâu số vòng lặp cặp định qua lại để đưa độc xác thuật toán nên cung cấp kiến cK thức vậy, mong thầy cô thông cảm họ Hướng phát triển đề tài Khóa luận giới thiệu cách tổng quan lĩnh vực nhận dạng chữ viết, Đ ại thu hút quan tâm nhiều nhà nghiên cứu học máy Hiện nay, phương án nghĩ đến đề phát triển thuật tốn phân cụm Kmeans kết hợp giảm chiều đặc trưng thuật toán PCA (Principle Component ng Analysis) trước thực việc nhận dạng Kết hợp thuật toán phân cụm Kmeans với thuật toán khác Elbow method ườ (phương pháp khuỷu tay) để xác định số lượng cụm tập liệu để giải vấn đề lựa chọn số lượng trọng tâm K ban đầu cho hợp lí Tr Kết hợp thuật toán phân cụm Kmeans với thuật toán K-means++ (thuật tốn cải thiện vị trí khởi tạo trọng tâm K ban đầu) để tránh tình trạng khởi tạo trọng tâm K ban đầu khiến thuật tốn có tốc độ chạy chậm cho nghiệm khơng xác (local minium – điểm cực tiểu giá trị nhỏ nhất) SV: Ngơ Trần Hồng Lâm 57 - Khóa luận tốt nghiệp TÀI LIỆU THAM KHẢO Tr ườ ng Đ ại họ cK in h tế H uế Bishop C.M (2006), Pattern recognition and machine learning, Springer, New York Alpaydin E (2010), Introduction to machine learning, MIT Press, Cambridge, Mass Vũ Hữu Tiệp (2018), Machine Learning bản, Nhà Xuất Bản Khoa Học Kỹ Thuật Bousquet O., von Luxburg U., Raetsch G (2004), Advanced Lectures on Machine Learning, Springer-Verlag Kriegel H., Kröger P., Sander J cộng (2011) Density‐based clustering WIREs Data Mining Knowl Discov, 1(3), 231–240 Lauretto M., Nakano F., Pereira C.A.B cộng (2008) Hierarchical Forecasting with Functional Trees AIP Conference Proceedings, Boraceia, Sao Paulo (Brazil), AIP, 317–324 Rokach L Maimon O (2005) Clustering Methods Data Mining and Knowledge Discovery Handbook Springer-Verlag, New York, 321–352 Coope I.D Price C.J (2001) On the Convergence of Grid-Based Methods for Unconstrained Optimization SIAM J Optim, 11(4), 859–869 Shafeeq A (2012) Dynamic Clustering of Data with Modified K-Means Algorithm 10 Garbade D.M.J (2018) Understanding K-means Clustering in Machine Learning Towards Data Science, , accessed: 01/05/2019 11 Li L Lin H (2007) Ordinal Regression by Extended Binary Classification Advances in Neural Information Processing Systems 19 MIT Press, 865–872 12 Aly M (2005), Survey on Multiclass Classification Methods, 13 Kleinbaum D.G Klein M (2010), Logistic Regression, Springer New York, New York, NY 14 Chakrabarty N (2019) Decision Boundary Visualization(A-Z) Towards Data Science, , accessed: 01/05/2019 15 Knofczynski G.T Sample Sizes for Predictive Regression Models and Their Relationship to Correlation Coefficients 16 Kim D Fessler J.A (2016) Optimized first-order methods for smooth convex minimization Mathematical Programming, 159(1–2), 81–107 17 Domingos P Bayesian Averaging of Classifiers and the Overfitting Problem 18 Neumaier A (1998) Solving Ill-Conditioned and Singular Linear Systems: A Tutorial on Regularization SIAM Rev, 40(3), 636–666 19 Scott D ConnellaPen (2000) K-Means Clustering for Hidden Markov SV: Ngơ Trần Hồng Lâm 58 - Khóa luận tốt nghiệp Tr ườ ng Đ ại họ cK in h tế H uế 20 Pourmohammad S., Soosahabi R., Maida A.S (2013) An efficient character recognition scheme based on k-means clustering 2013 5th International Conference on Modeling, Simulation and Applied Optimization (ICMSAO), Hammamet, IEEE, 1–6 21 Hoàng Thị Ly Na (2019), Phương pháp Gradient Descent ứng dụng toán dự đoán toán nhận dạng, 22 Mai Phương Đơng (2019), Tìm hiểu vê thuật tốn BFGS ứng dụng vào toán phân loại, SV: Ngơ Trần Hồng Lâm 59 - Tr ườ ng Đ ại họ cK in h tế H uế Khóa luận tốt nghiệp SV: Ngơ Trần Hồng Lâm 60 - Tr ườ ng Đ ại họ cK in h tế H uế Khóa luận tốt nghiệp SV: Ngơ Trần Hoàng Lâm 61