Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)

Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)Ứng dụng thuật toán học máy svm trong tư vấn hướng nghiệp cho học sinh trung học phổ thôn (tt)

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - TRẦN VĂN HẢI ỨNG DỤNG THUẬT TOÁN HỌC MÁY SVM TRONG TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH TRUNG HỌC PHỔ THÔNG CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2017 Luận văn hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS Đào Đình Khả (Ghi rõ học hàm, học vị) Phản biện 1: ………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thông Vào lúc: …… …… ngày …… tháng …… năm …… Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thông LỜI MỞ ĐẦU Việt Nam nước có dân số đông, số lượng người độ tuổi lao động lớn, cung cấp nguồn nhân lực dồi cho trình công nghiệp hóa, đại hóa đất nước Tuy nhiên, năm gần tình trạng nhiều sinh viên trường không tìm việc làm phải làm việc không với chuyên môn diễn phổ biến Điều gây lãng phí nguồn nhân lực lao động xã hội Một phần nguyên nhân việc đào tạo ngành nghề nhiều bất hợp lý, việc phân bố nguồn nhân lực vùng miền chưa đồng Bên cạnh đó, nguyên nhân thực trạng nằm việc phần lớn học sinh bậc học phổ thông lựa chọn ngành nghề chủ yếu theo cảm tính, theo xu tác động từ gia đình, cha mẹ, bạn bè, … không xác định khả năng, lực thân có phù hợp với ngành nghề hay không từ dẫn tới việc học tập làm việc không hiệu quả, gây lãng phí lớn cho thân, gia đình xã hội Tư vấn hướng nghiệp vấn đề cần phải quan tâm, cấp bậc phổ thông Khi định hướng đắn nghề nghiệp, người yên tâm với nghề lựa chọn, có thái độ tích cực, chủ động học tập, rèn luyện để hoạt động tốt lĩnh vực nghề nghiệp tương lai Đối với học sinh bậc phổ thông, tư vấn hướng nghiệp giúp em định hướng ngành nghề cách có sở, có nhận thức đắn nghề nghiệp, phát huy tối đa khả thân, khơi dậy niềm đam mê em công việc lựa chọn từ góp phần ổn định sống thân tương lai đồng thời đáp ứng nhu cầu xã hội, tránh lãng phí đào tạo sử dụng hợp lý nguồn nhân lực góp phần vào việc phát triển kinh tế – xã hội đất nước Trong việc chọn nghề, để lựa chọn ngành nghề phù hợp ta phải dựa vào khả năng, lực thân sở thích tính cách người Do đó, công tác tư vấn hướng nghiệp cho học sinh trung học phổ thông, cần phải có phương pháp phân loại để phân nhóm em học sinh dựa yếu tố này, từ đưa tư vấn, định hướng nghề nghiệp cách xác cho em Nói cách khác, để giải vấn đề công tác tư vấn hướng nghiệp cho học sinh trung học phổ thông ta cần phải giải toán phân loại học sinh Đây toán nhằm mục đích phân lớp em học sinh vào nhóm ngành nghề khác dựa đặc trưng khả năng, lực, sở thích tính cách em 2 Ngày nay, toán phân loại, việc sử dụng mô hình tính toán dựa phương pháp học máy ngày áp dụng cách rộng rãi đạt nhiều thành công to lớn Trong đó, phương pháp học máy Support Vector Machine (SVM) phương pháp sử dụng phổ biến tính hiệu độ xác cao xử lý liệu lớn, thích hợp để ứng dụng toán phân loại học sinh Với lý mục tiêu trên, xin chọn đề tài nghiên cứu “Ứng dụng thuật toán học máy SVM tư vấn hướng nghiệp cho học sinh trung học phổ thông” Mục tiêu cụ thể trình bày luận văn sau: - Phát biểu toán tư vấn hướng nghiệp cho học sinh trung học phổ thông - Nghiên cứu học máy thuật toán học máy SVM - Áp dụng học máy thuật toán học máy SVM cho toán tư vấn hướng nghiệp cho học sinh trung học phổ thông - Cài đặt thử nghiệm thuật toán học máy SVM cho toán tư vấn hướng nghiệp cho học sinh trung học phổ thông Nội dung luận văn trình bày chương sau: - Chương 1: Tổng quan học máy toán tư vấn hướng nghiệp cho học sinh trung học phổ thông - Chương 2: Xây dựng mô hình tư vấn hướng nghiệp cho học sinh trung học phổ thông dựa phương pháp Support Vector Machine - Chương 3: Thực nghiệm kết CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY VÀ BÀI TOÁN TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT 1.1 Tổng quan học máy 1.1.1 Giới thiệu học máy Học máy (machine learning) khả chương trình máy tính sử dụng kinh nghiệm, quan sát liệu khứ để cải thiện công việc tương lai thay thực theo quy tắc lập trình sẵn Chẳng hạn, máy tính học cách dự đoán dựa ví dụ, hay học cách tạo hành vi phù hợp dựa quan sát khứ 3 Ví dụ chương trình dựa vào liệu khứ để phân loại thư điện tử xem có phải thư rác (spam) hay không tự động xếp thư vào thư mục tương ứng Thư rác hiểu thư điện tử có chứa nội dung quảng cáo hay loại hàng miễn phí cho dùng thử chuẩn bị từ trước gửi đồng loạt tới nhiều địa Khái niệm “rác” đến từ ý nghĩa thư thường bị loại bỏ lưu tâm người nhận 1.1.2 Ứng dụng học máy Ngày nay, học máy có ứng dụng rộng rãi nhiều ngành nghề khoa học sản xuất, đặc biệt ngành cần phân tích khối lượng liệu khổng lồ, số ứng dụng cụ thể việc áp dụng phương pháp học máy: - Máy tìm kiếm - Dịch tự động - Phân loại văn tự động - Phát nhận dạng mặt người - Chuẩn đoán y khoa - Các hệ tư vấn, khuyến nghị 1.1.3 Phân loại phương pháp học máy 1.1.3.1 Học có giám sát Học có giám sát (supervised learning) dạng học máy tập liệu huấn luyện đầu vào cho trước dạng ví dụ với giá trị đầu hay giá trị đích Nhiệm vụ thuật toán học có giám sát dựa liệu huấn luyện cần phải xây dựng mô hình hay hàm đích để dự đoán giá trị đầu (giá trị đích) cho trường hợp 1.1.3.2 Học không giám sát Học không giám sát (unsupervised learning) phương pháp học máy nhằm tìm mô hình mà phù hợp với tập liệu quan sát Học không giám sát khác học có giám sát chỗ ví dụ cung cấp giá trị đầu hay giá trị đích 1.1.3.3 Học bán giám sát Học bán giám sát (semi-supervised learning) dạng kết hợp học có giám sát học không giám sát Trong đó, kết hợp ví dụ có gán nhãn không gán nhãn để sinh hàm phân loại thích hợp 4 1.2 Tổng quan phương pháp Support Vector Machine 1.2.1 Giới thiệu Support Vector Machine Support Vector Machine (SVM) phương pháp phân loại xuất phát từ lý thuyết thống kê Phương pháp thực phân lớp dựa nguyên lý tối thiểu rủi ro cấu trúc SRM (Structural Risk Minimisation) SVM cố gắng tìm cách phân loại liệu cho lỗi xảy tập kiểm tra nhỏ SVM dạng chuẩn nhận liệu đầu vào phân loại chúng vào hai lớp khác Do SVM gọi thuật toán phân loại nhị phân, nhiên mở rộng cho phân lớp đa lớp Với ví dụ luyện tập thuộc hai thể loại cho trước, thuật toán huấn luyện SVM xây dựng mô hình SVM để phân loại ví dụ khác vào hai thể loại 1.2.1.1 Ý tưởng phương pháp Cho trước tập liệu huấn luyện gồm n ví dụ, ví dụ biểu diễn điểm không gian véc-tơ Phương pháp SVM tìm siêu phẳng định tốt để chia không gian thành hai lớp riêng biệt tương ứng lớp “+” lớp “-” Chất lượng siêu phẳng định khoảng cách điểm liệu gần lớp đến siêu phẳng Trường hợp phân chia ví dụ siêu phẳng, phương pháp SVM ánh xạ không gian ban đầu ví dụ sang không gian khác thường có số chiều cao hơn, sau tìm siêu phẳng tốt không gian 1.2.1.2 Cơ sở lý thuyết Cho tập huấn luyện T = {(x1,y1), (x2,y2), …, (xn,yn)} xi ϵ Rn véc-tơ đặc trưng yi ϵ {-1, +1} nhãn phân loại tương ứng xi Giả sử ta chọn tập đặc trưng D = {d1, d2, …, dn} véc-tơ đặc trưng xi = {xi1, xi2, …, xin} xij ϵ Rn Đối với toán phân lớp nhị phân, nhãn yi có hai giá trị -1 +1 Ta cần tìm siêu phẳng có lề lớn phân tách điểm yi = -1 yi = +1 Mỗi siêu phẳng biểu diễn dạng 𝑓 (𝑥) = 〈𝑤 𝑥〉 + 𝑏 = Một ví dụ xi có nhãn phân loại yi xác định sau: 𝑦𝑖 = 𝑠𝑖𝑔𝑛𝑓 (𝑥𝑖 ) = 𝑠𝑖𝑔𝑛(𝑤 ⃗⃗ ⃗⃗⃗ 𝑥𝑖 + 𝑏) = { +1, −1, 𝑤 ⃗⃗ ⃗⃗⃗ 𝑥𝑖 + 𝑏 ≥ 𝑤 ⃗⃗ ⃗⃗⃗ 𝑥𝑖 + 𝑏 < 1.2.2 SVM tuyến tính SVM phi tuyến 1.2.2.1 SVM tuyến tính 1.2.2.1.1 SVM tuyến tính với tập liệu phân tách Hai lề siêu phẳng 𝑓(𝑥) = 〈𝑤 𝑥〉 + 𝑏 = là: - Lề cộng: 〈𝑤 𝑥〉 + 𝑏 = +1 - Lề trừ: 〈𝑤 𝑥〉 + 𝑏 = −1 Độ rộng lề: 𝑚 = 𝑑+ + 𝑑− = 1 + = ‖𝑤‖ ‖𝑤‖ ‖𝑤‖ Thuật toán SVM nhằm mục đích tìm siêu phẳng tối ưu cho độ rộng lề lớn nhất, điều tương đương với việc giải toán tối ưu sau: Tìm w b cho m = ‖𝑤‖ đạt cực đại, với ràng buộc: { 〈𝑤 𝑥𝑖 〉 + 𝑏 ≥ 1, 〈𝑤 𝑥𝑖 〉 + 𝑏 ≤ −1, 𝑦𝑖 = +1 𝑦𝑖 = −1 ∀𝑖 = 1, 2, … , 𝑛 Với ví dụ huấn luyện xi toán tương đương với toán cực tiểu hóa có ràng buộc sau: min‖𝑤‖ 𝑤,𝑏 Với ràng buộc 𝑦𝑖 (〈𝑤 𝑥𝑖 〉 + 𝑏) ≥ ∀𝑖 = 1, 2, … , 𝑛 Bài toán khó giải, ta cần chuyển mục tiêu từ ‖𝑤‖ sang ‖𝑤‖2 ‖𝑤‖2 𝑤,𝑏 Với ràng buộc 𝑦𝑖 (〈𝑤 𝑥𝑖 〉 + 𝑏) ≥ 1, ∀𝑖 = 1, 2, … , 𝑛 Biểu thức Lagrange là: 𝑛 𝐿𝑃 = ||𝑤||2 − ∑ 𝛼𝑖 [𝑦𝑖 (〈𝑤 𝑥𝑖 〉 + 𝑏 − 1)] 𝑖=1 Với αi ≥ hệ số nhân Lagrange Biểu thức đối ngẫu Lagrange là: 𝑛 𝑛 𝑖=1 𝑖,𝑗=1 𝐿𝐷 = ∑ 𝛼𝑖 − ∑ 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 〈𝑥𝑖 𝑥𝑗 〉 Bài toán đối ngẫu Lagrange: 𝑛 𝑛 𝑖=1 𝑖,𝑗=1 𝑚𝑎𝑥 ∑ 𝛼𝑖 − ∑ 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 〈𝑥𝑖 𝑥𝑗 〉 𝛼 Với ràng buộc 𝑛 { ∑ 𝛼𝑖 𝑦𝑖 = 𝑖=1 𝛼𝑖 ≥ 0, 𝑖 = 1, … , 𝑛 Công thức siêu phẳng định ranh giới phân lớp: 𝑓 (𝑥) = 〈𝑤 𝑥〉 + 𝑏 = ∑ 𝛼𝑖 𝑦𝑖 〈𝑥𝑖 𝑥〉 + 𝑏 = 𝑥𝑖 𝑆𝑉 Đối với ví dụ cần phân lớp cần tính giá trị: 𝑠𝑖𝑔𝑛(〈𝑤 𝑥〉 + 𝑏) = 𝑠𝑖𝑔𝑛( ∑ 𝛼𝑖 𝑦𝑖 〈𝑥𝑖 𝑥〉 + 𝑏) 𝑥𝑖 𝑆𝑉 1.2.2.1.2 SVM tuyến tính với tập liệu có nhiễu Để làm việc với liệu nhiễu, ta cần nới lỏng điều kiện cách sử dụng biến Slack 𝜉𝑖 ≥ sau: 〈𝑤 𝑥𝑖 〉 + 𝑏 ≥ − 𝜉𝑖 yi = +1 〈𝑤 𝑥𝑖 〉 + 𝑏 ≤ −1 + 𝜉𝑖 yi = -1 Đối với ví dụ nhiễu (lỗi) 𝜉𝑖 ≥ ∑ 𝜉𝑖 giới hạn lỗi tập liệu huấn luyện 7 Ta cần phải tích hợp lỗi hàm mục tiêu tối ưu cách gán giá trị chi phí cho lỗi vào hàm mục tiêu Bài toán tối ưu nguyên gốc chuyển thành: 𝑛 ‖𝑤‖2 + 𝐶(∑ 𝜉𝑖 )𝑘 𝑤,𝑏,𝜉 𝑖=1 Với ràng buộc { 𝑦𝑖 (〈𝑤 𝑥𝑖 〉 + 𝑏) ≥ − 𝜉𝑖 , ∀𝑖 = 1, 2, … , 𝑛 𝜉𝑖 ≥ 0, ∀𝑖 = 1, 2, … , 𝑛 Trong đó, C > tham số xác định mức độ chi phí lỗi Giá trị C lớn mức độ chi phí lỗi cao Nó ảnh hưởng đến độ cực đại biên làm giảm số lượng biến phụ 𝜉𝑖 Giá trị k = thường sử dụng để có biểu thức đối ngẫu đơn giản Ta có biểu thức Lagrange là: 𝑛 𝑛 𝑛 𝑖=1 𝑖=1 𝑖=1 𝐿𝑃 = ‖𝑤‖2 + 𝐶 (∑ 𝜉𝑖 ) − ∑ 𝛼𝑖 [𝑦𝑖 (〈𝑤 𝑥𝑖 〉 + 𝑏) − + 𝜉𝑖 ] − ∑ 𝜇𝑖 𝜉𝑖 Với αi, µi ≥ hệ số nhân Lagrange Biểu thức đối ngẫu Lagrange là: 𝑛 𝑛 𝑖=1 𝑖,𝑗=1 L𝐷 = ∑ 𝛼𝑖 − ∑ 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 〈𝑥𝑖 𝑥𝑗 〉 Vậy toán đối ngẫu Lagrange là: 𝑛 𝑛 𝑖=1 𝑖,𝑗=1 max ∑ 𝛼𝑖 − ∑ 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 〈𝑥𝑖 𝑥𝑗 〉 𝛼 Với ràng buộc 𝑛 ∑ 𝛼𝑖 𝑦𝑖 = { 𝑖=1 ≤ 𝛼𝑖 ≤ 𝐶, 𝑖 = 1, … , 𝑛 Siêu phẳng phân tách liệu: 𝑛 𝑓 (𝑥) = 〈𝑤 𝑥〉 + 𝑏 = ∑ 𝛼𝑖 𝑦𝑖 〈𝑥𝑖 𝑥〉 + 𝑏 = 𝑖=1 Để phân lớp ví dụ ta cần tính sign(〈𝑤 𝑥〉 + 𝑏) với trường hợp tập liệu huấn luyện phân tách 8 1.2.2.2 SVM phi tuyến Ngoài trường hợp tập liệu phân tách tuyến tính được, ta gặp tập liệu huấn luyện có ranh giới định không tuyến tính nên khó giải Phương pháp đưa ta ánh xạ véc-tơ liệu x từ không gian n chiều vào không gian m chiều (m > n), gọi không gian đặc trưng (feature space) Không gian đặc trưng phải đảm bảo cho liệu huấn luyện sau ánh xạ trở nên tuyến tính phân tách liệu lỗi không gian ban đầu Sau trình chuyển đổi không gian biểu diễn, toán tối ưu trở thành: 𝑛 ‖𝑤‖2 + 𝐶 ∑ 𝜉𝑖 𝑤,𝑏,𝜉 𝑖=1 Với ràng buộc: { 𝑦𝑖 (〈𝑤 Φ(𝑥𝑖 )〉 + 𝑏) ≥ − 𝜉𝑖 , ∀𝑖 = 1, 2, … , 𝑛 𝜉𝑖 ≥ 0, ∀𝑖 = 1, 2, … , 𝑛 Bài toán đối ngẫu Lagrange tương ứng là: 𝑛 𝑛 𝑖=1 𝑖,𝑗=1 max ∑ 𝛼𝑖 − ∑ 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 〈Φ(𝑥𝑖 )Φ(𝑥𝑗 )〉 𝛼 Với ràng buộc: 𝑛 ∑ 𝛼𝑖 𝑦𝑖 = { 𝑖=1 ≤ 𝛼𝑖 ≤ 𝐶, 𝑖 = 1, … , 𝑛 Siêu phẳng phân tách liệu: 𝑛 𝑓 (Φ(𝑥)) = 〈𝑤 Φ(𝑥)〉 + 𝑏 = ∑ 𝛼𝑖 𝑦𝑖 〈Φ(𝑥𝑖 ) Φ(𝑥)〉 + 𝑏 = 𝑖=1 Việc ánh xạ từ không gian ban đầu sang không gian đặc trưng có nhiều chiều làm cho liệu trở thành phân chia tuyến tính Tuy nhiên, việc ánh xạ đòi hỏi cần phải tính toán đặc trưng Số lượng đặc trưng lớn chí vô Việc tính số lượng đặc trưng nhiều gặp vấn đề chi phí, thời gian không thực tế Để tránh việc tính toán đặc trưng không gian mới, SVM sử dụng hàm nhân (kernel function) 9 Do không cần xây dựng tường ánh xạ Φ sử dụng hàm nhân nên biểu thức siêu phẳng phân tách viết lại sau: 𝑛 𝑓(Φ(𝑥)) = ∑ 𝛼𝑖 𝑦𝑖 𝐾(𝑥𝑖 , 𝑥) + 𝑏 = 𝑖=1 1.2.3 SVM phân lớp đa lớp 1.2.3.1 Chiến lược One-against-Rest Giả sử ta cần phải phân loại tập liệu huấn luyện vào n lớp khác Chiến lược sử dụng n-1 phân lớp chuyển toán phân loại n lớp thành n toán phân lớp nhị phân Trong phân lớp nhị phân thứ i (i = 1, 2, …, n-1) xây dựng để phân tách ví dụ thuộc lớp i với tất lớp lại Hàm định phân lớp lớp thứ i có dạng: 𝑓𝑖 (𝑥) = 〈𝑤𝑖 𝑥〉 + 𝑏𝑖 = Khi đó, siêu phẳng phân chia tối ưu có dạng fi(x) = 0, véc-tơ hỗ trợ thuộc lớp i thỏa mãn fi(x) = Nếu véc-tơ liệu x thỏa mãn điều kiện fi(x) > lớp i x phân vào lớp thứ i 1.2.3.2 Chiến lược One-against-One Khác với chiến lước OAR, chiến lược OAO kết hợp đôi lớp với để phân loại, sau sử dụng phương pháp lựa chọn theo đa số để kết hợp phân loại với xác định kết phân loại cuối Chiến lược cần phải sử dụng n(n1)/2 phân loại trường hợp đầu có n nhãn Hàm định phân lớp lớp thứ i lớp thứ j là: 𝑓𝑖𝑗 (𝑥) = 〈𝑤𝑖𝑗 𝑥〉 + 𝑏𝑖𝑗 = 𝑓𝑖𝑗 (𝑥) = −𝑓𝑗𝑖 (𝑥) Đối với véc-tơ x ta tính: 𝑛 𝑓𝑖 (𝑥) = ∑ 𝑠𝑖𝑔𝑛(𝑓𝑖𝑗 (𝑥)) 𝑗≠𝑖,𝑗=1 Trong đó: 𝑠𝑖𝑔𝑛(𝑥) = { 1, 𝑥 > 0, 𝑥 ≤ 10 Ví dụ x phân vào lớp i khi: arg max 𝐷𝑖 (𝑥) 𝑖=1,…,𝑛 1.3 Bài toán tư vấn hướng nghiệp cho học sinh trung học phổ thông 1.3.1 Giới thiệu tư vấn hướng nghiệp 1.3.1.1 Khái niệm tư vấn hướng nghiệp Tư vấn hướng nghiệp hiểu hệ thống biện pháp tâm lí, giáo dục số biện pháp khác chuyên viên tư vấn hướng nghiệp, thầy/cô giáo làm nhiệm vụ tư vấn hướng nghiệp, … (gọi chung tư vấn viên) sử dụng nhằm phát hiện, đánh giá sở thích nghề nghiệp, khả thể chất, trí tuệ học sinh, sinh viên, thanh, thiếu niên, … (gọi chung người tư vấn); đối chiếu khả thực có em với yêu cầu bậc học cao yêu cầu nghề đặt người lao động, có cân nhắc đến nhu cầu nhân lực địa phương xã hội Từ đó, giúp cho người tư vấn tự tìm giải pháp bước giải vấn đề để chọn hướng học chọn nghề phù hợp 1.3.1.2 Mục đích tư vấn hướng nghiệp - Phát giúp em đánh giá sở thích nghề nghiệp, khả thân; hiểu rõ yêu cầu nghề nhu cầu lao động xã hội - Góp phần xác định đường tiếp tục phát triển nhân cách phù hợp nghề em tương lai 1.3.1.3 Nhiệm vụ tư vấn hướng nghiệp - Phát đánh giá sở thích, khả nghề nghiệp có học sinh - Khuyến khích, động viên học sinh tự giáo dục, rèn luyện phát triển khả thiếu - Hướng dẫn/hỗ trợ học sinh chuẩn bị sẵn sàng tâm lí hiểu biết thực tế nghề nghiệp mà em định chọn - Giúp học sinh tìm giải pháp bước giải vấn đề để chọn hướng học chọn nghề phù hợp 1.3.1.4 Các loại hình tư vấn hướng nghiệp 11 - Tư vấn hướng nghiệp theo nhóm: loại hình tư vấn hướng nghiệp mà đó, nhiều học sinh lớp khối lớp tư vấn hướng nghiệp thời gian, không gian định Tùy điều kiện, khả sở giáo dục người làm tư vấn hướng nghiệp, tổ chức tư vấn hướng nghiệp nhóm nhỏ nhóm lớn - Tư vấn hướng nghiệp cá nhân: loại hình tư vấn dành cho số em học sinh cần hỗ trợ đặc biệt Khi tư vấn hướng nghiệp cá nhân, tư vấn viên làm việc với học sinh có nhu cầu tư vấn đặc biệt Thông thường, tư vấn hướng nghiệp cá nhân đòi hỏi tư vấn viên phải có kiến thức, kinh nghiệm tâm lí tư vấn, có hiểu biết văn hóa, phong tục đối tượng tư vấn có khả sư phạm - Tư vấn tuyển sinh: loại hình tư vấn hướng nghiệp, học sinh cung cấp thông tin sở đào tạo sau tốt nghiệp trung học phổ thông, từ trường nghề, trung cấp nghề đến trường cao đẳng, đại học để em có thêm thông tin trước đăng ký tuyển sinh vào sở đào tạo 1.3.2 Cơ sở lý thuyết tư vấn hướng nghiệp 1.3.2.1 Mô hình lý thuyết nghề nghiệp Mô hình lý thuyết nghề nghiệp lập để giải thích vai trò quan trọng mối tương quan chặt chẽ sở thích, khả cá tính giá trị nghề nghiệp người với khả tuyển dụng họ sau tốt nghiệp chương trình đào tạo Mô hình đơn giản, hiểu rõ nội dung mô hình giúp người tư vấn tránh quan niệm nhầm lẫn hướng nghiệp xảy tương đối phổ biến nước ta Sở thích, khả năng, cá tính giá trị nghề nghiệp người đóng vai trò quan trọng việc chọn hướng học, chọn nghề phù hợp coi phần “rễ” nghề nghiệp Rễ có khỏe khỏe hoa, kết trái mong muốn người trồng Vì vậy, muốn lựa chọn nghề nghiệp phù hợp, trước hết phải hiểu rõ sở thích, khả năng, cá tính giá trị nghề nghiệp thân phải dựa vào hiểu biết để lựa chọn nghề nghiệp Nói cách khác phải chọn nghề theo “rễ” yếu tố có ảnh hưởng mang tính định tới kết trái nghề nghiệp Thực tế chứng minh, người tâm chọn nghề theo đuổi nghề phù hợp với “rễ” có nhiều khả thu “quả ngọt” hoạt động nghề nghiệp như: có hội việc làm cao, nhiều người tôn trọng, lương cao, công việc ổn định … 12 1.3.2.2 Lý thuyết mật mã Holland Lý thuyết mật mã Holland đưa số luận điểm có giá trị hướng nghiệp, có luận điểm là: - Nếu người chọn công việc phù hợp với tính cách họ họ dễ dàng phát triển thành công nghề nghiệp Nói cách khác, người làm việc môi trường tương tự tính cách hầu hết thành công hài lòng với công việc - Hầu xếp vào kiểu tính cách có môi trường hoạt động tương ứng với kiểu tính cách, là: Nhóm kĩ thuật (KT); Nhóm nghiên cứu (NC); Nhóm nghệ thuật (NT); Nhóm xã hội (XH); Nhóm quản lí (QL); Nhóm nghiệp vụ (NV) 1.3.3 Các kỹ liệu pháp tư vấn hướng nghiệp 1.3.3.1 Sáu kỹ tư vấn hướng nghiệp - Hành vi quan tâm: bao gồm kỹ thực hành vi quan tâm kỹ lắng nghe tư vấn viên dành cho người tư vấn, thể qua âm giọng nói, ngôn ngữ thể, vẻ mặt, cách dùng từ ngữ, lắng nghe chăm - Kỹ đặt câu hỏi: tư vấn viên cần phải có kỹ đặt câu hỏi để thu thập thông tin cần thiết từ người tư vấn, đồng thời hiểu rõ tâm tư, hoàn cảnh, mong muốn vấn đề thật người tư vấn Kỹ đặt câu hỏi bao gồm khả dùng loại câu hỏi thường dùng tư vấn hướng nghiệp câu hỏi mở, câu hỏi đóng, câu hỏi thăm dò, câu hỏi dẫn dắt/đoán trước - Kỹ phản hồi cảm xúc: kỹ phản hồi cảm xúc kỹ hỏi nhắc lại cảm xúc người tư vấn Cảm xúc kể tiêu cực tích cực, từ buồn, chán, bực bội, hờn giận đến vui vẻ, bình an, hy vọng - Kỹ đối mặt: kỹ đối mặt dùng trường hợp người tư vấn có nhiều mâu thuẫn với thân Những mâu thuẫn nguyên nhân rào cản phát triển nghề nghiệp họ - Kỹ tập trung: kỹ áp dụng trường hợp người tư vấn có nhiều vấn đề cần làm rõ giải trước đưa định chọn hướng học chọn ngành nghề 13 - Kỹ phản hồi ý tưởng: kỹ phản hồi ý tưởng kỹ hỏi nhắc lại ý tưởng, câu chuyện người tư vấn Kỹ phản hồi ý tưởng thường sử dụng với kỹ đặt câu hỏi 1.3.3.2 Hai liệu pháp tư vấn hướng nghiệp - Liệu pháp kể chuyện (tư vấn tường thuật): nhấn mạnh vào sử dụng loại câu hỏi mở để người tư vấn tin cậy tâm câu chuyện họ Liệu pháp giúp cho người tư vấn lắng nghe cảm xúc, nắm thật câu chuyện mà người tư vấn kể - Liệu pháp tập trung vào giải pháp: trọng đến việc giải khó khăn thời điểm tương lai, thay cho việc suy nghĩ hối tiếc khứ Liệu pháp giúp người tư vấn xây dựng mục tiêu bước xác định bước để đạt mục tiêu 1.3.4 Mô tả toán tư vấn hướng nghiệp cho học sinh THPT Bài toán tư vấn hướng nghiệp cho học sinh trung học phổ thông toán nhằm mục đích giúp cho học sinh tự nhận khả thân, từ xác định ngành nghề phù hợp với Dó đó, trình giải toán tư vấn hướng nghiệp xem trình hình thành phát triển lực tự hướng nghiệp cho học sinh Để làm điều này, người làm công tác tư vấn phải nắm vững sở lý thuyết vận dụng linh hoạt kỹ liệu pháp tư vấn hướng nghiệp đạt hiệu việc giúp em học sinh xác định ngành nghề phù hợp với thân Nhằm mục đích hỗ trợ tư vấn viên việc giải toán tư vấn hướng nghiệp nâng cao hiệu việc tư vấn hướng nghiệp cho học sinh trung học phổ thông, luận văn mong muốn xây dựng mô hình phân loại đối tượng học sinh dự đoán xu hướng nghề nghiệp em dựa theo phương pháp học máy, qua giúp em có lựa chọn ngành nghề phù hợp với thân cách chủ động có tính khoa học Trong khuôn khổ luận văn, trình phân loại giới hạn toán giúp em học sinh lựa chọn ngành học, ngành thi vào bậc học đại học phù hợp với thân 14 CHƯƠNG 2: XÂY DỰNG MÔ HÌNH TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT DỰA TRÊN PHƯƠNG PHÁP SUPPORT VECTOR MACHINE 2.1 Đặt vấn đề toán Với mục đích nhằm nâng cao hiệu công tác tư vấn hướng nghiệp trường trung học phổ thông, luận văn mong muốn xây dựng mô hình toán tư vấn hướng nghiệp dựa phương pháp nghiên cứu cụ thể, có tính khoa học, qua hỗ trợ tư vấn viên công tác tư vấn hướng nghiệp cho em học sinh giúp em đưa lựa chọn ngành nghề cách phù hợp với thân Cụ thể đây, luận văn xây dựng mô hình toán tư vấn hướng nghiệp cho học sinh trung học phổ thông dựa phương pháp học máy Support Vector Machine (SVM) Vây, toán đặt là: cho trước mẫu liệu thông tin học sinh, sử dụng phương pháp SVM để xác định mẫu thuộc nhóm ngành nghề phù hợp có nào? 2.2 Mô hình toán Với sở liệu thông tin cá nhân, kết học tập năm lớp 12, liệu hồ sơ tư vấn học sinh liệu trúng tuyển vào nhóm ngành thí sinh kỳ thi trung học phổ thông quốc gia, luận văn mong muốn xây dựng mô hình phân lớp nhóm ngành nghề dựa phương pháp học máy SVM để giúp em học sinh xác định nhóm ngành nghề phù hợp với em từ gợi ý, định hướng cho em việc lựa chọn ngành học, ngành thi trình đăng ký nguyện vọng xét tuyển vào đại học Hình 2.1 Mô hình phân lớp nhóm ngành nghề 2.3 Quy trình phân lớp Đối với toán phân lớp nhóm ngành nghề dựa phương pháp SVM, quy trình phân lớp thực theo bước sau: 15 - Bước 1: Thu thập liệu thông tin học sinh - Bước 2: Tiền xử lý liệu - Bước 3: Phân chia liệu thành tập liệu HL KC - Bước 4: Xây dựng mô hình phân lớp theo phương pháp SVM tập HL - Bước 5: Sử dụng mô hình phân lớp có để phân loại với tập liệu KC - Bước 6: Phân tích đánh giá kết mô hình phân lớp Hình 2.2 Quy trình phân lớp nhóm ngành nghề CHƯƠNG 3: THỰC NGHIỆM VÀ KẾT QUẢ 3.1 Công cụ thực nghiệm Công cụ thực nghiệm: phần mềm Weka version 3.8.1 Chương trình thực với SMO Classifier thư viện MultiClassClassifier Weka Máy tính tiến hành thực nghiệm: - OS: Microsoft Windows 10 64bits - CPU: Intel Core i3-2350M, 2.3GHz - RAM: 4GB 3.2 Chuẩn bị liệu Dữ liệu chuẩn bị cho việc tiến hành thực nghiệm trích xuất từ học bạ, hồ sơ tư vấn nguyện vọng đăng ký xét tuyển đại học năm 2016 em học sinh thuộc 17 trường trung học phổ thông địa bàn tỉnh Ninh Bình Qua trình tiền xử lý tâp liệu thu bao gồm 3603 mẫu đối tượng học sinh thuộc 08 nhóm ngành nghề khác 16 Số lượng mẫu nhóm ngành nghề tập liệu (1800 mẫu) STT Tên nhóm ngành nghề SL Mẫu Mẫu mẫu HL KC Nhóm ngành Khoa học tự nhiên – Kỹ thuật 294 205 89 Nhóm ngành Công nghệ thông tin 242 169 73 Nhóm ngành Tài – Kế toán 316 221 95 Nhóm ngành Quản trị kinh doanh 241 168 73 Nhóm ngành Công nghệ sinh học – Môi trường 218 152 66 Nhóm ngành Khoa học xã hội – Nhân văn 227 158 69 Nhóm ngành Ngoại giao – Ngoại ngữ 142 99 43 Nhóm ngành Du lịch – Nhà hàng – Khách sạn 120 84 36 Số lượng mẫu nhóm ngành nghề tập liệu (3603 mẫu) STT Tên nhóm ngành nghề SL Mẫu Mẫu mẫu HL KC Nhóm ngành Khoa học tự nhiên – Kỹ thuật 589 414 175 Nhóm ngành Công nghệ thông tin 485 330 155 Nhóm ngành Tài – Kế toán 632 437 195 Nhóm ngành Quản trị kinh doanh 482 351 131 Nhóm ngành Công nghệ sinh học – Môi trường 436 309 127 Nhóm ngành Khoa học xã hội – Nhân văn 455 326 129 Nhóm ngành Ngoại giao – Ngoại ngữ 284 191 93 Nhóm ngành Du lịch – Nhà hàng – Khách sạn 240 164 76 3.3 Thực thực nghiệm Quy trình thực thực nghiệm tiến hành theo bước sau: 17 - Bước 1: Khởi động Weka - Bước 2: Tải liệu tập huấn luyện - Bước 3: Chọn tab Classify - Bước 4: Tải liệu tập kiểm chứng - Bước 5: Chọn MultiClassClassifier, thông số classifier chọn SMO method chọn 1-against-all (chiến lược OAR) 1-against-1 (chiến lược OAO) - Bước 6: Chọn Start - Bước 7: Lưu lại thời gian xây dựng mô hình, bảng phân tích độ xác bảng kết phân lớp nhóm ngành nghề 3.4 Kết thực nghiệm 3.4.1 Kết thực nghiệm với tập liệu (1800 mẫu) So sánh hai chiến lược OAO OAR với tập liệu Chiến lược Độ xác phân lớp (%) Thời gian xây dựng mô hình (giây) OAO 89,8 4,2 OAR 74,1 4,9 3.4.2 Kết thực nghiệm với tập liệu (3603 mẫu) So sánh hai chiến lược OAO OAR với tập liệu Chiến lược Độ xác phân lớp (%) Thời gian xây dựng mô hình (giây) OAO 91,7 6,1 OAR 75,4 18,6 3.5 Phân tích đánh giá kết - Tỷ lệ dự đoán theo chiến lược OAO cao nhiều so với chiến lược OAR (89,8% so với 74,1% tập liệu 1800 mẫu 91,7% so với 75,4% tập liệu 3603 mẫu) - Với tập liệu có số mẫu lớn độ xác cao hai chiến lược OAO OAR (tăng 1,9% chiến lược OAO 1,3% chiến lược OAR) - Thời gian xây dựng mô hình hai chiến lược khác biệt đáng kể thực tập liệu 1800 mẫu (chiến lược OAO 4,2 giây OAR 4,9 giây) Tuy 18 nhiên, thực tập liệu 3603 mẫu (số mẫu tăng gấp đôi) thời gian xây dựng mô hình chiến lược OAR tăng lên nhiều (18,6 giây) chiến lược OAO thời gian xây dựng mô hình tăng không đáng kể (6,1 giây) Qua so sánh độ xác thời gian xây dựng mô hình hai chiến lược, thấy, chiến lược OAO cho tỷ lệ dự đoán cao thời gian xây dựng mô hình thấp so với chiến lược OAR Do kết luận, toán phân lớp ngành nghề, chiến lược OAO phù hợp so với chiến lược OAR KẾT LUẬN Những đóng góp luận văn Qua nghiên cứu thực nghiệm, luận văn đạt số kết sau: - Nghiên cứu tổng quan học máy, phương pháp học máy ứng dụng thực tiễn học máy - Tìm hiểu vấn đề tư vấn hướng nghiệp, loại hình tư vấn hướng nghiệp yếu tố định mức độ phù hợp việc lựa chọn ngành nghề - Nghiên cứu thuật toán SVM ứng dụng vào toán phân lớp nhóm ngành nghề nhằm hỗ trợ việc tư vấn hướng nghiệp cho học sinh trung học phổ thông - Tiến hành thu thập liệu đối tượng học sinh trung học phổ thông, thực xây dựng mô hình phân lớp thực thực nghiệm, đánh giá kết Bước đầu cho thấy ứng dụng SVM vào phân lớp nhóm ngành nghề đạt hiệu khả quan Hướng phát triển luận văn Tuy đạt số kết khả quan luận văn hạn chế định điều kiện kiến thức khoa học học viên thời gian nghiên cứu Dưới số hướng nghiên cứu luận văn học viên đặt ra: - Nghiên cứu sâu vấn đề tư vấn hướng nghiệp để lựa chọn thêm đặc trưng mang tính định cho việc lựa chọn ngành nghề - Tiếp tục nghiên cứu thêm thuật toán SVM số thuật toán học máy khác để tăng độ xác việc phân lớp - Mở rộng nhóm ngành nghề đa dạng hóa đối tượng cần phân lớp - Phát triển toán phân nhóm ngành nghề thành ứng dụng để hỗ trợ công tác tư vấn hướng nghiệp  ... máy SVM - Áp dụng học máy thuật toán học máy SVM cho toán tư vấn hướng nghiệp cho học sinh trung học phổ thông - Cài đặt thử nghiệm thuật toán học máy SVM cho toán tư vấn hướng nghiệp cho học sinh. .. hướng nghiệp cho học sinh trung học phổ thông” Mục tiêu cụ thể trình bày luận văn sau: - Phát biểu toán tư vấn hướng nghiệp cho học sinh trung học phổ thông - Nghiên cứu học máy thuật toán học máy. .. để đạt mục tiêu 1.3.4 Mô tả toán tư vấn hướng nghiệp cho học sinh THPT Bài toán tư vấn hướng nghiệp cho học sinh trung học phổ thông toán nhằm mục đích giúp cho học sinh tự nhận khả thân, từ xác