Ứng dụng reinforcement learning cho bài toán xếp lịch thi luận văn thạc sĩ công nghệ thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG o0o ỨNG DỤNG REINFORCEMENT LEARNING CHO BÀI TOÁN XẾP LỊCH THI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN ĐỒNG NAI - NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG o0o ỨNG DỤNG REINFORCEMENT LEARNING CHO BÀI TỐN XẾP LỊCH THI Chun ngành: Cơng nghệ thơng tin Mã số chuyên ngành: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai - năm 2022 i LỜI CAM ĐOAN Tơi xin cam đoan nội dung trình bày luận văn cơng trình nghiên cứu tôi, hướng dẫn Thầy PGS.TS , trường Đại học Lạc Hồng Trong luận văn này, kiến thức từ cơng trình có liên quan kế thừa lại, có trích dẫn đầy đủ Mã nguồn cài đặt hệ thống, thực nghiệm, kết quả, số liệu hình ảnh sử dụng luận văn trung thực Người thực ii LỜI CẢM ƠN Trong trình thực Luận văn tốt nghiệp cao học, xin chân thành gửi lời cảm ơn sâu sắc đến:  Thầy PGS.TS tận tình hướng dẫn, định hướng dành thời gian quý báu để góp ý cho tơi hồn thành luận văn  Ban giám hiệu, Khoa Sau Đại Học trường Đại học Lạc Hồng, thầy cô Khoa Công nghệ Thông tin giảng dạy, truyền đạt kiến thức kinh nghiệm quý báu, bảo tạo điều kiện cho hoàn thành luận văn Xin chân thành cảm ơn iii TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA SAU ĐẠI HỌC ¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯ TÓM TẮT LUẬN VĂN (Dùng cho luận văn người hướng dẫn) Đề tài: Ứng dụng Reinforcement learning cho tốn xếp lịch thi Ngành: Cơng nghệ thơng tin Mã số: Học viên: Người hướng dẫn: PGS.TS NỘI DUNG TÓM TẮT Nội dung giao kết mong đợi người hướng dẫn - Nghiên cứu, phân tích cơng trình nghiên cứu liên quan đến cơng việc xếp lịch phương pháp sử dụng học tăng cường - Thu thập liệu liên quan nằm phạm vi nghiên cứu luận văn như: Danh sách ca thi, phòng thi, lịch thi - Nghiên cứu kiến trúc phương pháp Hyper-Heuristic cho toán xếp lịch thi, cách thức hoạt động khung, thư viện đưa vào áp dụng cho toán “Ứng dụng Reinforcement learning cho toán xếp lịch thi” - Phân tích kết đạt - Thực nghiệm đánh giá chương trình - Viết báo cáo luận văn Cách thức giải vấn đề Giải pháp đưa để giải vấn đề toán “Ứng dụng Reinforcement learning cho toán xếp lịch thi” thực theo bước sau: - Bước 1: Tạo liệu bao gồm thông tin ca thi, số sinh viên khoảng thời gian (timeslot) bao gồm ca thi phòng tương ứng - Bước 2: Chia liệu thành hai file:  File thứ chứa thơng tin ca thi số sinh viên đăng ký vào ca thi iv  File thứ hai gồm dịng chứa thơng tin sinh viên thứ i đăng ký vào ca thi tương ứng - Bước 3: Chạy thuật toán SWO để khởi tạo không gian vấn đề - Bước 4: Huấn luyện mơ hình RL-SA-HH cho việc xây dựng lịch thi - Bước 5: Sau huấn luyện mơ hình, so sánh đánh giá với phương pháp liên quan - Bước 6: Sử dụng mơ hình cho liệu lấy từ Trường Đại học Công nghệ Đồng Nai Kết hợp bước triển khai xây dựng thành phần mềm xếp lịch thi Luận văn sử dụng IDE Visual Studio Code để viết chương trình ngơn ngữ Python Đồng Nai, Ngày … tháng … năm 2022 NGƯỜI HƯỚNG DẪN HỌC VIÊN v MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii MỤC LỤC v DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ x Chương Giới Thiệu Đề Tài 1.1 Tổng quan đề tài 1.2 Ý nghĩa khoa học thực tiễn đề tài 1.2.1 Tính khoa học 1.2.2 Tính ứng dụng 1.3 Mục tiêu luận văn 1.4 Phát biểu toán 1.5 Phạm vi toán 1.6 Mô tả chung hệ thống 1.7 Đóng góp luận văn 1.8 Cấu trúc luận văn Chương Cơ Sở Lý Thuyết Và Các Cơng Trình Nghiên Cứu Liên Quan 2.1 Giới thiệu 2.2 Một số sở lý thuyết 2.2.1 Heuristic 2.2.2 Meta-Heuristic 2.2.3 Hyper-Heuristic 2.2.4 Bài toán xếp lịch thi (Exam Timetabling Problem) 11 vi 2.2.5 2.3 Reinforcement Learning 16 Các cơng trình nghiên cứu liên quan 18 Chương Mơ hình đề xuất 21 3.1 Giới thiệu 21 3.2 Reinforcement learning 21 3.3 Thuật toán Squeaky Wheel Construction – SWO 22 3.3.1 3.4 Tối ưu hóa Hyper-Heuristic 26 3.4.1 3.5 Các phương pháp sử dụng trình lựa chọn Heuristic 27 Phương pháp cập nhật tiện ích 32 3.5.1 3.6 Giải thuật 25 Các phương pháp cập nhật 33 Thuật toán luyện kim chấp nhận di chuyển 37 3.6.1 Thuật toán luyện kim Hyper-Heuristic 39 3.6.2 Q trình mơ luyện kim giải thuật 40 3.7 Thiết kế Heuristic cấp thấp 41 3.7.1 Bước di chuyển nhiễu loạn nhỏ 42 3.7.2 Bước di chuyển nhiễu loạn lớn 43 3.7.3 Bước di chuyển nhiễu loạn lớn 45 3.7.4 Bước di chuyển trực tiếp 45 3.8 Hàm đánh giá 46 Chương Thực Nghiệm Và Đánh Giá 48 4.1 Giới thiệu 48 4.2 Các liệu để thực nghiệm 48 4.2.1 ITC2007 dataset 48 4.2.2 Dữ liệu thu thập trường Đại học Công nghệ Đồng Nai 51 vii 4.3 Kết đánh giá 53 4.3.1 So sánh phương pháp RL-SA-HH với phương pháp khác 53 4.3.2 So sánh phương pháp RL-SA-HH với phương pháp HH khác 54 4.3.3 Áp dụng cho trường Đại học Công nghệ Đồng Nai – Dong Nai Technology University (DNTU) 56 Chương 5.1 Kết Luận 60 Kết luận 60 TÀI LIỆU THAM KHẢO 61 viii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT STT Ký hiệu viết tắt Nội dung viết tắt CSO Clipped Surrogate Objective CVRP Capacitated Vehicle Routing Problem DQN Deep Q-Network DRL Deep Reinforcement Learning HH Hyper-Heuristic LHH Low level Hyper-Heuristic MH Meta-Heuristic ML Machine Learning RL Reinforcement Learning 10 SA Simulated Annealing 49 Về mặt hình thức, tất ràng buộc cứng thỏa mãn, mục tiêu tìm cách giảm thiểu tổng số hình phạt vi phạm ràng buộc mềm xác định công thức (6) P   sS (w RC2s R  w DC2s D  w PS CsPS )  w NMD C NMD  w FL C FL  C P  C R Đối với sinh viên s, tổng số hình phạt tổng của: C 2s R : hình phạt sinh viên thi kỳ thi khác vào ca thi liên tiếp ngày C 2s D : hình phạt sinh viên thi kỳ thi khác vào ca thi không liên tiếp ngày C sPS : hình phạt sinh viên thi nhiều kỳ thi khoảng thời gian quy định C sNMD : hình phạt đưa có phịng ca thi phân bổ cho kỳ thi với thời lượng khác C FL : hình phạt phân bổ thi coi lớn vào cuối ca thi C P : hình phạt liên quan đến ca thi xếp lịch C R : hình phạt liên quan đến phịng thi xếp lịch w trọng số hình phạt tương ứng Ví dụ: w R trọng số hình 2R phạt cho C s 50 Bảng 4.1 Chi tiết liệu ITC2007 Tên vấn đề Số lượn g ca thi Số lượng thi Số lượng sinh viên Số lượng phòng thi Mật độ Số lượng Số lượng xung ràng buộc ràng đột cứng liên buộc quan đến cứng liên ca thi quan đến phòng thi EXAM1 54 607 7891 0.05 12 10 EXAM2 40 870 12743 49 0.01 12 EXAM3 36 934 16439 48 0.03 170 15 EXAM4 21 273 5045 0.15 40 EXAM5 42 1018 9253 0.01 27 EXAM6 16 242 7909 0.06 23 EXAM7 80 1096 14676 15 0.02 28 EXAM8 80 598 7718 0.05 20 EXAM9 25 169 655 0.08 10 EXAM1 32 214 1577 48 0.05 58 EXAM1 26 934 16439 40 0.03 170 15 EXAM1 12 78 1653 0.18 Chi tiết cơng thức tốn học tốn xem thêm [16] Trong đặc điểm liệu ITC 2007 trình bày Bảng 2.2 Ngồi ra, trọng số liên quan cho tập liệu đưa Bảng 2.3 51 Bảng 4.2 Chi tiết liệu ITC2007 – Trọng số Vấn đề w2R w2D w PS w NMD w FL NLP LE EXAM1 10 100 30 EXAM2 15 25 250 30 EXAM3 10 15 20 200 20 10 EXAM4 10 50 10 EXAM5 15 40 250 30 10 EXAM6 20 20 25 25 30 15 EXAM7 25 10 15 250 30 10 EXAM8 150 15 25 250 30 EXAM9 10 25 25 100 10 EXAM10 50 20 25 100 10 EXAM11 50 10 35 400 20 10 EXAM12 10 35 5 25 10 Ghi chú: LE số lượng thi lớn xem xét NLP số ca thi cuối xem xét 4.2.2 Dữ liệu thu thập trường Đại học Công nghệ Đồng Nai Dữ liệu học viên thu thập trường Đại học Cơng nghệ Đồng Nai q trình làm việc Trong liệu này, vấn đề xếp thời gian thi đơn giản hóa Hạn chế khó tính đến xung đột thi, hai thi có chung sinh viên khơng xảy ca thi Nói cách khác, khơng có sinh viên dự thi nhiều thi lúc Do đó, tập liệu này, mục tiêu việc xếp lịch thi để giảm thiểu tổng chi phí sinh viên Dữ liệu thu thập từ số ca thi cần xếp lịch Khoa Công nghệ Trường Đại học Cơng nghệ Đồng Nai Tổng cộng có 13 phịng thi, 611 sinh viên 140 ca thi (Ca 1: 7h30; Ca 2: 9h45; Ca 3: 13h00; Ca 4: 15h15) Cụ thể hơn, ca thi có thời gian thi 52 90 phút thời gian chuyển ca 45 phút Mỗi phịng thi có số chỗ ngồi tối đa 30 học viên Hình 4.1 mơ tả ca thi danh sách số phòng thi Hình 4.1 Mơ tả khoảng thời gian gồm ca thi phịng thi Hình 4.2 Mơ tả mơn thi, ngày thi ca thi Do phần mềm Trường hỗ trợ xếp lịch theo mơn, học viên chia danh sách môn ngày thi thành ca thi đánh số thứ tự từ đến 140 Ví dụ: Ca thi 1: Mơn Đồ án kiến trúc – Thi từ 7h30 ngày 13/07/2022 Ca thi 2: Môn Đồ án kiến trúc – Thi từ 9h45 ngày 13/07/2022… 53 4.3 Kết đánh giá 4.3.1 So sánh phương pháp RL-SA-HH với phương pháp khác Thực nghiệm thiết kế thử nghiệm để xác minh giả thuyết mơ hình RL-SA-HH đề xuất có tính cạnh tranh so với mơ hình trước Kết tốt tạo cách sử dụng mơ hình RL-SA-HH đề xuất so sánh với kết từ năm cách tiếp cận khác trình bày Bảng 4.4 Các phương pháp so sánh với thời gian thực thi (mili giây) Thời gian thực thi nhanh mơ hình tối ưu Bảng 4.3 So sánh mơ hình RL-SA-HH với phương pháp khác (đơn vị: mili giây) RL-SA-HH Các phương pháp khác BEST Adaptive liner combination [17] Dataset DSO [15] Graph colouring [18] Exam 6059 5186 5231 6234 Exam 863 405 433 395 Exam 14027 9399 9265 13302 Exam 20031 19031 17787 17940 Exam 3637 3117 3083 3900 Exam 26910 26055 26060 27000 Exam 6572 3997 10712 6214 Exam 10485 7303 12713 8552 Exam 1267 1048 1111 N/A Exam 10 14357 14789 14825 N/A Exam 11 34054 30311 28891 N/A Exam 12 5509 5369 6181 N/A 54 Kết thu cho thấy phương pháp đề xuất có tính cạnh tranh so với phương pháp nghiên cứu liên quan Trên thực tế đạt kết tốt vấn đề Exam 10 gần tiệm cận với kết tốt số phương pháp khác Do đó, lập luận cách tiếp cận thực luận văn đầy hứa hẹn đáng nghiên cứu thử nghiệm thêm Mặc dù phương pháp đề xuất không tạo kết tốt cho vấn đề khác, cần lưu ý phương pháp đề xuất giải tất vấn đề liệu ITC2007 bất chấp phức tạp liệu Ngoài ra, cách tiếp cận đề xuất có khả cung cấp giải pháp tương đối tốt so với kỹ thuật khác Kết thực nghiệm cho thấy phương pháp đề xuất hoạt động tốt tập liệu có kích thước nhỏ (chẳng hạn vấn đề Exam 10, Exam Exam 9) so với tập liệu có kích thước lớn (chẳng hạn vấn đề Exam Exam 3) Điều tập liệu có kích thước nhỏ có thời gian học lâu so với tập liệu có kích thước lớn 4.3.2 So sánh phương pháp RL-SA-HH với phương pháp HH khác Sự so sánh để xác minh RL-SA-HH có tính cạnh tranh liên quan đến việc giải vấn đề xếp lịch thi so với phương pháp HH khác Bảng 4.5 mô tả chi tiết việc so sánh mơ hình đề xuất phương pháp HH khác đánh giá toán xếp lịch, cụ thể liệu ITC2007 Các phương pháp so sánh với thời gian thực thi (mili giây) Thời gian thực thi nhanh mơ hình tối ưu 55 Bảng 4.4 So sánh mơ hình RL-SA-HH với phương pháp HH khác (đơn vị: mili giây) Các phương pháp khác RL-SA-HH Dataset BEST HSHH [19] GCCHH [18] AIH [20] Exam 6059 11823 6234 6235 Exam 863 976 395 2974 Exam 14027 26670 13302 15832 Exam 20031 \ 17940 35106 Exam 3637 6772 3900 4873 Exam 26910 30980 27000 31756 Exam 6572 11762 6214 11562 Exam 10485 16286 8552 20994 Exam 1267 - - - Exam 10 14357 - - - Exam 11 34054 - - - Exam 12 5509 - - - Việc so sánh để xác định xem mơ hình đề xuất có cải thiện việc xếp lịch thi so với cách sử dụng HH hay không Kết thể Bảng 4.5 cho thấy cách tiếp cận đạt kết tốt cho ba (Exam 1, Exam 5, Exam 6) số vấn đề so với phương pháp HH khác Đối với vấn đề lại, kết tương đối tốt (trên mức trung bình), cho thấy mơ hình luận văn đóng góp tích cực vào việc cải thiện nghiên cứu lĩnh vực HH Do đó, lập luận RL-SA-HH tốt việc giải vấn đề xếp lịch thi so với phương pháp HH khác sử dụng cho mục đích nghiên cứu trước đây, RL-SAHH cung cấp kết tốt so sánh với phương pháp khác liệu ITC2007 giải tất 12 vấn đề 56 4.3.3 Áp dụng cho trường Đại học Công nghệ Đồng Nai – Dong Nai Technology University (DNTU) Học viên tiến hành thử nghiệm xếp lịch thi sau: a) Ca thi i: Số sinh viên b) Sinh viên i: Các ca thi đăng ký Hình 4.3 Mô tả phần liệu thu thập Thu thập liệu: Dữ liệu thu thập từ số ca thi cần xếp lịch học kỳ năm học 2021-2022 Khoa Công nghệ Trường Đại học Cơng nghệ Đồng Nai Tổng cộng có 13 phịng thi, 611 sinh viên 140 ca thi Mục tiêu việc xếp lịch xếp thành khoảng thời gian (timeslots) bao gồm cặp (ca thi + phòng thi) Xây dựng liệu: Sau thu thập liệu, học viên chia thành file liệu Học viên tiến hành thử nghiệm xếp lịch thi sau: a) Ca thi i: Số sinh viên b) Sinh viên i: Các ca thi đăng ký Hình 4.3:  Phần a lưu trữ theo dạng: Mỗi dịng thơng tin ca thi số lượng sinh viên cần đăng ký cho ca thi 57  Phần b lưu trữ theo dạng: Dòng thứ i lưu trữ ca thi mà thí sinh thứ i đăng ký thi Kiểm thử mơ hình: Học viên tiến hành kiểm thử mơ hình đề xuất liệu vừa thu thập Kết mơ tả Hình 4.4 Thơng số mảng hai chiều chứa thông tin cặp ca thi + phòng thi (Chỉ số mảng số ca thi giá trị phần tử mảng số phịng thi) Thơng số thứ hai phần thưởng nhận trình chạy Thơng số thứ ba kết xếp lịch có thành cơng hay chưa Thơng số cuối số đụng độ xếp lịch Hình 4.4 Kết chạy Sau mơ hình hoạt động đưa kết xếp lịch, học viên tiến hành xếp lịch hệ thống Trường Đại học Công nghệ Đồng Nai Như mô tả phần trước, ca thi tập hợp bao gồm môn thi, ngày thi thi liệt kê trước (Hình 4.5) Kết chạy Hình 4.4 mô tả sau: 58 Bảng 4.5 Mô tả lịch thi sau xếp Phòng 10 11 12 Ca thi x x x x x x x x x … 137 x 138 x 139 x 140 x Hình 4.5 Ca thi chọn bao gồm ngày thi thi môn Lý thuyết điều khiển tự động Như vậy, học viên xếp lịch dựa bảng Đầu tiên, sau chọn ca thi bao gồm môn thi, ngày thi thi, học viên tiến hành xếp lịch 59 vào phòng số (Ví dụ phịng F101 – Hình 4.6) tiến hành công bố lịch thi cho sinh viên Hình 4.6 Chọn phịng thi theo kết chạy mơ hình Kết Hình 4.4 cho thấy, lần lặp thứ nhất, mơ hình xếp lịch thất bại có nhiều đụng độ (96 đụng độ) Trong lần lặp thứ hai, mơ hình xếp lịch thành công thời gian xếp lịch nhanh (chỉ khoảng nửa giây) Lý vì: thứ nhất, liệu cịn đơn giản, chưa có q nhiều ràng buộc Thứ hai, mơ hình Học tăng cường sử dụng thuật toán bản, chưa áp dụng Học tăng cường sâu 60 Chương Kết Luận 5.1 Kết luận Trong luận văn này, học viên giới thiệu phân tích sâu toán xếp lịch Để làm điều này, học viên tìm hiểu cơng trình nghiên cứu liên quan đến tốn xếp lịch, sau so sánh để nhìn mặt cịn hạn chế Từ đó, học viên xây dựng mơ hình kết hợp phương pháp Hyper-Heuristic Học tăng cường (Reinforcement Learning) Sau xây dựng mơ hình, học viên đánh giá áp dụng mơ hình vào thực tế xếp lịch cho trường Đại học Công nghệ Đồng Nai Bên cạnh thuận lợi, hạn chế mặt thời gian kiến thức, luận văn hạn chế mặt liệu Dễ thấy liệu dùng để thực nghiệm cho trường Đại học Cơng nghệ Đồng Nai cịn đơn giản Một hạn chế mơ hình Học tăng cường cịn mức độ bản, chưa áp dụng mơ hình Học tăng cường sâu (Deep Reinforcement Learning) Cuối cùng, phạm vi luận văn bị giới hạn toán xếp lịch mà chưa mở rộng cho toán tối ưu Trong tương lai, luận văn tiếp tục hoàn thiện hạn chế nói Cụ thể, luận văn tăng cường lượng liệu chuẩn hóa liệu Thứ hai, học viên cải thiện mơ hình Học tăng cường thay mơ hình Học tăng cường sâu Cuối cùng, học viên mở rộng nghiên cứu sang tốn tối ưu hóa khác TÀI LIỆU THAM KHẢO [1] Tan, Joo Siang, et al "A survey of the state-of-the-art of optimisation methodologies in school timetabling problems." Expert Systems with Applications 165 (2021): 113943 [2] Agrawal, Prachi, et al "Metaheuristic algorithms on feature selection: A survey of one decade of research (2009-2019)." IEEE Access (2021): 2676626791 [3] Amaya, Ivan, et al "Hyper-heuristics reversed: Learning to combine solvers by evolving instances." 2019 IEEE Congress on Evolutionary Computation (CEC) IEEE, 2019 [4] Cowling, Peter, Graham Kendall, and Eric Soubeiga "A hyperheuristic approach to scheduling a sales summit." International conference on the practice and theory of automated timetabling Springer, Berlin, Heidelberg, 2000 [5] Burke, Edmund K., et al "A classification of hyper-heuristic approaches." Handbook of metaheuristics Springer, Boston, MA, 2010 449-468 [6] Joslin, David E., and David P Clements "Squeaky wheel optimization." Journal of Artificial Intelligence Research 10 (1999): 353-373 [7] Drake, John H., et al "Recent advances in selection hyper-heuristics." European Journal of Operational Research 285.2 (2020): 405-428 [8] Sánchez, Melissa, et al "A systematic review of hyper-heuristics on combinatorial optimization problems." IEEE Access (2020): 128068128095 [9] Chen, Mei Ching, et al "A survey of university course timetabling problem: perspectives, trends and opportunities." IEEE Access (2021): 106515106529 [10] Burke, Edmund K., et al "Examination timetabling: a new formulation." Proceedings of the 6th International Conference on the Practice and Theory of Automated Timetabling, Brno 2006 [11] Burke, Edmund K., and James P Newall "Solving examination timetabling problems through adaption of heuristic orderings." Annals of operations Research 129.1 (2004): 107-134 [12] Özcan, Ender, et al "A reinforcement learning: great-deluge hyper-heuristic for examination timetabling." Modeling, analysis, and applications in metaheuristic computing: advancements and trends IGI Global, 2012 34-55 [13] Asta, Shahriar, and Ender Özcan "An apprenticeship learning hyper-heuristic for vehicle routing in hyflex." 2014 IEEE symposium on evolving and autonomous learning systems (EALS) IEEE, 2014 [14] Tyasnurita, Raras, et al "Improving performance of a hyper-heuristic using a multilayer perceptron for vehicle routing." (2015) [15] Hamilton-Bryce, Ryan, Paul McMullan, and Barry McCollum "Directed selection using reinforcement learning for the examination timetabling problem." Proceedings of the PATAT 14 (2014) [16] McCollum, Barry, et al The second international timetabling competition: Examination timetabling track Technical Report QUB/IEEE/Tech/ITC2007/Exam/v4 0/17, Queen’s University, Belfast, 2007 [17] Rahman, Syariza Abdul, et al "Adaptive linear combination of heuristic orderings in constructing examination timetables." European Journal of Operational Research 232.2 (2014): 287-297 [18] Sabar, Nasser R., et al "A graph coloring constructive hyper-heuristic for examination timetabling problems." Applied Intelligence 37.1 (2012): 1-11 [19] Anwar, Khairul, et al "Harmony search-based hyper-heuristic for examination timetabling." 2013 IEEE 9th international colloquium on signal processing and its applications IEEE, 2013 [20] Burke, Edmund K., Rong Qu, and Amr Soghier "Adaptive selection of heuristics for improving exam timetables." Annals of Operations Research 218.1 (2014): 129-145 ... HỌC LẠC HỒNG o0o ỨNG DỤNG REINFORCEMENT LEARNING CHO BÀI TỐN XẾP LỊCH THI Chun ngành: Cơng nghệ thông tin Mã số chuyên ngành: 8480201 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai - năm 2022... phương pháp Hyper-Heuristic cho toán xếp lịch thi, cách thức hoạt động khung, thư viện đưa vào áp dụng cho toán ? ?Ứng dụng Reinforcement learning cho toán xếp lịch thi? ?? - Phân tích kết đạt - Thực... báo cáo luận văn Cách thức giải vấn đề Giải pháp đưa để giải vấn đề toán ? ?Ứng dụng Reinforcement learning cho toán xếp lịch thi? ?? thực theo bước sau: - Bước 1: Tạo liệu bao gồm thông tin ca thi,