Ứng dụng machine learning trong việc huấn luyện AI cho game đua xe

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM ⦁ BÙI ĐĂNG HUY KHOÁ LUẬN TỐT NGHIỆP ỨNG DỤNG MACHINE LEARNING TRONG VIỆC HUẤN LUYỆN AI CHO GAME ĐUA XE (IMPLEMENTATION OF MACHINE LEARNING IN TRAINING AI FOR KART-RACING GAME) KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM TP HỒ CHÍ MINH, 2021 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM BÙI ĐĂNG HUY - 17520563 KHOÁ LUẬN TỐT NGHIỆP ỨNG DỤNG MACHINE LEARNING TRONG VIỆC HUẤN LUYỆN AI CHO GAME ĐUA XE (IMPLEMENTATION OF MACHINE LEARNING IN TRAINING AI FOR KART-RACING GAME) KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS Nguyễn Trịnh Đông ThS Đinh Nguyễn Anh Dũng TP HỒ CHÍ MINH, 2021 THƠNG TIN HỘI ĐỒNG CHẤM KHỐ LUẬN TỐT NGHIỆP Hội đồng chấm khoá luận tốt nghiệp, thành lập theo Quyết định số Ngày Hiệu trường Trường Đại học Công nghệ Thông tin – Chủ tịch – Thư ký – Uỷ viên – Uỷ viên ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN/PHẢN BIỆN) Tên khóa luận: ỨNG DỤNG MACHINE LEARNING TRONG VIỆC HUẤN LUYỆN AI CHO GAME ĐUA XE Nhóm SV thực hiện: Bùi Đăng Huy Cán hướng dẫn/phản biện: 17520563 TS Nguyễn Trịnh Đông ThS Đinh Nguyễn Anh Dũng Đánh giá Khóa luận Về báo cáo: Số trang 53 Số chương Số bảng số liệu Số hình vẽ Số tài liệu tham khảo 21 _ Sản phẩm Một số nhận xét hình thức báo cáo: 33 Về nội dung nghiên cứu: Về chương trình ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung:Khóa luận đạt/khơng đạt u cầu khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Bùi Đăng Huy: ……… /10 Người nhận xét (Ký tên ghi rõ họ tên) ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: Ứng dụng Machine Learning việc huấn luyện AI cho game đua xe Cán hướng dẫn: TS Nguyễn Trịnh Đông, ThS Đinh Nguyễn Anh Dũng Thời gian thực hiện: Từ ngày 18/03/2021 đến ngày 26/06/2021 Sinh viên thực hiện: Bùi Đăng Huy - 17520563 Nội dung đề tài: Lí chọn đề tài Cùng với phát triển xã hội, nhu cầu giải trí người ngày tăng Mỗi người tìm đến hay nhiều hình thức khác để giải trí Một số người tìm đến nghệ thuật, số khác tìm niềm vui việc sáng tạo, số khác lại đam mê học hỏi kỹ đó, số tìm đến thách thức Có nhiều lí khiến người đưa thân vào tình địi hỏi kỹ họ bị thử thách Nghiên cứu cho thấy số người cần nhiều liều lượng bình thường phấn khích sống, việc thử thách thân làm thỏa mãn khát họ Khi vượt qua thử thách định, não sản xuất dopamine, chất kích thích tạo cảm giác hưng phấn dễ chịu người đạt mục tiêu lớn Vì lẽ đó, người thường tìm đến game công cụ để thoả mãn thú vui thử thách thân môi trường thú vị an tồn Từ lâu, dịng game đua xe (racing games) dòng game phần lớn người chơi game yêu thích Chúng phân loại dọc theo phổ dịng game mơ trò chơi đua xe kiểu arcade đơn giản hóa Trị chơi đua xe go-kart lên vào năm 1990 thể loại phụ phổ biến sau Trị chơi đua xe thuộc danh mục trò chơi thể thao Bắt nguồn từ năm 1973 với game Space Race, trải qua gần thập kỷ, dòng game giữ sức hút với người chơi với nhiều tựa game thuộc thể loại Asphalt, Mario Kart, Need For Speed, v.v… Mặc dù hầu hết tựa game có chế độ chơi online để người chơi so tài với người chơi khác, phận người chơi trung thành với chế độ chơi với máy tiện lợi, không phụ thuộc vào kết nối mạng độ khó mà “người chơi ảo” chế độ chơi mang lại Có nhiều yếu tố định độ tốt AI game đua xe người tưởng Ngồi việc tối ưu hóa cho AI, ta phải nghĩ đến trải nghiệm người chơi Nếu AI tệ, người chơi thắng chúng cách dễ dàng nhanh chóng chán trị chơi Ngược lại, AI tối ưu, người chơi ức chế liên tục thua AI Từ đó, tốn đặt là: làm để tạo AI cho game đua xe tốt? Mục tiêu - Xây dựng thành công game đua xe với nhiều chế độ chơi nhiều chơi khác - Hiểu Machine Learning bản, cách AI học hỏi tiến hóa khn khổ game đua xe - Giải toán tối ưu AI cho game đua xe hướng đến trải nghiệm người chơi (người chơi cảm thấy vui phấn khích chơi với AI, khơng có cảm giác chán nản hay ức chế) Phạm vi 3.1 Phạm vi công nghệ - Unity (Unity 3D, MLAgents) - Python TensorFlow Đối tượng - Những người chơi game nói chung người chơi game đua xe nói riêng - Cơ chế game đua xe trước AI kèm theo Phương pháp thực - Xây dựng game đua xe tảng Unity3D - Dựa vào thư viện ML Agents Unity để tiến hành huấn luyện cho AI - Nghiên cứu thư viện TensorFlow Python để tìm cách cải thiện thư viện MLAgents có sẵn Kết mong đợi Kết mong đợi đề tài khóa luận sản phẩm game đua xe go-kart áp dụng thành công AI huấn luyện phương pháp Machine Learning chạy tảng Windows WebGL Kế hoạch thực hiện: Giai đoạn Thời gian Giai đoạn 1: Phân tích 22/03/2021 – 24/03/2021 nghiên cứu Công việc Thu thập thông tin, nghiên cứu chế gane có 25/03/2021 – 26/03/2021 Nghiên cứu thư viện TensorFlow MLAgents 27/03/2021 – 28/03/2021 Nghiên cứu hướng phát triển AI game Giai đoạn 2: Xây dựng 29/03/2021 – 31/03/2021 game Xây dựng chế điều khiển xe (tăng tốc, phanh, quẹo, drift) 01/04/2021 – 10/04/2021 Xây dựng đường đua, tương tác game (vật lý, xử lý va chạm 11/04/2021 – 23/04/2021 Xây dựng hệ thống chơi 24/04/2021 – 25/04/2021 Xử lý camera 26/04/021 – 28/04/2021 Thu thập, áp dụng đồ họa game từ nguồn mở 29/04/2021 – 31/04/2021 Xây dựng UI game (màn hình mở đầu game, hình chọn chế độ chơi, hình chọn chơi) 01/05/2021 – 04/05/2021 Xây dựng chế độ chơi (regular mode, time-attack, GrandPrix) 05/06/2021 – 12/06/2021 Xây dựng thuật toán Học Tăng cường (Reinforment Learning) 13/06/2021 – 18/06/2021 Tiến hành huấn luyện AI chơi với mức độ: Dễ - Vừa - Khó Giai đoạn 3: Phát triển AI Giai đoạn 4: Kiểm thử 19/06/2021 – 21/06/2021 chỉnh sửa Giai đoạn 5: Báo cáo Cho nhóm đối tượng nghiên cứu kiểm thử, thu thập ý kiến 22/06/2021 – 23/06/2021 Đưa điều chỉnh (nếu có) 24/06/2021 – 26/06/2021 Viết báo cáo Xác nhận CBHD (Ký tên ghi rõ họ tên) TP HCM, ngày 18 tháng 03 năm 2021 Sinh viên (Ký tên ghi rõ họ tên) Bùi Đăng Huy LỜI CẢM ƠN Để khố luận hồn thành cách tốt đẹp, tơi nhận nhiều giúp đỡ, đóng góp ý kiến thầy bạn bè Tơi xin chân thành cảm ơn thầy Nguyễn Trịnh Đông thầy Đinh Nguyễn Anh Dũng, giảng viên khoa Công nghệ Phần mềm – Trường ĐH Công nghệ Thông tin – ĐH Quốc Gia TP.HCM trực tiếp hướng dẫn, bảo q trình nghiên cứu khố luận Tơi xin cảm ơn thầy cô giảng viên Trường ĐH Cơng nghệ Thơng tin – ĐH Quốc Gia TP.HCM nói chung thầy cô khoa Công nghệ Phần mềm nói riêng truyền đạt cho tơi kinh nghiệm kiến thức quý báu, từ đại cương đến chun ngành, để tơi có sở lý thuyết vững kỹ nghề nghiệp thực tế Cuối cùng, xin cảm ơn người bạn tôi: Vinh, Trung Linh Mọi người hỗ trợ nhiều tinh thần đóng góp ý kiến để khố luận hồn thành cách trọn vẹn Hồ Chí Minh, tháng năm 2021 Sinh viên thực Bùi Đăng Huy Hình 3.19 Gói asset Sand Materials – Nguồn: Unity Asset Store [21] 3.4 Xây dựng game UI 3.4.1 Màn hình nhập cảnh Màn hình nhập cảnh đơn giản gồm tiêu đề UIT KART, xe mẫu nút Play Hình 3.20 Màn hình nhập cảnh 39 3.4.2 Màn hình chọn xe 3.4.2.1 Màn hình chọn xe chế độ Solo Màn hình bao gồm panel chứa hình ảnh xe Phía panel tên xe Nhấn phím mũi tên song song với tên xe để chuyển đổi xe Phía nút mũi tên để chọn người điều khiển xe với textbox hiển thị tương ứng Bên tay phải thông số xe Sáu thông số hiển thị bao gồm: Tốc độ (Speed), Tăng tốc (Accelaration), Điều khiển (Handling), Rẽ (Steering), Lê bánh (Drifting) Trọng lượng (Weight) Nút Play đặt góc phải dưới, bấm tiến hành chơi Hình 3.21 Màn hình chọn xe chế độ Solo 3.4.2.2 Màn hình chọn xe chế độ Versus Ở chế độ Versus, panel chọn xe nhỏ phân bố hình Phần chọn người lái đem xuống phía hình ảnh thị xe 40 Hình 3.22 Màn hình chọn xe chế độ Versus 3.4.3 Màn hình HUD Màn hình HUD game chia chia làm cụm: Ở góc trái minimap đường đua Mỗi chấm tròn biểu thị xe đường đua Xe người chơi biểu thị bằgn chấm lớn Ở góc bên phải hình thơng tin vịng đua, bao gồm thời gian đua, số lịng đua hồn thành vị trí xe Vịng phía cố tính để trống để dành chỗ cho điều khiểm cảm ứng cài đặt sau 41 Hình 3.23 Màn hình game 3.4.4 Màn hình kết thúc game Khi người chơi đích, điều khiển xe ngắt kết nối, HUD game ẩn Dòng chữ “FINISHED” chạy ngang từ trái qua, báo hiệu trò chơi kết thúc Sau khoảng giây, bảng xếp hạng trôi dần từ xuống Trong thời gian này, xe chưa hồn thành vịng tiếp tục chạy 42 Hình 3.24 Màn hình kết thúc game Hình 3.25 Bảng xếp hạng 43 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ 4.1 Thực nghiệm 4.1.1 Thiết lập thực nghiệm Thực nghiệm tiến hành cách sử dụng cho tất AI huấn luyện thực đua mơi trường Số vịng đua lần đua vòng, lấy kết trung bình sau lần đua Số liệu so sánh với kết trung bình người chơi khác đua lần Trong trường hợp agent khơng thể hồn thành vào đua khoảng thời gian dài, kết lần đua biểu thị dấu – khơng tính kết trung bình 4.1.2 Kết mong đợi − AI biết sử dụng kỹ drift − AI mức Khó có kết trung bình gần kết trung bình người chơi − Có chênh lệch rõ ràng AI xe độ khó khác (~2 - 4s) 44 4.1.3 Kết thực nghiệm Tên môi trường Kết Track_Cross Lần Lần Lần Trung bình Bubblegum (Dễ) 02:35 998 02:47.815 02:35.802 02:39.871 Bubblegum (Thường) 02:35.582 02:30.180 02:45.600 02:37.120 Bubblegum (Khó) 02:33.631 02:28.610 02:36.145 02:32.795 Carbon (Dễ) 02:48.334 02:48.835 02:53.343 02:50.170 Carbon (Thường) 02:36.926 02:45.947 02:39.036 02:40.629 Carbon (Khó) 02:34.954 02:27.594 02:39.841 02:34.130 Cloud (Dễ) 02:39.775 - 02.37.973 - Cloud (Thường) 02:34.414 02:38.746 02:33.482 02:35.614 Cloud (Khó) 02:34.686 02:38.404 02:30.700 02:34.596 Red (Dễ) 02:44.973 02:37.859 02:41.091 02:41.307 Red (Thường) 02:36.082 02:40.083 02:38.351 02:38.172 Red (Khó) 02:35.412 02:38.739 02:34.233 02:36.124 Sunshine (Dễ) 02:38.106 02:39.142 02:37.795 02:38.348 Sunshine (Thường) 02:35.947 02:46.048 02:33.875 02:38.623 Sunshine (Khó) 02:33.867 02:38.474 02:30:390 02:34.244 Violet (Dễ) 02:40.104 02:42.988 02:36.822 02:39.971 Violet (Thường) 02:33.276 02:32.764 - - Violet (Khó) 02:39.473 02:37.842 02:38.812 02:38.709 Bảng 4.1 Kết thực nghiệm đường đua Cross 45 Tên môi trường Kết Track_Rock Lần Lần Lần Trung bình Bubblegum (Dễ) 04:11.153 04:03.608 4:17.216 04:10.658 Bubblegum (Thường) 04:13.243 04:05.260 04:15.521 04:11.341 Bubblegum (Khó) 04:07:004 03:59.638 04:12.076 04:06.239 Carbon (Dễ) 04:19.407 04:14.175 04:19.442 04:16.008 Carbon (Thường) 04:18.657 04:20.425 04:04.347 04:14.476 Carbon (Khó) 04:05.989 04:08.221 04:23.804 04:12.671 Cloud (Dễ) - 04:08.326 04:06.886 - Cloud (Thường) - 04:05.370 04:09.674 - Cloud (Khó) 04:18.335 04:05.653 04:00.842 04:08.276 Red (Dễ) 04:23.713 04:18.703 04:12.168 04:18.194 Red (Thường) 04:08.971 04:16.138 04:13.719 04:12.942 Red (Khó) 04:12.772 04:04.781 04:11.970 04:09.841 Sunshine (Dễ) 04:29.755 04:16.175 - - Sunshine (Thường) 04:08.169 04:12.963 04:05.416 04:08.849 Sunshine (Khó) 04:03.078 04:02.546 04:13.597 04:06.407 Violet (Dễ) 04:11.192 04:07.570 04:12.414 04:10.392 Violet (Thường) 04:06.552 04:22.237 - - - 04:02.206 04:05.940 - Violet (Khó) Bảng 4.2 Kết thực nghiệm đường đua Rock 46 Kết trung bình Track_Cross Track_Rock Người chơi 02:34.885 04:02.124 Bubblegum (Khó) 02:32.795 04:06.239 Carbon (Khó) 02:34.130 04:12.671 Cloud (Khó) 02:34.596 04:08.276 Red (Khó) 02:36.124 04:09.841 Sunshine (Khó) 02:34.244 04:06.407 Violet (Khó) 02:38.709 - Bảng 4.3 Bảng so sánh kết người chơi AI mức độ Khó 4.2 Đánh giá kết thực nghiệm 4.2.1 Ưu điểm − Tỉ lệ AI hồn thành vịng đua cao − AI biết sử dụng thành thạo kỹ thuật drift Đây điều không lường trước − Các AI mức độ Khó nhìn chung đáp ứng kỳ vọng đặt 4.2.2 Nhược điểm − Quy mô thực nghiệm nhỏ, thơng số chưa thể biểu diễn hồn tồn độ hiệu AI − Kết lượt đua phụ thuộc vào vị trí xuất phát xe − Không đạt phân biệt kết rõ ràng AI cấp độ − Những va chạm đầu lượt đua khiến xe bị chệch hướng ngược chiều Mặc dù tỉ lệ nhỏ, lỗi nghiêm trọng, xem game hồn chỉnh điều chấp nhận 4.2.3 Hướng khắc phục − Tinh chỉnh hệ thống thưởng phạt huấn luyện lại 47 − Tiếp tục tiến hành thực nghiệm để tăng độ tin cậy số liệu 48 CHƯƠNG 5: KẾT LUẬN & HƯỚNG PHÁT TRIỂN 6.1 Kết luận Thông qua trình thực nghiên cứu đề tài , học thêm nhiều kiến thức: − Các kiến thực máy học Reinforcement Learning − Các kiến thức lập trình thiết kế game, đặc biệt lập trình thiết kế tảng Unity Đồng thời, áp dụng kiên thức học đạt kết quả: − Báo cáo toàn văn đề tài Ứng dụng Machine Learning việc huấn luyện AI cho game đua xe − Xây dựng thành cơng quy trình huấn luyện AI game đua xe thư viện MLAgents Unity − Xây dựng thành công sản phẩm game đua xe có AI áp dụng Reinforcement Learning 6.2 Hướng phát triển Sau hướng phát triển đề cho tương lai với kết đạt được: − Tăng độ phức tạp môi trường (thêm đường đua mới, đường đua nhiều hướng, đường tắt, chướng ngại vật đường, v.v…) − Phát triển game hỗ trợ tảng di động Android, iOS − Kết hợp thuật toán cân game vào trình huấn luyện AI (tự giảm reward thấy AI vượt xa player) 49 − Phát triển hệ thống online multiplayer game − Thêm yếu tố thưởng rải rác (sparse-reward) vào game môi trường huấn luyện vật phầm tăng sức mạnh hay đệm tăng tốc − Tiếp tục hoàn thiện UI game 50 TÀI LIỆU THAM KHẢO [1] A Koster, “Theory of Fun for Game Design”, 2nd edition O'Reilly Media Inc., 2013 [2] “Kart racing game”, Wikipedia, last edited on Mar 2021 [Online] – Available: https://en.wikipedia.org/wiki/Kart_racing_game [3] A Mohamed, “Artificial Intelligence In Racing Games”, University of Burmingham [Online] – Available: https://www.cs.bham.ac.uk/~ddp/AIP/RacingGames.pdf [4] Early Arcade Classics: 1985-1987 Developer Interviews, shmuplations.com [Online] – Available: http://shmuplations.com/earlyarcade/ [5] Y Sazaki, A Primanita and M Syahroyni, “Pathfinding Car Racing Game Using Dynamic Pathfinding Algorithm and Algorithm A*”, 3rd International Conference on Wireless and Telematics (ICWT) IEEE, 2017 [Online] – Available: https://ieeexplore.ieee.org/document/8284160 [6] Y Ohyagi and K Satou, “Racing game program and video game device”, U.S Patent 7278913, Oct 9, 2007 [Online] – Available: https://patents.google.com/patent/US7278913B2/en [7] Anon, “Rubber Band AI (Concept)” [Online] – Available: https://www.giantbomb.com/rubber-band-ai/3015-35/ [8] M Sayer, “5 Games Totally Ruined By Rubberbanding AI” , Paste Media Group, 2016 [Online] – Available: https://www.pastemagazine.com/games/racing-games/5games-totally-ruined-by-rubberbanding-ai/#need-for-speed [9] “What is Drifting?” [Online] – Available: https://www.driftworks.com/blog/drifting/ 51 [10] B Baker et al., “Emergent Tool Use from Multi-Agent Interaction”, OpenAI, 2019 [Online] – Available: https://openai.com/blog/emergent-tool-use/ [11] H Heidenreich, “Reinforcement Learning (Part 1) – The Mario Bros Example” [Online] – Available: https://cai.tools.sap/blog/the-future-with-reinforcement-learningpart-1/ [12] S Bhatt, “5 Things You Need to Know about Reinforcement Learning”, KDNuggets [Online] – Available: https://www.kdnuggets.com/2018/03/5-thingsreinforcement-learning.html [13] J Hui, “RL — Proximal Policy Optimization (PPO) Explained” [Online] – Available: https://jonathan-hui.medium.com/rl-proximal-policy-optimization-ppoexplained-77f014ec3f12 [14] T Haarnoja et al., “Soft Actor Critic—Deep Reinforcement Learning with RealWorld Robots”, The Berkeley Artificial Intelligence Research Blog [Online] – Available: https://bair.berkeley.edu/blog/2018/12/14/sac/ [15] S Gujar, “Trust Region Policy Optimization (TRPO) and Proximal Policy Optimization (PPO)”, Medium, Apr 21, 2018 [Online] – Available: https://medium.com/@sanketgujar95/trust-region-policy-optimization-trpo-andproximal-policy-optimization-ppo-e6e7075f39ed [16] M.Wulfmeier, P Ondrúska and I Posner, “Maximum Entropy Deep Inverse Reinforcement Learning”, University of Oxford, Mar 11, 2016 [Online] – Available: https://arxiv.org/pdf/1507.04888.pdf [17] “Unity Machine Learning Agents”, Unity [Online] – Available: https://unity.com/products/machine-learning-agents [18] “EasyRoads3D v3 Manual”, UnityTerrainTools.com [Online] – Available: https://www.easyroads3d.com/v3/manualv3.html 52 [19] “Wii U – Mario Kart 8”, The Model Resources [Online] – Available: https://www.models-resource.com/wii_u/mariokart8/ [20] SkyBox Series Free by Avionx, Unity Asset Store [Online] – Available: https://assetstore.unity.com/packages/2d/textures-materials/sky/skybox-series-free103633 [21] Yughues Free Sand Materials by Nobiax/ Yughues, Unity Asset Store [Online] – Available: https://assetstore.unity.com/packages/2d/textures-materials/floors/yughuesfree-sand-materials-12964 53 ... 17520563 KHOÁ LUẬN TỐT NGHIỆP ỨNG DỤNG MACHINE LEARNING TRONG VIỆC HUẤN LUYỆN AI CHO GAME ĐUA XE (IMPLEMENTATION OF MACHINE LEARNING IN TRAINING AI FOR KART-RACING GAME) KỸ SƯ NGÀNH KỸ THUẬT PHẦN... thức Machine Learning Reinforcement Learning − Học kiến thức vế lập trình thiết kế game, đặc biệt lập trình thiết kế game đua xe − Xây dựng thành cơng mơ hình huấn luyện AI cho game đua xe với... thiết kế game đua xe − Xây dựng sản phẩm game đua xe có ứng dụng AI mang đến trải nghiệm chơi game tốt cho người dùng Nội dung thực − Tìm hiểu game trước thuộc thể loại cách AI hoạt động game −