Khóa luận áp dụng thị giác máy tính vào phát triển game

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM PHẠM HỒI BẢO KHĨA LUẬN TỐT NGHIỆP ÁP DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME Apply Computer Vision to Game Development KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM TP HỒ CHÍ MINH, 2023 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CƠNG NGHỆ THƠNG TIN KHOA CƠNG PHẦN MỀM PHẠM HỒI BẢO - 19520406 KHĨA LUẬN TỐT NGHIỆP ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME Apply Computer Vision to Game Development KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS NGUYỄN HÀ GIANG ThS NGUYỄN THỊ THANH TRÚC TP HỒ CHÍ MINH, 2023 THƠNG TIN HỘI ĐỒNG CHẤM KHĨA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo: Quyết định số ngày Hiệu trưởng Trường Đại học Công nghệ Thông tin – Chủ tịch – Thư ký – Ủy viên – Ủy viên ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN) Tên khóa luận: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME Nhóm SV thực hiện: ThS Nguyễn Thị Thanh Trúc Phạm Hoài Bảo - 19520406 TS Nguyễn Hà Giang Cán Bộ hướng dẫn: Đánh giá Khóa luận Về báo cáo: Số trang 115 trang - Số chương chương Số bảng số liệu 15 bảng - Số hình vẽ 65 hình Số tài liệu tham khảo 11 tài liệu Một số nhận xét hình thức báo cáo: Về nội dung nghiên cứu: Về chương trình ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung:Khóa luận đạt/khơng đạt yêu cầu khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Phạm Hoài Bảo :……… /10 Người nhận xét (Ký tên ghi rõ họ tên) ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Độc Lập - Tự Do - Hạnh Phúc TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ PHẢN BIỆN) Tên khóa luận: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME Nhóm SV thực hiện: Cán Bộ hướng dẫn: Phạm Hoài Bảo - 19520406 ThS Nguyễn Thị Thanh Trúc TS Nguyễn Hà Giang Đánh giá Khóa luận Về báo cáo: Số trang 115 trang - Số chương chương Số bảng số liệu 15 bảng - Số hình vẽ 65 hình Số tài liệu tham khảo 11 tài liệu Một số nhận xét hình thức báo cáo: Về nội dung nghiên cứu: Về chương trình ứng dụng: Về thái độ làm việc sinh viên: Đánh giá chung:Khóa luận đạt/khơng đạt u cầu khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Phạm Hồi Bảo :……… /10 Người nhận xét (Ký tên ghi rõ họ tên) LỜI CẢM ƠN Trước hết, em xin gửi cảm ơn đặc biệt đến thầy TS Nguyễn Hà Giang cô ThS Nguyễn Thị Thanh Trúc – giảng viên hướng dẫn em q trình hồn thành khóa luận Thầy cô thông tin, giải vấn đề hỗ trợ em suốt chặng đường vừa qua Em xin cảm ơn tập thể thầy cô giảng viên trường Đại học Công nghệ Thông tin - Đại học Quốc Gia thành phố Hồ Chí Minh, thầy cô khoa Công nghệ Phần mềm, suốt năm qua giúp truyền đạt kiến thức, hỗ trợ nhiệt tình tạo điều kiện cho em trình em học tập trường Đồng thời, em xin gửi lời cảm ơn bạn bè, anh chị, gia đình nỗ lực để đồng hành động viên em khoảng thời gian qua khoảng thời gian qua Trong trình viết luận văn, em cố gắng hồn thành cách tốt có thể, nhiên đơi cịn sai sót có hạn chế nội dung đề tài Vì vậy, em xin tiếp nhận bảo thiếu sót thầy bạn bè khóa luận sử dụng tài sản q báu cho cơng việc sau Em xin chân thành cảm ơn! Sinh viên thực Phạm Hồi Bảo ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… ĐỀ CƯƠNG CHI TIẾT Tên đề tài: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO PHÁT TRIỂN GAME Tên đề tài tiếng Anh: APPLY COMPUTER VISION TO GAME DEVELOPMENT Giảng viên hướng dẫn: TS Nguyễn Hà Giang ThS Nguyễn Thị Thanh Trúc Thời gian thực hiện: Từ ngày 27/02/2023 đến 19/06/2023 Sinh viên thực hiện: Phạm Hoài Bảo – 19520406 Nội dung đề tài: Giới thiệu đề tài: Ngày nay, công nghệ VR, AR ngày phát triển rộng rãi sử dụng ngành công nghiệp phát triển Game Xu hướng làm nhu cầu chơi tựa Game yêu cầu ngày chơi vận động lớn, rào cản lớn thể loại game yêu cầu người chơi phải sử hữu Bộ điều khiển riêng biệt VR Controller, Move Motion Controller, VR Aim Controller, dẫn đến chi phí người chơi phải bỏ vô lớn Một cách để để giải vấn đề sử dụng Vision-based Input, thay dùng điều khiển đặc thù, ta thơng qua camera để nhận diện xử lý cử người dùng để điều khiển trò chơi Độ hấp dẫn trò chơi nâng cao người dùng dùng nút bấm vật lý, mà thông qua cử bàn tay chuyển động thể họ Tuy nhiên để việc phản hồi từ hình ảnh người dùng với tốc độ cao điều vơ khó, cần phải train vài model Thị giác máy tính với liệu đào tạo (Dataset) lớn Synthetic Dataset (Những liệu vật thể 3D) tạo từ Game Engine giải pháp tuyệt vời để kết hợp với liệu thực giúp hoàn thiện Model xử lý cử động người chơi với tốc độ cao Bằng việc dùng Thị giác máy tính vào Game việc dùng Game Engine để tạo liệu cho train model Thị giác máy tính, ta xử lý số vấn khó khăn hai lĩnh vực trên, đồng thời tạo sản phẩm game đáp ứng nhu cầu thị trường Phạm vi đề tài: ● Phạm vi môi trường: Bảng 4.3: Mô tả tab xác nhận vào gameplay Tên Mô tả Tiêu đề tab Thông tin tab mở Cử chỉ: Đưa OK lên Xác nhận vào hình Gameplay trị chơi chọn Hình 4.13 Tab Điểm cao - Menu Space Dasher Bảng 4.4: Mô tả tab điểm cao Tên Mô tả Tiêu đề Thông tin tab mở tab Danh sách điểm cao Thông tin điểm cao thời gian đạt minigame chọn Hình 4.14 Tab quay Menu - Menu Space Dasher Bảng 4.5: Mô tả tab quay menu Tên Mơ tả Tiêu đề tab Thơng tin tab mở Cử chỉ: Mở lòng bàn tay Xác nhận quay hình menu Hình 4.15 Gameplay Space Dasher Bảng 4.6: Mơ tả Màn hình Gameplay Space Dasher Tên Mô tả Tiêu đề Tên Mini game Space Dasher Điểm Số điểm người chơi đạt chơi Thời gian Thời gian chơi Icon nhận Nhận diện khuôn mặt game Space Dasher sử dụng diện Máy bay Nhân vật người chơi điều khiển nhận diện khuôn mặt (cam) Máy bay Kẻ địch mà máy bay người chơi cần phải né tránh (xanh) Hình 4.16 Gameplay Space Dasher - Kết thúc Bảng 4.7: Mô tả cửa sổ kết thúc trị chơi Tên Mơ tả Tiêu đề cửa sổ Thông báo game kết thúc Cử chỉ: đưa Chơi lại minigame OK lên Cử chỉ: Mở Kết thúc minigame lịng bàn tay Hình 4.17 Gameplay Space Dasher - Điểm cao Bảng 4.8: Mô tả cửa sổ điểm cao Tên Mô tả Tiêu đề cửa Thông báo người chơi đặt điểm cao sổ Cử chỉ: đưa OK lên Đăng tải điểm lên hệ thống Cử chỉ: Mở lịng Khơng đăng tải điểm lên hệ thống bàn tay Hình 4.18 Gameplay Space Dasher - Ngưng Bảng 4.9: Mơ tả cửa sổ Ngưng trị chơi Tên Mô tả Tiêu đề cửa sổ Cửa sổ ngưng trị chơi, xác nhận người chơi có muốn minigame Cử chỉ: đưa OK lên Tiếp tục chơi Cử chỉ: Mở lịng bàn tay Thốt khỏi gameplay minigame 4.2.3 Neon Saber Hình 4.19 Menu Neon Saber - Guild Hình 4.20 Menu Neon Saber - Highscore Hình 4.21 Gameplay Neon Saber - Ngưng Hình 4.22 Gameplay Neon Saber Bảng 4.10: Mơ tả hình gameplay Let’s Dance Tên Mô tả Tiêu đề Tên Mini game Neon Saber Điểm Số điểm người chơi đạt chơi Thời Thời gian chơi gian Icon Nhận diện thể game Neon Saber sử dụng nhận diện Kiếm Điều khiển tay phải người chơi, để chém thức (cam) ăn máu xanh Kiếm Điều khiển tay trái người chơi, để chém thức ăn (xanh) màu xanh Thức ăn Chướng ngại vật cần phải né tránh chơi (Đỏ) 4.2.3 Let’s Dance Hình 4.23 Menu Let’s Dance - Return Menu Hình 4.24 Menu Let’s Dance - Hướng dẫn Hình 4.25 Gameplay Let’s Dance - Pause Hình 4.26 Gameplay Let’s Dance Bảng 4.27: Mơ tả hình gameplay Let’s Dance Tên Mô tả Tiêu đề Tên Mini game Let’ Dance Điểm Số điểm người chơi đạt chơi Thời Thời gian chơi gian Combo Sô Combo người chơi thực liên tục Icon Nhận diện thể game Neon Saber sử dụng nhận diện HP Số lượng máu lại người chơi, đánh dấu vị trí thời gian dáng nhảy Icon Những dáng nhảy mà người chơi phải thực hiện, chúng dáng xuống vị trí nhảy HP Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết đạt Model thị giác máy tính, bao gồm model nhận diện landmark tay, khuôn mặt, thể người model phân loại cử tay, phân loại dáng người Ứng dụng gôm Minigame bao gồm Neon Saber dùng nhận diện keypoints tay từ model nhận diện landmark thể, Space Dasher dùng nhận diện landmark khuôn mặt, Lets Dance dùng model phân loại dáng người Package tương tác Python Unity Xử lý điều khiển chuyển đổi luồng nhận diện chạy python từ Unity, chuyển tiếp liệu đến Unity từ Python thông qua Socket 5.1.1 Chất lượng sản phẩm Tạo sản phẩm game hồn chỉnh phần, khơng có lỗi nghiêm trọng.Nắm bắt quy trình để train model phân loại từ thư viện hỗ trợ Kết hợp cơng nghệ khơng tương thích thành build cố định Chuyển đổi Thread nhận diện diễn mượt mà, đáp ứng khả điều hướng người chơi ứng dụng Có thể tái sử dụng Cách xử lý nhận diện cho dự án khác mà không cần chỉnh sửa đến model thị giác Gameplay đơn giản dễ nắm bắt, kết nối đến back-end ổn định Điều khiển gameplay dự đốn từ kết thị giác máy tính khiến cho việc điều khiển mượt mà 5.1.2 Những hạn chế Hiệu suất nhận diện số Model chưa đạt mong đợi, dẫn đến tình trạng delay frame trò chơi khiến trải nghiệm người dùng chưa mượt mà Các model phân loại số case đơn giản, kết chưa với thực tế Các Minigame thiếu hiệu ứng âm thanh, nhạc Đồ họa game chưa có đồng 5.2 Hướng phát triển Dùng GPU thay CPU để phù hợp việc xử lý luồng song song tăng hiệu suất nhận diện model Khám phá việc sử dụng thị giác máy tính để phát theo dõi đối tượng theo thời gian thực Điều dùng để để tạo giới trò chơi chân thực hấp dẫn hơn, để cải thiện chất lượng trò chơi Điều tra việc sử dụng thị giác máy tính để nhận dạng khn mặt phân tích biểu cảm Điều dùng để để tạo trải nghiệm trò chơi hấp dẫn cá nhân hóa hơn, để cải thiện tính bảo mật trị chơi Nhận diện phân loại khuôn mặt người lưu trữ để tạo hệ thống tài khoản/đăng nhập khuôn mặt người dùng Bàn phím ảo, hoạt động cách di chuyển cử động tay, giúp người dùng nhập lại tên để bật hệ thống điểm cao minigame Nghiên cứu việc sử dụng thị giác máy tính để xử lý hiểu ngơn ngữ tự nhiên Điều dùng để để tạo giao diện trò chơi trực quan thân thiện với người dùng hơn, để cải thiện khả kể chuyện trò chơi TÀI LIỆU THAM KHẢO Is Synthetic Data the Future of AI?” Gartner, 22 June 2022, https://www.gartner.com/en/newsroom/press-releases/2022-06-22-is-synthetic-data-the-fut ure-of-ai Accessed 10 December 2022 “Synthetic data: Unlocking the power of data and skills for machine learning – Data in government.” Data in government, 20 August 2020, https://dataingovernment.blog.gov.uk/2020/08/20/synthetic-data-unlocking-the-power-of-d ata-and-skills-for-machine-learning/ Accessed 10 December 2022 https://www.science.org/doi/10.1126/science.1256297?sid=9b47355e-d1da-4f56-b745-c87 6999ea9e3 Synthetic Data: The Complete Guide (datagen.tech) https://www.researchgate.net/publication/343454918_Multimodal_Future_Localization_an d_Emergence_Prediction_for_Objects_in_Egocentric_View_With_a_Reachability_Prio [2112.09290] PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer Vision (arxiv.org) 2302.04062.pdf (arxiv.org) 10.XR Socket Interactor | XR Interaction Toolkit | 2.0.4 (unity3d.com) 11 OpenCV: face_landmark_trainer