Nghiên cứu công nghệ augmented reality và ứng dụng review các tướng trong liên minh huyền thoại

LỜI CẢM ƠN Qua thời gian học tập rèn luyện Đại học Công thông tin Và Truyền thông - Đại học Thái Nguyên, đến em hoàn thành xong đồ án tốt nghiệp Trong trình thực đồ án tốt nghiệp mình, hướng dẫn nhiệt tình Th.s Trần Hải Thanh, giảng viên Bộ mơn Khoa Học Máy Tính cố gắng thân, em hoàn thành đồ án Em xin gửi lời biết ơn sâu sắc tới thầy, cô trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên Thầy, dìu dắt, truyền lại cho chúng em khơng kiến thức mà dạy chúng em đạo làm người, rèn luyện cho em nghị lực, khát vọng vươn lên, phát huy khả tư sáng tạo lĩnh vực Cuối em xin cảm ơn gia đình, bạn bè, người thân yêu em Mọi người bên cạnh, động viên, khuyến khích em vươn lên học tập sống! LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu độc lập riêng tơi Các hình ảnh sử dụng đồ án có nguồn gốc rõ ràng, công bố theo quy định Các kết nghiên cứu đồ án tơi tự tìm hiểu Các kết chưa công bố nghiên cứu khác Sinh viên Hải VŨ TIẾN HẢI MỤC LỤC DANH MỤC HÌNH VẼ LỜI MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU VỀ AUGMENTED REALITY 1.1 Giới thiệu 1.2 Tổng quan Augmented reality 11 1.3 Lược sử Augmented reality 12 1.4 Kiến trúc hệ thống Augmented reality 13 1.4.1 Chụp cảnh 14 1.4.2 Kỹ thuật nhận dạng cảnh 14 1.4.3 Xử lý cảnh 16 1.4.4 Trực quan cảnh 16 1.5 Ứng dụng Augmented reality 16 1.5.1 Y tế 17 1.5.2 Giáo dục 19 1.5.3 Thương mại 21 1.5.4 Du lịch, thông tin cần biết 23 1.5.5 Lĩnh vực giải trí 25 1.5.6 Thiết kế, sản xuất 25 1.6 Những thách thức Augmented reality 27 1.6.1 Môi trường 27 1.6.2 Thiết bị hiển thị 28 1.6.3 Quản lý nội dung 28 1.6.4 Người dùng 29 1.7 Xu hướng tương lai Augmented reality 29 CHƯƠNG 2: GIẢI PHÁP CƠNG NGHỆ XÂY DỰNG CHƯƠNG TRÌNH 31 2.1 Phát biểu toán 31 2.2 Các vấn đề cần giải 31 2.3 Giải pháp công nghệ 31 2.4 Game liên minh huyền thoại 32 2.4.1 Giới thiệu 32 2.4.2 Cách chơi 33 2.4.3 Các chế độ chơi 35 2.4.4 Tướng 35 2.4.5 Tài nguyên cần sử dụng 35 2.5 Unity 3D 36 2.5.1 Giới thiệu 36 2.5.2 Giao diện Unity 3D 37 2.5.3 Cửa sổ project 37 2.5.4 Hierarchy 38 2.5.5 Parenting 38 2.5.6 Toolbar 38 2.5.7 Scene View 39 2.5.8 Game View 39 2.6 Vuforia sdk 40 2.6.1 Giới thiệu vuforia sdk 40 2.6.2 Tổng quan hệ thống vuforia 41 2.6.3 Kiến trúc vuforia 42 2.6.4 Mục tiêu hình ảnh (Image Target) 44 2.6.5 Tập liệu (Datasets) 45 2.6.7 Mục tiêu đa hình ảnh (Multi Target) 46 2.6.8 Frame Marker 47 2.6.9 Nút ảo (vurtual button) 48 2.6.10 Hệ thống quản lý mục tiêu 48 2.7 Phương pháp thực 48 2.7.1 Xây dựng mơ hình nhân vật 48 2.7.2 Xây dựng hành động cho nhân vật 50 2.7.3 Xây dựng trang phục cho nhân vật 50 2.7.4 Xây dựng mục tiêu hình ảnh 51 2.7.5 Xây dựng ứng dụng 53 CHƯƠNG 3: CHƯƠNG TRÌNH DEMO ỨNG DỤNG 63 3.1 Màn hình khởi động ứng dụng 63 3.2 Màn hình ứng dụng 63 3.3 Thao tác chọn trang phục 65 3.4 Chọn thao tác nhân vật 67 KẾT LUẬN 70 TÀI LIỆU THAM KHẢO 71 DANH MỤC HÌNH VẼ Hình 1: Sự liên tiếp thực - ảo 12 Hình 2: Lược sử cơng nghệ Augmented Reality 13 Hình 3: Thiết bị Google Glass 14 Hình 4: Cấu trúc đánh dấu 15 Hình 5: Ứng dụng khơng sử dụng thẻ đánh dấu 16 Hình 6: Học giải phẩu AR 17 Hình 7: Giải phẩu nhờ hỗ trợ ứng dụng AR 18 Hình 8: Ứng dụng Doctor Mole 19 Hình 9: Augmented book 20 Hình 10: Ứng dụng FETCH! Lunch rush 20 Hình 11: Ứng dụng từ nghiên cứu IBM 21 Hình 12: Mobile cupon 22 Hình 13: Sử dụng Marker để xem trước sản phẩm 23 Hình 14: Giao diện ứng dụng Wikitude 24 Hình 15: Giao diện ứng dụng iOnRoad Augmented Driving 24 Hình 16: Trò chơi AR Invaders 25 Hình 17: Hình (a) (b) xem thông tin từ sở liệu; (c) Xem hướng dẫn thủ tục liên quan đến trình thiết kế 26 Hình 18: Thiết kế khơng gian nội thất sử dụng công nghệ AR 27 Hình 19: Vuforia sdk 41 Hình 20: Sơ đồ tổng quan hệ thống Vuforia 42 Hình 21: Sơ đồ dòng liệu Vuforia SDK mơi trường ứng dụng 44 Hình 22: Một ví dụ Mục tiêu hình ảnh với trục tọa độ Hình đưa vào Hệ thống quản lý mục tiêu để tạo tập liệu mục tiêu 46 Hình 23: Các đặc tính tự nhiên (dấu cộng màu vàng) Mục tiêu hình ảnh mà Vuforia SDK sử dụng để phát Mục tiêu hình ảnh 46 Hình 24: Nơi chứa liệu liên minh huyền thoại 49 Hình 25: Phần mềm đổi định dạng tệp tin skl skn sang dae 50 Hình 26: Đăng ký License Key không gian lưu trữ ảnh 51 Hình 27: Thêm ảnh mục tiêu cho ứng dung 52 Hình 28: Tải gói liệu ảnh mục tiêu 53 Hình 29: Tải Vuforia sdk2.7.7 54 Hình 30: Giao diện làm việc Unity 3D 55 Hình 31: Import gói liêu LOLSKIN.unitypackage 55 Hình 32: Import gói liệu Vuforia SDK 5.5.9 56 Hình 33: Import tập tin 56 Hình 34: Thêm AR camera 57 Hình 35: Các thuộc tính AR Camera 58 Hình 36: Thêm ảnh mục tiêu 59 Hình 37: Thuộc tính ảnh mục tiêu 60 Hình 38: Thêm nhân vật 61 Hình 39: Thêm thao tác hình 61 Hình 40: Thêm hành động cho nhân vật 62 Hình 41: Màn hình khởi động ứng dụng 63 Hình 42: Màn hình ứng dụng 64 Hình 43: Màn hình ứng dụng có ảnh mục tiêu 64 Hình 44: Trang phục Ezreal thường 66 Hình 45: Trang phục Ezreal tối thượng 66 Hình 46: Trang phục Ezreal thám hiểm 67 Hình 47: Ahri nhảy dance 67 Hình 48: Ahri chết 68 Hình 49: Ahri nhảy joke 68 Hình 50: Ahri Taunt 69 LỜI MỞ ĐẦU Quá trình cơng nghiệp hóa đại hóa ngày nâng cáo phát triển Lĩnh vực công nghệ thông tin không ngừng phát triển Các công nghệ đời với hưởng ứng tích cực từ giới truyền thông người sử dụng Công nghệ thông tin phát triển đề cao giới ảo mà người nhìn thấy tương tác Công nghệ thực ảo tương tác ảo Vì em chọn cho đề tài “Nghiên cứu công nghệ Augmented Reality ứng dụng review tướng liên minh huyền thoại” Báo cáo bao gồm nội dung chính: - Giới thiệu Augmented Reality - Giải pháp công nghệ xây dựng ứng dụng - Demo chương trình ứng dụng Do kiến thức hạn chế thời gian có hạn nên báo cáo khơng tránh khỏi sai sót em mong ý kiến đóng góp từ quý Thầy, Cô giáo bạn để báo cáo em hoàn thiện Em xin chân thành cảm ơn! CHƯƠNG 1: GIỚI THIỆU VỀ AUGMENTED REALITY 1.1 Giới thiệu Ngày nay, tiến công nghệ có ảnh hưởng trực tiếp đến sống hành vi người Tăng cường thực (AR) khám phá từ công nghiệp công nghệ đại Nó định nghĩa tăng cường tính – hiểu biết thực tế, qua giới thực rõ ràng người Thơng qua tính tốn, máy móc tạo nội dung kết nối với địa điểm kiện cụ thể Nói cách khác, AR cho phép nội dung kỹ thuật số dễ dàng chồng trộn lẫn vào giới quan trước mắt người AR mô tả cơng nghệ phát triển “thế hệ tiếp theo, thực tế dựa giao diện” Ngoài ra, phân biệt đẩy mạnh nghiên cứu trung tâm thử nghiệm toàn giới, sử dụng lĩnh vực khác nhiều thị trường tiêu dùng Ngày với xuất phổ biến dòng điện thoại thơng minh trình duyệt AR, bắt đầu chấp nhận khác thú vị giao tiếp người – máy tính Mặc dù thực tế AR đạt quan tâm nghiên cứu ý gần đây, ý nghĩa khác AR gắn với nội dung đề tài nhà nghiên cứu Bên cạnh đó, AR phát triển thông qua việc sử dụng, liên đới đến công nghệ phát triển sáng tạo khác như: cử người với máy tính, điện thoại di động, công nghệ nhập vai Trong năm qua, ứng dụng AR trở nên linh hoạt sử dụng điện thoại di động Ngoài ra, ứng dụng AR trở thành phương tiện truyền thơng (ví dụ như: tin tức, phương tiện giải trí thể thao) Gần đây, ứng dụng AR sử dụng nhiều lĩnh vực thương mại điện tử, du lịch Bên cạnh đó, trở thành phần quan trọng lĩnh vực ứng dụng thực tế ảo (VR) AR có lợi nhiều so với VR truyền thống Một lợi rõ rang AR cho cảm giác thực hơn, tính tương tác tốt AR đặt trọng tâm vào việc tích hợp mơi trường ảo giới thực 10 Hình 34: Thêm AR camera 57 Hình 35: Các thuộc tính AR Camera Ảnh mục tiêu thành phần vơ quan trọng cho ứng dụng Từ mà AR camera nhận dạng nhận biết hình ảnh mục tiêu Thay đổi thuộc tính ảnh mục tiêu Chọn database ảnh mục tiêu phù hợp với nhân vật 58 Hình 36: Thêm ảnh mục tiêu 59 Hình 37: Thuộc tính ảnh mục tiêu Tại ảnh mục tiêu thêm mơ hình nhân vật đối tượng ảnh mục tiêu thêm trang phục vào mơ hình nhân vật 60 Hình 38: Thêm nhân vật Thêm thao tác hình bố trí hợp lý cho ứng dụng Hình 39: Thêm thao tác hình Thêm hành động cho nhân vật ứng dụng 61 Hình 40: Thêm hành động cho nhân vật 62 CHƯƠNG 3: CHƯƠNG TRÌNH DEMO ỨNG DỤNG 3.1 Màn hình khởi động ứng dụng Khi ứng dụng khỏi động hình load ứng dụng bật lên, hình ảnh vị tướng liên minh huyền thoại Màn hình load ứng dụng hình để chờ thời gian tải liệu ứng dụng Người dùng phải chời khoảng thời gian 5s để ứng dụng chạy Hình 41: Màn hình khởi động ứng dụng 3.2 Màn hình ứng dụng Sau hình load ứng dụng chạy xong ứng dụng chạy sang hình Tại camera ứng dụng bật lên với mục đích tìm cho mục tiêu để nhận dạng nhận vật Và hình ảnh chụp lại camera khơng nhận dạng mục tiêu 63 Hình 42: Màn hình ứng dụng Hình 43: Màn hình ứng dụng có ảnh mục tiêu Khi nhận dạng ảnh mục tiêu ứng dung Màn hình ứng dụng tạo nhân vật 3D với thao tác với đối tượng hình Gọc bên trái gồm bốn chiêu thức tương đương với chiêu thức liên minh huyền thoại 64 nhân vật Khi click vào chiêu thức nhân vật 3D thực thao tác với hoạt động tương tự phím thao tác hoạt động Q, W, E, R liên minh huyền thoại phím thao tác hiển thị hình ảnh giống minh họa giống chiêu thực trọng liên minh Khi nhận diện ảnh mục tiêu ứng dụng phát âm người chơi chọn tướng game Bên góc bên trái dòng chữ hướng dẫn combo đơn giản tướng game Bên góc bên phải hai chọn Thanh bên chọn cho người dùng thấy trang phục bắt mặt game người dùng dựa vào để xem trang phục đưa lựa chon mua chúng game Dưới bên để chọn hành động tương ứng với nhân vật liên minh huyền thoại Như nhảy joke, dance Ngoài người dùng phóng to thu nhỏ nhân vật để xem rõ chi tiết nhân vật mà muốn mua liên minh huyền thoại 3.3 Thao tác chọn trang phục Ở có nhiều trang phục nhân vật liên minh huyền thoại Trên chúng tơi đưa trang phục làm hình ảnh minh họa cho thao tác Trên chọn skin góc bên phải có trang phục nhân vật Trang phục ứng với nhân vật liên minh người dùng dùng ứng dụng để xem trước trang phục định có nên mua liên minh huyền thoại hay khơng 65 Hình 44: Trang phục Ezreal thường Hình 45: Trang phục Ezreal tối thượng 66 Hình 46: Trang phục Ezreal thám hiểm 3.4 Thao tác chọn hành động cho nhân vật Ở thao tác người dùng xem điệu nhảy hành động nhân vật liên minh Dưới hình ảnh minh họa cho hành động nhân vật đố nhảy dance, death, joke, taunt Hình 47: Ahri nhảy dance 67 Hình 48: Ahri chết Hình 49: Ahri nhảy joke 68 Hình 50: Ahri Taunt 69 KẾT LUẬN Kết quả: Trong trình nghiên cứu thực hiện, đề tài em đạt kết sau: - Nghiên cứu công nghệ Augmented Reality - Mở rộng hiểu biết khả tương tác với giới ảo, tăng cường kỹ lập trình c# unity - Bổ sung kiến thức làm việc thực tế, rèn luyện kỹ làm việc - Nâng cao khả tìm kiếm tài liệu, thơng tin - Xây dựng chương trình ứng dụng Hạn chế: - Giao diện chưa trực quan sinh động cho người sử dụng - Chưa tối ưu chương trình cách triệt để - Chương trình số lỗi cần khắc phục Định hướng phát triển: - Tối ưu hóa q trình xử lý để tăng tốc độ hoạt động tiết kiệm tài nguyên liệu - Xây dựng thêm hệ thông giống liên minh huyền thoại - Khắc phục lỗi xảy - Cải tiến số chức chương trình - Ứng dụng chương trình vào thực tế 70 TÀI LIỆU THAM KHẢO [1] J Carmigniani, B Furht, M Anisetti, P Ceravolo, E Damiani and M Ivkovic, Augmented Reality Technologies, Systems and Applications Multimedia Tools and Applications, Vol 51, No 1, 2011, pp 341-377 http://dx.doi.org/10.1007/s11042 010-0660-6 [2] T Jackson, F Angermann and P Meier, Survey of Use Cases for Mobile Augmented Reality Browsers In: T.Jackson, F Angermann and P Meier, Eds., Handbook of Augmented Reality, Springer New York, 2011, pp 409- 431 [3] Poonsri Vate-U-Lan, Augmented Reality: A Better Learning Experience 7th International Conference on eLearning for Knowledge-Based Society, Dec 16-17, 2010 Bangkok [4] Pierre David Wellner, Interacting with paper on the digital desk 1994 [5] Dieter Schmalstieg, Daniel Wagner, Experiences with Handheld Augmented Reality Graz University of Technology [6] Ismail Haritaoglu, Link from Real World to Digital Information Space IBM Almaden Research, 2001 [7] Wikipedia, the free encyclopedia, https://vi.wikipedia.org/ [8] Augmented Reality Page, http://www.se.rit.edu/~jrv/research/ar/ [9] Qualcomm Developer, https://vuforia.com/ [10] Unity 3D, http://unity3d.com/ 71 ... Cơng nghệ thực ảo tương tác ảo Vì em chọn cho đề tài Nghiên cứu cơng nghệ Augmented Reality ứng dụng review tướng liên minh huyền thoại Báo cáo bao gồm nội dung chính: - Giới thiệu Augmented Reality. .. ảnh minh họa khơng xem trước trang phục thao tác chiêu thức tướng cách combo Ứng dụng review tướng liên minh huyền thoại cho người chơi xem trước cách chiêu thức tướng, trang phục, thao tác, cách... qua ứng dụng dùng công nghệ AR, thông tin liên quan đến sản phẩm hiển thị hình thiết bị Hình 11 diễn tả ứng dụng nghiên cứu IBM hiển thị thông tin sản phẩm sử dụng cơng nghệ AR Hình 11: Ứng dụng