Augmented Reality (AR) là một chuyên ngành nghiên cứu của khoa học máy tính, cho phép tích hợp các thông tin ảo vào trong thế giới thực làm cho người dùng có thể cảm nhận thông tin đó như được hiện hữu trong môi trường xung quanh. Hiện nay, công nghệ này bước đầu được áp dụng vào các lĩnh vực chuyên ngành như: cơ khí, y khoa, giáo dục, du lịch, giải trí… Ở Việt Nam, tuy công nghệ này chưa được biết đến và ứng dụng nhiều nhưng cùng với đà phát triển của nó trên thế giới, AR hứa hẹn sẽ là một công nghệ chủ đạo trên các thiết bị di động trong một tương lai không xa.
Năm học 2011 - 2012 TÌM HIỂU VÀ XÂY DỰNG KẾT HỢP GIỮA THỰC TẾ TĂNG CƯỜNG VÀ THÔNG TIN GPS NHẰM NÂNG CAO HIỆU SUẤT HIỂN THỊ TRỰC QUAN Ngô Văn Ngọc, Nguyễn Phi Khanh (SV năm Khoa Công nghệ thông tin) GVHD: TS Ngô Quốc Việt Giới thiệu công nghệ thực tế tăng cường Augmented Reality (AR) chuyên ngành nghiên cứu khoa học máy tính, cho phép tích hợp thơng tin ảo vào giới thực làm cho người dùng cảm nhận thơng tin hữu môi trường xung quanh Hiện nay, công nghệ bước đầu áp dụng vào lĩnh vực chuyên ngành như: khí, y khoa, giáo dục, du lịch, giải trí… Cơng nghệ thường biết đến với ứng dụng dẫn đường hệ mới, giúp người dùng tương tác trực tiếp với môi trường xung quanh thiết bị di động Nhưng AR thế, cơng nghệ thực tế tăng cường mở chân trời cho ngành công nghệ thông tin giới Ở tầm cao hơn, công nghệ cịn nhận diện cử khn mặt từ đưa cách ứng xử cho phù hợp, toả mùi hương để xoa dịu hay phân tích giọng nói để biết cảm xúc họ Nghe giống truyện khoa học viễn tưởng, mục đích AR làm cho sống thật đến mức Ở Việt Nam, công nghệ chưa biết đến ứng dụng nhiều với đà phát triển giới, AR hứa hẹn công nghệ chủ đạo thiết bị di động tương lai không xa Lịch sử phát triển thực tế tăng cường Trong phần này, nhóm xin tóm lược lại q trình phát triển công nghệ thực tế tăng cường qua mốc thời gian quan trọng Năm 1968, nhà khoa học Ivan Sutherland chế tạo hệ thống thực tế tăng cường biết tên Head-Mounted-Display (HMD), coi thiết bị “thực ảo” Năm 1982 đánh dấu phát triển công nghệ thông tin lĩnh vực phần cứng máy tính xách tay sản xuất, máy tính “the Grid Compass 1100” Bước tiến mở tương lai cho lĩnh vực công nghệ nói chung 121 Kỉ yếu Hội nghị sinh viên NCKH cơng nghệ thực tế tăng cường nói riêng Cột mốc đánh dấu kỷ nguyên phát triển thiết bị công nghệ ngày nhỏ mạnh mẽ Năm 1992, hai nhà nghiên cúu Tom Caudell David Mizell đưa cụm từ “Augmented Reality” làm tên cho cơng nghệ cịn non trẻ Khái niệm Hình Chiếc máy tính “Augmented Reality – thực tế tăng cường” đời từ xách tay đây, người thừa nhận trở nên phổ biến tài liệu nghiên cứu sau Cũng nằm 1992, “người khổng lồ” phần cứng IBM kết hợp với hãng công nghệ Bellsouth giới thiệu điện thoại thông minh (smartphone) hội chợ công nghệ COMDEX Đây cột mốc đánh dấu bước tiến cho việc nghiên cứu công nghệ thực tế tăng cường, mở hướng phát triển hy vọng phổ biến công nghệ vào sống Cho đến thời đại smartphone bùng nổ hy vọng dần trở thành thực Hình Chiếc điện thoại thông minh Năm 1993, nhà nghiên cứu Loomis nhóm nghiên cứu phát triển phiên mẫu (prototype) hệ thống định vị từ xa, bước đầu thu thập thông tin cung cấp hệ thống định vị toàn cầu ảo hóa thơng tin thị chúng Cột mốc mở hướng khác công nghệ thực tế tăng cường, hôm thấy qua ứng dụng tìm đường phổ biến giới Năm 1996, Jun Rekimoto đưa sáng kiến “tem đánh dấu – 2D matrix marker”, thực chất tem ma trận hình ảnh nhị phân chiều Trong thời gian này, hệ thống sử dụng “tem đánh dấu” giới thiệu, hệ thống cho phép máy quay theo vết (tracking) tem theo nguyên lí hướng tự (six degree of freedom) không gian Một cột mốc quan trọng, công nghệ nhận diện cảnh Hình “Tem đánh dấu” điển hình dựa “tem đánh dấu” công nghệ chủ đạo hướng nghiên cứu thực tế tăng cường ngày Năm 1997, Steve Feiner nhóm nghiên cứu ông giới thiệu thiết bị “the Touring Machine”, xem hệ thống thực tế tăng cường thiết bị di động Cũng thời gian này, Philippe Kahn phát minh máy quay dành cho điện thoại, điện thoại di động không chụp hình mà cịn quay 122 Năm học 2011 - 2012 phim Giờ ứng dụng thực tế tăng cường khơng cịn gói gọn thiết bị cồng kềnh mà phát triển điện thoại di động nhỏ gọn mức độ phổ cập tốt Hình Một ứng dụng phát triển ARToolkit Năm 1999 cột mốc quan H Kato M Billinghurst giới thiệu công cụ ARToolkit để phát triển ứng dụng thực tế tăng cường Bộ ARToolkit đời, mở thời kì mới, ứng dụng phát triển tốt hơn, nhiều hơn, chất lượng ngày tăng Những công cụ sau hầu hết phát triển lên từ ARToolkit này, khắc phục nhược điểm ARToolkit công nghệ thực tế tăng cường ngày “thực” Năm 2000, B Thomas nhóm nghiên cứu giới thiệu AR-Quake, phiên mở rộng (có sử dụng thực tế tăng cường) trị chơi Quake phổ biến thời Năm 2003, R Raskar nhóm ơng giới thiệu iLamp, ứng dụng mẫu phát triển thực tế tăng cường thiết bị máy chiếu cầm tay (handheld projector-camera system) Năm 2006, hãng điện thoại Nokia cho đời MARA, thiết bị đa cảm biến giúp phát triển ứng dụng thực tế tăng cường mẫu di động thời Năm 2007, G Klein Murray phát triển hệ thống có Hình Cấu tạo máy chiếu cầm tay khả theo dõi (tracking) đối tượng đồ theo thời gian thực, thông tin so khớp thu nhận qua máy quay camera Năm 2008, Wagner nhóm nghiên cứu ơng bước đầu phát triển công nghệ thực tế tăng cường kết hợp với công nghệ “Giao tiếp gần – NFC” công bố kết Cũng năm này, hãng công nghệ Mobilizy mắt công cụ phát triển Wikitube hay SPRXmobile mắt Layar, công cụ phát triển ứng dụng thực tế tăng cường thiết bị di động tảng Android Khả ứng dụng thực tế tăng cường Các ứng dụng thực tế tăng cường rộng, trải rộng khắp nhiều lĩnh vực: quân sự, y học, giải trí… Trong khn khổ đề tài xin trình bày khả thực tế tăng cường, qua cho người thấy tiềm phát triển công nghệ vô lớn 3.1 Ứng dụng dẫn đường – Navigation Ứng dụng dẫn đường loại ứng dụng nói phù hợp để áp dụng với công nghệ thực tế tăng cường Khả áp dụng cách “tự nhiên” sử dụng rộng rãi thực tế sống ngày điểm mạnh loại ứng dụng Hệ thống 123 Kỉ yếu Hội nghị sinh viên NCKH định vị toàn cầu tăng cường cách sử dụng thực tế tăng cường làm cho việc hướng dẫn đường từ điểm A tới điểm B cách trực quan dễ dàng Xu hướng áp dụng loại ứng dụng thường phần mềm cài đặt thiết bị di động có tích hợp phần cứng định vị vị trí thiết bị định vị toàn cầu gắn phía trước xe hơi, giúp lái xe nắm bắt thơng tin đường sá có lựa chọn lại phù hợp với tình hình Wikitude Drive ứng dụng điển hình xây dựng hệ điều hành Android 3.2 Ứng dụng ngành du lịch Hiện nay, có nhiều ứng dụng sử dụng thực tế tăng cường vào ngành công nghiệp du lịch tham quan Khả tăng cường thông tin hiển thị cảnh thực cách bổ sung thông tin ảo giúp người dùng tiếp cận gần (tương tác với cảnh thực từ cảm nhận nhiều có trải nghiệm thị giác tốt hơn) Đây cách áp dụng công nghệ cách “tự nhiên” dễ dàng vào sống Trong kỉ nguyên thiết bị di động thông minh nay, người dùng khách du lịch cần có tay di động có máy quay tích hợp, qua địa điểm lịch sử tiếng, việc khởi động ứng dụng thực tế tăng cường để quan sát cảnh thực Thường ứng dụng kết hợp với thơng tin có từ hệ thống định vị tồn cầu cơng nghệ nhận diện hình ảnh, từ kết nối đến sở liệu hiển thị cảnh ảo tăng cường cho cảnh thực mà khách du lịch quan sát thấy Total Immersion hãng dẫn đầu thực tế tăng cường tồn cầu ứng dụng cơng nghệ phục vụ du lịch nhánh mà công ty đầu tư phát triển D’Fusion tên gói phần mềm phát triển mà hãng phát hành 3.3 Ứng dụng quân Công nghệ thực tế tăng cường áp dụng khí tài qn như: máy bay, xe tăng Việc hiển thị thông tin tốc độ, đồ khu vực, nhiên liệu… song song với môi trường thực tế giúp phi cơng, tài xế có thơng tin xác để họ tập trung có xử lí hợp lí nhanh chóng Thiết bị cịn biết tên Heads-Up Display (HUD) Công nghệ cịn dùng mục đích huấn luyện, diễn tập quân sự, mô trận địa… 3.4 Ứng dụng y học Thật thú vị áp dụng thực tế tăng cường vào lĩnh vực y học khả thực tiễn cao Dễ nhận thấy ứng dụng thực tế tăng cường công tác giảng dạy, phẫu thuật mô giúp cho sinh viên có kinh nghiệm thực tế, mặt khác nhà trường lại dễ dàng kiểm sốt rủi ro làm thí nghiệm thực thực tế tăng cường giảm rủi ro phẫu thuật cách cung cấp thông tin cần thiết tình trạng ca phẫu thuật (thơng qua cảm biến) cho bác 124 Năm học 2011 - 2012 sĩ phẫu thuật để người đưa xử lí nhanh chóng làm chủ tình hình tốt Công nghệ kết hợp với hệ thống chụp X-Quang hay chụp cắt lớp cung cấp thông tin trực quan đến bác sĩ việc chẩn đoán bệnh Phẫu thuật thần kinh hướng mà thực tế tăng cường áp dụng hàng đầu Dựa thơng tin chẩn đốn mà sau thực tế tăng cường mơ hình ảnh chiều não bệnh nhân, thông tin vị trí tổn thương, mức ảnh hưởng đến phận khác, di chuyển mô thần kinh thị Những thông tin cung cấp trước tầm nhìn bác sĩ xun suốt q trình chẩn đốn bệnh hay q trình thực phẫu thuật Hệ thống định vị tồn cầu gì? Hệ thống định vị tồn cầu (tiếng Anh: Global Positioning System - GPS) hệ thống xác định vị trí dựa vị trí vệ tinh nhân tạo Trong thời điểm, vị trí mặt đất xác định khoảng cách đến ba vệ tinh (tối thiểu) tính tọa độ vị trí GPS thiết kế bảo quản Bộ Quốc phòng Hoa Kì, phủ Hoa Kì cho phép người giới sử dụng miễn phí, quốc tịch Các nước Liên minh châu Âu xây dựng Hệ thống định vị Galileo, có tính giống GPS Hoa Kì, dự tính bắt đầu hoạt động cuối năm 2011 đầu năm 2012 Phân loại Hệ thống định vị toàn cầu Mĩ hệ dẫn đường dựa mạng lưới 24 vệ tinh (thực tế có 21 vệ tinh hoạt động, vệ tinh dự phòng) Bộ Quốc phịng Hoa Kì đặt quỹ đạo khơng gian Các hệ thống dẫn đường truyền thống hoạt động dựa trạm phát tín hiệu vơ tuyến điện Được biết nhiều hệ thống có tên gọi LORAN – (LOng RAnge Navigation) – hoạt động giải tần 90-100 kHz chủ yếu dùng cho hàng hải, hay TACAN – (TACtical Air Navigation) – dùng cho quân đội Mĩ biến thể với độ xác thấp VOR/DME – VHF (Omnidirectional Range/Distance Measuring Equipment) – dùng cho hàng không dân dụng Gần đồng thời với lúc Mĩ phát triển GPS, Liên Xô phát triển hệ thống tương tự với tên gọi GLONASS Hiện Liên minh châu Âu phát triển hệ dẫn đường vệ tinh mang tên Galileo Chú ý GPS GLONAS phát triển trước hết cho mục đích qn sự, nên chúng có cho dùng dân không hệ đưa đảm bảo tồn liên tục độ xác Vì chúng không thỏa mãn yêu cầu an tồn cho dẫn đường dân hàng khơng hàng hải, đặc biệt vùng thời điểm có hoạt động quân quốc gia sở hữu hệ thống Chỉ có hệ thống dẫn đường vệ tinh châu Âu Galileo (đang xây dựng) từ đầu đặt mục tiêu đáp ứng yêu cầu nghiêm ngặt đường dẫn định vị dân 125 Kỉ yếu Hội nghị sinh viên NCKH GPS ban đầu dành cho mục đích quân sự, từ năm 1980 phủ Mĩ cho phép sử dụng dân GPS hoạt động điều kiện thời tiết, nơi Trái Đất, 24 ngày Khơng phí th bao tiền trả cho việc thiết lập sử dụng GPS Tổng quan xây dựng ứng dụng kết hợp thực tế tăng cường thông tin GPS Nhiệm vụ hệ thống tăng cường dựa địa điểm dựa thông tin địa điểm xác định trước, tăng cường thông tin ảo lên thể giới thực Trong hoàn cảnh cụ thể ứng dụng, thông tin tăng cường địa điểm thể lên hình điện thoại di động với thơng tin thực tế địa điểm Các thông tin tăng cường thể địa điểm nằm khung nhìn máy quay Hệ thống chia thành hai thành phần chính: thành phần chịu trách nhiệm tiếp nhận thông tin từ giới thực, thành phần tăng cường thông tin ảo lên giới thực Hai thành phần hoạt động tương hỗ tạo cảm giác hai giới tồn tương đồng 5.1 Thành phần thu nhận thông tin từ giới thực Thành phần chịu trách nhiệm tiếp nhận thông tin ngữ cảnh giới thực cung cấp cho thành phần cịn lại Các thơng tin thu thập bao gồm: khung nhìn máy quay, tọa độ địa lí, cảm biến gia tốc, trọng trường, la bàn Máy quay: Dữ liệu hình ảnh thu nhận trực tiếp từ máy quay thiết bị, thông tin dùng làm thông tin tảng để đặt đối tượng ảo lên Tọa độ địa lí: Dữ liệu thu thập từ nhiều nguồn: GPS, Mobile Network Thực tế ứng dụng sử dụng thông tin từ GPS, liệu truyền tải qua Wifi 3G Cảm biến gia tốc, trọng trường, la bàn: Thông tin thu trực tiếp từ cảm biến thiết bị, dựa thông tin nhận được, hệ thống dùng để tái lại góc nhìn thực tế máy quay 5.2 Thành phần thu nhận thông tin từ giới ảo Thành phần tăng cường thông tin ảo lên thể giới thực, q trình chia thành số bước: - Thể giới thực: Giai đoạn thực trực tiếp, liệu hình ảnh từ máy quay thể trực tiếp lên hình thiết bị mà khơng cần qua q trình xử lí phức tạp - Dựa thơng tin giới thực, tái lại nó: Từ thơng tin cảm biến gia tốc, trọng trường, la bàn, hệ thống tái lại góc nhìn máy quay thông qua ma trận quay 126 Năm học 2011 - 2012 - Tích hợp thơng tin ảo cách trùng khớp lên thể giới thực: Các điểm quan tâm với người dùng tạo thành tập điểm Khi điểm nằm tương đối gần nhau, ta xem chúng nằm mặt phẳng Bỏ qua thông số chiều cao định dạng LLA, điểm tương ứng với điểm giới ảo hình thành - Thể kết sau tăng cường: Sau giới ảo hình thành, hệ thống hiển thị hiển thị giới ảo chồng lên thể giới thật Kết giới thực tăng cường thêm thông tin từ giới ảo Xây dựng ứng dụng 6.1 Giới thiệu công cụ Metaio Bộ cơng cụ miễn phí hãng Metaio giới thiệu, cung cấp giải pháp xây dựng ứng dụng thực tế tăng cường tảng khác tùy theo nhu cầu người lập trình thơng qua việc cung cấp thành gói riêng biệt sau: Mobile SDK: Hỗ trợ phát triển thiết bị di động tảng Android iOS, có tính tiến tiến như: - Hỗ trợ hiển thị mô hình chiều (có thể kết hợp với Unity 3D Engine), - Hỗ trợ theo dõi nhận diện không cần “tem đánh dấu”, - Hỗ trợ tương tác thông qua cảm biến điện thoại PC SDK: Hỗ trợ phát triển ứng dụng máy tính cá nhân, tích hợp với hệ thống đồ họa giúp việc hiển thị mơ hình tốt hơn, có tính chính: - Hỗ trợ thao tác truy cập, hiển thị, theo dõi, nắm bắt thơng tin cách trực tiếp, nhanh chóng, - Phát triển tảng 64bit hỗ trợ xử lí đa luồng, - Nhận diện tương tác khuôn mặt, tương tác cảnh, vật thể 127 Kỉ yếu Hội nghị sinh viên NCKH Web SDK: Hỗ trợ phát triển ứng dụng tảng Web, kết hợp với Adobe Flash Shockwave, tính tương tự với PC SDK Ngồi ra, cịn có tính năng: - Hỗ trợ thiết kế ứng dụng với khuôn mẫu (template) dựng sẵn, - Hỗ trợ hầu hết hệ điều hành trình duyệt phổ biến Ngồi gói phát triển trên, Metaio cịn cung cấp gói phụ khác như: Design, Creator, Junaio Plugin, Engineer với mục đích khác Có thể tham khảo thêm Metaio thông quan website: http://www.metaio.com/home/ 6.2 Cơ chế hoạt động Với sơ đồ trên, ta thấy lớp xây dựng ứng dụng gắn kết lớp với nhau: - Lớp ARViewActivity: Dùng đường dẫn định để đọc tập tin cấu hình dùng thơng tin để thiết lập hệ thống Tập tin hệ thống lưu TrackingData_GPSCompass.xml; - Lớp UnifeyeSensorsManager: Cho biết tọa độ thời thiết bị (theo định dạng LLA), thông tin hướng thiết bị, thông tin chuyển động thiết bị; - Lớp IunifeyeMobileAndroid: Kích hoạt máy quay, tiến hành nhận hình ảnh từ máy quay, hiển thị hình ảnh từ máy quay lên hình tăng cường đối tượng ảo lên đó; - Lớp WarpviewActivity: Tiến hành cung cấp liệu địa điểm tăng cường cho hệ thống; - Lớp IunifeyeBillboardGroup: Dùng để thêm xóa địa điểm tăng cường vào hệ thống; 128 Năm học 2011 - 2012 - Lớp IunifeyeMobileGeometry: Đặt địa điểm tăng cường vào tọa độ cụ thể (theo định dạng LLA); - Lớp LocationHelper: Lấy danh sách điểm tăng cường lưu trữ sở liệu Từ lấy được, Bitmap phát sinh tương ứng với điểm tăng cường, Bitmap dùng để khởi tạo đối tượng IUnifeyeMobileGeometry Ngoài ra, liệu địa điểm tăng cường lưu trữ hệ sở liệu sqlite Kết đạt Sau trình thực hiện, nhóm nghiên cứu hồn tất ứng dụng kết hợp thực tế tăng cường thông tin GPS thiết bi di động tảng Android với chức sau: - Nhận biết vị trí người dung, - Lưu địa điểm thông tin mà người dùng muốn hiển thị vào CSDL, - Hiển thị camera, nhận dạng vị trí camera hướng tới, phát địa điểm trùng khớp CSDL khởi động module thực tế tăng cường hiển thị thơng tin vào hình thiết bị di động Kết luận Hiện kết mà nhóm nghiên cứu tìm hiểu bước đầu kết hợp thực tế tăng cường thông tin định vị tồn cầu Nhóm nghiên cứu nhận thấy rằng, cơng nghệ có tiềm phát triển thời đại bùng nổ thiết bị cảm ứng ngày Tuy nhiên, hạn chế sức mạnh phần cứng mà nhóm nghiên cứu tăng cường dạng chữ lên cảnh thực kết hơp với GPS Mặc khác, lệch lạc sai số nhiều thông tin GPS trả cho thiết bị làm cho ứng dụng hoạt động khơng xác độ ổn định phụ thuộc vào tốc độ đường truyền mạng thông tin truyền khơng bị nhiễu q nhiều Những khó khăn khắc phục phần cứng thiết bị di động mạnh hơn, đường truyền mạng tốt hơn, thiết bị cảm biến di động nhạy hơn, tất điều làm bước tiến lớn cho cơng nghệ thực tế tăng cường này, dễ dàng vào sống hơn, mức độ áp dụng rộng rãi cung cấp người dùng cảm giác ngày thực hơn, khoảng thực ảo gần TÀI LIỆU THAM KHẢO R.Silva, J.C Oliveira, G.A Giraldi, Introduction to Augmented Reality, National Laboratory for Scientific Computation, Brazil Jan Flusser and Tomas Suk (1993), Pattern Recognition by Affine Moment Invariants, Institude of Information Theory and Automation, Czechoslovak Academy of Sciences, Czechoslovakia 129 Kỉ yếu Hội nghị sinh viên NCKH Ben Butchart (2011), Augmented for Smartphones – A guild for developers and content publishers, JISC Observatory – Observing trends in innovation Benjamin Obst (2009), Ludwig Tröller, Augmented Reality, Ausarbeitung zum Seminar “Innovationsforum” im Sommer-Semester Martin Hirzer (2008), Marker Detection for Augmented Reality Applications, Inst for Computer Graphics and Vision - Graz University of Technology, Austria Tobias Domhan (2010), Augmented Reality on Android Smartphones, des Studiengangs Informationstechnik an der Dualen Hochschule Baden-Württemberg Stuttgart Ao.Univ.Prof DI Dr Dieter Schmalstieg und DI Dr Gerhard Reitmayrals verantwortlich mitwirkenden Assistenten (2004), XML Databases for Augmented Reality, Institut făur Softwaretechnik und Interaktive Systeme der Technischen Universităat Wien Tobias H Höllerer, Steven K Feiner (2004), Chapter 9: Mobile Augmented Reality, Taylor & Francis Books Ltd 130 ... CSDL khởi động module thực tế tăng cường hiển thị thông tin vào hình thiết bị di động Kết luận Hiện kết mà nhóm nghiên cứu tìm hiểu bước đầu kết hợp thực tế tăng cường thơng tin định vị tồn cầu... dụng kết hợp thực tế tăng cường thông tin GPS thiết bi di động tảng Android với chức sau: - Nhận biết vị trí người dung, - Lưu địa điểm thông tin mà người dùng muốn hiển thị vào CSDL, - Hiển thị. .. Thể kết sau tăng cường: Sau giới ảo hình thành, hệ thống hiển thị hiển thị giới ảo chồng lên thể giới thật Kết giới thực tăng cường thêm thông tin từ giới ảo Xây dựng ứng dụng 6.1 Giới thiệu