Một kỹ thuật nâng cao chất lượng hiển thị đối tượng giả 3D

Bài viết này đề cập đến việc sử dụng bóng cho việc nâng cao tính chân thực cho đối tượng. Kỹ thuật được đề xuất dựa trên hướng nguồn sáng thu nhận được bằng phương pháp phân tích tính chất phản xạ trên bề mặt vật thể và đã được cài đặt và thử nghiệm trong hệ thống trưng bày ảo.

Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX “Nghiên cứu ứng dụng Công nghệ thông tin (FAIR'9)”; Cần Thơ, ngày 4-5/8/2016 DOI: 10.15625/vap.2016.00047 MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D Trịnh Hiền Anh1, Đỗ Năng Toàn2, Hà Mạnh Toàn1, Trịnh Xuân Hùng1, Đỗ Văn Thiện1, Phạm Bá Mấy1 Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam Viện Công nghệ thơng tin, Đại học Quốc gia Hà Nội TĨM TẮT— Trong hệ thống thực ảo việc chèn đối tượng giả 3D vấn đề đặt cho việc hiển thị đáp ứng yêu cầu giới thực Việc chèn đối tượng giả 3D ln địi hỏi, đối tượng nhìn thấy hệ thống giống thực tốt Bài báo đề cập đến việc sử dụng bóng cho việc nâng cao tính chân thực cho đối tượng Kỹ thuật đề xuất dựa hướng nguồn sáng thu nhận phương pháp phân tích tính chất phản xạ bề mặt vật thể cài đặt thử nghiệm hệ thống trưng bày ảo Từ khóa— Light detection, Shadow, VR, AR… I GIỚI THIỆU Trong nhiều năm gần đây, phát triển phần cứng với thiết bị thu nhận hình ảnh, thiết bị trình chiếu với phát triển học thuật với nhiều cơng trình nghiên cứu lĩnh vực xử lý hình ảnh, mơ thúc đẩy mạnh mẽ xu hướng ngành công nghệ thông tin vấn đề nghiên cứu, phát triển hệ thống mà hình ảnh giới thực giới ảo xen lẫn Ví dụ số hệ thống mô người, đặc biệt việc biểu diễn biểu cảm khuôn mặt người 3D lĩnh vực thực ảo với sản phẩm qi vật, người sói có biểu cảm khn mặt tinh tế kết việc đưa biểu cảm thực khuôn mặt người vào giới ảo Một tiếp cận ngược lại cố gắng đưa đối tượng ảo vào không gian thực, thấy nhiều thơng tin đối tượng ta quan tâm góc nhìn hệ thống Những ứng dụng dạng biết đến nhiều sản phẩm ứng dụng điện thoại thông minh, hệ thống sử dụng trực tiếp camera điện thoại người dùng quan sát gián tiếp đối tượng ảo chèn vào thơng qua hình điện thoại, ví dụ sản phẩm Snapshop iPhone cho phép người dùng hình dung việc xếp đồ nội thất bên phịng Một ví dụ khác hướng phối trộn thành phần không gian thực ảo nhằm tạo môi trường cho người cảm nhận, xa việc bổ sung thông tin cho đối tượng quan tâm, người dùng cảm nhận đối tượng ảo không gian theo cách với đối tượng thực, ví dụ hợp tác Microsoft Volvo dự án showroom xe hơi, theo đó, người dùng quanh showroom, nhìn thấy thao tác với đường ảo, dẫn, biểu tượng ảo gắn kết với giới thực; sở người dùng tiếp cận với thông tin ngồi buồng lái hiểu rõ vận hành thành phần xe định mua, cảm biến làm việc sao, kịch xảy thực tế sử dụng xe đó, tất khơng thể nhìn thấy hình dung mắt thường Trong toán thực tế nghiên cứu, ranh giới hướng nêu không rõ ràng phạm vi chúng có nhiều phần giao Kể người nghiên cứu có cách nhìn khác việc xác định phạm vi khái niệm, ví dụ phân tích cách hiểu thực tăng cường nhóm Hsin-Kai Wu Q trình xác định hướng nguồn sáng cung cấp thông tin để xây dựng bóng cho đối tượng ảo chèn vào hệ thống với mục tiêu làm nâng cao tính chân thực cho đối tượng Bài báo đề xuất kỹ thuật xác định hướng nguồn sáng thu nhận dựa phương pháp phân tích tính chất phản xạ bề mặt vật thể với mục đích làm tăng cường tính xác cho q trình tạo bóng cho đối tượng ảo Kỹ thuật cài đặt thử nghiệm hệ thống trưng bày ảo Trong phần nhóm nghiên cứu giới thiệu số nghiên cứu liên quan Nội dung thuật tốn đề xuất trình bày phần III Cuối kết thử nghiệm II MỘT SỐ NGHIÊN CỨU LIÊN QUAN Việc thể chiếu sáng đối tượng 3D, dù đặt ngữ cảnh ánh sáng nào, chất phần việc mô đối tượng lĩnh vực thực ảo Tuy nhiên, đặt ngữ cảnh ánh sáng thực, tùy tình mà phải thêm số mở rộng khác, chẳng hạn giả định trước hướng cường độ ánh sáng thực thêm số kỹ thuật xử lý ảnh hỗ trợ công việc Trong nghiên cứu mình, Strauss [1] hướng màu nguồn sáng hai thuộc tính quan trọng cần để mơ hiệu ứng ánh sáng tương ứng Hơn nữa, thực nghiệm Slater, Usoh Chrysanthou [2] tồn bóng hỗ trợ thơng tin khơng gian cho người sử dụng, hay Hoshang Kolivand, Mohd Shahrizal Sunar [13,14] cho thấy việc xây dựng bóng cho đối tượng hệ thống AR quan trọng Do việc tập trung mơ bóng cho đối tượng ảo dựa sở xác định hướng nguồn sáng điểm mấu chốt để nâng cao chất lượng hay cụ thể tính chân thực việc hiển thị đối tượng ảo hệ thống Riêng việc phân tích nguồn sáng từ ảnh, có nhiều phương pháp khác sử dụng để ước tính điều kiện chiếu sáng giới thực Một phương pháp dùng thiết bị dò ánh sáng Thiết bị dò ánh sáng MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 388 cầu phủ chất liệu phản xạ ánh sáng để thu nhận điều kiện chiếu sáng môi trường xung quanh [3, 4, 11] Do cường độ ánh sáng môi trường thường trải phổ rộng thường sử dụng ảnh HDR để thu nhận hình ảnh từ thiết bị dị ánh sáng Nói cách tổng quan, thiết lập phần cứng cho mô phương pháp sử dụng hai camera riêng biệt [6, 7], camera sử dụng để quan sát thiết bị dò ánh sáng camera lại dùng để quan sát theo vết vật đánh dấu Công việc phải làm thiết lập tương quan camera, thiết lập thiết bị dò ánh sáng đồng với vật đánh dấu Bên cạnh cịn tồn vấn đề khác vị trí thiết bị dị ánh sáng thay đổi với camera cần xác định theo vết vị trí thiết bị dị ánh sáng Khoanh vùng phạm vi thiết bị dò giải pháp cho vấn đề Một tiếp cận xác định nguồn sáng khác nhóm nghiên cứu Stumpfel [5] dựa sử dụng ống kính fish-eye để trực tiếp xác định định lượng nguồn sáng môi trường xung quanh Ảnh HDR thu nhận hiệu chỉnh độ trập kích thước ống kính thiết bị chụp Tuy nhiên, để thu nhận mơi trường với điều kiện động cần thời gian, nghĩa phương pháp khơng thích hợp với thời gian thực Phương pháp sử dụng ống kính fish-eye áp dụng nhiều nghiên cứu khác mô [7] Một phương pháp khác sử dụng phân tích bóng đối tượng kết hợp với tính chất hình học để ước lượng hướng nguồn sáng [9, 10]; tiếp cận theo hướng nghiên cứu điều kiện ánh sáng trời [8] Panagopoulos với đồng nghiệp sử dụng phân phối Mises-Fisher [9] trường Markov ngẫu nhiên [10] để mơ hình hóa hướng ánh sáng từ bóng đối tượng ảnh đầu vào Phương pháp kết mơ hình hóa chiếu sáng cài đặt để mơ bóng đối tượng ảo mơi trường thực, nhiên, phương pháp thường tới phút để xử lý ảnh khơng thích hợp với ứng dụng yêu cầu thời gian thực Madsen Nielsen [8] sử dụng độ tương phản cách so sánh độ sáng vùng bóng vùng khơng phải bóng ảnh ngồi trời để mơ hình hóa cường độ sáng bầu trời mặt trời III NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG A Các bước thực Với toán chèn đối tượng 3D vào mơi trường thực, có phạm vi xác định, thuật tốn cần thực bước sau: B1 Xác định hướng nguồn sáng môi trường có phạm vi xác định B2 Lựa chọn đối tượng cần chèn vào mơi trường B3 Xây dựng bóng cho đối tượng theo hướng nguồn sáng xác định B1 B4 Chèn đối tượng vào môi trường B Thuật tốn xác định hướng ánh sáng Q trình xác định hướng ánh sáng mơi trường có phạm vi xác định thực sau: B1 Thu nhận liệu hình ảnh từ mơi trường B2 Xác định vùng khối cầu có ảnh B3 Xác định vùng chói sáng khối cầu B4 Xây dựng pháp tuyến với khối cầu tâm vùng chói sáng B5 Xác định hướng véc tơ phản xạ Vr Hình Mối quan hệ khung nhìn nguồn sáng Dựa vào mối quan hệ khung nhìn nguồn sáng (Hình 1), chúng tơi đề xuất phương pháp xác định hướng ánh sáng phạm vi xác định dựa q trình phân tích tính chất phản xạ ánh sáng bề mặt vật thể Để xác định hướng nguồn sáng ta cần xác định hướng véc tơ phản xạ Véc tơ phản xạ tính dựa vào cơng thức (1) ( ) B6 Xác định hướng nguồn sáng: Hướng nguồn sáng hướng ngược lại với hướng véc tơ phản xạ Vr (1) Trịnh Hiền Anh, Đỗ Năng Toàn, Hà Mạnh Toàn, Trịnh Xuân Hùng, Đỗ Văn Thiện, Phạm Bá Mấy 389 Input: Image I Output: Hướng nguồn sáng ảnh I Procedure Light_direction_detection (I, Vlight) Load I; // Đọc ảnh đầu vào I HCT(Bc;R); High_Light_Detect(); Draw NormalLine (); Vlight:= - Vr Từ ảnh thu nhận ta sử dụng Hough Circle Transform (HCT) để xác định vị trí tâm bán kính hình cầu Hình cầu xác định (Bc(x,y);R) Hình Điểm sáng chói (đánh dấu x) hình cầu Tại hình cầu xác định tiếp tục tiến hành tìm điểm sáng chói (ví dụ Hình 2) Thuật tốn xác định vùng chói sáng +| Mơ hình màu * ứng kênh màu i, n tổng hợp kênh màu tương ứng tâm bán kính vùng giá trị trục tương Trong hình cầu xác định từ bước trên, tiến hành phân nhóm điểm để tìm kiếm vùng sáng chói Xác định tâm vùng sáng chói, dựng tiếp tuyến với hình cầu từ tâm vùng sáng chói Input: Ảnh I kích thước w*h hình cầu Bc(x,y;R), tỉ lệ r Output: Vùng sáng chói hình cầu Lc(x, y) Các bước thực Procedure High_Light_Detect(); Diện tích hình cầu Bc Dt (tổng số điểm ảnh có hình cầu) //Thuật tốn ước lượng mơ hình màu hình cầu Khởi tạo C màu trung bình vùng ảnh hình cầu L mảng số thực có kích thước Dt m= r *Dt Repeat Với điểm thuộc hình cầu ta xác tính khoảng cách tới tâm màu gán tương ứng vào L Sắp xếp L tăng dần C:= Trung bình m điểm ảnh tương ứng với m giá trị L until (C không đổi) dùng m điểm ảnh tương ứng m giá trị ảnh L, tính giá trị // Thuật tốn tách vùng chói Khởi tạo mặt nạ M tất giá trị Với điểm ảnh P= {p1,p2…,pn} thuộc hình cầu Bc d:=0; tương ứng MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 390 ( ( ( ( ( ( ) //Điểm chói ) ) ) ) ) // vùng chói ( ) tâm vùng chói Procedure LightedCenter(); M; //vùng chói sumx:=0; sumy:=0; numpix:=0; Với điểm (x,y) thuộc vùng chói M sumx+=x; sumy+=y; numpix++; } } Giá trị tìm tâm vùng chói Thuật tốn xác định pháp tuyến Input: Bc(x,y;R) Lc(x, y) Output: ⃗⃗⃗⃗ Các bước thực Procedure Draw NormalLine (); Giả sử gốc tọa độ trùng với tâm hình cầu Tọa độ điểm N thuộc véc tơ pháp tuyến xác định sau ; √( | | ) √ √ Sau xác định véc tơ pháp tuyến VN ta dễ dàng xác định hướng véc tơ phản xạ (Vr) theo cơng thức (1) Với Vray hướng góc nhìn Hướng nguồn sáng hướng ngược véc tơ phản xạ Vlight= -Vr IV THỰC NGHIỆM Dữ liệu thử nghiệm chia làm hai pha: pha thứ đơn để xác định tính xác thuật toán xác định hướng nguồn sáng, pha thứ hai thử nghiệm cho trình chèn đối tượng ảo mơi trường có phạm vi xác định Trịnh Hiền Anh, Đỗ Năng Toàn, Hà Mạnh Toàn, Trịnh Xuân Hùng, Đỗ Văn Thiện, Phạm Bá Mấy 391 A Thử nghiệm xác định hướng nguồn sáng Xây dựng khối cầu môi trường 3D với nguồn sáng thiết lập Hình ảnh khối cầu tạo lập mơi trường làm liệu đầu vào cho thuật toán xác định hướng nguồn sáng Kết đối sánh hướng nguồn sáng xác định thuật toán đề xuất nguồn sáng thiết lập môi trường thể trong Hình Khối cầu có bán kính đơn vị thiết lập mơi trường 3D với nguồn sáng đặt vị trí (3,8,0) Hình ảnh khối cầu nguồn sáng cung cấp môi trường sử dụng làm đầu vào cho thuật toán xác định hướng nguồn sáng Kết trả hướng ánh sáng xác định từ ảnh Thử nghiệm tiến hành với 1,000 khối cầu có bán kính khác với hướng nguồn sáng đa dạng Kết thu nhận cho thấy, hướng nguồn sáng thu nhận sau tiến hành thực thuật toán có độ lệch 50 Dữ liệu thử nghiệm cho thấy độ xác thuật tốn xác định hướng nguồn sáng đạt 98,7% (a) Đối tượng hình cầu xây dựng với nguồn sáng cho trước môi trường (b) Đối sánh kết hướng nguồn sáng (mũi tên đứt nét hướng nguồn sáng xác định thuật tốn) Hình Thử nghiệm xác định hướng nguồn sáng B Thử nghiệm hiển thị đối tượng ảo môi trường thực với phạm vi xác định có sử dụng thuật toán xác định hướng nguồn sáng đề xuất Pha thứ hai q trình thử nghiệm, chúng tơi tiến hành chèn đối tượng ảo ba chiều vào môi trường thực Một đối tượng ba chiều ảo xây dựng chèn vào khu vực xác định phòng cho Trong phòng có nguồn chiếu sáng thực, hướng nguồn sáng xác định cầu (trong Hình 4) Đối tượng ba chiều xây dựng chương trình hỗ trợ tạo mơ hình ba chiều, sử dụng 3DsMax Đối tượng xây dựng có hình dạng texture Tiến hành đặt đối tượng xây dựng vào vị trí xác định phịng Lúc này, từ thông tin hướng nguồn sáng phịng xác định thuật tốn đề xuất, bóng đối tượng tự động chèn Quan sát Hình ta thấy hướng bóng đối tượng 3D chèn vào mơi trường với hướng bóng đổ cầu Hình Đối tượng 3D chèn vào hệ thống, bóng đối tượng đối sánh với bóng cầu V KẾT LUẬN Bài báo trình bày kỹ thuật nâng cao chất lượng hiển thị đối tượng 3D dựa phương pháp phân tích tính chất phản xạ bề mặt vật thể Dựa kết phân tích chúng tơi tính hướng nguồn sáng môi trường, làm sở để xây dựng bóng cho đối tượng 3D đối tượng chèn vào hệ thống trưng bày ảo MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 392 Kỹ thuật cài đặt thử nghiệm hệ thống trưng bày ảo với nguồn sáng đối tượng độc lập, đó, bóng đối tượng 3D chèn hệ thống đối sánh với bóng hình cầu hệ thống TÀI LIỆU THAM KHẢO [1] P S Strauss (1990) A realistic lighting model for computer animators IEEE Comput Graph Appl 56-64 [2] M Slater, M Usoh, and Y Chrysanthou (1995) The influence of dynamic shadows on presence in immersive virtual environments Selected papers of the Eurographics workshops on Virtual environments ’95 8-21 [3] E Reinhard, G Ward, S Pattanaik, and P Debevec (2005) High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting The Morgan Kaufmann Series in Computer Graphics [4] P Debevec (2005) Image-based lighting ACM SIGGRAPH 2005 Courses, SIGGRAPH ’05 [5] J Stumpfel, A Jones, A Wenger, C Tchou, T Hawkins, and P Debevec (2006) Direct hdr capture of the sun and sky ACM SIGGRAPH 2006 Courses, SIGGRAPH ’06 [6] P Supan and I Stuppacher (2006) Interactive image based lighting in augmented reality 10th Central European Seminar on Computer Graphics (CESCG 2006) [7] P Supan, I Stuppacher, and M Haller (2006) Image based shadowing in real-time augmented reality IJVR 1-7 [8] C B Madsen and M Nielsen (2008) Towards probe-less augmented reality - a position paper GRAPP 255–261 [9] A Panagopoulos, D Samaras, and N Paragios (2009) Robust shadow and illumination estimation using a mixture model IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) 651–658 [10] A Panagopoulos, C Wang, D Samaras, and N Paragios (2011) Illumination estimation and cast shadow detection through a higher-order graphical model IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) [11] Ibrahim Arief, Simon McCallum, and Jon Yngve Hardeberg (2012) Realtime Estimation of Illumination Direction for Augmented Reality on Mobile Devices Color and Imaging Conference Final Program and Proceedings 111-116 [12] Hsin-Kai Wu, Silvia Wen-Yu Lee, Hsin-Yi Chang, and Jyh-Chong Liang (2013) Current status, opportunities and challenges of augmented reality in education Computers & Education 41-49 [13] Hoshang Kolivand, Mohd Shahrizal Sunar, (2014),Realistic Real-Time Outdoor Rendering in Augmented Reality,1-14 [14] Hoshang Kolivand, Mahyar Kolivand, Mohd Shahrzial Sunar, (2015), Interactive Virtual Shadows on Real Objects in Augmented Reality, International Journal of Information Technology & Computer Science,74-80 A TECHNIQUE TO ENHANCE THE DISPLAY QUALITY IN 3D ENVIRONMENT Trinh Hien Anh, Do Nang Toan, Ha Manh Toan, Trinh Xuan Hung, Do Van Thien, Pham Ba May ABSTRACT— In the virtual reality system, inserting 3D objects which meet the demand of reality environment usually rise question In these systems, 3D object should as real as possible This paper uses object’s shadow to enhance the real for an object We propose a method to detect the real light source direction, which is then supply information to build the shadow for an object The light source direction is detected base on the object surface’s reflection and it is installed in a virtual exhibition Keywords— Light detection, Shadow, VR, AR… ... cho đối tượng 3D đối tượng chèn vào hệ thống trưng bày ảo MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 392 Kỹ thuật cài đặt thử nghiệm hệ thống trưng bày ảo với nguồn sáng đối tượng. .. giá trị // Thuật tốn tách vùng chói Khởi tạo mặt nạ M tất giá trị Với điểm ảnh P= {p1,p2…,pn} thuộc hình cầu Bc d:=0; tương ứng MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 390 (...MỘT KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HIỂN THỊ ĐỐI TƯỢNG GIẢ 3D 388 cầu phủ chất liệu phản xạ ánh sáng để thu nhận điều kiện chiếu sáng