Hệ thống thực tế tăng cường tương tác thời gian thực trong công nghệ truyền hình tại việt nam

ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG ĐIỆN – ĐIỆN TỬ ====o0o==== LUẬN VĂN THẠC SĨ Đề tài: HỆ THỐNG THỰC TẾ TĂNG CƯỜNG TƯƠNG TÁC THỜI GIAN THỰC TRONG CƠNG NGHỆ TRUYỀN HÌNH TẠI VIỆT NAM Học viên: VŨ ANH TUẤN MSHV: 20202367M GVHD: TS HÀN HUY DŨNG Hà Nội, 09/2022 ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG ĐIỆN – ĐIỆN TỬ ====o0o==== LUẬN VĂN THẠC SĨ Đề tài: HỆ THỐNG THỰC TẾ TĂNG CƯỜNG TƯƠNG TÁC THỜI GIAN THỰC TRONG CƠNG NGHỆ TRUYỀN HÌNH TẠI VIỆT NAM Học viên: VŨ ANH TUẤN MSHV: 20202367M GVHD: TS HÀN HUY DŨNG Hà Nội, 09/2022 This page is intentionally left blank LỜI CẢM ƠN Trong suốt trình học tập Trường Đại học Bách Khoa Hà Nội, nhận hướng dẫn, bảo giúp đỡ tận tình thầy, giáo Viện Điện tử - Viễn thông với động viên, đồng hành bạn bè đồng nghiệp Tôi xin gửi lời cảm ơn chân thành đến Tiến sĩ Hàn Huy Dũng Đại học Bách Khoa Hà Nội nhiệt tình dạy hướng dẫn để tơi hồn thiện chuyên đề nghiên cứu với luận văn Tơi xin kính chúc thầy nhiều sức khỏe thành công nghiệp trồng người Tôi xin gửi lời cảm ơn chân thành đến Trung tâm Phát – Truyền hình Quân đội tạo điều kiện để thực mô luận văn Cuối cùng, xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp chia sẻ niềm vui, nỗi buồn, áp lực sống suốt trình học tập nghiên cứu Tôi xin chân thành cảm ơn! | Trang TĨM TẮT Ngày nay, cơng nghệ truyền hình Việt Nam phát triển dần bắt kịp với xu hướng công nghệ giới Tương lai cơng nghệ truyền hình trường quay ảo Tại đó, người dẫn chương trình tương tác với hệ thống thực tế tăng cường, tận dụng thiết kế đồ họa ảo để thỏa sức sáng tạo, không bị giới hạn không gian thiết kế trường quay, từ tiết kiệm đáng kể chi phí sản xuất Với phát triển mạnh mẽ công nghệ thực tế tăng cường trường quay ảo, chương trình truyền hình trực tiếp ứng dụng giúp truyền hình thêm hấp dẫn người xem, thu hút lượng lớn khán giả Tuy nhiên nay, tơi chưa tìm thấy nghiên cứu tìm hiểu đầy đủ hồn chỉnh ứng dụng cơng nghệ thực tế tăng cường truyền hình Việt Nam Do đó, tơi định lựa chọn “Hệ thống thực tế tăng cường tương tác thời gian thực cơng nghệ truyền hình Việt Nam” làm đề tài luận văn Trong khn khổ báo cáo này, tơi tập trung vào ba vấn đề chính: “Chương I: Thực tế tăng cường” tìm hiểu công nghệ thực tế tăng cường, công nghệ hoạt động ứng dụng sống “Chương II: AR truyền hình Việt Nam” nghiên cứu trường quay ảo truyền hình đại hai giải pháp AR đến từ công ty hàng đầu ứng dụng tryền Vizrt Aximmetry Trong chương này, tơi đặt tốn lựa chọn giải pháp công nghệ để triển khai trung tâm truyền hình có quy mơ nhỏ “Chương III: Triển khai giải pháp AR Aximmetry” trình bày quy trình thiết lập hệ thống triển khai giải pháp AR Aximmetry trường quay thực tế Sau đó, tơi đánh giá kết triển khai thử nghiệm định hướng nâng cấp tương lai Từ khóa: truyền hình, trường quay ảo, thực tế tăng cường | Trang MỤC LỤC LỜI CẢM ƠN TÓM TẮT MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU BẢNG CHỮ VIẾT TẮT CHƯƠNG THỰC TẾ TĂNG CƯỜNG 1.1 Cơng nghệ AR truyền hình Việt Nam 1.1.1 1.1.2 Thách thức cơng nghệ AR truyền hình Việt Nam Mục tiêu cần đạt luận văn 10 1.2 Công nghệ AR .10 1.3 Sự khác biệt AR VR 11 1.4 Cơ chế hoạt động hệ thống AR .12 1.5 Phân loại công nghệ AR .13 1.5.1 AR dựa điểm đánh dấu 13 1.5.2 AR không dựa điểm đánh dấu 14 1.5.2.1 AR dựa vị trí 14 1.5.2.2 AR dựa phác thảo 15 1.5.2.3 AR dựa máy chiếu 16 1.5.2.4 AR dựa định nghĩa người dùng 17 1.6 Các ứng dụng AR 17 1.6.1 1.6.2 1.6.3 1.6.4 Truyền hình 17 Marketing 18 Giáo dục 19 Giải trí 20 CHƯƠNG AR TRONG TRUYỀN HÌNH TẠI VIỆT NAM 22 2.1 Trường quay ảo 22 2.2 Nghiên cứu giải pháp AR Vizrt 25 2.2.1 2.2.2 2.3 Viz Virtual Studio 25 Ứng dụng giải pháp AR Vizrt truyền hình Việt Nam 28 Nghiên cứu giải pháp AR Aximmetry 31 2.3.1 Một số sơ đồ hệ thống đề xuất 32 | Trang 2.3.1.1 2.3.1.2 2.3.1.3 2.3.1.4 2.4 Camera ảo, camera, PC 33 Camera tracking, camera, PC 33 Camera traking, camera, PC 34 Camera tracking, camera, PC, key chuyên dụng 35 Lựa chọn công nghệ 36 2.4.1 2.4.2 So sánh giải pháp AR Vizrt Aximmetry 36 Yêu cầu thiết kế 37 CHƯƠNG TRIỂN KHAI GIẢI PHÁP AR CỦA AXIMMETRY 40 3.1 Thiết lập hệ thống trường quay ảo 40 3.2 Thiết lập hệ thống phần mềm 44 3.2.1 Unreal Editor 44 3.2.2 Aximmetry 46 3.2.2.1 Thiết lập 46 3.2.2.2 Thiết lập chuyên sâu 49 3.2.2.3 Vận hành phần mềm 55 3.3 Kết thử nghiệm thực tế 58 3.4 Định hướng nâng cấp 58 KẾT LUẬN 64 TÀI LIỆU THAM KHẢO 65 | Trang DANH MỤC HÌNH VẼ Figure 1.1: Cơ chế hoạt động hệ thống AR truyền hình 12 Figure 1.2: Quy trình xử lý liệu hệ thống AR [12] 13 Figure 1.3: Thực đơn nhà hàng thiết kế Oscar Falmer [13] 14 Figure 1.4: Chỉ dẫn lối sân bay Frankfurt, Đức [13] 15 Figure 1.5: Ứng dụng mua sắm nội thất [13] 15 Figure 1.6: Mô hoa văn bát cổ thời Lý máy chiếu AR 16 Figure 1.7: Đo kích thước ứng dụng Measure Iphone [13] 17 Figure 1.8: Chương trình trực tiếp Bầu cử tổng thống Mỹ năm 2020 18 Figure 1.9: Ứng dụng AR dịch vụ bán hàng IKEA Place 18 Figure 1.10: Y học giải phẫu ứng dụng AR Microsoft 19 Figure 1.11: Trò chơi Pokemon GO 20 Figure 2.1: Trường quay ảo Atlanta North Studios với back procyc 180o 23 Figure 2.2: Trường quay ảo Dock 10 với nhân vật thật 23 Figure 2.3: Trường quay thời VTV1 24 Figure 2.4: Quy trình xử lý liệu hình ảnh Viz Virtual Studio 26 Figure 2.5: Trường quay ảo BBC Sport sau kết xuất đồ họa 3D 27 Figure 2.6: Trường quay ảo BBC Sport Salford, Vương quốc Anh 27 Figure 2.7: Trường quay ảo BBC Sport sau kết xuất đồ họa 3D 28 Figure 2.8: Công nghệ AR trường quay VTVcab 29 Figure 2.9: Khu vực xử lý kỹ thuật hình ảnh cho trường quay 30 Figure 2.10: Sơ đồ hệ thống đề xuất 33 Figure 2.11: Sơ đồ hệ thống đề xuất 33 Figure 2.12: Sơ đồ hệ thống đề xuất 34 Figure 2.13: Sơ đồ hệ thống đề xuất 35 Figure 2.14: Sơ đồ hệ thống thử nghiệm 38 Figure 3.1: Sơ đồ hệ thống thử nghiệm 40 Figure 3.2: Camera trường quay 41 Figure 3.3: Phòng điều khiển trường quay 42 Figure 3.4: Sơ đồ khối rút gọn 43 Figure 3.5: Unreal Editor Aximmetry 44 Figure 3.6: Màn hình Unreal Editor 45 Figure 3.7: Cửa sổ thiết kế vật liệu Unreal Editor 45 Figure 3.8: Thiết kế không gian ảo 46 Figure 3.9: Thiết lập chế độ hình Aximmetry 46 Figure 3.10: Thiết kế trường quay tin tức ảo Aximmetry 47 Figure 3.11: Cảnh rộng 48 Figure 3.12: Cảnh trung 48 Figure 3.13: Cảnh cận 49 Figure 3.14: Sơ đồ khối sau thiết lập kết xuất hình ảnh 49 Figure 3.15: Sơ đồ tín hiệu khối VirtualCam 50 Figure 3.16: Các thao tác với camera 50 Figure 3.17: Khối đồ họa hình LCD 51 Figure 3.18: Khối đồ họa bàn 52 Figure 3.19: Thiết lập chạy đồ họa Logo kênh truyền hình 52 | Trang Figure 3.20: Thiết lập chạy đồ họa chữ chân 53 Figure 3.21: Sơ đồ tín hiệu khối Lights 53 Figure 3.22: Sơ đồ tín hiệu khối Studio 54 Figure 3.23: Sơ đồ tín hiệu khối Record 54 Figure 3.24: Chỉnh sửa hiệu ứng tab Main 55 Figure 3.25: Lựa chọn góc máy quay ảo thiết lập sẵn 56 Figure 3.26: Cửa sổ Billboards để thiết lập chế độ key hình 56 Figure 3.27: Cửa sổ Overlays 57 Figure 3.28: Cửa sổ Record 57 Figure 3.29: Cấu hình kết nối cho thiết bị tracking (1) 59 Figure 3.30: Cấu hình kết nối cho thiết bị tracking (2) 59 Figure 3.31: Căn chỉnh phông xanh MC (1) 60 Figure 3.32: Căn chỉnh phông xanh MC (2) 60 Figure 3.33: Căn chỉnh phông xanh MC (3) 60 Figure 3.34: Wall trước, 8m x 3.5m, cong, 2816 x 1232 pixel 61 Figure 3.35: wall sau, 2.5m x 3m, phẳng, 520 x 624 pixel 61 Figure 3.36: LED wall Aximmetry khớp với LED wal thực 62 Figure 3.37: LED wall thực hiển thị đồ họa ảo 62 | Trang DANH MỤC BẢNG BIỂU Table 2-1: So sánh giải pháp AR Vizrt Aximmetry 37 Table 3-1: Đánh giá kết thực nghiệm giải pháp AR Aximmetry 58 | Trang Figure 3.20: Thiết lập chạy đồ họa chữ chân c) Khối Lights Trong khối này, tơi tạo chế độ ánh sáng có cường độ mức độ đổ bóng khác để giả lập không gian ảo điều kiện thời tiết như: ánh sáng ban ngày, ánh sáng ban đêm, trời nắng, trời hồng hơn, … Figure 3.21: Sơ đồ tín hiệu khối Lights 53 | Trang d) Khối Studio Trong khối này, thiết lập kết nối khối tín hiệu tạo trước Sau đó, tơi tạo bàn trộn hình ảo, để chọn hình theo kịch Figure 3.22: Sơ đồ tín hiệu khối Studio e) Khối Record Thiết lập đưa tín hiệu đầu bàn trộn hình ảo vào khối để ghi hình Figure 3.23: Sơ đồ tín hiệu khối Record 54 | Trang 3.2.2.3 Vận hành phần mềm a) Cửa sổ Main Với thiết kế giao diện trực quan, dễ sử dụng, tơi chọn clip hiển thị hình LED thiết kế trường quay MC tương tác với nội dung chuẩn bị trước Figure 3.24: Chỉnh sửa hiệu ứng tab Main Tơi thêm đồ họa chữ chạy chân, logo kênh truyền hình, thay đổi chế độ ánh sáng trường quay Tại có bàn trộn hình ảo, cho phép chuyển đổi tín hiệu camera với clip theo yêu cầu kịch b) Cửa sổ Cameras Tại đây, tơi chọn thao tác với camera ảo thiết lập từ trước để thể nhiều góc máy, quay phim thực thụ 55 | Trang Figure 3.25: Lựa chọn góc máy quay ảo thiết lập sẵn c) Cửa sổ Billboards Tơi thiết lập chế độ key hình, kiểm tra hình ảnh MC, cắt bỏ phần thừa chọn màu phông để key Figure 3.26: Cửa sổ Billboards để thiết lập chế độ key hình 56 | Trang MC thật ghi hình trực tiếp với phông xanh đưa vào trường quay ảo, tương tác với đồ họa AR theo kịch chương trình, với góc máy khác vị trí dẫn khác d) Cửa sổ Overlays Figure 3.27: Cửa sổ Overlays e) Cửa sổ Record Figure 3.28: Cửa sổ Record 57 | Trang 3.3 Kết thử nghiệm thực tế Tiêu chí yêu cầu thiết kế Thử nghiệm thực tế Thiết kế trường quay ảo 3D Đạt Hỗ trợ thiết kế Unreal Engine Đạt Kết xuất đồ họa 2D/3D tương tác thời gian thực (latency ≤ frames) Tích hợp chroma key phần mềm Đạt (latency = frames) Xóa bỏ phơng xanh đạt 100% Tích hợp cơng cụ xây dựng thương hiệu kênh, Có hiển thị logo chữ thu thập thơng tin chạy chân Switcher hình phần mềm Chuyển hình camera ảo khơng có độ trễ Hỗ trợ camera ảo camera ảo Chuẩn tín hiệu hình ảnh HD-SDI; 1,485Mbps; Đạt 1080i/50 – SMPTE-292M input/output Chuẩn tín hiệu âm thanh: embedded audio Đạt channels – SMPTE-299M Độ phân giải hình ảnh HD 1080i Đạt Tối ưu giá thành (cost ≤ $25,000) Cost ~ $24,000 Table 3-1: Đánh giá kết thực nghiệm giải pháp AR Aximmetry Hệ thống thử nghiệm thực tế sau triển khai đánh giá đạt tiêu chí yêu cầu thiết kế 3.4 Định hướng nâng cấp a) Thiết lập trường quay ảo với camera có tracking [19] • Xác định thiết bị tracking cho camera 58 | Trang Theo mặc định, hệ thống không liệt kê thiết bị tracking cho camera Do đó, bạn phải lựa chọn loại thiết bị cấu hình kết nối Figure 3.29: Cấu hình kết nối cho thiết bị tracking (1) Figure 3.30: Cấu hình kết nối cho thiết bị tracking (2) • Lập đồ cho thiết bị tracking • Hiệu chỉnh ống kính • Căn chỉnh studio Thiết lập vị trí phơng xanh MC trường quay ảo 59 | Trang Figure 3.31: Căn chỉnh phông xanh MC (1) Figure 3.32: Căn chỉnh phông xanh MC (2) Figure 3.33: Căn chỉnh phông xanh MC (3) 60 | Trang b) Sử dụng LED wall Aximmetry [20] LED wall thiết kế theo dạng phổ biển: • Hình chữ nhật phẳng • Hình chữ nhật cong Nếu hình chữ nhật cong q dài (ví dụ: hình cong 270 °) bạn phải chia thành 3-4 đoạn để hiển thị xác Bạn phải chia nhỏ LED wall (hình chữ nhật phẳng) bạn cần kết xuất độ phân giải cao cho (ví dụ: x 4K) Trong trường hợp này, bạn định xử lý nhiều GPU PC LED wall TV hình phẳng máy chiếu tùy theo kịch chương trình Ví dụ LED wall: Figure 3.34: Wall trước, 8m x 3.5m, cong, 2816 x 1232 pixel Figure 3.35: wall sau, 2.5m x 3m, phẳng, 520 x 624 pixel 61 | Trang Mục tiêu đưa hình ảnh ảo LED wall Aximmetry khớp với hình ảnh LED wall thực cách sử dụng đồ họa hiển thị hình xem trước Figure 3.36: LED wall Aximmetry khớp với LED wal thực Khi chỉnh vị trí tương đối khơng gian thực ảo, ta xác định phần cảnh ảo nhìn thấy LED wall từ góc độ Hệ thống thực lượt kết xuất riêng biệt để tạo phần hình ảnh mà máy ảnh thực nhìn thấy LED wall để có chất lượng cao cho phần Figure 3.37: LED wall thực hiển thị đồ họa ảo 62 | Trang Kết luận chương Một trường quay thơng minh, quy trình làm việc linh hoạt tính đồ họa ấn tượng ưu điểm mà Virtual Studio Aximmetry mang lại Nó tạo hình ảnh ảo có chất lượng cho sản phẩm truyền hình Với giao diện dễ sử dụng, nhà sản xuất dễ dàng tạo trường quay 3D phức tạp, tương tác thời gian thực với đồ họa AR theo yêu cầu chương trình 63 | Trang KẾT LUẬN Thời đại số - thời đại công nghệ đại, với trụ cột trí tuệ nhân tạo liệu lớn thực tế tăng cường, … Công nghệ đại đem tới cho lĩnh vực xã hội Việt Nam, có báo chí - truyền thơng đặc biệt truyền hình thay đổi tích cực Sản phẩm truyền hình đa dạng, phong phú, dễ tiếp cận hơn, công nghệ đại tạo cho truyền hình áp lực, cần có kế hoạch chiến lược hợp lý để nhanh chóng vượt qua, lan tỏa, vươn tầm khu vực giới Trong bối cảnh công nghệ truyền hình ln ln thay đổi, việc đưa vào cơng nghệ kết hợp với truyền hình truyền thống cần thiết Từ tiếp tục phát huy mạnh đài truyền hình, đồng thời bắt nhịp với xu hướng công nghệ giới, tiếp cận góc nhìn nhằm thu hút khán giả Dựa số kết đạt triển khai thử nghiệm giải pháp trường quay ảo công nghệ AR Aximmetry, nhận thấy giải pháp phù hợp với hệ thống đơn lẻ, chi phí tiết kiệm, đầu tư theo giai đoạn, dễ dàng nâng cấp, phù hợp cho trung tâm truyền hình vừa nhỏ đài truyền hình tỉnh, thành Việt Nam Với tiềm lực tài nhỏ nguồn kinh phí vừa phải, giải pháp AR Aximmetry ứng dụng sản phẩm truyền hình tương lai để đáp ứng mục đích truyền thơng đại Với xu hướng cơng nghệ truyền hình Việt Nam, việc ứng dụng cơng nghệ tiết kiệm tài nguyên cho phép đài truyền hình tập trung cho dự án dài hơi, mang tính chất thay đổi chơi, sẵn sàng cạnh tranh sịng phẳng với tảng truyền hình online 64 | Trang TÀI LIỆU THAM KHẢO [1] A Woolard, V Laliodati, N Hedley, N Carrigan, M Hammond and J Julien, "Case studies in application of augmented reality in future media production," The Second IEEE and ACM International Symposium on Mixed and Augmented Reality, 2003 Proceedings., 2003, pp 294-295, doi: 10.1109/ISMAR.2003.1240727 [2] S Kim, "Virtual studio system for augmented reality & Chroma key processing," 13th International Conference on Advanced Communication Technology (ICACT2011), 2011, pp 762-765 [3] J Kim, J Ha, B Choi, Y Jeong and J Hong, "Design and Implementation for Interactive Augmented Broadcasting System," in IEEE Transactions on Broadcasting, vol 60, no 2, pp 217-226, June 2014, doi: 10.1109/TBC.2013.2295478 [4] H Cho, S -U Jung and H -K Jee, "Real-time interactive AR system for broadcasting," 2017 IEEE Virtual Reality (VR), 2017, pp 353-354, doi: 10.1109/VR.2017.7892322 [5] J Pair and J Wilson, "Integrating the Augmented Reality Toolkit with broadcast video chroma key systems," The First IEEE International Workshop Agumented Reality Toolkit,, 2002, pp pp.-, doi: 10.1109/ART.2002.1106967 [6] S Kim, B Choi, Y Jeong, J Hong and J Chung, "An architecture of augmented broadcasting service for next generation smart TV," IEEE international Symposium on Broadband Multimedia Systems and Broadcasting, 2012, pp 1-4, doi: 10.1109/BMSB.2012.6264289 [7] S Chandrasekaran and U Kesavan, "Augmented reality in broadcasting," 2017 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia), 2017, pp 81-83, doi: 10.1109/ICCE-ASIA.2017.8307849 [8] H Kawakita and T Nakagawa, "Augmented TV: An augmented reality system 65 | P a g e for TV programs beyond the TV screen," 2014 International Conference on Multimedia Computing and Systems (ICMCS), 2014, pp 955-960, doi: 10.1109/ICMCS.2014.6911158 [9] “Extended reality (XR): AR, VR, and MR - statistics & facts” [Online] Available: https://www.statista.com/topics/6072/extended-reality-xr/ [10] “Mọi thông tin bạn cần biết việc áp dụng công nghệ thực tế ảo tăng cường vào chiến lược marketing” [Online] Available: https://www.adjust.com/vi/blog/augmented-reality-for-mobile-marketing/ [11] Saputri, D S C (2017) Penggunaan AR untuk Meningkatkan Penguasaan Kosa Kata dan Hasil Belajar JUTISI Vol No.1 , April 2017, 6, 1357–1366 [12] P Fraga-Lamas, T M FernáNdez-CaraméS, Ó Blanco-Novoa and M A VilarMontesinos, "A Review on Industrial Augmented Reality Systems for the Industry 4.0 Shipyard," in IEEE Access, vol 6, pp 13358-13375, 2018, doi: 10.1109/ACCESS.2018.2808326 [13] “Types of AR” [Online] Available: https://digitalpromise.org/initiative/360story-lab/360-production-guide/investigate/augmented-reality/getting-startedwith-ar/types-of-ar/ [14] “Advanced live virtual sets and AR graphics - Viz Virtual Studio” [Online] Available: https://www.vizrt.com/products/viz-virtual-studio/ [15] “Vizrt delivers advanced virtual set ecosystem to BBC Sport for a year of sport” [Online] Available: https://www.vizrt.com/vizrt/press-center/bbc-sport-for-a- year-of-sport/ [16] “VTV bắt đầu áp dụng công nghệ thực tế ảo chương trình truyền hình” [Online] Available: https://dantri.com.vn/suc-manh-so/vtv-bat-dau-ap-dung- cong-nghe-thuc-te-ao-tren-cac-chuong-trinh-truyen-hinh20171122171455173.htm/ [17] “VirtualStudios” [Online] Available: https://aximmetry.com/#studioSection/ 66 | P a g e [18] “Studio Diagrams” [Online] Available: https://aximmetry.com/learn/tutorials/forstudio-operators/studio-diagrams/ [19] “Setting Up Virtual Sets with Tracked Cameras” [Online] Available: https://aximmetry.com/learn/tutorials/for-studio-operators/setting-up-virtualsets-with-tracked-cameras/ [20] “Using LED walls for virtual production” [Online] Available: https://aximmetry.com/learn/tutorials/for-studio-operators/using-led-walls-forvirtual-production/ 67 | P a g e