1. Trang chủ
  2. » Luận Văn - Báo Cáo

Hệ thống thực tế tăng cường tương tác thời gian thực trong công nghệ truyền hình tại việt nam

70 2 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Hệ Thống Thực Tế Tăng Cường Tương Tác Thời Gian Thực Trong Công Nghệ Truyền Hình Tại Việt Nam
Tác giả Vũ Anh Tuấn
Người hướng dẫn TS. Hàn Huy Dũng
Trường học Đại học Bách Khoa Hà Nội
Thể loại luận văn thạc sĩ
Năm xuất bản 2022
Thành phố Hà Nội
Định dạng
Số trang 70
Dung lượng 2,52 MB

Cấu trúc

  • CHƯƠNG 1. THỰC TẾ TĂNG CƯỜNG (12)
    • 1.1. Công nghệ AR trong truyền hình tại Việt Nam (12)
      • 1.1.1. Thách thức của công nghệ AR trong truyền hình và tại Việt Nam (12)
      • 1.1.2. Mục tiêu cần đạt được của luận văn (13)
    • 1.2. Công nghệ AR (13)
    • 1.3. Sự khác biệt giữa AR và VR (14)
    • 1.4. Cơ chế hoạt động của hệ thống AR (15)
    • 1.5. Phân loại công nghệ AR (16)
      • 1.5.1. AR dựa trên điểm đánh dấu (16)
      • 1.5.2. AR không dựa trên điểm đánh dấu (17)
        • 1.5.2.1. AR dựa trên vị trí (17)
        • 1.5.2.2. AR dựa trên phác thảo (18)
        • 1.5.2.3. AR dựa trên máy chiếu (19)
        • 1.5.2.4. AR dựa trên định nghĩa người dùng (20)
    • 1.6. Các ứng dụng của AR (20)
      • 1.6.1. Truyền hình (20)
      • 1.6.2. Marketing (21)
      • 1.6.3. Giáo dục (22)
      • 1.6.4. Giải trí (23)
  • CHƯƠNG 2. AR TRONG TRUYỀN HÌNH TẠI VIỆT NAM (25)
    • 2.1. Trường quay ảo (25)
    • 2.2. Nghiên cứu giải pháp AR của Vizrt (28)
      • 2.2.1. Viz Virtual Studio (28)
      • 2.2.2. Ứng dụng giải pháp AR của Vizrt trong truyền hình tại Việt Nam (31)
    • 2.3. Nghiên cứu giải pháp AR của Aximmetry (34)
      • 2.3.1. Một số sơ đồ hệ thống được đề xuất (35)
        • 2.3.1.1. Camera ảo, 3 camera, 1 PC (36)
        • 2.3.1.2. Camera tracking, 3 camera, 1 PC (36)
        • 2.3.1.3. Camera traking, 3 camera, 3 PC (37)
        • 2.3.1.4. Camera tracking, 3 camera, 3 PC, key chuyên dụng (38)
    • 2.4. Lựa chọn công nghệ (39)
      • 2.4.1. So sánh giải pháp AR của Vizrt và Aximmetry (39)
      • 2.4.2. Yêu cầu thiết kế (40)
  • CHƯƠNG 3. TRIỂN KHAI GIẢI PHÁP AR CỦA AXIMMETRY (43)
    • 3.1. Thiết lập hệ thống trường quay ảo (43)
    • 3.2. Thiết lập hệ thống phần mềm (47)
      • 3.2.1. Unreal Editor (47)
      • 3.2.2. Aximmetry (49)
        • 3.2.2.1. Thiết lập cơ bản (49)
        • 3.2.2.2. Thiết lập chuyên sâu (52)
        • 3.2.2.3. Vận hành phần mềm (58)
    • 3.3. Kết quả thử nghiệm thực tế (61)
    • 3.4. Định hướng nâng cấp (61)
  • KẾT LUẬN (24)
  • TÀI LIỆU THAM KHẢO (68)

Nội dung

THỰC TẾ TĂNG CƯỜNG

Công nghệ AR trong truyền hình tại Việt Nam

1.1.1 Thách thức của công nghệ AR trong truyền hình và tại Việt Nam

Tại Việt Nam hiện nay, đa số người dùng đang sử dụng những thiết bị di động như điện thoại thông minh, máy tính bảng để xem các nền tảng video trực tuyến Ngay cả những khán giả trung thành nhất cũng đang dần rời xa truyền hình truyền thống vì sự thiếu hấp dẫn của các chương trình truyền hình Trong khi đó, với sự phát triển của khoa học công nghệ, các đài truyền hình nổi tiếng trên thế giới như NBC, BBC, hay CNN đã sớm ứng dụng công nghệ AR vào trong truyền hình từ năm 2008 Do đó, truyền hình tại Việt Nam cần nhanh chóng thay đổi, ứng dụng công nghệ, tăng tính hấp dẫn cho các chương trình nhằm giữ chân những khán giả trung thành và lôi kéo những khán giả mới, để mọi khán giả được trải nghiệm những sản phẩm truyền hình chất lượng, đa dạng về nội dung và hình thức thể hiện Hiện nay, có rất nhiều giải pháp AR đến từ các công ty công nghệ hàng đầu trên thế giới, tuy nhiên ứng dụng công nghệ AR trong truyền hình luôn có những thách thức khác biệt.

Thứ nhất, hệ thống AR trong truyền hình phải đảm bảo những tiêu chuẩn về chất lượng hình ảnh Hiện nay, đa số các đài truyền hình đang vận hành hệ thống theo tiêu chuẩn hình ảnh HD 1080i/1080p Do đó, hệ thống AR phải hỗ trợ các tiêu chuẩn chất lượng hình ảnh phổ biến.

Thứ hai, hệ thống AR trong truyền hình phải đảm bảo tính thời gian thực.

Do khung hình tối hiểu để mắt người xem có cảm giác mượt mà là 25 hình/s, đồ họa AR phải được kết xuất đồng bộ (trễ ≤ 5 hình) so với khung hình thực để khán giả không cảm thấy đồ họa AR đi sau nhân vật.

Thứ ba, mặc dù có nhiều hãng trên thế giới cung cấp giải pháp AR ứng dụng trong truyền hình, tuy nhiên mỗi hãng lại có hệ thống phần cứng và phần mềm khác nhau, dẫn đến sơ đồ triển khai khác nhau và quy mô triển khai cũng rất khác nhau.

Ngoài những thách thức đó, thực tế truyền hình tại Việt Nam cũng có thách thức riêng Lựa chọn giải pháp công nghệ như thế nào, triển khai thực tế ra sao để phù hợp với yêu cầu kỹ thuật hiện có, cân bằng nhu cầu sản xuất và tiềm lực tài chính luôn là bài toán đau đầu đối với mỗi trung tâm truyền hình.

1.1.2 Mục tiêu cần đạt được của luận văn

• Tìm hiểu tổng quan về công nghệ AR và ứng dụng của công nghệ AR.

• Nghiên cứu trường quay ảo kết hợp công nghệ AR – xu hướng công nghệ truyền hình tại Việt Nam, tìm hiểu một số giải pháp AR ứng dụng trong truyền hình.

• Đặt ra bài toán yêu cầu thiết kế, từ đó lựa chọn giải pháp AR phù hợp, xây dựng cấu hình và thiết lập sơ đồ hệ thống, triển khai thử nghiệm trong môi trường truyền hình thực tế, tối ưu hóa phần cứng của hệ thống về giá thành và chức năng, tiết kiệm chi phí.

• Đánh giá kết quả và định hướng nâng cấp.

Công nghệ AR

AR là công nghệ cho phép lồng ghép thông tin ảo vào thế giới thực Công nghệ này coi thế giới thực là trung tâm nhưng tăng cường thêm các chi tiết ảo,chồng thêm các tầng nhận biết, bổ sung cho môi trường thực tế Người dùng sẽ được trải nghiệm những yếu tố ảo, được nhìn, được cảm nhận, được tương tác ngay trong môi trường thật, giữa không gian thật Ngay cả những lãnh đạo tập đoàn lớn, như Tim Cook – CEO tại Apple – cũng rất quan tâm đến AR Ở buổi công bố lợi nhuận quý 1 năm 2020, ông cho biết: “Hiếm khi nào mà chúng ta phát triển được một loại công nghệ mới mà doanh nghiệp và người tiêu dùng đều đánh giá cao.

Vì vậy, tôi cho rằng, AR sẽ sớm có mặt ở khắp mọi nơi trong cuộc sống” [10].

Nếu nói về một trường hợp đã áp dụng thành công AR vào ứng dụng di động, thì phải kể đến Pokemon GO Được phát triển bởi công ty phát triển phần mềm Niantic, Pokemon GO đã bổ sung AR để người dùng được trải nghiệm game một cách chân thực – người dùng có thể tìm và bắt Pokemon ngay trong thế giới thực Game tương tác ảo Pokemon GO nhanh chóng trở thành hiện tượng toàn cầu và thu về 207 triệu USD chỉ trong tháng đầu tiên – cao hơn bất kỳ game nào khác trước đó Sau ba tháng ra mắt, game trở nên phổ biến đến mức, tính trong nhóm 20 game Android đứng đầu, Pokemon GO chiếm đến 45% thời lượng người dùng bỏ ra để chơi game Android Nhưng AR không chỉ hữu dụng cho mỗi game Instagram và Snapchat là hai ví dụ cho thấy AR hoàn toàn có thể áp dụng vào mạng xã hội để cải thiện trải nghiệm và tăng mức độ tương tác của người dùng Cụ thể, Snapchat đã cho ra mắt “City Painter” vào năm 2020 Người dùng có thể phun sơn ảo lên các cửa hàng trên phố để tạo ra các mảng màu bắt mắt Cùng năm, Snapchat đã giới thiệu thêm chức năng Local Lenses.

Sự khác biệt giữa AR và VR

Một điều quan trọng cần lưu ý, đó là AR và VR không giống nhau VR là công nghệ tạo ra một thế giới ảo, mà khi đi vào đó, người dùng có thể dùng các giác quan để cảm nhận được như thế giới thực, thậm chí có thể tương tác qua lại với thế giới ảo đó tạo ra một môi trường số Mục tiêu là làm sao cho người dùng có thể trải nghiệm được “thế giới ảo” một cách “thật” nhất, làm cho người dùng hoà nhập hẳn vào thế giới ảo đó, và quên hết đi thế giới thực tế xung quanh mình.

Còn với AR, bạn đưa những thứ ảo đưa vào thế giới thật, giúp người dùng nhìn thấy, cảm nhận thấy và tương tác được với các vật ảo đó tại thế giới thật Với mục tiêu làm sao cho những thứ ảo (được đưa vào thế giới thật) được trở nên thật nhất Số lượng người dùng AR ước tăng 17% vào năm 2022 Chỉ tính riêng tại Mỹ, hiện đã có đến 83,1 triệu người sử dụng AR hàng tháng [10] AR phổ biến hơn VR vì cho phép truy cập ngay trên thiết bị mà gần như ai cũng đem theo hàng ngày.

Cơ chế hoạt động của hệ thống AR

Figure 1.1: Cơ chế hoạt động của hệ thống AR trong truyền hình

Hệ thống AR được xây dựng bằng cách thực hiện bốn nhiệm vụ cơ bản và riêng biệt [11].

1 Capture: Thu thập hình ảnh, các camera sẽ ghi lại hình ảnh và chuyển thành dữ liệu số gửi về hệ thống AR.

2 Identification: Hệ thống AR sẽ định vị dữ liệu thu thập được bao gồm hình ảnh và dữ liệu tracking so với dữ liệu tham chiếu (ví dụ: điểm đánh dấu AR).

3 Processing: Hệ thống sẽ kích hoạt AR dựa trên các dữ liệu tracking Kết hợp với thiết bị tương tác, hệ thống xử lý dữ liệu sẽ đưa ra những thay đổi tương ứng Dữ liệu sau đó được kết xuất thành hình ảnh.

4 Visualization: Hiển thị trên các loại màn hình theo nhu cầu.

Figure 1.2: Quy trình xử lý dữ liệu của hệ thống AR [12] Đầu tiên, thiết bị ghi hình sẽ chụp một khung hình, dữ liệu hình ảnh sau đó được xử lý để chuyển sang dạng dữ liệu số Kết hợp với dữ liệu tracking, hệ thống sẽ định vị hình ảnh thu được so với đối tượng tham chiếu (ví dụ: điểm đánh dấu AR) trong thời gian thực Các kỹ thuật tracking có thể được phân loại dựa trên:

- Cảm biến: thiết bị đo quán tính, GPS, hồng ngoại, siêu âm.

- Hình ảnh: sử dụng các điểm đánh dấu.

Sau đó, hệ thống sẽ kích hoạt AR dựa trên: hình ảnh, vị trí GPS, điểm đánh dấu hoặc giá trị cảm biến từ gia tốc kế, con quay hồi chuyển, la bàn, máy đo độ cao hoặc cảm biến nhiệt Kết hợp với thiết bị xử lý tương tác, hệ thống quản lý dữ liệu sẽ đưa ra những thay đổi tương ứng Dữ liệu sau đó được kết xuất thành dữ liệu hình ảnh và hiển thị trên các loại màn hình theo nhu cầu:

- Màn hình cầm tay (HHD) như: máy tính bảng, điện thoại thông minh.

-Màn hình gắn mũ (HMD) như: kính thông minh, mũ bảo hiểm thông minh.

Phân loại công nghệ AR

1.5.1 AR dựa trên điểm đánh dấu

Trong trường hợp này, camera của thiết bị sẽ được sử dụng để nhận diện marker (ví dụ mã vạch) để cung cấp các thông tin liên quan đến đối tượng đang có trên màn hình Để loại hình AR này hoạt động hiệu quả, hình ảnh do camera chụp được phải rõ ràng, có thể được đánh dấu bởi các điểm riêng biệt [13].

Figure 1.3: Thực đơn nhà hàng được thiết kế bởi Oscar Falmer [13]

Trên đây là thực đơn nhà hàng được thiết kế bởi Oscar Falmer Sau khi nhận dạng menu, hệ thống AR sẽ định vị các điểm đánh dấu là hình ảnh những món ăn trên menu Sau đó, hệ thống sẽ hiển thị đồ họa 3D của món ăn đó kèm với đánh giá người dùng tương ứng bên cạnh menu thực Người dùng thay vì chỉ nhìn thấy menu giấy, món ăn thì đơn giản, hình ảnh không rõ ràng, thì giờ sẽ thấy đồ ăn hiện ra rất trực quan và kèm theo đánh giá để lựa chọn.

1.5.2 AR không dựa trên điểm đánh dấu

Trong AR không dựa trên điểm đánh dấu lại được chia thành 4 nhóm nhỏ.

Về bản chất thì bất kì một loại công nghệ AR nào đều phải dựa trên 1 thông tin tracking nào đó.

1.5.2.1 AR dựa trên vị trí

Thông qua nguồn dữ liệu như gia tốc kế và chức năng theo dõi GPS, loại hình AR này có thể xác định vị trí và đo lường tốc độ Thiết bị có thể hiển chỉ dẫn, giúp người dùng tìm kiếm địa điểm dễ dàng trong khu vực [13].

Figure 1.4: Chỉ dẫn lối đi tại sân bay Frankfurt, Đức [13] Đây là chỉ dẫn lối đi tại sân bay Frankfurt, Đức Với hệ thống định vị toàn cầu, sai số của những ứng dụng bản đồ như google map, hay apple map chỉ là vài m Công nghệ AR dựa trên hệ thống định vị sẽ dễ dàng đưa ra chỉ dẫn trực quan cho người dùng tại những địa điểm có không gian lớn, thiết kế phức tạp.

1.5.2.2 AR dựa trên phác thảo

Loại hình AR này sử dụng chức năng nhận diện đối tượng để thay thế hoặc thay đổi hình ảnh thực Nhận diện đối tượng đóng vai trò cực kỳ quan trọng để loại hình này hoạt động hiệu quả [13].

Figure 1.5: Ứng dụng mua sắm nội thất [13]

Với ví dụ là ứng dụng mua sắm nội thất, hệ thống sau khi nhận dạng căn phòng sẽ đưa ra những gợi ý thiết kế nội thất tương ứng Người dùng có thể quan sát và lựa chọn mà không cần mua sản phẩm thực tế đặt vào xem có phù hợp hay không.

1.5.2.3 AR dựa trên máy chiếu

Loại hình AR này sẽ chiếu ánh sáng ảo vào không gian thực và chủ yếu được sử dụng cho các sự kiện có quy mô, ít được áp dụng đối với thiết bị di động [13].

Figure 1.6: Mô phỏng hoa văn bát cổ thời Lý bằng máy chiếu AR Đây là bức ảnh do chính tay tôi chụp khi được tới thăm triển lãm “Báu vật hoàng cung” tổ chức tại khu di tích Hoàng Thành Thăng Long Cái bát mà mọi người đang nhìn thấy ở đây thực ra là một cái bát cổ thời Lý được khai quật được. Theo thời gian, gần như toàn bộ hoa văn trên bát đã bị xóa nhòa Nhưng bằng công nghệ AR và thuật toán nội suy, chiếc bát cổ thời Lý này đã được tái hiện lại với đầy đủ hoa văn như trước Đây là một ứng dụng vô cùng hữu ích trong việc lưu giữ những giá trị lịch sử mà không công nghệ nào có được Khi nhìn một cái bát cổ đã gần như mất hết hoa văn, khó ai có thể hiểu được giá trị lịch sử của chúng nếu không phải là những nhà khảo cổ Nhưng với công nghệ AR, mọi người được chiêm ngưỡng những vật dụng tinh xảo của các triều đại và hiểu được giá trị văn hóa và sự phát triển kỹ nghệ của thời đại đó đã đến mức độ nào.

1.5.2.4 AR dựa trên định nghĩa người dùng

Những ứng dụng này được xây dựng, phát triển để giải quyết các vấn đề trong cuộc sống hàng ngày Thường là tùy chỉnh, có các điểm tương tác do người dùng xác định [13].

Figure 1.7: Đo kích thước bằng ứng dụng Measure trên Iphone [13]

Trên ảnh là ứng dụng Measure đo kích thước trên Iphone Người dùng hoàn toàn có thể đo kích thước 1 cái bàn thật bằng 1 cái thước ảo bằng điện thoại thông minh.

Các ứng dụng của AR

Trong lĩnh vực báo chí truyền hình, việc sử dụng VR và AR sẽ giúp tác giả kéo người xem tiếp cận vào trong chính câu chuyện, thay vì đơn thuần chỉ kể chuyện bằng hình ảnh hoặc video như thông thường.

Figure 1.8: Chương trình trực tiếp Bầu cử tổng thống Mỹ năm 2020

Hẳn mọi người còn nhớ cuộc đua vào nhà Trắng giữa hai ứng viên Joe Biden và Donal Trump năm 2020 Rất nhiều bản tin trực tiếp đã lên sóng và cập nhật số phiếu của từng ứng viên theo thời gian thực Và những hình ảnh trên sóng truyền hình như thế này chính là sản phẩm của công nghệ AR.

AR hoàn toàn có thể thay đổi thói quen bán hàng và thói quen mua hàng của người dùng với những ứng dụng mua sắm nội thất như IKEA place với sự hiệu quả và tiện dụng của nó.

Figure 1.9: Ứng dụng AR trong dịch vụ bán hàng của IKEA Place

Ví dụ, bạn đặt mua một bộ tủ và đang phân vân không biết khi đặt vào góc nào của phòng ngủ và nó có vừa hay không? Lúc này công nghệ thực tế ảo tăng cường AR sẽ giúp ích rất nhiều, bằng cách tái hiện lại kích thước thật của đồ vật cần mua lên không gian tại nơi bạn sống thông qua camera trên chính chiếc smartphone hay máy tính của bạn.

Và điều này không phải là tưởng tượng cho tương lai, một số trang web bán hàng hiện nay như PrestaShop hay SnapShop đã ứng dụng AR vào trong kinh doanh Khách hàng có thể ướm thử bất kỳ trang phục nào đang được bày bán thông qua camera smartphone, hoặc có thể xem bên trong bao bì của sản phẩm mà không cần mở.

Converse chính là một trong những hãng giày đầu tiên sử dụng công nghệ thực tế ảo tăng cường cho khách hàng của mình Với công nghệ này, khách hàng của Converse giờ đây không còn phải tốn thời gian cho việc thử nhiều đôi giày khác nhau để tìm ra sản phẩm ưng ý Ứng dụng The Sampler cho phép người dùng ướm thử nhiều đôi giày và có hình ảnh những mẫu giày trên chính bàn của mình chỉ với vài thao tác đơn giản Ứng dụng cũng cho phép lưu ảnh và chia sẻ tiện lợi.

1.6.3 Giáo dục Để nâng cao chất lượng đào tạo, hiện nay rất nhiều nhà phát triển, điển hình trong đó là Microsoft đã ứng dụng công nghệ AR vào giảng dạy.

Figure 1.10: Y học giải phẫu ứng dụng AR của Microsoft

Với ứng dụng y học giải phẫu của Microsoft, AR sẽ tái hiện chân thực các bộ phận cấu tạo cơ thể người và rất nhiều thứ khác vào trong không gian thực tế. Người học được thực hành trên môi trường số hóa 3D, y như thật, nhưng nội dung phong phú hơn, tình huống đa dạng hơn và có thể thực hành được nhiều lần, dễ dàng tiếp cận Như vậy chi phí thực hành sẽ giảm xuống, giảm thiểu nguy hiểm, hiệu quả cao.

Thực tế ảo cũng giúp các công ty, nhà máy dây chuyền sản xuất có một công cụ đào tạo công nhân thao tác chính xác trong môi trường làm việc tại vị trí của mình, giảm bớt thời gian đào tạo, tăng năng suất lao động Giải pháp tương tác thực tế ảo tăng cường AR cũng giúp đào tạo kỹ năng tham gia giao thông, thực hành các bài tập hát múa, cách sử dụng nhạc cụ Đối với các lớp dạy nghề,

AR giúp hiển thị hình ảnh 3D học viên sửa chữa, tháo lắp các động cớ, bộ phận điện, mác móc, dây chuyền công nghệ.

Một ứng dụng không thể không nhắc đến, chính là giải trí bằng công nghệ

AR Đây được xem là một hướng đầu tư khá hấp dẫn trong tương lai Chỉ một trò chơi mà đem lại doanh thu hàng tỷ USD Điển hình là Pokemon GO, trò chơi này đã mang lại 1.2 tỷ USD doanh thu cho Niantic với lượng người lúc đỉnh điểm có thể đạt mốc 380 triệu người.

Figure 1.11: Trò chơi Pokemon GO

AR thực sự là ứng viên tiềm năng đang được nhiều công ty lớn trên thế giới tìm hiểu và khám phá Các trang mạng xã hội lớn như Facebook, Pinterest, Instagram, … luôn dẫn đầu trong công cuộc thay đổi phương pháp tra cứu thông tin Bên cạnh đó, qua những cuộc khảo sát uy tín, chúng ta có thể thấy rằng 80% lượng thông tin được tiêu thụ thông qua hình ảnh, trong đó chỉ 10% thông qua việc đọc hiểu AR vẫn đang trên con đường tiếp tục chứng tỏ tiềm năng vô tận của mình đối với thế giới công nghệ và bất cứ ai cũng có thể hiểu được giá trị của nó thông qua một so sánh “một bức hình có thể thay thế vạn lời nói”.

AR TRONG TRUYỀN HÌNH TẠI VIỆT NAM

Trường quay ảo

Đối với mỗi hệ thống truyền hình dù truyền thống hay hiện đại, trường quay luôn là một phần không thể thiếu Với sự phát triển của truyền hình hiện đại, các kịch bản giờ đây đều có yêu cầu phức tạp về thiết kế, décor trường quay để đạt được mục đích truyền tải thông điệp Tuy nhiên, trong nhiều trường hợp, trường quay thực không đáp ứng được yêu cầu ngữ cảnh như toàn cảnh lịch sử dân tộc, địa lý, thời tiết, chính trị, tôn giáo Thêm vào đó, việc thay đổi thiết kế của trường quay để phục vụ các bối cảnh khác nhau trong thời gian ngắn gần như là điều không thể Vì lí do đó, trường quay ảo ra đời và nó được xem là kỹ thuật tân tiến nhất hiện nay trong truyền hình hiện đại. Để ứng dụng kỹ xảo trong trường quay ảo, người ta nghĩ đến việc tách nhân vật với phông nền phía sau và thay bằng một khung cảnh khác theo chủ đề nội dung của câu chuyện Điều đó yêu cầu trường quay ảo phải có một phông nền đồng nhất và màu đặc trưng để có thể dễ dàng thay bối cảnh kỹ xảo theo yêu cầu Đối với truyền hình hiện nay, trường quay ảo sẽ sử dụng một tấm vải màu xanh lá hoặc xanh dương.

Figure 2.1: Trường quay ảo của Atlanta North Studios với back procyc 180 o

Trường quay ảo Atlanta North Studio sử dụng phông xanh 180 độ để đảm bảo khi các nhân vật di chuyển theo kịch bản không bị lọt ra ngoài khung hình lẫn với cảnh thật Sau đó, đội ngũ kỹ thuật viên sẽ lồng ghép các hình ảnh, video, phù hợp với sự kiện lên phông xanh tạo ra một phông nền ảo Qua các thao tác xử lý chuyên nghiệp sẽ khiến người xem cảm thấy không khác gì ngoài đời thực.

Figure 2.2: Trường quay ảo của Dock 10 với nhân vật thật Ưu điểm của trường quay ảo:

• Không bị chi phối bởi những yếu tố như thời tiết, nắng mưa, địa hình,

… nên không bị giảm tiến độ công việc.

• Tiết kiệm chi phí và tối ưu ngân sách, ví dụ: khi ghi hình có thể triển khai cảnh quay tại chỗ mà không cần phải vận động và di chuyển toàn bộ con người, dụng cụ đến khu vực trường quay.

• Khắc phục những hạn chế mà trường quay thực không đáp ứng được yêu cầu ngữ cảnh như toàn cảnh lịch sử dân tộc, địa lý, thời tiết, chính trị, tôn giáo.

Figure 2.3: Trường quay thời sự của VTV1

Trường quay ảo đang trở thành xu hướng hiện nay, bởi khi kết hợp với công nghệ tiến bộ, những thiết bị âm thanh ánh sáng hiện đại có thể đáp ứng nhu cầu sản xuất các chương trình giải trí, truyền hình có chất lượng cao, lồng ghép được nhiều kỹ xảo không thể quay thực tế được.

Nghiên cứu giải pháp AR của Vizrt

Viz Virtual Studio cung cấp cho các nhà sản xuất truyền hình khả năng sáng tạo những trường quay 3D ảo, tương tác thời gian thực và có thể dễ dàng được tạo ra với giao diện trực quan [14] Các ứng dụng trong bộ phần mềm Vizrt hỗ trợ đầy đủ các giải pháp công nghệ mà không phải tích hợp đồ họa của bên thứ 3 Vizrt Virtual Studio hỗ trợ tất cả các giải pháp camera-tracking tiên tiến và các thiết bị ngoại vi khác trong trường quay, cung cấp một giải pháp vượt trội trong việc tạo ra các trường quay ảo Với ưu điểm:

1 Dễ dàng triển khai trong trường quay hoặc sự kiện ngoài trời.

2 Hỗ trợ đa dạng các giao thức dữ liệu tracking.

3 Được sử dụng cho các trường quay ảo và đồ họa nhập vai.

Cùng những đặc điểm chính:

• Các mẫu template tùy chỉnh.

• Hỗ trợ HD và UHD.

• Các hiệu ứng plug-in mở rộng.

• Tích hợp phòng tin tức.

• Hiệu ứng làm mất nét.

• Ghi lại các dữ liệu tracking.

• Hiệu chỉnh màu ở hình ảnh đầu vào.

• Công cụ hiệu chuẩn ống kính.

• Kiểm soát đồ họa của bên thứ 3.

Figure 2.4: Quy trình xử lý dữ liệu hình ảnh của Viz Virtual Studio

Vizrt Virtual Studio có thể tích hợp với một loạt các camera-tracking và các thiết bị ngoại vi trong trường quay Các nhà thiết kế xây dựng những bối cảnh bằng việc sử dụng Viz Artist và sáng tạo ra môi trường ảo của họ Viz Artist có thể tạo ra một trường quay ấn tượng chỉ trong một diện tích sân khấu nhỏ. Những trường quay có sẵn có thể được bổ sung những đối tượng ảo (virtual object), những đối tượng này có thể tương tác với thiết ngoại vi Dữ liệu từ mạng xã hội hoặc ứng dụng của bên thứ 3 có thể được lấy để kết hợp dễ dàng vào trong môi trường ảo giống như một phần của bối cảnh được thiết kế trong Viz Artist.Viz Virtual Studio cho phép chỉ cần một người điều khiển duy nhất xử lý các sản phẩm truyền hình phức tạp, những sản phẩm mà bình thường phải yêu cầu một vài người điều khiển khác nhau, cho phép những nhân viên có thể tập trung vào những công việc khác, cải thiện hiệu suất làm việc.

Vizrt cung cấp hệ sinh thái trường quay ảo cho BBC Sport ở Salford, Vương quốc Anh [15].

Figure 2.5: Trường quay ảo của BBC Sport sau khi kết xuất đồ họa 3D

Sử dụng Viz Engine 4 tích hợp cùng đồ họa từ Unreal Engine 4 và Fusion Keyer, cùng với hệ thống tracking quang học 6 trục Mo-Sys StarTracker và thiết kế trường quay của BK Design và Lightwell, hệ thống truyền hình của BBC Sport có thể tạo ra 5 không gian trường quay chỉ từ 1 trường quay ảo để phục vụ cho các chương trình thể thao khác nhau.

Figure 2.6: Trường quay ảo của BBC Sport tại Salford, Vương quốc Anh

Vào tháng 4 năm 2021, BBC Sport bắt đầu sử dụng hoàn toàn hệ sinh thái Vizrt để thực hiện nhiều giải đấu và chương trình thể thao trong năm Trung tâm truyền hình sản xuất các chương trình như Match of The Day, Euros 2020 và Olympics - cung cấp cho khán giả đồ họa AR đi kèm với phân tích thể thao, highlight trong trận đấu và tạo ra những câu chuyện hình ảnh đặc biệt.

Figure 2.7: Trường quay ảo của BBC Sport sau khi kết xuất đồ họa 3D 2.2.2 Ứng dụng giải pháp AR của Vizrt trong truyền hình tại Việt Nam

VTVcab là đơn vị truyền hình đầu tiên tại Việt Nam ứng dụng sản xuất chương trình dựa trên công nghệ tăng cường thực tế ảo từ Vizrt mà nhiều hãng truyền thông trên thế giới đang dùng [16].

Giải pháp của Vizrt bao gồm các khâu Quản lý Media (MediaManagement), Biên tập tin (Newsroom System), Thiết kế và thể hiện đồ họa 3D(3D Graphic System) và Trường quay tự động (Studio Automation System).

Figure 2.8: Công nghệ AR trong trường quay của VTVcab Đây là hệ thống sản xuất chương trình sử dụng giải pháp phần mềm để quản lý và quy trình hóa tất cả các khâu sản xuất chương trình từ tổ chức sản xuất tiền kỳ, sản xuất hậu kỳ, phê duyệt files thành phẩm và phát hành Điểm nổi bật của hệ thống này đó là ứng dụng các trường quay ảo được hỗ trợ bởi đồ họa 3D theo thời gian thực, điều khiển tự động hóa trường quay Điều này sẽ đảm bảo cho việc sản xuất các chương trình với ý tưởng mang tính đột phá, hiện đại, cách tiếp cận hoàn toàn mới, mang đến cảm nhận thông tin, hình ảnh nhanh nhất, chân thực và sinh động nhất cho khán giả.

Hiện VTVcab đang từng bước ứng dụng công nghệ này trong sản xuất các bản tin thể thao, tiến tới sẽ ứng dụng trong sản xuất các chương trình bình luận,chuyên mục và hệ thống các giải thể thao trong nước trên kênh Thể thao TV,Bóng đá TV, Thể thao Tin tức HD, các chương trình giải trí, văn hóa trên các kênh sóng.

Figure 2.9: Khu vực xử lý kỹ thuật hình ảnh cho trường quay

VTVcab là đơn vị truyền hình đầu tiên tại Việt Nam và thứ 2 trong khu vực Đông Nam Á (sau Media Corp của Singapore) ứng dụng sản xuất chương trình dựa trên công nghệ tăng cường thực tế ảo, và đại diện của Vizrt cho biết việc đầu tư xây dựng Trung tâm Kỹ thuật sản xuất chương trình ứng dụng công nghệ hiện đại là bước đặt nền móng đầu tiên cho những công nghệ hiện đại sẽ tiếp tục được ứng dụng trong tương lai.

Ngoài VTVcab và Media Corp, các hãng truyền thông lớn trên thế giới cũng đang chọn giải pháp của Vizrt, bao gồm CNN, NBC, FOX, ABC, CBS,NFL (Mỹ); BBC World, SKY, Canal Plus, NRK (châu Âu); Aljazeera, MBC,Be-in channel (Các Tiểu Vương quốc Ả Rập Thống nhất).

Nghiên cứu giải pháp AR của Aximmetry

Virtual Studio của Aximmetry hỗ trợ thiết lập một trường quay ảo với khả năng tạo ra những nội dung đồ họa chất lượng và có đầy đủ các chức năng để xây dựng các bối cảnh và hiệu ứng tương tác với đèn ảo, chuyển động của máy quay ảo và công nghệ AR [17] Với những đặc điểm chính sau:

• Đồ họa 3D nâng cao: HDR, độ sâu trường ảnh, bóng đổ, phản xạ, khúc xạ.

• Kết xuất 2D/3D thời gian thực, xử lý hậu kỳ, hiệu ứng, chroma key.

• Mức độ tương tác cao và khả năng kiểm soát thời gian thực.

• Giao diện lập trình đồ họa dựa trên sơ đồ kéo thả rất linh hoạt.

• Bộ tính năng của Aximmetry được phát triển đặc biệt cho truyền hình: key nâng cao, công cụ xây dựng thương hiệu kênh, thu thập thông tin, trộn hình và các tính năng khác.

• Đồ họa thiết kế trong Unreal Engine 4 hoàn toàn tương thích và hoạt động mượt mà trong Aximmetry Trong quá trình sản xuất truyền hình, Aximmetry có thể gửi thông tin như văn bản, hình ảnh hoặc sự kiện nào đó đến bối cảnh trong Unreal.

• Xây dựng bối cảnh/hiệu ứng tương tác bằng node logic.

• Hệ thống mở cho phép tích hợp bất kỳ thiết bị camera tracking nào.

• Giải pháp tất cả trong một phần mềm: Không cần phải mua thêm các mô- đun và phần mở rộng riêng biệt cho chroma key, đồ họa 2D, studio ảo 3D, màn hình video wall, trình chiếu.

• Có khả năng mở rộng nhiều video card trong một hệ thống, mỗi card sử dụng cho một mục đích khác nhau.

• Hỗ trợ 4K – SDI input/output.

• Hỗ trợ tương tác với khán giả qua màn hình.

• Nhận thông tin chuyên sâu để kết hợp thực tế giữa các yếu tố thực và ảo.

 Cùng khả năng triển khai và hỗ trợ tương tác:

• Hỗ trợ xuất nhiều tín hiệu video ouput đồng thời tới các màn hình, máy chiếu, LED wall, v.v.

• Hỗ trợ mapping: cho phép chiếu lên các bề mặt phức tạp.

• Tạo chế độ xem toàn cảnh bằng nhiều máy chiếu kết hợp.

• Có thể tùy chỉnh giao diện điều khiển trên sân khấu, sử dụng màn hình cảm ứng.

• Hỗ trợ người dẫn chương trình: một giao diện điều khiển trực quan riêng biệt cho các buổi biểu diễn của VJ.

• Điều khiển bất kỳ sự kiện hoặc thông số hiệu ứng nào thông qua màn hình cảm ứng, GPIO, OSC, MIDI, DMX /ArtNet.

• Điều khiển các thiết bị đồng bộ từ Aximmetry qua GPIO, OSC, MIDI, DMX /ArtNet.

• Chế độ chạy tự động cho triển lãm.

 Bộ công cụ đồ họa có trong phần mềm Aximmetry

• Tạo mẫu vật liệu; full PGR pipeline.

• Tạo mẫu bối cảnh 3D: tích hợp sẵn, hỗ trợ import FBX và Collada.

• Hỗ trợ tạo nhiều vật liệu phức tạp.

• Chuyển đổi video: định dạng, độ phân giải, không gian màu, v.v.; từ /đến chuỗi hình ảnh.

• Tổng hợp video và thêm hiệu ứng.

• Xử lý hình ảnh/text: chuyển đổi định dạng, thay đổi kích thước, xếp lớp, điều chỉnh màu sắc, chuyển đổi không gian màu, phân lớp.

• Tạo kết cấu đơn giản: bản vẽ 2D, text, hiệu ứng 2D.

• Xử lý bản đồ khối: có thể chuyển đổi qua lại với định dạng DDS 6 mặt; được tạo từ cảnh 3D.

• Điều khiển các thiết bị GPIO, OSC, MIDI, DMX /ArtNet.

2.3.1 Một số sơ đồ hệ thống được đề xuất

Với sự linh hoạt của hệ thống Aximmetry, các nhà sản xuất có thể dễ dàng tùy biến hệ thống theo yêu cầu, có thể sử dụng tracking hoặc trackless, có thể đầu tư từng phần, sau đó nâng cấp lên và hỗ trợ nhiều hãng sản xuất phần cứng tracking Sau đây là một số sơ đồ hệ thống được đề xuất [18].

Figure 2.10: Sơ đồ hệ thống đề xuất 1

Sơ đồ này sử dụng 1 máy tính cấu hình cao chạy phần mềm Aximmetry với 3 camera thường, chỉ hỗ trợ 1 tín hiệu hình ảnh đầu ra, việc chuyển tín hiệu giữa các camera hoàn toàn bằng phần mềm và có hỗ trợ key trong phần mềm hoặc hãng thứ 3 Phương án này thường được sử dụng trong các hệ thống đơn lẻ với chi phí hợp lí, dễ dàng nâng cấp sau.

Figure 2.11: Sơ đồ hệ thống đề xuất 2

Sơ đồ thứ 2 gần giống với sơ đồ thứ nhất, chỉ khác là các camera có thêm hệ thống tracking đi kèm Phương án này cũng thường được sử dụng trong các hệ thống đơn lẻ với chi phí hợp lí, có thể nâng cấp sau.

Figure 2.12: Sơ đồ hệ thống đề xuất 3

Sơ đồ này sử dụng 3 máy tính cấu hình cao chạy phần mềm Aximmetry với 3 camera có hệ thống tracking đi kèm, hỗ trợ 3 tín hiệu hình ảnh đầu ra tương ứng với mỗi camera, việc chuyển tín hiệu giữa các camera được thực hiện bằng bàn mixer hình ảnh và có hỗ trợ key trong phần mềm hoặc hãng thứ 3 Phương án này được sử dụng trong các hệ thống phức tạp hơn với chi phí vừa phải, có thể nâng cấp sau.

2.3.1.4 Camera tracking, 3 camera, 3 PC, key chuyên dụng

Figure 2.13: Sơ đồ hệ thống đề xuất 4

Sơ đồ thứ 4 gần giống với sơ đồ thứ 3, chỉ khác là sử dụng hệ thống chroma key chuyên dụng Phương án này thường được sử dụng trong các hệ thống phức tạp, được đầu tư đồng bộ với chi phí cao.

Lựa chọn công nghệ

Trên thế giới hiện nay còn có rất nhiều giải pháp AR ứng dụng trong truyền hình, nhưng do giới hạn thời gian nghiên cứu, tôi chưa thể tìm hiểu hết được Do vậy, trong khuôn khổ báo cáo luận văn này, tôi tập trung vào đánh giá và phân tích hai giải pháp AR của Vizrt và Aximmetry Những giải pháp khác, tôi xin phép sẽ tìm hiểu trong những nghiên cứu tiếp theo Dưới đây, tôi có đưa ra bảng so sánh những đặc điểm chính cần lưu ý về một giải pháp AR ứng dụng trong truyền hình.

2.4.1 So sánh giải pháp AR của Vizrt và Aximmetry

Tiêu chí so sánh Vizrt Virtual Aximmetry

Thiết kế trường quay ảo 3D Có Có

Kết xuất đồ họa 2D/3D Có Có

Hỗ trợ thiết kế trên Unreal Engine Có Có

Giao diện trực quan, dễ sử dụng Trung bình Dễ dàng

HD – SDI 1080 50i/60i 50p/60p Có Có input/output

UHD – SDI 2160 25p/30p Có Có input/output

Tích hợp chroma key Có Có

Khả năng tương tác thời gian thực Có (2 – 3 frames) Có (4 frames) (latency)

Các hiệu ứng plug-in mở rộng Có Có

Switcher hình trong phần mềm Có Có

Tích hợp công cụ xây dựng thương Có Có hiệu kênh, thu thập thông tin

Hiệu chỉnh màu ở hình ảnh đầu vào Có Có

Công cụ hiệu chuẩn ống kính Có Có

Kiểm soát đồ họa của bên thứ 3 Có Có

Hỗ trợ camera ảo Có Có

Mức độ triển khai hệ thống Đầu tư đồng bộ, Có thể đầu tư toàn phần từng phần

Khả năng mở rộng của hệ thống Mở rộng theo hệ Mở rộng theo thống đồng bộ thành phần Các thiết bị tracking Tương thích tốt Tương thích tốt

Khả năng chuyển đổi từ trường quay Trung bình Dễ dàng thường sang trường quay ảo có AR

HP Z8 Desktop Workstation CPU 2x Intel Xeon Silver 4114 (2.2GHz 10-Core)

RAM: 48 GB DDR 4 (6x 8GB) SSD1: 256 GB S-ATA (Operating System)

(Data and Clips) RAID Controller: Intel CPU AMD Ryzen 9 10 cores SATA/NVMe M.2 3.5 GHz hoặc Intel i9 10 NVIDIA Quadro RTX6000 cores 3.6 GHz

Chi phí graphics card Mainboard: 2x PCIe 3.0 x16

Phần cứng NVIDIA Quadro Sync RAM: 64 GB synchronization card SSD: 1TB Matrox X.mio3 or Matrox DSX NVIDIA Quadro RTX

Power Supply: 1x 1125 W 90% Blackmagic DeckLink / AJA

32 GB Ram Quad-Core Intel CPU Windows 10 64-bit LTSC

30 GB of free disk space Nvidia P2000 Graphics Card

Table 2-1: So sánh giải pháp AR của Vizrt và Aximmetry

Về cơ bản, cả 2 giải pháp đều đáp ứng tốt các yêu cầu của một giải pháp

AR ứng dụng trong truyền hình mặc dù vẫn có một vài khác biệt Dựa trên những khác biệt này và nhu cầu thực tế, người dùng có thể dễ dàng lựa chọn giải pháp phù hợp để triển khai.

Trong khuôn khổ báo cáo luận văn này, tôi giả sử với nhu cầu của một trung tâm truyền hình có quy mô vừa phải sẽ có yêu cầu thiết kế như sau:

• 3 camera truyền hình chuyên dụng.

• Camera thật giữ nguyên khung hình, không thay đổi góc máy.

• Hệ thống đồng bộ tín hiệu bên ngoài.

• Thiết kế trường quay ảo 3D.

• Hỗ trợ thiết kế trên Unreal Engine.

• Khả năng tương tác thời gian thực (latency ≤ 5 frames).

• Tích hợp chroma key trong phần mềm.

• Tích hợp công cụ xây dựng thương hiệu kênh, thu thập thông tin và Switcher hình trong phần mềm.

• Chuẩn tín hiệu hình ảnh: HD-SDI; 1,485Mbps; 1080i/50 – SMPTE-292M input/output.

• Chuẩn tín hiệu âm thanh: 2 embedded audio channels – SMPTE-299M.

• Độ phân giải hình ảnh HD 1080i.

• Tối ưu về giá thành (cost ≤ $25,000).

Sau khi đánh giá, phân tích giải pháp và yêu cầu thiết kế, tôi quyết định lựa chọn giải pháp AR của Aximmetry để triển khai thử nghiệm thực tế với sơ đồ sau.

Figure 2.14: Sơ đồ hệ thống thử nghiệm

Kết luận chương ỞViệt Nam, ứng dụng công nghệ thực tế tăng cường trong truyền hình vẫn còn rất mới mẻ, thậm chí đài truyền hình quốc gia mới chỉ triển khai hệ thống được vài năm gần đây Tuy nhiên, công nghệ thực tế tăng cường đang dần trở nên phổ biến, được nghiên cứu tại nhiều đài truyền hình trong nước Bên cạnh đó, nhìn lại những bước tiến trong sự phát triển của truyền hình hiện đại, ViệtNam luôn vận động theo xu hướng của thế giới Công nghệ thực tế tăng cường chắc chắn không nằm ngoài xu thế đó Với sự chân thực của hình ảnh khi “xuất hiện” ngoài môi trường thực tế, công nghệ thực tế tăng cường sẽ mang đến nhiều trải nghiệm cho khán giả truyền hình, giúp công chúng tiếp nhận thông tin nhanh,chính xác và đầy đủ.

TRIỂN KHAI GIẢI PHÁP AR CỦA AXIMMETRY

Thiết lập hệ thống trường quay ảo

Trường quay sử dụng một số thiết bị như sau:

• Một phông nền xanh kích thước 2.5m x 5m trải sàn,

• Hệ thống đèn chuyên dụng cho trường quay,

• 3 camera chuyên dụng Ikegami HDK-79GX,

• 2 ống kính góc thường Canon HJ17Ex7.6B,

• 1 ống kính góc rộng Canon HJ14ex4.3B IASE,

• Hệ thống chân giá camera chuyên dụng Shotoku TP200 và thiết bị đi kèm.

Trường quay được thiết lập sử dụng tín hiệu là tín hiệu HD-SDI theo quy chuẩn sau:

Các tín liệu live từ camera được kết nối trực tiếp vào máy tính Aximmetry. Sau khi xử lý đồ họa, một tín hiệu hình ảnh output từ máy tính Aximmetry sẽ được đưa vào phòng điều khiển trường quay để kiểm tra chất lượng hình ảnh trên hệ thống truyền hình.

Figure 3.3: Phòng điều khiển trường quay

Các khối chính trong hệ thống trường quay:

1 Khối tín hiệu hình ảnh đầu vào: Camera, Clip Server, Cue, Graphic Server.

2 Khối xử lý tín hiệu: Mixer, Router, VDA, Embedded, De-embedded.

3 Khối đồng bộ tín hiệu: Genlock, VDA.

4 Khối hiển thị: Multiview, Projector, Monitor, Waveform.

5 Khối truyền dẫn: ASP (HD-SDI 1080i/50 => Dual Gigabit Ethernet).

 Nghiệp vụ truyền hình Đối với trường quay ảo, điều đầu tiên cần lưu ý là tấm phông nền màu xanh. Phông xanh nên là một tấm vải không dệt, đặt phía sau vị trí diễn viên khi họ diễn xuất Phông xanh khi lắp đặt phải được kéo căng tại mọi vị trí để có khả năng triệt tiêu ánh sáng tốt nhất Kết hợp với đó, việc thiết lập hệ thống ánh sáng trong trường quay phải đảm bảo cường độ sáng tại mọi vị trí trong trường quay ảo là tương đương Điều này giúp các kỹ thuật viên có thể vô hiệu hóa phông xanh một cách hoàn toàn và thay bằng không gian ảo Nếu ánh sáng chiếu trên phông xanh không đều, bị loang lổ, chỗ tối chỗ sáng sẽ ảnh hưởng rất lớn đến chất lượng trường quay ảo Khán giả sẽ dễ dàng nhận ra đây là một sản phẩm truyền hình thất bại vì không che giấu được sự khác biệt giữa cảnh thật và cảnh ảo.

Khi thiết kế trường quay ảo, không gian và décor phải dựa trên mục đích của từng chương trình Hiện nay có rất nhiều virtual set được thiết kế sẵn theo nhiều thể loại chương trình như thể thao, tin tức, thời tiết, Các nhà sãn xuất hoàn toàn có thể tìm thấy chúng trên các thư viện virtual set nổi tiếng như:

• https://www.newtek.com/software/virtual-set-editor/ mà không cần phải thiết kế từ đầu Dựa trên những thiết kế này, các nhà thiết kế hoàn toàn có thể chỉnh sửa không gian trường quay ảo bằng cách thêm hoặc bớt các đồ họa AR Các đồ họa AR này có thể được thiết kế bằng phần mềm thiết kế thông dụng như 3Ds Max.

Sau khi đã đáp ứng các tiêu chuẩn đối với trường quay ảo, tôi đề xuất thiết lập cấu hình trong phần mềm Aximmetry để thử nghiệm thực tế như sau:

Figure 3.4: Sơ đồ khối rút gọn

Trong khối Studio, tôi sẽ thiết lập vị trí để đặt vào các đồ họa AR như: màn hình LCD, bàn, … Sau đó, tôi tạo khối Virtual Light để thay đổi ánh sáng trong trường quay ảo Những thay đổi về nhiệt độ màu, cường độ ánh sáng sẽ đi qua khối

Render 2 để kết xuất thành hiệu ứng ánh sáng lên các đồ vật, đồng thời tác động lên các camera ảo Hình ảnh nhân vật từ camera thật được đưa vào khối Studio.

Dữ liệu Logo và chữ chạy của đài truyền hình sau khi thiết kế sẽ đi qua khối Render 1 để kết xuất thành hình ảnh hiển thị trong khung hình của các camera ảo. Các camera ảo trong khối Virtual Cam có thể quay nhiều góc không gian trường quay ảo trong khối Studio Tín hiệu hình ảnh sau khi đi ra từ khối Virtual Cam sẽ đi vào khối Record để ghi hình và xuất trực tiếp lên sóng ON AIR.

Thiết lập hệ thống phần mềm

Aximmetry hỗ trợ thiết kế đồ họa trên Unreal Engine.

Figure 3.5: Unreal Editor của Aximmetry

Người dùng có thể thiết kế các không gian ảo trực tiếp trên Unreal Editor của Aximmetry hoặc import thiết kế từ Unreal Engine.

Figure 3.6: Màn hình chính trong Unreal Editor

Tại đây, Unreal Editor hỗ trợ đầy đủ các công cụ cho phép chỉnh sửa thiết kế, tạo vật liệu, đổ bóng hay pha màu các khu vực mong muốn.

Figure 3.7: Cửa sổ thiết kế vật liệu trong Unreal Editor

Sau khi thiết kế xong, ta có thể xem lại hình ảnh không gian ảo sau khi render như sau:

Figure 3.8: Thiết kế không gian ảo cơ bản 3.2.2 Aximmetry

Sau khi khởi động phần mềm Aximmetry, tôi sẽ thiết lập chức năng hiển thị cho các màn hình đã kết nối Trong thử nghiệm này, tôi sử dụng hai màn hình.

Figure 3.9: Thiết lập chế độ màn hình trong Aximmetry

Màn hình số 1 là màn hình cấu hình chính, được sử dụng để thiết lập đường đi của các tín hiệu hình ảnh, bổ sung các khối đồ họa AR, màn hình số 2 là màn hình Preview, dùng để xem các hình ảnh sau khi đã được render.

Trong thử nghiệm này, tôi thiết lập một trường quay tin tức với 3 camera ảo, không có tracking Tôi sẽ tạo các cửa sổ chức năng để thuận tiện trong việc vận hành và thao tác trong trường quay ảo: cửa sổ FLOW, cửa sổ MAIN, cửa sổ CAMERAS, cửa sổ BILLBOARDS, cửa sổ OVERLAYS, và cửa sổ RECORD. Trong cửa sổ FLOW, tôi sẽ tạo các khối xử lý hình ảnh chính bao gồm: khối VirtualCam, khối Render, khối Lights 2, khối NewsRoom-Crawl, khối Logo- Crawl, … Mỗi khối sẽ xử lý từng tác vụ khác nhau để đạt mục đích yêu cầu về hình ảnh.

Figure 3.10: Thiết kế trường quay tin tức ảo của Aximmetry

Với ba camera ảo, tôi thiết lập một camera quay cảnh rộng để thể hiện không gian của trường quay ảo.

Một camera bắt cảnh trung của MC đứng cạnh một chiếc bàn ảo.

Một camera bắt cảnh cận MC đứng cạnh một quả địa cầu ảo.

Trong cửa sổ Flow, tôi sẽ thiết lập đường đi của các tín hiệu Từ những hình ảnh đầu vào, trải qua các hiệu ứng ánh sáng và quá trình đổ bóng, pha màu, thêm vào các đồ họa AR để tạo ra một trường quay ảo.

Figure 3.14: Sơ đồ khối sau khi thiết lập các kết xuất hình ảnh a) Khối VirtualCam

Figure 3.15: Sơ đồ tín hiệu trong khối VirtualCam

Trong khối này, tôi sẽ thiết lập hiệu ứng cho các tín hiệu hình ảnh bằng cách tạo các thao tác với các camera ảo để có thể giả lập như một quay phim thực thụ.

Figure 3.16: Các thao tác với camera

• Dolly – di chuyển lại gần/ra xa theo hướng của camera

• Truck – di chuyển sang trái/phải trên mặt phẳng ngang của camera

• Pedestal – di chuyển lên/xuống theo chiều dọc của camera

• Move – di chuyển trên mặt phẳng ngang của camera

• Roll – xoay quanh trục của camera

• Pan – xoay trái/phải trên mặt phẳng ngang của camera

• Tilt – xoay lên/xuống theo chiều dọc của camera

• Orbit – xoay quanh đối tượng đã chọn

• Zoom – phóng to/thu nhỏ

• Shift – di chuyển dọc/ngang theo hướng khung hình b) Các khối đồ họa AR trong trường quay ảo

Trong mỗi khối, tôi sẽ đưa vào các đồ họa AR đã được thiết kế từ trước, thiết lập vị trí trong không gian ảo, sau đó tạo các hiệu ứng ánh sáng, đổ bóng để giống như những đồ vật thật.

Figure 3.17: Khối đồ họa màn hình LCD

Trong khối LCD Screen, tôi thiết lập để có thể dễ dàng thay đổi hình ảnh hiển thị trên màn hình LCD theo nhu cầu.

Figure 3.18: Khối đồ họa cái bàn

Figure 3.19: Thiết lập chạy đồ họa Logo kênh truyền hình

Figure 3.20: Thiết lập chạy đồ họa chữ chân c) Khối Lights

Trong khối này, tôi tạo ra các chế độ ánh sáng có cường độ và mức độ đổ bóng khác nhau để giả lập không gian ảo trong các điều kiện thời tiết như: ánh sáng ban ngày, ánh sáng ban đêm, trời nắng, trời hoàng hôn, …

Figure 3.21: Sơ đồ tín hiệu trong khối Lights d) Khối Studio

Trong khối này, tôi thiết lập kết nối giữa các khối tín hiệu đã được tạo trước đó Sau đó, tôi tạo một bàn trộn hình ảo, để chọn hình theo kịch bản.

Figure 3.22: Sơ đồ tín hiệu trong khối Studio e) Khối Record

Thiết lập đưa tín hiệu đầu ra của bàn trộn hình ảo vào khối này để ghi hình.

Figure 3.23: Sơ đồ tín hiệu trong khối Record

3.2.2.3 Vận hành phần mềm a) Cửa sổ Main

Với thiết kế giao diện trực quan, dễ sử dụng, tôi có thể chọn clip hiển thị trên màn hình LED đã được thiết kế trong trường quay MC có thể tương tác với các nội dung đã được chuẩn bị trước.

Figure 3.24: Chỉnh sửa các hiệu ứng ở tab Main

Tôi cũng có thể thêm đồ họa chữ chạy chân, logo kênh truyền hình, thay đổi chế độ ánh sáng trong trường quay Tại đây cũng có một bàn trộn hình ảo, cho phép chuyển đổi tín hiệu giữa các camera hoặc với các clip theo yêu cầu kịch bản. b) Cửa sổ Cameras

Tại đây, tôi có thể chọn thao tác với các camera ảo đã được thiết lập từ trước để thể hiện nhiều góc máy, như một quay phim thực thụ.

Figure 3.25: Lựa chọn các góc máy quay ảo đã được thiết lập sẵn c) Cửa sổ Billboards

Tôi có thể thiết lập các chế độ key hình, kiểm tra hình ảnh MC, cắt bỏ phần thừa hoặc chọn màu phông nền để key.

Figure 3.26: Cửa sổ Billboards để thiết lập các chế độ key hình

MC thật được ghi hình trực tiếp với phông nền xanh và đưa vào trường quay ảo, tương tác với các đồ họa AR theo kịch bản chương trình, với các góc máy khác nhau và các vị trí dẫn khác nhau. d) Cửa sổ Overlays

Figure 3.27: Cửa sổ Overlays e) Cửa sổ Record

Kết quả thử nghiệm thực tế

Tiêu chí yêu cầu thiết kế Thử nghiệm thực tế

Thiết kế trường quay ảo 3D Đạt

Hỗ trợ thiết kế trên Unreal Engine Đạt

Kết xuất đồ họa 2D/3D và tương tác thời gian Đạt (latency = 4 frames) thực (latency ≤ 5 frames)

Tích hợp chroma key trong phần mềm Xóa bỏ phông xanh đạt

Tích hợp công cụ xây dựng thương hiệu kênh, Có hiển thị logo và chữ thu thập thông tin chạy chân

Switcher hình trong phần mềm Chuyển hình giữa các camera ảo không có độ trễ

Hỗ trợ camera ảo 3 camera ảo

Chuẩn tín hiệu hình ảnh HD-SDI; 1,485Mbps; Đạt

Chuẩn tín hiệu âm thanh: 2 embedded audio Đạt channels – SMPTE-299M Độ phân giải hình ảnh HD 1080i Đạt

Tối ưu về giá thành (cost ≤ $25,000) Cost ~ $24,000

Table 3-1: Đánh giá kết quả thực nghiệm giải pháp AR của Aximmetry

Hệ thống thử nghiệm thực tế sau khi triển khai được đánh giá đều đạt các tiêu chí của yêu cầu thiết kế.

Ngày đăng: 04/06/2023, 11:37

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] A. Woolard, V. Laliodati, N. Hedley, N. Carrigan, M. Hammond and J. Julien,"Case studies in application of augmented reality in future media production,"The Second IEEE and ACM International Symposium on Mixed and Augmented Reality, 2003. Proceedings., 2003, pp. 294-295, doi:10.1109/ISMAR.2003.1240727 Sách, tạp chí
Tiêu đề: Case studies in application of augmented reality in future media production
[2] S. Kim, "Virtual studio system for augmented reality & Chroma key processing," 13th International Conference on Advanced Communication Technology (ICACT2011), 2011, pp. 762-765 Sách, tạp chí
Tiêu đề: Virtual studio system for augmented reality & Chroma keyprocessing
[3] J. Kim, J. Ha, B. Choi, Y. Jeong and J. Hong, "Design and Implementation for Interactive Augmented Broadcasting System," in IEEE Transactions on Broadcasting, vol. 60, no. 2, pp. 217-226, June 2014, doi:10.1109/TBC.2013.2295478 Sách, tạp chí
Tiêu đề: Design and Implementation forInteractive Augmented Broadcasting System
[4] H. Cho, S. -U. Jung and H. -K. Jee, "Real-time interactive AR system for broadcasting," 2017 IEEE Virtual Reality (VR), 2017, pp. 353-354, doi:10.1109/VR.2017.7892322 Sách, tạp chí
Tiêu đề: Real-time interactive AR system forbroadcasting
[5] J. Pair and J. Wilson, "Integrating the Augmented Reality Toolkit with broadcast video chroma key systems," The First IEEE International Workshop Agumented Reality Toolkit,, 2002, pp. 1 pp.-, doi: 10.1109/ART.2002.1106967 Sách, tạp chí
Tiêu đề: Integrating the Augmented Reality Toolkit with broadcastvideo chroma key systems
[6] S. Kim, B. Choi, Y. Jeong, J. Hong and J. Chung, "An architecture of augmented broadcasting service for next generation smart TV," IEEE international Symposium on Broadband Multimedia Systems and Broadcasting, 2012, pp. 1-4, doi: 10.1109/BMSB.2012.6264289 Sách, tạp chí
Tiêu đề: An architecture of augmentedbroadcasting service for next generation smart TV
[7] S. Chandrasekaran and U. Kesavan, "Augmented reality in broadcasting," 2017 IEEE International Conference on Consumer Electronics-Asia (ICCE-Asia), 2017, pp. 81-83, doi: 10.1109/ICCE-ASIA.2017.8307849 Sách, tạp chí
Tiêu đề: Augmented reality in broadcasting
[9] “Extended reality (XR): AR, VR, and MR - statistics & facts” [Online] Available: https://www.statista.com/topics/6072/extended-reality-xr/ Sách, tạp chí
Tiêu đề: Extended reality (XR): AR, VR, and MR - statistics & facts
[10] “Mọi thông tin bạn cần biết về việc áp dụng công nghệ thực tế ảo tăng cường vào chiến lược marketing” [Online] Available:https://www.adjust.com/vi/blog/augmented-reality-for-mobile-marketing/ Sách, tạp chí
Tiêu đề: Mọi thông tin bạn cần biết về việc áp dụng công nghệ thực tế ảo tăng cường vàochiến lược marketing
[12] P. Fraga-Lamas, T. M. FernáNdez-CaraméS, Ó. Blanco-Novoa and M. A. Vilar- Montesinos, "A Review on Industrial Augmented Reality Systems for the Industry 4.0 Shipyard," in IEEE Access, vol. 6, pp. 13358-13375, 2018, doi:10.1109/ACCESS.2018.2808326 Sách, tạp chí
Tiêu đề: A Review on Industrial Augmented Reality Systems for the Industry4.0 Shipyard
[13] “Types of AR” [Online] Available: https://digitalpromise.org/initiative/360-story-lab/360-production-guide/investigate/augmented-reality/getting-started-with-ar/types-of-ar/ Sách, tạp chí
Tiêu đề: Types of AR
[14] “Advanced live virtual sets and AR graphics - Viz Virtual Studio” [Online] Available: https://www.vizrt.com/products/viz-virtual-studio/ Sách, tạp chí
Tiêu đề: Advanced live virtual sets and AR graphics - Viz Virtual Studio
[15] “Vizrt delivers advanced virtual set ecosystem to BBC Sport for a year of sport”[Online] Available: https://www.vizrt.com/vizrt/press-center/bbc-sport-for-a-year-of-sport/ Sách, tạp chí
Tiêu đề: Vizrt delivers advanced virtual set ecosystem to BBC Sport for a year of sport
[16] “VTV bắt đầu áp dụng công nghệ thực tế ảo trên các chương trình truyền hình” [Online] Available: https://dantri.com.vn/suc-manh-so/vtv-bat-dau-ap-dung-cong-nghe-thuc-te-ao-tren-cac-chuong-trinh-truyen-hinh-20171122171455173.htm/ Sách, tạp chí
Tiêu đề: VTV bắt đầu áp dụng công nghệ thực tế ảo trên các chương trình truyền hình
[18] “Studio Diagrams” [Online] Available: https://aximmetry.com/learn/tutorials/for- studio-operators/studio-diagrams/ Sách, tạp chí
Tiêu đề: Studio Diagrams
[19] “Setting Up Virtual Sets with Tracked Cameras” [Online] Available: https://aximmetry.com/learn/tutorials/for-studio-operators/setting-up-virtual-sets-with-tracked-cameras/ Sách, tạp chí
Tiêu đề: Setting Up Virtual Sets with Tracked Cameras
[20] “Using LED walls for virtual production” [Online] Available: https://aximmetry.com/learn/tutorials/for-studio-operators/using-led-walls-for-virtual-production/ Sách, tạp chí
Tiêu đề: Using LED walls for virtual production
[11] Saputri, D. S. C. (2017). Penggunaan AR untuk Meningkatkan Penguasaan Kosa Kata dan Hasil Belajar. JUTISI Vol. 6 No.1 , April 2017, 6, 1357–1366 Khác

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w