Bài giảng Đồ họa máy tính: Bài 9 - Lê Tấn Hùng

• Head Mounted Displays (HMD) • Projection Displays (CAVE, Virtual Plane). Acoustic Displays (spatial sound)[r]

(1)

CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK

Hà nội

Bài 12 - Hiện thực ảo Virtual Reality

CNTT-ĐHBK Hà nội

I Virtual Reality

Khái niệm “virtual” ?

“Virtual” từđược lạm dụng ngành công nghệcao ngày dùng phổbiến

“virtual bank”, “virtual heritage”, ngụ ý đến điều kỳquái

-monstrosities virtual X

với X có thểlà bất cứthứgì , điều virtual Xkhơng phải X

có giao diện (hình dáng, hoạt động ) giống hệt X

Ví dụ: virtual memorykhơng phải bộnhớ làm việc với vi

xử lý bộnhớ

Tương tựvirtual disks, virtual terminals, virtual networks, etc

CNTT-ĐHBK Hà nội Định nghĩa Virtual Reality

Coates (1992): Greenbaum (1992): Theo kinh nghiệm người: (Isdale, 1998)

Các thuật ngữkhác thường dùng:

Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace

Lịch sửphát triển

1962 : Sensorama (from the movie industry : Morton Heilig) 1970sh : visualisation of virtual world on the screen 1970 : First Head Mounted Display : Daniel Vivkers from Utah

University (From a Ivan Sutherland / MIT 's idea) 1982 : Dataglove

1980-85 : First VR commercial products 1987 Virtual Cockpit (British Aerospace) head and hand tracking, eye tracking, 3d visuals, 3D audio, speech recognition vibro tactile feedback 1990-95 : Popularisation of VR (Film, Books )

ARMY – spend close to $1000 million 1998 in VRresearch

So sánhVirtual Reality và các

Media khác

Sốngđộng - Vividness (biểu diễn mơi trường xác)

breadth (visibility, audibility, touch, smell)

depth (quality, fidelity-chính xác)

Tương tác - Interactivity (cho phép người dùng có khảnăng thayđổi mơi trường )

speed (update rates, time lag) mapping (text, speech, gestures,

gaze, complex behavior patterns)

(2)

Thành phần Kiến trúc Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …)

Tính chất hình học- Shape, color, texture Tính chất vật lý – Weight, speed, position, etc…

Người dùng - User

Tương tác với môi trường, có thểđược nhìn thấy CAMERA Có hình thểtham gia vào thếgiới ảo (avatar)

Có thểnghe, nói (Voice recognition) Có thểdi chuyển (gesture recognition)

Đa người dùng - Multi user Mạng máy tính - Network connection

Mô - Simulation Điều khiển ứng dụng

Điều khiển hướng sựkiện (tránh va chạm)

Mô hướng theo tính chất vật lý đối tượng (act according the objects physical attributes)

Thếgiới, môi trường World

Kết nối tát cảnhững phần khác vào thành môi trường mà người dùng hoạt

động

CNTT-ĐHBK Hà nội Đặc điểm

Virtual reality(VR), Phảiđảm bảo

Trong thực tế để đạtđược chấp nhận:

Hoà nhập - “immersion”.

CNTT-ĐHBK Hà nội Đặc điểm Thực tế của Hiện thựcảo

Một VR thật không tồn tại, làm người cảm thấy thoải mái

khi có nhầm lẫn, Phải cóđượcđặcđiểm

Cảm giác hoà nhập - immersion:

Cho phép tương tác với cácđối tượng cảnh nhưcách

ngời dùng làm thực tếchấp nhận tính xấp xỉvới hạnđộ

hợp lý.

Tạo nhiều cảm nhận giác quan tốt

CNTT-ĐHBK Hà nội 10

Công nghệ trong VR

Màn hình hiển thị-Visual displays: hiển thịthếgiới ảo đến người

sửdụng.

Hệthống theo dõi-Tracking systems: theo dõi vịtrí hướng của

người dùng môi trường ảo

Hệthống tính tốn-Computation Systems: thực hiện những tính tốn cần thiết đểsinh không gian ảo

Thiết bịxúc giác-Haptic devices: cung cấp thao tác nhận được các cảm giác phản hồi từthếgiới thực

Audio systems- phản hồi âm từthực tại ảo

Perceive

The ability to sense the position and location and orientation and movement of the body and its parts

ear balance, acceleration,

position, location, orientation, movement of the body proprioception

The perception of body position and movement and muscular tension etc; SYN: kinaestesia, feeling of movement

muscles position, movement,

muscular tensions kinesthesia

The faculty of taste; SYN gustation, sense of taste, gustatory modality

tongue/nose savour, flavour

taste

The faculty of smell; SYN sense of smell, olfaction, olfactory modality

nose odour

smell

The faculty of touch; SYN sense of touch, skin senses, touch modality, cutaneous senses

skin surface / temperature touch

The ability to see; the faculty of vision; SYN vision, visual sense, visual modality

eyes image

sight

The ability to hear; the auditory faculty; SYN audition, auditory sense, sense of hearing, auditory modality

ears,body sound

hearing

Cảm nhận môi trườngảo

Perceive ? a) monoscopic cues( cảnh mono)

relative size

interposition and occlusion( lỏng lẻo) perspective distortion( méo) lighting and shadows texture gradient

motion parallax ( thịsai chuyểnđộng) b) binocular (stereoscopic) cues

stereo disparity (phân tách) convergence( hội tụ)

(3)

Tái tạo cảm giác recreate sensation ?

a) monoscopic cues

realistic rendering / lighting simulation

b) stereoscopic cues -> stereodisparity presentation of appropriate view to each eye

- time multiplexing of images

- multiplexing with chromatic filters (anaglyph) - multiplexing with polarizer filters

- providing two views simultaneously Color Encoded Stereo Image Pair

Yêu cầuVR

Cảnh-scene: cần vẽ, sinh phụthuộc vào điểm nhìn người dùng Vịtrí mắt cần xác định, thiết bịtheo dõi xác định hướng vịtrí đầu mắt

Theo Phần mềm cần hiệu chỉnh ma trận chiếu phù hợp đểcó kết

Cảnh hiển thị3-D

stereo vision:Hình ảnh nhận sửdụng sựkhác biệt We perceive 3-D primarily using the difference between the images received by the two eyes -

perceive 3-D is by focus: the lens in the eye focuses light differently for near vs far objects

The user needs to be able to affectthe scene somehow

Tracking capability (to determine head/eye placement), the user a hand-held

object with a tracker on it

User’s motions directly, either through placement of tracking devices on the user’s clothes, or by giving the computer several video feeds of the user

Ứng dụng

Engineering

Aero Engine design

Submarine design

Architecture

Human factors modeling Industrial concept design

Telecoms engineering

Entertainment

Computer animator

Television Game system

ScienceScience

– Computational Neuroscience – Molecular modeling – Phobias ~ Virtual Therapy – Telepresence

– Ultrasound Echolography

TrainingTraining

– High-risk work – Flight simulation – Medicine – Military training – Nuclear industry

– Accident simulation (Airline, car collision testing)

An Immersive Car Simulator

Using HMD(© British Aerospace)

A BOOM Display Application in Aerodynamics

Phân loại VR-Desktop VR

Desktop VR

Non-immersive: chuột 3d, window system

3D world hiển thịtren hình, chuột bàn phím làđầu vào tương tác

Giá thấp, dùng cảvới PC thông dụng

VRML, Games Window on a World(WoW)

Một sốhệthống sửdụng hình truyền thống đểhiển thịthếgiới trực quan (visual world)

Người ta phải xem hình hiển thị cửa sổmà qua cửa sổđó người ta có thểthấy thếgiới ảo

Thách thức lĩnh vực đồhoạmáy tính làm cho hình ảnh cửa sổ

đó trơng giống thật, âm nghe giống thật đối tượng hành

động giống thật

(4)

Ánh xạVideo (Video Mapping)

Đây biến thểcủa cách tiếp cận theo kiểu WoW Tiếp cận theo kiểu sẽkết hợp đoạn video hình ảnh người sửdụng với đồhoạ 2D Người sử dụng sẽthấy hình hiển thị tương tác hình với máy tính DVR hệthống đơn giản sửdụng thiết bị tương tác thông thường : chuột 3d, window system Thếgiới 3D hiển thịtrên hình, chuột bàn phím đầu vào tương tác

Ưu điểm hệthống ứng dụng loại chi phí giá cảthấp, có thểdùng cảvới PC thơng dụng thiết bịthông dụng khác Phù hợp với việc phát triển ứng dụng đại trà sản phẩm cấp thấp

khơng cần đến đội xác tuyệt đối

Thế giới thực bổ xung-Augmented Reality

Sựkết hợp giữa đồhoạvà thếgiới thực tạo thành hệthống chung phục vụcho việc nhìn nhận đánh giá thếgiới thực.

Kết hợp Telepresence hệthống thực tại ảo cho ta một

thực tại hỗn hợp(Mixed Reality)hay các hệthống mô phỏng liền mạch (Seamless Simulation systems).

Ởđây, dữliệu vào sinh sinh bởi máy tính sẽđược hợp

nhất (kết hợp) với dữliệu vào telepresence và/hoặc quan

điểm (cách nhìn) vềthếgiới thực của người sửdụng.

Xuất hiện - Presence

Xuất ảo-Virtual presence

Is experienced by a person when sensory information generated only by and within a computer compels a feeling of being present in an environment other than the one the person is actually in” (Sheridan, 1992, pg.6)

Presence: cảm nhận tâm lý xuất ởmột môi trường dựa vào cơng nghệhình thành theo kiểu hồ nhập - immersive

Trên thực tếhệthống hoạt động theo kiêu không cần thiết áp dụng cho tất cảmọi người mà chỉcho vài người có vai trị định cộng đồng

Việc tích hợp immersive presence ln tốn khó cho cơng nghệ Một

ứng dụng Presence là: Telepresence teleoperate

CNTT-ĐHBK Hà nội 22 Telepresence

Telepresence : Là thuật ngữmô tảviệc sửdụng công nghệkhác gây hiệu ứng đặt ngưịi dùng vịtrí khác

Telepresence cách mường tượng, hình dung thếgiới sinh hồn tồn máy tính Đây kỹthuật kết nối cảm biến từxa thếgiới thực với cảm giác người điều khiển Các cảm biến từxa có thểđược định vịtrên robot, giống cơng cụ Lính cứu hoảsửdụng phương tiện điều khiển từ xa đểxửlý trường

hợp nguy hiểm Các bác sĩgiải phẫu sửdụng thiết bịvô nhỏtrên dây cáp đểthực ca phẫu thuật mà không cần rạch lỗlớn thểbệnh nhân Các thiết bịnày có video camera nhỏ ởđầu làm việc (business end)

Các robot trang bịcác hệthống telepresence thay đổi cách thức thực thí nghiệm vềbiển sâu núi lửa Kỹthuật ngồi cịn áp dụng nghiên cứu vũtrụ

II Immersion( hoà nhập)

Tạo cảm giác hoà nhập người dùng mơi trường, hìnhảnh quan sát hìnhảnh người sửdụng nhìnđược bao gồm cảkhơng gian phương hướng

Phần hìnhảnh người dùng quan sátđược chỉlà phần nhỏso với không gian hiển thị

Thơng thường cơng nghệcho hiển thịđóng vai trị quan trọng cảm nhận khác kiểm tra

Hệthống thực ảo - VR systems sẽtạo cho người dùng phần thếgiới ảo mô không đơn môi trường ảo mơ góc thếgiới thực mà người dùng hữu

Hệthống immersive VR hệthống mơ lái máy bay màở sựhoà nhập sựkết hợp tinh xảo thiết bịthật hình ảnh ảo Buồng lái thật với thiết bịthực tếcho phép phi công sửdụng chuyến bay bình thường Hình ảnh hiển thịlà cảnh ảo chuẩn

Kỹthuật sinh immersive

Head-Mounted Display: Put the screen right in front of the user’s eyes Include a lens, for comfortable focusing.

Advantage: It is easy to give the eyes different views Disadvantage: Need separate screen for each user

BIG Disadvantage: When the user’s head moves, there is noticeable lag before the image updates (Faster computers should fix this problem.) Large-Screen Display: Use a very large screen or group of

screens that fill the user’s vision.

Advantage: Image-update lag is not as much of a problem (Why not?) Advantage: Multiple users can view a single screen (but only one gets a

precisely correct view)

(5)

Phân loại

Immersive - Virtual Environments

1 Immersive Virtual Environments- mơi trường ảo hồ nhập

•các đối tượng tương tác quan sát độc lập hồn tồn với thếgiới thật • Cảnh ảo phản ứng lại hành động tương tác đối tượng •các đối tượng không thểtác động lên môi trường thật

2 Semi-Immersive Virtual Environments-mơi trường ảo bán hồ nhập •các đối tượng có thểtác động lên mơi trường thật vàảo

• vai trị đối tượng môi trường ảo lớn nhiều so với môi trường thật

• tác động nên mơi trường thực hạn chế

3 Non-Immersive Virtual Environments – VR thơng thường •các cảnh 3D phần thếgiới thật (mơi trường vật lý) •các đối tượng đáp lại hồn tồn thếgiới thật • Tồn quan hệvới môi trường ảo -VE

CNTT-ĐHBK Hà nội 26 Hoà nhập mức độthấp

First Level of Immersion /

Interactivity Low level, Physical level Because the computer is physically connected to the human

body by its senses and its motor responses.

The physical devices, Which interface to use ?

You have to know that not only Sight interface exist (HMD ), but lots of other,l you should have an idea of all the others

What Hardware (interface, computer) ?

What Software (Driver, Toolkit, Programming Language ) ?

Second Level : Mental Immersion / Interactivity of the user Triadic diagram for the behavioral interfacing

Desired Behavior where are the shemas

Effective motor function : what the user will : Schema, Schema by substitution or Metaphore Effective perception : as natural as

possible, with as many senses as possible, and as weel synchorised (cohering) as possible programmed motor function :

Behavorial Software Assistance Programmed perception : what is

available from the virtual world

Các bước thiết kế VR Environments Content

• story writing • scenario setup • semantics

Objects

• geometry and static attributes (color etc…) • textures

• sound

Dynamics

• object relationships • events

• dynamic object properties (behavior)

System Implementation

Low Level Tools

• Keep Track of Primitive Lists • Transformation of Vertices • Drawing of Primitives

• Reading Devices on Driver Level • Polygon Intersection Testing Examples

• C++ Compiler • OpenGL, Direct3D

High Level Tools

• Loading Objects (Geometry, Sounds…) • Scene Graph Construction

• Advanced Camera Models • Automatic Sensor Handling • Automatic Collision Detection Examples

• C++ Compiler

(6)

V Phần cứng Mơ hình chung

Physical Simulation and Animation

Lights

Illustration Model

Objects

Geometry Surface Properties Dynamic Properties Physical Constrains Acoustic Properties

Collision Detection Head Position

Hand Position

Visual

Audio

Haptic

INPUT OUTPUT

CNTT-ĐHBK Hà nội 32 Glove

Glove tracker

receiver Voice Recognition

Graphics Processor VE

Database Machine

Intelligence

Video Camera Haptics

Host Computer VE Real-time OS

Face / Gesture / Motion Analysis 3D Sound

Processor

Tracker Transmitter 3D Tracker System

Head Tracker Receiver Head-mounted display(HMD) Head phones

Microphone

Generic VR System

Màn hình thiết bịtương tác

Display & interactive Devices Visual Displays (3D imagery)

• Head Mounted Displays (HMD) • Projection Displays (CAVE, Virtual Plane)

Acoustic Displays (spatial sound)

• Multi-Channel Sound Systems

• Specialized Convolution Processors (e.g Convolvotron)

Haptic Displays (force feedback)

• Robot Arms (e.g Grope, Phantom) • Active Joystics (e.g Microsoft Sidewinder) • Vibrotactile Devices (e.g Logitec Cyberman)

3D Input/output

Head-mounted display(HMD) Degree of Freedom (DOF)

6 DOF: translation and rotation of X, Y, Z axes

3D mouse

Sonar-based

3D Trackball (Space-ball)

Pressure sensors Pushing, pulling, and twisting

Joysticks

Specific platforms of exploration

Gloves

Finger angle (flexible sensors) Tracking the movement of the hands Sonic or electromagnetic system Postures

3D Input (Haptic device) Dials

3D array

Force-feedback devices Hand and body tracking

LEDs Hi-ball tracker

Puppets

Eye Tracking

Gaze sensing

Laser Scanner

4 categories of haptic devices

Hand position and orientation forces and torque feedback devices tactile devices

(7)

Sensory Interface

Motor Interface

X CAVE

"CAVE Automatic Virtual Environment”. 1 Introduction

One of the leading VR environments is the CAVE.

“CAVE” stands for “CAVE Automatic Virtual Environment” Originally a hardware/software combination, the CAVE was developed

at the Electronic Visualization Lab at the U of Illinois, Chicago, in the early 1990’s

The software component has since been separated and turned into a commercial product (CAVELIB, sold by VRCO) that runs in any number of VR environments

CAVE - An Immersive VR Environment

(EVL, University of Illinois at Chicago)

2.CAVE Hardware

Standard CAVE hardware consists of:

Any number of walls(screens).

• The original idea was four: three vertical and a floor

• ARSC has a 1-wall CAVE called an “ImmersaDesk”; we plan to get a 3-or-4 wall CAVE soon

Any number of stereo glasses.

• One of these is for the driver; it has a tracker on it A wand.

• This is a stick with a tracker on it, along with some buttons and a directional control (“joystick”)

• The wand functions like a 3-D mouse

3.CAVE: Software

Like GLUT, CAVELIB handles program execution

via registered callbacks.

GLUT can still be used with CAVELIB, but you never

call glutMainLoop, and so GLUT callback registration does nothing.

Thus, the full features of GLUT are not available in

CAVE programs.

On the other hand, for programmers who are familiar with

Định dạng
Số trang	7
Dung lượng	1,2 MB