Bài giảng Công nghệ đồ họa và hiện thực ảo - Bài 15: Hiện thực ảo - Trịnh Thành Trung

©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
Trịnh Thành Trung 
trungtt@soict.hust.edu.vn 
Bài 15 
HIỆN THỰC ẢO 
1 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
- 
TỔNG QUAN 
1 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Thực tại ảo – Virtual Reality 
• Coates (1992): 
– Hiện thực ảo là mô phỏng điện tử các thiết bị 
kính, quần áo và môi trường 3 chiều điện tử cho 
phép người dùng tương tác với 
• Greenbaum (1992): 
– Hiện thực ảo là những ảnh của thế giới thực được 
máy tính sinh ra phản hồi lại các chuyển động 
của con người. Việc tương tác với môi truòng mô 
phỏng này thông qua dữ liệu lớn phù hợp với các 
thiết bị như tương tác loa, kính hay găng tay mô 
phỏng 
Định nghĩa 
3 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• (Isdale, 1998) 
– Là một cách để hình ảnh hóa, điều khiển và 
tương tác với máy tính và các dữ liệu đặc biệt 
phức tạp 
• Theo kinh nghiệm con người: 
– Hiện thực ảo là môi trường truyền dẫn tạo ra 
những cảm nhận cho con người với với môi 
trường mà nó mô tả. 
• Các thuật ngữ khác thường dùng: 
– Virtual Worlds, Virtual Environments, Immersive 
VR, Cyberspace ... 
Định nghĩa 
4 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• 1962 : Sensorama (từ hãng phim Morton Heilig) 
• 1970 : Thể hiện hóa thế giới ảo lên màn hình 
• 1970 : Thiết bị Head Mounted Display đầu tiên: bởi Daniel 
Vivkers từ Utah University (Ý tưởng của Ivan Sutherland / 
MIT) 
• 1982 : Dataglove 
• 1980-85 : Sản phẩm hiện thực ảo thương mại đầu tiên 
tên Virtual Cockpit (British Aerospace) có khả năng nắm 
bắt cử động của đầu, tay, mắt. Hiển thị hình ản và âm 
thanh 3D, nhận dạng giọng nói, phản hồi tương tác... 
• 1990-95 : Trở nên phổ biến trong phim ảnh, sách báo... 
• 2010-nay: Phát triển các thiết bị hiện thực ảo hướng 
người dùng phổ thông 
Lịch sử phát triển 
5 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
So sánh VR và các dạng media khác 
• Sống động - Vividness (biểu 
diễn được môi trường chính 
xác) 
– breadth (visibility, 
audibility, touch, smell) 
– depth (quality, fidelity-
chính xác) 
• Tương tác - Interactivity 
(cho phép người dùng có 
khả năng thay đổi môi 
trường ) 
– speed (update rates, 
time lag) 
– mapping (text, speech, 
gestures, gaze, complex 
behavior patterns) 
 6 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
- 
THÀNH PHẦN KIẾN TRÚC 
2 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 8 
Kiến trúc hệ thống của 
virtual environments 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Đối tượng, thực thể - Objects, entities (ô tô, nhà, 
bầu trời, ) 
– Tính chất hình học - Shape, color, texture 
– Tính chất vật lý - Weight, speed, position, etc 
• Người dùng - User 
– Tương tác với môi trường, có thể được nhìn thấy 
bằng camera 
– Có hình thể tham gia vào thế giới ảo (avatar) 
– Có thể nghe, nói (voice recognition) 
– Có thể di chuyển (gesture recognition) 
Thành phần kiến trúc 
9 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Đa người dùng - Multi user 
• Mạng máy tính - Network connection 
• Mô phỏng - Simulation 
– Điều khiển ứng dụng 
– Điều khiển hướng sự kiện (tránh va chạm) 
– Mô phỏng hướng theo tính chất vật lý của đối 
tượng 
• Thế giới, môi trường - World 
– Kết nối tất cả những phần khác nhau vào thành 1 
môi trường mà người dùng hoạt động ở trong đó 
Thành phần kiến trúc 
10 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Virtual reality (VR) phải đảm bảo 
– Thế giới lý tưởng sinh ra bởi máy tính 
– Đảm bảo giống thật về hình dáng 
– tương tác với người dùng cùng kiểu với thế giới thực. 
• Trong thực tế để đạt được chấp nhận: 
– Đưa ra chuẩn thấp hơn. 
– Đặt ra nhiều khía cạnh của thế giới thực 
• Hoà nhập - “immersion”. 
– Môi trường VR là hoà nhập - immersive nếu nó đem 
lại cho người dùng cảm giác tồn tại trong môi trường 
chứ không phải là cảm giác đang quan sát 
Đặc điểm 
11 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Một VR thật không tồn tại, làm con người cảm 
thấy thoải mái khi có các nhầm lẫn, Phải có 
được đặc điểm 
– Cảm giác hoà nhập - immersion: Sinh ra các 
cảnh gây cảm nhận thuộc về môi trường ảo 
của người dùng.. 
– Cho phép tương tác với các đối tượng trong 
cảnh như cách ngời dùng làm trong thực tế 
chấp nhận tính xấp xỉ với hạn độ hợp lý. 
Đặc điểm thực tế của hiện thực ảo 
12 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
– Tạo càng nhiều cảm nhận trên các giác quan 
càng tốt 
• Nhìn và nghe - Sight & sound là những giác quan cơ 
bản nhất về sự cảm nhận. Lúc đó môi trường ảo như 1 
tấm kính đồ hoạ mà chung ta được đưa vào trong 
• Ngoài ra xúc giác cũng đang đưa vào nghiên cứu 
(haptic interfaces). 
• Vị giác và khứu giác – Tạm thời chúng ta không cần 
nghiên cứu về vấn đề này 
• Giác quan thứ 6: Đây là giác quan mà chúng ta thường 
không thể xử lý được, trừ một số trường hợp đặc biệt 
như các mô phỏng lái máy bay 
Đặc điểm thực tế của hiện thực ảo 
13 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Màn hình hiển thị - Visual displays: hiển thị thế giới 
ảo đến người sử dụng. 
• Hệ thống theo dõi - Tracking systems: theo dõi vị trí 
và hướng của người dùng trong môi trường ảo 
• Hệ thống tính toán - Computation Systems: thực 
hiện những tính toán cần thiết để sinh ra không 
gian ảo 
• Thiết bị xúc giác - Haptic devices: cung cấp thao 
tác và nhận được các cảm giác phản hồi từ thế giới 
thực 
• Audio systems - phản hồi âm thanh từ thực tại ảo 
Công nghệ trong VR 
14 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 15 
Cảm nhận môi trường ảo 
hearing sound ears,body 
The ability to hear; the auditory faculty; SYN. audition, 
auditory sense, sense of hearing, auditory modality. 
sight image eyes 
The ability to see; the faculty of vision; SYN. vision, visual 
sense, visual modality. 
touch 
surface / 
temperature 
skin 
The faculty of touch; SYN. sense of touch, skin senses, touch 
modality, cutaneous senses. 
smell odour nose 
The faculty of smell; SYN. sense of smell, olfaction, olfactory 
modality. 
taste savour, flavour 
tongue/ 
nose 
The faculty of taste; SYN. gustation, sense of taste, gustatory 
modality. 
kinesthesia 
position, 
movement, 
muscular 
tensions 
muscles 
The perception of body position and movement and muscular 
tension etc; SYN: kinaestesia, feeling of movement 
proprioceptio
n 
balance, 
acceleration, 
position, 
location, 
orientation, 
movement of 
the body 
ear 
The ability to sense the position and location and orientation 
and movement of the body and its parts. 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
a) monoscopic cues( cảnh 
mono) 
– relative size 
– interposition and occlusion( 
lỏng lẻo) 
– perspective distortion( 
méo) 
– lighting and shadows 
– texture gradient 
– motion parallax ( thị sai 
chuyển động) 
b) binocular (stereoscopic) cues 
– stereo disparity (phân tách) 
– convergence (hội tụ) 
Cảm nhận môi trường ảo 
16 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Cảnh-scene: cần được vẽ, sinh ra phụ thuộc vào điểm nhìn 
của người dùng 
• Vị trí của mắt cần xác định, thiết bị theo dõi xác định hướng và 
vị trí của đầu và mắt. Theo đó Phần mềm cần hiệu chỉnh ma 
trận chiếu phù hợp để có kết quả.. 
• Cảnh hiển thị 3-D . 
– stereo vision: Khi hai mắt nhận được hai hình ảnh khác 
nhau, chúng ta sẽ cảm nhận được cảm giác 3D 
– Đây là sự đánh lừa mắt sử dụng sự nhận biết về tiêu cự 
của mắt 
• Người dùng phải có khả năng tác động lại môi trường 
– Khả năng theo dõi (để xác định vị trí của đầu/mắt) 
– Tác động trực tiếp lên chuyển động của người dùng thông 
qua các thiết bị theo dõi trên quần áo hoặc cung cấp cho 
máy tính video nhiều góc nhìn khác nhau của người sử 
dụng 
Yêu cầu của thực tại ảo 
17 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
- 
ỨNG DỤNG 
3 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
Khảo cổ học: Tái 
tạo lại những di 
tích lịch sử đã bị 
phá hủy hoặc 
không còn tồn tại 
Ứng dụng 
 19 
Khung cảnh tàn tích Homolovi IV 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
Đào tạo, huấn luyện: 
Cho phép người học có 
thể được rèn luyện trước 
khi sử dụng thiết bị thật, 
đặc biệt là khi việc sử 
dụng thiết bị thật là khó 
khăn hoặc quá tốn kém 
Ứng dụng 
 20 
Mô phỏng lái máy bay của không quân Mỹ 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
Viễn tưởng: 
Kiến tạo 
những khung 
cảnh không 
có thật 
Ứng dụng 
 21 
Kiến trúc sư tái hiện lại khung cảnh kiến trúc 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 22 
Giải trí: Xây dựng các khung cảnh viễn tưởng phục 
vụ mục đích giải trí như trò chơi, phim ảnh... 
Ứng dụng 
Game Skyrim ứng dụng trong hiện thực ảo 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
- 
PHÂN LOẠI 
4 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Desktop VR 
– Non-immersive: 
chuột 3d, window 
system 
– 3D world hiển thị tren 
màn hình, chuột và 
bàn phím là đầu vào 
tương tác. 
– Giá thấp, dùng cả với 
PC thông dụng. 
– VRML, Games 
Phân loại 
 24 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Window on a World (WoW) 
– Một số hệ thống sử dụng một màn 
hình truyền thống để hiển thị thế giới 
trực quan (visual world). 
– Người ta phải xem màn hình hiển thị 
như là một cửa sổ mà qua cửa sổ đó 
người ta có thể thấy một thế giới ảo. 
– Thách thức đối với lĩnh vực đồ hoạ 
máy tính là làm cho hình ảnh trong 
cửa sổ đó trông giống như thật, âm 
thanh nghe giống thật và các đối 
tượng hành động giống thật. 
– “One must look at a display screen 
as a window through which one 
beholds a virtual world. The 
challenge to computer graphics is to 
make the picture in the window look 
real, sound real and the objects act 
real” [Computer Graphics]. 
Phân loại 
 25 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Ánh xạ video (video-mapping) 
– Đây là một biến thể của cách tiếp cận theo kiểu WoW. Tiếp cận 
theo kiểu này sẽ kết hợp một đoạn video hình ảnh người sử 
dụng với đồ hoạ 2D. Người sử dụng sẽ thấy một màn hình hiển 
thị tương tác của hình anh ta với máy tính. 
– DVR hệ thống đơn giản sử dụng các thiết bị tương tác thông 
thường như : chuột 3d, window system. Thế giới 3D được hiển 
thị trên màn hình, chuột và bàn phím là đầu vào tương tác. 
Phân loại 
26 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Ánh xạ video (video-mapping) (tiếp) 
– Ưu điểm của hệ thống và các ứng dụng loại nay là chi phí và giá 
cả thấp, có thể dùng được cả với PC thông dụng và các thiết bị 
thông dụng khác. 
– Phù hợp với việc phát triển những ứng dụng đại trà và các sản 
phẩm cấp thấp không cần đến đội chính xác tuyệt đối. 
Phân loại 
27 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Thế giới thực bổ sung (augmented 
reality) 
– Sự kết hợp giữa đồ hoạ và thế 
giới thực tạo thành 1 hệ thống 
chung phục vụ cho việc nhìn 
nhận và đánh giá thế giới thực. 
– Kết hợp Telepresence và các hệ 
thống thực tại ảo cho ta một 
thực tại hỗn hợp(Mixed Reality) 
hay các hệ thống mô phỏng 
liền mạch (Seamless 
Simulation systems). 
– Ở đây, các dữ liệu vào sinh ra 
bởi máy tính sẽ được hợp nhất 
(kết hợp) với các dữ liệu vào 
telepresence và/hoặc quan 
điểm (cách nhìn) về thế giới 
thực của người sử dụng. 
Phân loại 
 28 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• "Virtual presence is experienced by a person when sensory 
information generated only by and within a computer compels 
a feeling of being present in an environment other than the 
one the person is actually in” (Sheridan, 1992, pg.6) 
• Presence: là cảm nhận tâm lý xuất hiện ở một môi trường dựa 
vào công nghệ hình thành theo kiểu hoà nhập - immersive. 
• Trên thực tế hệ thống hoạt động theo kiểu này không cần thiết 
áp dụng cho tất cả mọi người mà chỉ cho một vài người có vai 
trò nhất định trong cộng đồng. 
• Việc tích hợp giữa immersive và presence luôn là bài toán khó 
cho công nghệ . Một ứng dụng của Presence là: Telepresence 
và teleoperate 
Hiện diện ảo 
29 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Telepresence: Là thuật ngữ mô tả việc sử dụng các công nghệ khác 
nhau gây hiệu ứng đặt ngưòi dùng tại một vị trí khác. 
• Telepresence là một cách mường tượng, hình dung các thế giới được 
sinh ra hoàn toàn trong máy tính. Đây là một kỹ thuật kết nối các cảm 
biến từ xa trong thế giới thực với cảm giác của người điều khiển. Các 
cảm biến từ xa này có thể được định vị trên một robot, giống như là 
các công cụ. 
• Lính cứu hoả sử dụng các phương tiện điều khiển từ xa để xử lý những 
trường hợp nguy hiểm. Các bác sĩ giải phẫu sử dụng các thiết bị vô 
cùng nhỏ trên những dây cáp để thực hiện ca phẫu thuật mà không 
cần rạch ra một lỗ lớn trên cơ thể bệnh nhân. Các thiết bị này có một 
video camera nhỏ ở đầu làm việc (business end). 
• Các robot được trang bị các hệ thống telepresence này đã thay đổi 
cách thức thực hiện các cuộc thí nghiệm về biển sâu hoặc núi lửa. Kỹ 
thuật này ngoài ra còn được áp dụng trong các cuộc nghiên cứu vũ 
trụ... 
Telepresence 
30 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 31 
Telepresence 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Tạo ra cảm giác hoà nhập giữa người dùng và môi trường, hình ảnh 
quan sát là hình ảnh người sử dụng nhìn được bao gồm cả không gian 
và phương hướng. 
• Phần hình ảnh người dùng quan sát được chỉ là 1 phần rất nhỏ so với 
không gian hiển thị 
• Thông thường công nghệ cho hiển thị đóng vai trò quan trọng và các 
cảm nhận khác cũng được kiểm tra. 
• Hệ thống thực tại ảo - VR systems sẽ tạo cho người dùng là một phần 
của thế giới ảo đang được mô phỏng chứ không đơn thuần môi trường 
ảo đang mô phỏng là 1 góc của thế giới thực mà người dùng hiện hữu. 
• Hệ thống immersive VR đầu tiên là hệ thống mô phỏng lái máy bay mà 
ở đó sự hòa nhập là sự kết hợp tinh xảo giữa các thiết bị thật và các 
hình ảnh ảo. Buồng lái thật với các thiết bị thực tế cho phép phi công 
sử dụng như 1 chuyến bay bình thường. Hình ảnh hiển thị là những 
cảnh ảo được chuẩn bị sẵn. 
 Hoà nhập 
32 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
1. Immersive Virtual Environments- môi trường ảo hoà nhập 
– các đối tượng tương tác quan sát được và độc lập hoàn toàn với 
thế giới thật 
– Cảnh ảo phản ứng lại các hành động tương tác của đối tượng. 
– các đối tượng không thể tác động lên môi trường thật 
2. Semi-Immersive Virtual Environments-môi trường ảo bán hoà nhập 
– các đối tượng có thể tác động lên cả môi trường thật và ảo 
– vai trò của các đối tượng trong môi trường ảo lớn hơn nhiều so 
với môi trường thật 
– tác động nên môi trường thực là rất hạn chế 
3. Non-Immersive Virtual Environments – VR thông thường 
– các cảnh 3D như là 1 phần của thế giới thật (môi trường vật lý) 
– các đối tượng đáp lại hoàn toàn trong thế giới thật 
– Tồn tại rất ít quan hệ với môi trường ảo - VE 
Phân loại 
33 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
- 
CÁC THIẾT BỊ VR 
5 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
35 
Mô hình phần cứng chung 
Physical Simulation 
and Animation 
Lights 
Illustration Model 
Objects 
Geometry 
Surface Properties 
Dynamic Properties 
Physical Constrains 
Acoustic Properties 
Collision Detection 
Head Position 
Hand Position 
Visual 
Audio 
Haptic 
INPUT OUTPUT 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 36 
Hệ thống VR cơ bản 
Glove 
Glove tracker 
receiver 
Voice 
Recognition 
Graphics 
Processor 
VE 
Database 
Machine 
Intelligence 
Video Camera 
Haptics 
Host Computer 
VE Real-time OS 
Face / Gesture / 
Motion Analysis 
3D Sound 
Processor 
Tracker 
Transmitter 
3D Tracker 
System 
Head Tracker Receiver 
Head-mounted display(HMD) 
Head phones 
Microphone 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
• Visual Displays (3D imagery) 
– Head Mounted Displays (HMD) 
– Projection Displays (CAVE, Virtual Plane) 
• Acoustic Displays (spatial sound) 
– Multi-Channel Sound Systems 
– Specialized Convolution Processors (e.g. 
Convolvotron) 
• Haptic Displays (force feedback) 
– Robot Arms (e.g. Grope, Phantom) 
– Active Joystics (e.g. Microsoft Sidewinder) 
– Vibrotactile Devices (e.g. Logitec Cyberman) 
Màn hình và các thiết bị tương tác 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 38 
Head Mounted Display (HMD) 
Oculus Rift, được phát triển bởi Oculus VR, 
được Facebook mua lại năm 2014 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 39 
CAVE Automatic Virtual 
Environment 
Christe’s CAVE 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 40 
Haptic Displays 
Bàn phím nổi của Tactus cho phép bàn phím ảo 
trên màn hình cảm ứng nổi lên và phản hồi như 
bàn phím cứng 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
41 
• Xác định vị trí và hướng tay 
• Các thiết bị phản hồi lại lực và mô-men 
• Các thiết bị xúc giác 
• Các thiết bị tạo ra các kích thích như nóng hay 
lạnh 
Các loại thiết bị Haptic Device 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 42 
Các giao diện cảm nhận 
©
 C
o
p
yrigh
t Sh
o
w
eet.co
m
 43 
Các giao diện động học