Xây dựng mô hình ba chiều của trường ĐHQG Hà Nội bằng máy quay cầm tay và các ứng dụng trong mô hình ba chiều này (Báo cáo tổng hợp đề tài nghiên cứu khoa học cấp Đại học Quốc gia do Trường Đại học Công nghệ quản lý)

3D reconstruction is the process of automatically creating a 3D mode! from a video sequence. 2, 3] considers the recon­ struction from uncalibraied hand-held cameras. S[r]

XÂY DỤNG MƠ HÌNH BA CHIÈU CỦA TRƯỜNG ĐHQG HÀ NỘI BẰNG MÁY QUAY CẦM TAY

VÀ CÁC ỨNG DỤNG TRONG MƠ HÌNH BA CHIÈU NÀY

(BUIDING 3D MODEL OF THE HANOI NATIONAL UNIVERSITY WITH HAND-HELD CAMERA

AND APPLICATIONS OF THIS 3D MODEL)

( Báo cáo tổng họp đề tài nghiên cứu khoa học cấp Đại học quốc gia do Trường Đại học Công nghệ quản lý )

Mã số: QC.05.02

Chủ nhiệm đề tài: Tiến sĩ Bùi Thế Duy

I 1 *đhọghn Í.6

-D Hà Nội - 2006

-PHIÉƯ ĐĂNG KÝ

KÉT QUẢ NGHIÊN c u KH - CN

Tên đê tài: X â y d ự n g m hình ba chiêu Đ H Q G H N ộ i băng m áy quay câm tay và ứ ng d ụ n g mơ hình ba chiều này.

Mã số: QC.05,02

C quan quản lý đê tài: Đại học Quôc gia Hà Nội Địa chỉ: 144, đường Xuân Thuỷ c ầ u Giấy - Hà Nội Điện thoại: 8340564

C quan chủ trì đề tài: Trường Đại học Cơng nghệ, Đại học Quôc gia Hà Nội Địa chỉ: 144, dường Xuân Thuý c ầ u Giấy - Hà Nội

Điện thoại: 7547810

Tơng chi phí thực chi: 30.000.000 VNĐ

(từ ngân sách nghiên cứu khoa học nhà nước cấp cho Đ HQ G H N )

Thòi gian nghiên cứu: 12 tháng Thòi gian bắt đầu: 01/07/2005 Thòi ginn kết thúc: 01/07/2006

Tên cán phôi h<ỵp nghicn cứu: - Clúi trì đề tài:

Tiến sĩ Bùi Thế Duy, Bộ mơn Mạng Truyền thơne máy tính Trường Đại học Công nghệ Đại học Quốc gia Hà Nội

- Cán (liiim gia:

o Tlis Đặng Trung Kiên, Bộ môn Mạng Truyền thôna máy tính Trường Đại học Cơnu niỉhệ Đại học Quốc gia Hà Nội (Nghiên cửu sinh đại học Amsterdam Hà Lan)

o Ts Nmiyễn Việt Hà, Bộ môn Công nghệ phần mềm, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

o Ths Dào Minh Thư Bộ mơn Mạng Truyền thơng máy tính Trường Đại học Cô nu nghệ Dại học Quôc nia Mà Nội.

học Quốc gia H Nội

o CN Đồ M inh Phương, Bộ môn Mạng Truyền ĩhơng máy tính Trường Đại học Cơng nghệ Đại học Quốc gia Hà Nội

Sô đãng ký đê tài

Ngày

Sô chứng nhận đăng ký K Q N C

Ngày

^Ẹ ảô-m ât -Ạ^ Phỏ biến rộngjãj_ /

B Phổ biến hạn chế c Bào mật

Tóm tắt kết nghiên cứu

a Kết khoa học (những đóng góp đề tài, cơng trinh khoa học cơng bố) • 02 báo hội nghị quốc tế

The D uy Bui (2006) Applying AI techniques for transferring 3D facial animation

In: Proceedings o f ICTACS2006, August 2006.

Trung Kien Dang, M Worring (2006) A Normalization Technique for 3D Reconstruction from Video Sequences In: Proceedings o f A S C I Conference. Lommel, Belgium

• 01 báo tạp chí Đại học Quôc gia

Trung Kien Dang and The Duy Bui (2006) Toward building 3D model o f Vietnam National university from video sequences VNU Journal o f Science.

• 01 báo cáo khoa học hội nghị nước

M a Thị Châu (2005) Dựng mô hình chiều từ ánh chụp Báo cáo Hội nghị tồn quốc lần II: ứ n g dụng tốn học, 12-2005

b Kết phục vụ thực tế (các sản phẩm công nghệ, khả áp dụng thực tế) • Bộ ne cụ trợ giúp mơ hình ba chiều từ anh cho trước

c Kết quà đào tạo (số lượng sinh viên, học viên cao học nghiên cứu sinh làm việc đề tài)

• 03 luận văn thạc SV

M a Thị Châu, “ Xây dựng mơ hình chiều sứ dụng camera cầm tay” , luận văn thạc SỲ T ruờnu Đại học Công nghệ 2005

các ứng dụng khác”, luận văn thạc sỹ Trường Đại học Côna nghệ 2005

Nguyễn Thu Hà, “Nghiên cứu mô hinh mặt kỹ thuật chuvên động” , luận văn thạc sỹ Trườne Đại học Công nghệ 2006

• 02 khóa luận cử nhân CNTT

N guyễn Thị Thanh Nga, "Giao tiếp naười - máy với khuôn mặt hoạt hình”, khóa iuận tốt nghiệp, Trường Đại học Công nghệ 2006

Lê Q uang Binh, “Nghiên cứu đánh giá mô phong cám xúc cho nhàn vặt ao", khóa luận tốt nghiệp Trường Đại học Cơna nghệ 2006

d Kết qua nâng cao tiềm lực khoa học (nâng cao trình độ cán tảng cường trang thiết bị cho đơn vị)

Nâng cao lưc chuyên môn cùa cán bộ môn vê lĩnh vực xứ lý anh, thực ảo thực trộn

Kiến nghị quy mô đối t uọn g áp dụng kết nghiên cứu:

Đe nghị tích hợp thừ nghiệm sản phẩm đề tài vào hệ thống thực ao thực trộn đê tạo môi trường nahiên cứu hỗ trợ đề phát triển du lịch mơ hình 3D

■ hù trườn” quan Chu t ch Hội đòng Thu trươnịi quan

Chức U I Chu n h i ệ m đê t i ị 4Ĩ ,

chù tri đẽ tái đánh giá thức quan K đẻ tài

Họ xà tên Bùi Thể Du\

Học vị Tiên sĩ

_ I !

Ký ten

Đ Ạ I H Ọ C Q U Ố C G I A H À N Ộ I

X Â Y D Ụ N G M Ơ H Ì N H B A C H I È U C Ủ A Đ H Q G H À N Ộ I B Ằ N G M Á Y Q U A Y C Ầ M T A Y V À C Á C Ứ N G D Ụ N G T R O N G

M Ơ H Ì N H B A C H I È U N À Y

(B U D IN G D M O D E L O F T H E H A N O I N A T I O N A L U N I V E R S I T Y W I T H H A N D - H E L D C A M E R A

A N D A P P L IC A T I O N S O F T H IS D M O D E L )

( B áo cá o tổ n g h ọ p đề tài n g h iê n u k h o a h ọc cấp Đại h ọc q uốc gia T r n g Đại học C ô n g n g h ệ q u ản lý )

M số: Q C

C h u n h iệ m đề tài: T iến sĩ Bùi T h ê D uy

Đ A ì H Ọ C Q U Ô C G IA H À NÔ I I TRUNG TÂ M THÕNG TIN THƯ V IÊ N

H N ội - 0 MỤC LỤC

MỤC L Ụ C

DAN H MỤC BẢ N G BIÊU HÌNH V Ẽ

C H Ư Ơ N G 1: GIỚI T H I Ệ U

1.1 Bổi cảnh mục đích đề t i

1.2 Nội dung nghiên c ứ u

1.3 Cấu trúc báo c o

CHƯƠNG 2: MỘT SÓ x u HƯỚNG LIÊN QUAN ĐÉN VIỆC XÁY DựNG CÁC MÕ HÌNH CH IÊU TỪ CÁC BỬC ẢNH C H IỀ U

C H Ư Ơ N G 3: X Â Y D ự N G CÁC MƠ HÌNH BA CHIÊU BẦNG M ÁY QUAY CẢM T A Y 12

3.1 Các kĩ thuật tốn dựng mơ hình ch iề u 12

3.1.1 Qui trình dựng mơ hình chiều 12

3.1.2 Trích chọn đặc t r n g 15

3.1.3 Bài toán đối sá n h 17

3.1.4 Tìm ma Irận cư ban F 23

3.1.5 Chinh sứa a n h 25

3.1.6 Khôi phục độ sâu 27

3.2 M hình cơnạ cụ dựng mơ hình chiều từ cập n h 29

3.2.1 Đ iếm S U S A N 29

3.2.2 Đối sánh điểm RÓC S U S A N 32

3.2.3 Thuật tốn tính ma trận ban sứ dụng R A N S A C 36

3.2.4 Chinh sưa anh báne phương pháp chuyên đôi san2 tọa độ c ự c 37

3.2.5 Xây dự n s anh chinh s a 39

3.2.6 Đổi sánh miền dựa vào cứa sồ tương q u a n 42

3.2.7 Thuật tốn tam d c tối ưu tính độ sâu cho cặp điêm anh đối sánh 46 3.3 Một số két q u a 52

Cl II ONG 4:XẢY Dl.'KCi ÚNCì D tíN G DỤ’A TRẼN MƠ HÌNH BA CHIÊU CUA ĐẠ] 11ỌC Q U Ỏ C G I A 54

4.1 ứ i m dụnu du lịch ao mơ hình ba chiêu cua đại học quốc a ia 54

C H Ư Ơ N G 5: K ÉT L U Ậ N 59

TÀI LIỆU T H A M K H Ả O 60

Tài liệu Tiếng A n h : 60

Mã nguồn công cụ hỗ trợ: 62

DANH MỤC BẢNG BIỂU HÌNH VẼ Hình 3.1 Qui trình dựng mơ hình chiều từ chuỗi ành đâu v 12

Hình 3.2 Độ chênh lệch mối quan hệ với độ s â u 14

Hình 3.3 Dựng mơ hình chiều từ cặp a n h 15

Hình 3.4 Đối sánh n h 18

Hình 3.5 So sánh số thuật tốn đối sánh dựa trơn m iề n 21

Hình 3.6 Tìm điểm tương ứng x ’ X qua mặt phăng 7r 24

Hìnli 3.7 Ràng buộc epipolar 26

Hình 3.8 Chinh sửa ả n h 27

Hình 3.9 Mối liên hệ độ chênh lệch độ s â u 28

Hình 3.13 Đối sánh khơng đối x ứ n g 35

11ình 3.19 Biếu diễn dối sánh cặp điểm ảnh trái p h ả i 44

CHƯƠNG 1: GIỚI THIỆU

1.1 Bối cảnh mục đích đề tài

Hiện giới, mơ hình ba chiều nhận nhiều quan tâm từ nhà nghiên cứu Khả ứng dụng cùa mơ hình ba chiều rat to lớn, nhât việc tạo môi trường ảo Mơ hình ba chiều bảo tàng có thê giúp người sử dụng máy tính tham quan bảo tàng cách “ảo" chù cách ngồi trước máy tính bấm chuột Nhân viên bảo vệ cua trường đại học rà sốt phòng học cách "ảo’' chi cần ngồi trước máy tính Đây kêt việc trộn thực (thông tin từ máy quay an ninh cố định) với mơ hình ba chiều Đế xây dựng mơ hình ba chiều, phương pháp truyên thống sử dụng nhàn viên kỹ thuật xây dựntỉ bàng tay mơ hình máy, sau dó ghép thêm dử liệu ảnh Tuy nhiên phươno pháp địi hỏi cơng sức cua người lao dộng cao Với khoảng nhân viên kỹ thuật, có thê tốn từ 3-6 tháng đê xây dựng mơ hình ba chiều Khi cần thay dồi, lại địi hỏi cơng sức lao động đê sưa chữa mỏ hình chí làm lại từ đầu M ột cơng nghệ nghiên sứ dụng liệu từ máy quay cầm tay đẻ tạo nên mơ hình ba chiều cách tự động

Cách liếp cận dựa àtih hay liệu từ máy quay câm tay có rât nhiêu ưu điẻm Cảnh cần mỏ hình hóa dược quay khung nhìn khác Mối quan hệ liệu dầu vào đưọ'0 tính tốn tự động từ thơng tin lẩy trực tiếp cua ánh thơng qua thuật tốn Do không cần đến so khung cành, hay thu tục hiệu chinh thiết bị bànc tay kĩ thuật truyền thốne Bên cạnh cách tiếp cận dựa ánh lại linh hoạt chỗ dễ dàng mơ hình đối tượne có kích cữ nhỏ cũn ti nhu mơ hình khung cành rộng lớn

xác Đ ồng thời nghiên cứu ứng dụng lĩnh vực thực ao (virtual reality) thực trộn (mixed reality) mơ hình ba chiều

Mục tiêu cúa đề tài phát triển phương pháp xây dim e mô hinh ba chiêu cua ĐH Q G Hà Nội Từ đưa phương pháp chung để xây dựng mơ hình ba chiều khác Đồng thời phát triển ứng dụng mơ hình ba chiều tham quan ĐHQ G ảo hệ thống an ninh ĐHQ G dựa côim nghệ thực trộn, đào tạo điện tứ

1.2 Nội dung nghiên cứu

- Xây dựng mơ hình ba chiều bàng máy quay cầm tay: Dựa phân tích xử lý ánh thu liên tục từ máv quay cầm tay tạo mơ hình chiều anh bề mặt Sử dụng đồ họa ba chiều đè tái tạo mơ hình hình máy tính

- Xây dụng số ứng dụng thực ảo thực trộn dựa mơ hình chiêu cua Đại học Quốc Gia Hà Nội: Xây dựng ứng dụng phục vụ tham quan Đại học Quốc Gia trực tuyển; Xây dựng ứng dụng hoạt họa nhân vật ao mỏ hình 3D

1.3 Cấu trúc báo cáo

- Chương 1: Giới thiệu chung mơ hình chiều cơng nghệ thực ảo, thực

tại trộn

- Chirơnu 2: Một số xu hưórm lẽn quan đèn việc xây dựnc IT1Ơ hình ba chiêu từ anh hai chiêu

- Chưonu 3: Xây dựng mô hỉnh ba chiều bàng máy quay cam tay

- ChưoTìU 4: Xây đự n c ửne dụnu dựa trẽn mơ hình chiều ĐHQ G

CHƯƠNG 2: MỘT SỐ xu HƯỚNG LIÊN QUAN ĐÉN VIỆC XÂY DỰNG CÁC MỔ HÌNH CHIÈU TỪ CÁC BỨC ẢNH CHIỀU

Đô hoạ chiêu nghiên cứu trường đại học từ năm 1970 thương mại hoá Hollywood ý đến nhũng nghiên cứu vào nhữnti năm 1980 [10] Hình ảnh chuyển động lúc sơ khai nghành cơng nghiệp xa xì chi sử dụng hạn chê đôi với công cụ tài Củng với phát triên cua gói phân mêm chuấn cùa mơ hình hố chuyển động, chiều dần xuất cơng nghệ truyền hình video chuyên nghiệp Hay nói cách khác, nghệ thuật chiều dã tim dược chồ đửnu dịch vụ đa phương tiện

Việc sử dụng mơ hình chiều cho mục đích hiền thị ngày trờ nên quan trọng N hũng năm vừa qua, lĩnh vực thị giác máy, người ta chủ trọng nhiều đến vấn đề diều khiên điều hướng robot, nhiên gần đây, hướng quan tâm có thay đơi Nmrừi ta trọn li nhiều đến vấn đề tương tác hiển thị Các mỏ hình chiều cỏ tính chân thục cao thành phần khơng thiếu mô phone hiên thị vật kiện Dồ họa chiều trái rộng nhiều ứng dụng trị chơi diện tử, cơne nghiệp làm phim, trình chiếu dối tượng thực trộn phục vụ cho y té quân sụ hàng không, giáo dục Trong trò chơi điện tư, đồ hoạ chiều thực bộc lộ đặc tính ưu việt đáp ứng nhu cầu, thị hiếu khách hàng Chất lượng đồ ho ụ kha đáp ứng thời gian thực cua ứne dụna chiêu thay đổi nhanh chóng thay đổi chóng mặt thiết bị phần cứng cơng ntỉhệ Tiếp đó, bùng nổ ứng dụng chiều Internet Do vậy, dồ hoạ chiều ngày trừ nên quen thuộc

Mon thập ki qua mơ hình hố chun độnu chiêu chn hoá cac phần mỏm tlurorm mại Maya 3Dstudio Max, Softimage hay Lightwave [27]

I ll ume Hỏi ứ n u d ụ n u đ i ể n h ình d ợ c SU' dụníĩ t ro n g e i o dục c ủ n g n h c ô n g n g h ệ

hình hố tương tự nghệ thuật điêu khắc, textunng liên quan đến kĩ thuật vẽ minh hoạ

Một hạn che lớn cùa kĩ thuật dựng mơ hình chiều truyền thống giá thành cao m người ta phải thao tác thủ công sừ dụng thiêt bị chuyên dụng Các thiết bị dùng cho thiết kế hiển thị đồ họa máy quét laze, hình hiển thị thiết bị số hoá khác thiết bị đắt tiền, yêu câu cân trọng sư dụng, phức tạp điều khiển Do nụười ta tiến hành “mềm hóa" dựng mơ hình chiều Các thuật tốn đưọ-c áp dụng nhiêu việc lây thơng tin chiều dổi tượng, nguồn liệu để lấy thông tin chiêu phong phú

Khôi phục lại thông tin chiều sứ dụng camera cầm tay thiếu thông tin vê môi trường chụp anh (camcra, ánh sáng, ) thử thách lớn Bởi vì, sứ dụng camera cầm tay, vị trí hướng quay camera rât tự Do vậy, khung nhìn cùa anh tự Tuy nhiên, dựng mơ hình chiều từ ảnh chiều thành cơng ý Iighìa lớn, vì, thiết bị phần cứng rẻ tiên san có Ban đầu người ta tiến hành đối sánh dựa quan sát Các điếm đối sánh tương ứim đạnu điếm diều khiên lựa chọn cân có sụ tương tác với noirởi Do tiêu tốn thêm thời gian đồn ú thời số lượne điểm đối sánh khôntỉ nhiều Một hướng giải khác người ta điều khiên môi trường chụp anh: Vi dụ, gán cam era vị trí cố định cho đối tượng cần chụp bàn xoay hay gắn nhiều camera cổ định xung quanh đối tượng cân chụp anh thu nhận dược có i»óc độ khác xác định tâm chiếu, thơng số trontỉ/ntíồi cua camera Iihầni phục vụ tốt hon cho q trình khơi phục điêm chiêu Tuy nhiên vứi cách ta lại phải tiêu tôn thời gian thu tục đê hiêu chinh camera

epipolar trifocal tensor [15,26] nhờ điểm đối sánh tương ứng Tự động tính tốn dễ dàng hon

Thơng tin chiêu trích chọn từ ảnh yêu cầu tương tác với người dùng Dựng mơ hình chiều từ ảnh phương pháp phát triển kết hợp cùa đồ họa, thị giác máy nhiếp ảnh Con người thu nhận thông tin chiều nhờ quan sát đối tượng bàng hai mắt hay nói cách khác hai khung nhìn khác Trong lĩnh vực thị giác máy, nhà nghiên cứu cố gắng nhiều việc cung cấp khả “quan sát” tương tự người cho máy tính Ban đầu, họ hướng tới ngành robot tự động hóa nhằm mục đích cho phép robot tự diều hướng qua môi trường mói Gần hướng nghiên cứu dịch chuyển sang hiển thị trực quan giao tiếp đồng thời có sụ kết hợp nhiều với lĩnh vực đồ họa Một moi quan lón nhà nghiên cứu cung cấp thuật toán để tự động lấy thơng tin từ chuỗi ảnh Mười năm trở lại đây, người ta thường nhấn mạnh đến hình học đa ảnh đa khung nhìn [15] cho phép nhiều cách tiếp cận linh hoạt tronti việc lấy thônc tin chiều từ ảnh khác Thực tể hướne hiên thị trực quan dã phát triền từ trước ngữ cảnh khác, dựa nghệ thuật nhiếp ánh Nứa cuối kì 19 ảnh chụp sử dụna lâv thông tin chiều để tạo ban dồ, đo đạc công trinh

CHƯƠNG 3: XÂY DỰNG CÁC MỒ HÌNH BA CHIÈU BÀNG MÁY QUAY CẦM TAỸ

3.1 Các k ĩ thuật toán dựng mơ hình chiều

3 1 Q u i t r ì nh d ự n g m h ình chiều

Một q trình lấy thơng tin chiều bao gồm giai đoạn chính: Tiền xừ lý, đơi sánh, phục hồi độ sâu (hình 3.1)

Chuỗi linh Thơng

V V i

Tiền \ ly ị

\ ■- „ á, ; i i

Hình 3.1 Qui trình dụng mơ hình chiều từ chuỗi ảnh đầu vào

A T i ề n x lý

Đè có thè lấy thơng tin chiều cua đối tượng, trước hết ta phai tìm mối liên hệ anh với Mối liên hệ xác định thông qua đặc trưng biểu diễn toán học dạng ma trận bán F Các đặc trưng so sánh với để tìm mức độ tương tự chúng Mức độ tương tự dùng đẽ đánh giá xem ch Ún ti có biểu diễn điểm miền đối tượng hay khơng từ tính ma trận F

Đầu ticn cần xác định xem đặc trưng ảnh nên lựa chọn dạng điểm, đường thản11 bicn, đưừnụ cong hay miền Loại đặc trưng lựa chọn phụ thuộc nhiều yếu tố tron tí phụ thuộc vào việc lựa chọn kĩ thuật đối sánh bước sau Sau biết đặc trưng cần đùníỉ, tiến hành xác định đặc trung Các tốn tứ diintỉ đê trích chọn đặc trirniỉ khác phụ thuộc vào kĩ thuật đối sảnh

Đối với kĩ thuật đối sánh dựa miền, Moravec (1989) đề nahị toán từ liên quan đến cực đại địa phương thay đồi hướng cửa sô xung quanh điếm Đối với kĩ thuật đối sánh dựa đặc trưng, số toán tử quan tâm đạo hàm, phép nhân cuộn toán tứ cường độ mức xám

B Đ ố i s n h

Đối sánh tim tương ứng điểm hai ảnh chiều Đây giai đoạn quan trọng mang tính định tới bước Các thuật tốn vê đơi sánh được chia làm loại sau [19]: đối sánh thành phần (matching primitives) hoặc hình học anh (imaging geomeUy).

a Đối sánh thành phần bán gồm loại:

■ Các thuật toán dựa miền (area-based): Các điểm hay khối anh coi thành phần gốc Khi dối sánh thành phần gốc người ta sư dụng cường độ diêm ánh

■ Các thuật toán dựa vào đặc trưng ựeciture- based)' Các đặc trưng sư dụng thành phần bán Việc so sánh tiến hành dặc trưng

b Hỉnh học ánh:

Hình học ảnh liên quan đến cách bố trí cụ thể camera Vị trí camera xem thành phần quan trọng tính tốn độ sâu cua đối tượng

■ Trục song soim: Các camera dùng đẻ chụp anh bô tri cho trục quang cua camera song song với

■ Trục khôim son? song: Ngược lại với thuật toán dạng trục song song, trục quanu camera không song song với

■ Số lượn li camcra: camera (biocular), camera (trinocular), nhiêu hơn 3 camera, (m ulticular).

Đôi với hệ thống hiển thị người, mồi mắt cung cấp ảnh chiều đối tượng quan sát Hai mắt hai vị trí khác sinh hai ảnh khác Như vậv điềm quan sát ảnh lại hai vị trí khác hai ánh Sự khác biệt vị trí gọi độ chênh lệch (disparity) Độ chênh lệch khái niệm quan trọng thị giác lập thô liên quan đến độ sâu cua anh (hình 3.2) Độ chênh lệch đối tượng quan sát nhị đồng nghĩa với việc dơi tượng xa ngược lại Do vậy, thêm số thông tin tiêu cự camera f khoảng cách camera ta khơi phục độ sâu cùa ảnh Tùy thuộc vào sô lượng thông tin đàu vào mà thông tin chiều đầu kết qua phép chiếu, biên đổi ììn, biến đối metric hay biến đổi ơclit

Ũ

©

D □

©

O D

B £

I I

Hình 3.2 Độ chênh lệch mối quan hệ với độ sâu

D Q u i t r ì n h d ự n g m h ì n h c h i ề u tù c ặ p ả n h đ ầ u v o

Tiẹn xứ lv ?8S?S5?

T ĩ i n F

ĐÓI sánh

Khỏ! phục

Tin Lí (lộ sầu i.ifc-M * é

Hình 3.3 Dựng mơ hình chiêu từ cập ánh

Q trình tiền xứ lý bắt đầu bàng việc trích chọn đặc trưng, đối sánh dặc trung nhầm mục đích tìm mối liên hệ hai ánh thơng qua ma trận F

Q trình đối sánh tồn ánh tiến hành ảnh chinh sưa giảm thời gian khối lượng tính tốn

Độ sâu khôi phục dựa nguyên lý tam giác

3.1.2 T r í c h c h ọ n đục t r n g

A B i t o n t r í c h c h ọ n đ ặ c t r u n g

Trích chọn dặc trưng vấn đề nghiên cứu lĩnh vực khác cùa thị mác máy tính độ sâu, tìm cặp diêm đối sánh, nhận dạng đơi tư ợng Đ ối với ánh, dặc tn n m dạn Lĩ khác như: điêm ánh đ ờn g thănạ

Các đặc trưng vị trí ảnh mà giác quan cua người tập trung nhiêu nhât (perceptually interesting) Trong xử lý ành thị giác máy, trích chọn

đặc trưng trinh xử lý làm cho mẫu ban đầu biến đổi thành mẫu dễ dàng nhận dạng hon Các đặc trưng thườne chứa thông tin mức xám, kết cấu, đường nét nội dung ảnh

Trích chọn đặc trưng có từ sớm lĩnh vực nghiên cứu thị giác máy có nhiều ứng dụng, đó, hướng ứng dụng quan trọng là: Đăng kí ánh

{image registration) [13], nhận dạng khuôn mặt theo dấu chuyền động Đăng kí

ảnh loán liên quan đến việc tim tươniỉ ứne hai hav nhiều anh khung nhìn khác thời điêm khác bước đâu tiên nhiều kĩ thuật xứ ]ý ảnh lập thể hình học, trộn ânh ứng dụng liên quan đến dối sánh mẫu Các dặc trưng nôi bật ảnh yêu tô quan trọng đê đăng kí ánh thành cơng Các dặc trung phải mang tính bất biến với phép quay biến dạng hình học anh Trong trường họp nhận dạng khuôn mặt đặc trưng lại vị trí mơ tá vị trí bật cùa đường nét khuôn mặt măt, mũi, m iệng, Theo dấu ảnh hướng ứng dụng thứ ba, hướng ứng dụng thu hút dược nhiều quan tâm cộng đồng nhà khoa học nghiên círu tron” lình vực chun độ n ” chiều Khi đoi tượne, chuyển độne cần xác định xem thành phẩn cua đối tượng vị trí thê

tôt hay điểm quan tâm, nhiệm vụ lựa chọn điểm có khác biệt với điếm khác Sự tương ứng đặc trưng cua hai anh tính toán nhờ thú tục đối sánh bước sau Sự tương ứng phán ánh mối liên hệ ảnh Trong thuật tốn dựng mơ hình chiều từ ảnh, điềm góc đối tượng ảnh điểm có nhiều khả tìm điêm tương ứng với chúng ảnh cịn lại

Đã có nhiều nghiên cứu thuật toán đưa vấn đề phát điêm góc Ban đâu, góc dược phát nhờ vào "độ nhọn" (sharp) cua đường biên: biên đối tượng lưu dạng mã xích, góc phát thơng qua việc tìm kiếm vị trí biên bị "uốn" cách đáng kề Kỹ thuật phát góc phức lạp phái triển khai nhiều bước Sau đó, L Kitchen [7] đà đề xuất phương pháp đê lập diêm góc dựa vào sơ phép tốn gradient, phương pháp không phức lạp kĩ thuật dựa vào độ nhọn nêu Wang Brady [6] dùng khái niệm dộ cong dường cong di qua điếm đế phát góc Moravec [4.5] dề xuất hàm phát góc dựa việc dùng cửa sơ đặt ảnh xác định độ thay đổi trung bình cường độ xám dịch chuyến cứa sổ theo bon hưóníi Harris Stephens [1] tiến phương pháp Moravec sử dụnií đạo hàm bậc Tuy nhiên, phương pháp lại nhạy cám với nhiễu phụ thuộc vào dạo hàm Phương pháp SUSAN (Smallest Univalue

Segment Assim ilating Nucleus) [21] Smith Brady đê xuât khône phụ thuộc

vào cơng thức tính đạo hàm mà dựa khái niệm miên U SA N ( ưnivalue Segment

Assimilating Nucleus) Tronu anh số miền u s AN đạt diện tích nho hạt

nhân cua trùng với điêm cóc Phương pháp SUSA N không nhạy cảm nhiễu, dề dàng thực

3.1.3 Bài t o n đối s n h

Đối sánh ánh 1Ì1 cơng việc tìm tương ứng hai hay nhiều ánh (hình 3.4).P| ’ p 2' cùnu ánh cùa p, trontỊ Q i ’ Q i' ánh ọ Tìm mối quan hệ oiũa anh dầu vào lĩnh vực khó thị 2Íác máy đặc biệt ánh

Đ A I H C C c u c c TRUNG T - f / ThC

đâu vào khơng có ràng buộc Trong vịng 15 năm qua có nhiều nghiên cứu xung quanh vấn đề

Hình 3.4 Đối sánh ảnh

Có nhiều loại ràng buộc, nhiên thuật toán, phương pháp giải thoả mãn hết ràng buộc đưa Dưới số ràng buộc tốn đối sánh

Ràng bũc hình h o c : (i) Ràng buộc epiloplar: với cặp điếm tương ứng (x, x ’) x ’

phái nằm đường epipolar X ngược l i N hờ ràng buộc khơng gian tìm kiêm đôi sánh giảm từ hai chiêu xuống chiều thơng qua q trinh chình sửa ảnh (ii) Ràng buộc hiên thị: vật có bị che khuất vật khác hay khơng, vật có nằm cửa sổ hiển thị hay khơng, hay vật có n ằm tầm nhìn hay khơng

Ràng bitơc vât lý : thê cách mơ hình đối tượng, khung cảnh có tương

tác với ánh sáng

Ràng ỉntôc nhẩv Mỗi điểm thuộc ảnh thứ có điêm

đối sánh tương ứnu ảnh thứ hai ngược lại

Rciiiiỉ buôc lien ín c : Xét cặp đối sánh ứng viên (cii,c2j) C], thuộc anh thứ

nhắt, Cị, thuộc anh thứ hai N( C| i) , N ( c2j) tương ứng lân cận cúa C|j c2j

d ịk e N (c] ) (lv N \cĩ j ) cho vị trí tương đối d lk với C|, tương tự quan hệ

giữa d 2i với c2j

Theo khảo sát năm 1988 [2], nhà nghiên cứu thông thường sử dụng kết hợp ràng buộc nêu Tuy nhiên, báo cáo khảo sát chì rang khơng có kĩ thuật, thuật tốn tối ưu giải hết tất cảc ràng buộc Mồi cách tiếp cận khác thỉ sử dụne độ đo có nhũng hạn chế cùa Việc đối sánh với ánh chụp sứ dụng camera tự chia làm hai loại [29]: Đối sánh dựa miền đối sánh dựa vào đặc trưng

Đổi sánh dưa m iền: cách tiếp cận thuật toán sư dụng độ đo độ

tương tự miền ánh qua trình tính tương ứng

Dổi sánh dưa vào đăc trưng: thực việc đối sánh dựa tham số mức

cao dó dặc trưng cùa ảnh, thuật toán phân loại tiểp dựa vào loại đặc trưng:

4- Đối sánh dựa vào biên (Edge-string based)

4- Đối sánh dựa vào góc (Corner based)

i- Đối sánh dựa vào kết call ( Texture region based)

Trong qui trình dựnụ mơ hình chiều từ ảnh bao £ồm ca hai loại đối sánh Đối sánh đặc trưng sư dụng trước đê tim mối liên hệ anh áp dụng trình tiền xứ lý để tính ma trận bán F Trong bước chi lượng cặp điềm cua hai ánh đối sánh N gược lại, đối sánh dựa miền sè sinh bàn đồ “dày dặc” cặp điềm tương ứng bước đổi sánh

A Đổi sánh dựa miền

khôi, độ đo độ tirơng tự đưa đê đánh giá mức độ tương tự miên cùa hai anh Việc sử dụng độ đo tương tự định đến thành công kĩ thuật đối sánh dựa miền Độ đo độ tương tự bắt nguồn từ cường độ mức xám ánh giải pháp tốt thử nghiệm Các thuật toán thuộc dạng cho đồ dày đặc cặp điểm đối sánh, từ đó, độ sâu tính cho tất điểm ảnh cảnh

Có nhiều thuật toán đối sánh miền, bảng 2.2 tóm tắt số thuật tốn Phillippe Leclercq John Morris thực số thừ nghiệm đề tiến hành so sánh thuật toán [11] Theo đánh giá này, thuật toán P2P cho kết tốt nhất, thuật toán C o rrl, Corr2, SSD SAD cho kết quà tốt với mức độ nhiều khác nhau, thuật tốn Census cho ti lệ lỗi cao tính độ chênh lệch

Thuật toán Hàm đánh giá đổi sánh Tác giả

Corrl: Normalized

I ( w J [Faugeras et al 1993]

Intensity Difference

Corr2: Correlation X V i

ỵ n ỵ n

[Faugeras et al 1993]

SAD: Sum o f Absolute Differences

2 X - / J [Faugeras et al 1993]

SSD: Sum o f Square Difference

M ỉ >> [Faugeras et al 1993]

P2P: Pixel-to-Pixel “Đ ộng” (Dynamic) [Birchíĩeld Tomasi 1998]

Census Biến đổi Census [Zabih Woodfill 1994]

Hình 3.5 So sánh số thuật toán đối sánh dựa miền

Hình 3.5 dồ thị biểu thị kết so sánh số thuật toán đối sánh dựa miền

Mặc dù, thuật toán SSD, SAD, Corrl C o có kết q khơng tốt P2P việc triển khai thuật toán lại dễ dàng so với P2P nên thuật toán vân dùng phô biên

B Đối sánh dựa vào đặc trưng

Các đặc trưng thông thường có thuộc tính sau: tính nhất, tính lặp lại có ý nghĩa vật lý Ưu điểm sử dụng kĩ thuật đối sánh dựa vào đặc trưng biểu diễn dựa đặc trưng cung cấp linh hoạt tính tốn cho người lập trình Sự linh hoạt thể ỏ' chỗ, ràng buộc toán học áp dụng rõ ràng, rành mạch cho cấu trúc liệu Khi so sảnh với đổi sánh dựa miên, kĩ thuật đôi sánh dựa vào dặc trưng chi cho lượng cặp điểm đối sánh kết qua, nhung xác hon dáng tin cậy

đường cong đặc trưng sừ dụng tốt có thay đồi phép chiếu phối cành, sử dụng rộng rãi đối sánh Biên góc dễ khâu trích chọn đối sánh lại hay gặp tượng nuốt ảnh Trong đường thẳng đường cong xảy tượng nuốt ảnh lại thêm thời gian để trích chọn

Hầu hết hệ thống đối sánh dựa đặc trưng không chi giới hạn kiêu đặc trưng cụ mà kết hợp dạng đặc trưng lại với N hư hệ thống đối sánh Weng đưa nãm 1988 kết hợp độ trù mật, đường biên, góc Trong hệ thống Lim Bin (1987) lại sử dụng phân cấp đặc trưng thay đổi từ đường biên, đường cong tới mặt

Dưới số kiểu đặc trưng dùng cho đối sánh:

D u o n g biên: Có nhiều tốn tử dùng để tìm đường biên ảnh toán tử Candy, Laplace

Thuộc linh c ù a đ i r ò n g b iê n d ù n g c h o đơi s ánh có thê là: c c t ọa đ ộ (vị trí c ù a

dưừntí, biên ánh), hướng cục bộ, độ trù mật hai bên biên

Góc: Phương pháp tìm điếm góc sớm có ]ẽ cua Beaudet (1978) có tên gọi DET Nlũrnu, tốn tứ phát góc cơng bố năm 1980 gồm có: tốn tử cùa Dreshler Nagel (1982), Kitchen Rosenfeld (1982), Zuniga Haralick (1983), Harris (1 8 ) Tốn tử phát góc SU SA N tốn tử sử dụng phơ biến tính đơn giản hiệu

Thuộc linh cùa góc dùng đề đối sánh cho điểm góc có thê tọa độ góc hay

dạng cua góc (dạnii chữ Y, L hay A )

Thuộc tính đường thẳng dùng cho đối sánh: tọa độ điểm đầu điểm cuối, trung

điểm, hướng cúa đường thẳng

Đ u ị ìig cong: Đối sánh đường cong khơng sừ dụng rộng rãi trích chọn đường cong khó Deriche Faugeras thơng báo tốn từ phát đường cong (1990) số nghiên cứu đường cong

Đ u ò ìig trò n , E lip, đ a giác: Những đặc trưng thường xuất cảnh chụp nhà

Thuộc tinh dùng dê đổi sánh diện tích, tọa độ tâm.

Đặc trưng điểm góc SUSAN sử dụng việc đổi sánh tìm hiếu

trong đề tài thuộc loại đối sánh góc có bước sau đây:

4- Tìm tập c cặp đối sánh ứng cử viên từ tập điếm góc ành sử dụng cứa so tương quan

4- Tìm tập D cặp đối sánh tốt từ tập c dùng thu tục phục hồi, nói

cách khác, loại bỏ nhũng cặp đối sánh ứng cử viên tồi từ tập c

3 1.4 T ì m m a t rậ n co F A M a t r ậ n c o b ả n F

Ma trận ban F biêu diễn đại so cùa hình học epipolar tính tư cặp dối sánh (x ,x ’) Ràng buộc epipolar biểu diễn mối quan hệ điêm cặp điềm đối sánh với đườnơ epipolar tương ứng cùa Điêm đối sánh x ’ anh thứ điếm X ánh thử chi nằm đường epipolar tương ứng ]’ X

VI—> /

Phép ánh xạ từ diêm tỏi đường nêu biểu diền bới ma trận bàn F Phép

á nh x t m ộ t d i ê m X t r o n g m ộ t a n h tới e p i p o l a r r t n g ứ n g a n h c ò n lại g ô m

bước Đầu tiên điềm X ánh xạ đến điểm x' đường V cua anh thử Đicm \ ' troim nhừim ửnu cu viên dối sánh cua X Bước thứ hai

Bước 1: r ì m điêm x \ quan sát hình 3.6, mặt phẳng n khơng qua tâm camera c C ’ Một tia chiếu qua tâm chiếu thứ c điềm X gặp mặt phăng 71 diêm X Tia chiêu qua tâm chiêu C ’ điêm X giao với mặt phăng ảnh x \ X x ’ ảnh điểm chiều X Với tập X, điểm ảnh

trê n ả n h t h ứ n h ấ t, q u a c c p h é p c h iế u q u a m ặ t p h ẳ n g 71 đ ợ c m ộ t tậ p X tư n g

ứng Phép ánh xạ có thơng qua ma trận đồng hình cùa mặt phăng H /T n , X = H

Hình 3.6 Tìm điểm tương ứng x' X qua mặt phắng n

B u ó c 2: X â y d ự n g đưò'ng ep ip o la r r / - e x X - ịe J( r mặt khác V - H x

/ - [t, 'j H x = Fx

Trong định nghĩa F = [e j / / T ma trận bản.

(Result 8.3 - tr 225) [15] Ma trận ban F thoa mãn điều kiện sau:

x'Fx =

trong ( x , \ ’) cặp điếm đối sánh hai anh

Trong cuôn sách, Hartley nêu việc đánh giá số thuật tốn thơng qua thực nghiệm Việc đánh giá tiến hành thuật toán Một vài kết luận đưa [15]:

4- Hai thuật tốn sau kết q khơng có khác biệt

4- Đê tính tốn nhanh nên sử dụng thuật tốn điêm chn hóa Thuật toán áp dụng bước ước lượng thuật tốn khác cho kết qua tốt

4- Đê đạt kết xác mong muốn, nên sử dụng thuật toán tối thiểu lỗi đại số

•4- Đê đạt kết quà tốt với giả thiết nhiễu phân phối theo hàm Gaussian sử dụng thuật tốn Gold Standard

Đồng thời sách Hartley đề xuất thuật toán sử dụng RA NSA C với so đặc diem sau:

i- Chi cần lấy mẫu cặp điếm dối sánh tương ứng đê tính F Thuật tốn tự

động tính ma trận hạng khơng cần xử lý thuật tốn diêm

4- Một lượng lớn mẫu cặp điểm đối sánh gọi đến nhàm đưa kết qua có độ xác cao

3 1.5 C h ỉ n h s a n h

Đê dựng mơ hình chiều, tắt cặp ánh tương úng hai ảnh gốc phai tìm N hư xét điềm X ảnh thứ ta phải tìm điêm x' tương ứng trone ành thứ hai, từ tìm điểm chiều X X x \ Tuy nhiên, dà biết điểm X việc tìm kiếm x' tồn anh hai khơng hiệu qua Chinh

sửa anh cỏ tác dụnu làm giám khò nu RÌan tìm kiếm x ‘ từ chiều xuống chiều

Như trình bày trên, cho cặp điểm tương ứng (p p ‘) thi p p' phai thoa ràng buộc epiplar (hình 3.7) c 'ho trước anh hên trái ỉ, điủni p chiêu có diêm anh p trên

vậy điêm tương ứng p ’ thuộc ảnh đường thẳng nối p c nêu Hay nói cách khác p ’ thuộc r A nh chỉnh sửa cho tất cà epipolar nàm ngang Do x tìm cách quét đuờng nằm ngang Khơng gian tìm kiêm X2 rút từ chiều sang I chiều Hầu hết thuật toán đối sánh toàn ảnh đêu thực ảnh chỉnh sửa nhằm giảm khơne gian tìm kiếm xuống chiều

Hình 3.7 Ràne buộc epipolar

Vậy nhiệm vụ cua chỉnh sưa anh biến đôi ảnh cho đườne, epipolar song song với theo chiều ngang (hình 3.8) Nhiều phương pháp chinh sửa ánh được biết đến Phương pháp sứa anh phăng (pla n a r rectification) [16,17] dùng biến đồi tuyến tính đơn ảnh đầu vào, xoay camera cho mặt phẳng ảnh giốnơ Phương pháp đơn giàn, nhanh chóng bao toàn số đặc trung cùa ảnh đuờne thăng Tuy nhiên, phương pháp có thể cho anh kết q lớn bị bóp méo khơng “đó n g ” {unbounded) Kĩ thuật chinh sưa anh trục (cylindrical rectification) [20] sư dụng biển đổi riêng biệt cho mồi đưừng epipolar T in nhiên kĩ thuật phức tạp toán tư cân dược t í n h tốn tro nu k h ô n ” man chiều Các thuật toán chinh sưa anh khác được dưa troim eianu (Ayache and Lustman 1991; Fusiello el al 2000; Hartly 1999' Robert ct al 1995; Mulligan and Kanillidis 2000; Isgro and Trucco

Đề tài sử dụng phương pháp đề xuất bời Marc Pollefeys [8] Biến đôi hai ảnh cho đường epipolar hai ảnh trùng Sau tiến hành biến đổi ảnh sang tọa độ cực cho đường epipolar song song với song song với đường

A F '

Hình 3.8 Chinh sứa ánh

3 1.6 K h ô i p h ụ c đ ộ sâu Độ chênh lệch

Độ lệch thị giác (vision disparity)-, khác biệt giũa hai ánh võng mạc cua mát quan sát đối tượng Điều xay hai mat vị trí khác quan sát đổi tượng trái không thu nhận thông tin phải [24]

Biin dò chcnh lệch iinh sau chỉnh sửa:

Nêu mi(ui,Vi) thuộc ảnh thứ nhất, điểm tương ứng anh thứ hai m-)(u-),Vi), nhiên, đỏi với cặp ảnh chỉnh sửa, với mi(U[,V|) thi điểm đối sánh tương ứng m2( u , V i ) Đ ộ chênh lệch d định nghĩa sau d=ui-ui(hình 3.9) L độ dài cùa đường cc\ z là độ sâu điểm chiều (khoảng cách tinh từ điêm chiêu đên đường bản) f tiêu cự cùa camera (khoảng cách từ mặt phăng ảnh dên đường bán) Hai mặt phăng ảnh song song với đường ban vi ảnh chỉnh sứa

Dựa vào quan hệ hình học đại lượng nêu trên, ta có mối liên hệ độ sâu độ chênh lệch theo cơng thức tốn học sau:

Z = L

L d

Tuy nhiên sử dụng cơng thức tính tốn độ sâu thỉ ta cần biết đại lượng L độ dài đường Hay nói cách khác biết vị trí hai camera chụp ánh đầu vào

z /

Z “ d

Ị " t \ \ « / - Ị I I «

_^ UũQ2fl r ạmi-ll

'Ị i: I

r**-Hình 3.9 Mối liên hệ độ chênh lệch độ sâu

Điém chiều có thề tính thơng qua phép chiếu ngược lại từ hai điêm ảnh qua tàm chiếu c và c \ Giao điềm cua hai tia chiếu điêm chiều cân tim Dầu

thê m a trận F, tìm ma trận camera từ tìm điểm chiều thông qua phép biến đối

3.2 Mơ hình cơng cụ dựng mơ hình chiều từ cặp ảnh

Đê có cơng cụ hồn chỉnh, chúng tơi lựa chọn mồi bước qui trình tơng thê kĩ thuật đê triên khai áp dụng dựa vào số ưu điêm cùa chúng độ phức tạp, thời gian tính tốn độ xác phân tích phần Các kĩ thuật lựa chọn kết họp lại với biểu diễn bời mơ hình sau:

Hình 3.10 Mơ hình cơng cụ dựng lấy thơng tin chiêu từ cặp anh

Các phần chương sâu vào nghiên cửu kĩ thuật thuật toán lựa chọn mơ hình để triến khai

3 2.1 Đ i ể m g ó c S U S A N

Đề tìm cạnh góc cua đối tượng, ta sư dụng mặt nạ hình trịn

(circular mask) tâm hình trịn coi hạt nhân (nueìeits) cùa mặt nạ Xét

một đối tượng hình chữ nhật màu đen trắng: Mặt nạ hình trịn có rơi vào vị trí sau (hình 3.11)

T h u ậ t tốn tam giác tơi uu

Hình 3.11 M ặt nạ hình trịn vị trí tương đối so với đối tượng

Điêm dang xét điêm mà ta cân quan tâm xem có phải điêm đặc trưng hay khơng dó ta dặt hạt nhân cùa mặt nạ hình trịn Một miền ảnh xét miền nằm vùng mặt nạ Miên USAN ( Uỉùvalue Segment Assimilating Nucleus) miền bao gồm điểm ánh thuộc miền ảnh xét cho điểm ánh có độ sáng giống với độ sáng điểm vị trí hạt nhân

Miền U SAN manii nhiều thông tin quan trọng vê trúc cua miền anh xung quanh điểm xét M iền U SAN đạt diện tích cực đại hạt nhân nằm sâu tronií miền đồng nhắt cua ảnh Khi miền USAN tiến tới 1/2 diện tích cực đại hạt nhân tiến dần tới biên cùa đối tượng Diện tích miền U SA N nho thi vị trí hạt nhàn cùa mặt nạ tiến tới sóc cua đổi tượne Dựa vào miên USAN tim điếm uỏc SUSAN

M ộ t a n h đ ầ u v o đ ợ c XU' lý đ ê đ a m i ề n U SAN c h o t n g d i ê m anh từ t h ô n g tin

của miền IISAN tìm nhữne điểm góc gần góc thuộc biên đỏi tượng Càn« gần tới diêm uỏc số ironic điểm anh cua miền USAN giam

Các điêm góc dùng dạng điểm đặc trưng phài thoả số Y ê u

cầu sau:

’4»' Tât điêm góc phải phát hiện. ‘4- Khơng điểm góc phát bị lỗi

i- Các điếm góc phải định vị tổt ■4- Các điểm góc phải dùng hiệu Tht tốn tim điểm góc SUSAN

Phát điểm góc SU SA N sử dụng mặt nạ hình trịn có bán kính 3.4 điềm ảnh tồn mặt nạ chứa 37 điểm ảnh Mặt nạ đặt cho hạt nhân trùng với điếm ảnh xét, cường độ mức xám cùa điểm ảnh mặt nạ so sánh với cường độ mức xám điểm ảnh vị trí hạt nhân theo cơng thức sau:

C'(/-,/-„ ) =

1, I r \ - l

0 < t

V

/ \ 0, ỉ '7- - 1 \ > !

V J

[P T ]

trong dó r0 vị trí cùa hạt nhân, r vị tri bát kì mặt nạ, l ự - ị cương dỏ

mức xám điêm ảnh vị trí r Sau ta tính tơne sau:

»(<■) = Ẹ t'< ) [P T 3.2]

( -> \

V t

là số tượim điểm ánh trong, miền USAN Lấy giá trị ngưỡng g = 11 mj, Anh

nối rõ điếm S ió c đạt dược nhờ việc so sánh giá trị n với ngưỡng g

[PT 3.3]

H =

{ ì

ỊỊ-Ilị p '

ỉ -* \ r(ị

Bước tiêp theo, lọc bớt điêm ảnh có khả dẫn đến phát điềm góc bị sai Ci cùng, lây điêm góc bàng cách chọn điểm có giá trị R lớn

Chênh lệch độ sáng điểm ảnh nẳm mặt nạ với điềm ành vị trí hạt nhân tính theo phương trinh 3.4 làm cho thuật tốn ổn định cho kết tốt

[PT 3.4]

1 Đặt mặt nạ có hạt nhân trùng với điểm ảnh

2 Dùng phương trình 3.4 tính số lượng điểm ành miền USAN

3 Sứ dụng phương trình 3.3 làm rõ góc

4 Loại bó điểm có dẫn đến phát góc sai nhờ tính

khoảng cách từ trọng tàm tới hạt nhân

5 Tim điếm góc bang việc loại bỏ điêm có R=0

B 3.1 Tóm tái thuật tốn tìm điãm góc S i 'SAN

3.2.2 Đối s n h đ i ể m g óc S Ư S A N

A T ì m l âp ứ n g CU' vi ên

Đối với điểm eóc Ci ánh nhiệm vụ đưa tim ứng cư viên đỏi sánh với Ci miền có cua ảnh Hai ánh đầu vào chụp chung canh nên điểm góc tương ứng cùa đối tượnu anh không lệch xa Do ứ n g cử v i ê n đố i s n h c u a C] có k h ả n ă n g n h ất t h u ộ c v ù n g x u n g q u a n h vị

trí có toạ độ với C| anh hai VỚI d i ê m góc c ] cho trước anh ! cứa sơ

t ìm k i ế m ( d u+ ) x ( d v+ l ) đ ợ c đặt vị trí c h o t â m c a sô t r ù n g với toạ độ c u a

m ứ c đ ộ t n g t n g t ự g i ữ a C] v c t h ô n g q u a g i t n g q u a n (correlation c o s t) đ ợ c đ ị n h n g h í a n h sau:

X x [ 7l("l +Í>1 + ý ) - / , (lipvjjx [/,(», + /.V,

S(c„c2) = £ ^ ĩ z i - - [PT3.5]

(2 /1 +l)(2/ii + lị j c r : ( /ì) x 2( /ĩ )

Trong dó

K (».ỹ) = X ỉ / * ( « + / , v + ỹ)/(2« + lX2m + l) với k = ’2

i =—/J ị=—ni

ơ ( / k ) đ ộ lệch c h u ẩ n c ù a ả n h Ik t r on g m i ề n lân c ậ n ( n + l ) ( m + l ) c ủ a (u v) v

được tính bói cơng thúc:

/I ni

ị p ĩ M

[PT3.6]

Của '-.ỏ n!3iis qu.m C ira iõ :mi luẻm

Hình 3.12 Cửa sổ tim kiếm cưa sỏ tương quan

Giá tương quan nhận tiiá trị trona đoạn [-1,1], nêu nhận giá trị -1 hai cưa sò tương quan hoàn toàn khác nhau, ngược lại nhận giá trị hai cưa sơ tương quan hồn tồn siỏnu

C| C; tạo t h n h c ặ p d ối s án h ứ n g c viên giá t n g q u a n c u a c h ú n g lớn

N hư vậy, đơi với mơi điêm góc thuộc ảnh thứ có tập ứng cừ viên đối sánh thuộc ảnh thứ hai, tập rỗng Ngược lại điểm góc thuộc ánh thứ có tập điểm ứng cử viên đối sánh thuộc ảnh thứ

B Tim tân dối sánh tương ứng

Từ tập ứng viên đối sánh phái tim tập cập ứng cư viên tốt Kĩ thuật dùng khâu kĩ thuật phục hồi: Loại bỏ nhũng cặp ứng cừ viên tồi nhờ vào ràng buộc liên tục

Đê dám bảo ràng buộc nhất, thủ tục tính trẽn hai anh Hay nói cách khác đối vị trí ánh cho thù tục

Ràng buộc liên tục thể cách toán học dạng công thức độ tin cậy đối sánh SM:

[PT3.7]

r.Lfl \'

SM (ctl,c2l)=c„ , m a x , ' , ' , , 1

trong í//.v/(í , ,c, ;í/1A ,<•/,,) tính sau:

dist(ch, C,, ; d u , il2, ) = [rf(c„.</„ ) + d{c2 r d v )]/

f/(/»,/;) = 11»; -//|Ị khoảng cách ơclit m n

^(cìj ’ c2 ; ’ ’^2/ì~ ị

Ổ nhận giá trị c' " ‘" (d lk,d;i) cặp ứng cử viên đổi sánh và

| f / ( r )-(/{c 2i d Ị

t l i s r ị i! c l :</,< ,<■/;, )

í; n g ữ i m d i r ợ c c h ọ n C,J -

Độ tin cậy đối sanh tinh đến số lượng cặp dối sánh ứng cư viên miền lân 0

Moi quan hệ tương tự vê vị trí cùa cặp đối sánh ứng cừ viên dựa khoảng cách

Đọ đo S M không đôi xứng SM(C|j,C2j) # SM(c2j,C]j), điều xảy vi điểm có the co nhiêu ứng cử viên đơi sánh Trong hình 3.13, C ] | C p ứng cừ viên

đối sánh c2|

Hình 3.13 Đối sánh khơng đối xúng

Nêu vài điểm (lu e N(cu) có giá tương quan lớn với điếm

d 2l e Af(c,; ) điểm có giá trị lớn giữ lại.

Hàm lượng biêu diễn tống độ tin cậy dối sánh tính sau:

J = Y s m {cu.c2i) [PT3.8]

Thu tục phục hồi:

Repeat

Tính dộ tin cậy cặp ửna cử viên đôi sánh

Cập nhật lại cặp đối sánh cách tối thiêu hóa hàm lượng

} Until hàm năn? lượng hội tụ

3 I h u ậ t t ốn tính ma trận s d ụ n g R A N S A C

M a t r ậ n F t cặ p điểm đối sánh: Khi chi có cặp điềm đối sánh, dựa váo ràng

b u ộ c e p i o l a r ta t h n h l ập đ ợ c p h n g trình A f = A m a t rận x có h n g

Lời giải cho phương trình t rên là khơng gian chiều có dạng aFl + ( l - ữ ) f 2, đó a biên hệ sô co dãn M a trận F{ F2 ma trận tưone ứng với phân từ sinh /, / , không gian rỗng phải (right null space - Phụ lục D) A Mặt khác, det F = aFt + (l ~ a ) f = từ tính dược a

Độ đo k h o ả n g cách d L: Cho ma trận F dược tính từ mẫu RANSAC, d L đo mức độ gần cùa cặp điểm đối sánh thơa mãn hình học epipolar Tối thiểu

h m g iá n o d ó c ó th ê m ộ t lựa c h ọ n c ù a ( i .

Một số lượng No cặp dối sánh dầu vào, đẩu thuật toán ma trận F phù hợp với cặp đối sánh nêu Đe ma trận F phù hợp 100% với tât ca

No cặp đầu vào điều không tưởng Do vậy, q trình triền khai thuật tốn

có thêm bước lựa chọn số lượng mẫu N (phụ lục C) số No đê cho kêt qua F tốt Dưới mô tà thuật tốn tính ma trận bàn sư dụng RANSAC:

Bài tốn: Tính ma trận F từ cặp ảnh đầu vào

Thuật toán:

1 Tinh diếm ứim cử viên đơi sánh (3.2.2.A)

2 Tính cập điểm đối sánh (3.2.2.B)

3 LíĨ'C lượnt’ RANSA C: lặp lại cho N mâu

• Lựa chọn ngẫu nhiên mẫu tương ứng đế tính mà trận bàn F Kết qua

c ỏ thố c ó từ đ c n giãi pháp

• Tính klioanc cách </, cho cặp đơi sánh

• Nêu có nhiêu giải pháp, lấy giải pháp với inlier lớn

4 Tính lại mà trận F cho tât cà cặp đối sánh coi inlier bang cách tối thiếu hóa hàm giá

Banịỉ 3.3 Thuật tốn SU' dụng RANSAC

3 2.4 C h ỉ n h s ứ a ả nh b n g p h n g pháp c h u y ển đổi s a n g tọa độ cực

Ràng buộc epipolar thể mối quan hệ điểm anh đối sánh thể qua phương trình sau:

m ' Fiji - 0

trong dó m ’ m toạ độ cua cặp điểm anh đối sánh hai anh F

m a trận CO' ban D n g e p i p o l a r cua đ i ế m m d ợ c h iế u d i ễn bới p h n g trinh

/ ~ Fm nuưọc lại diêm m ’ có tlưừniỉ cpipolar sail / - Fm

a Các đường cpipolar định hưởng

Hình học chiếu định hướng [14] phân biệt diem trước sau camera Phân anh mà nhìn thấy dược phai điểm trước camcra Điều thề bàng cơng thức tốn học sau: dựng lại diêm chiều theo cônư thức Ảm - PX thi hệ sô Ằ phai dương

K h i n i ệ m h ì n h h ọ c c hi ế u đ ị n h h n e đ ợ c áp d ụ n g t r on g h ì n h học e p i po l ar n h

Hình 3.14 Hình học chiếu định hướng,

b Ma trận dồng hình lương thích H ma trận ban F

Các ma trận đồng hình II ánh xạ diêm ảnh 1)1 <-> III Nhữntỉ ma trận đỏng hình áp dụng chinh sửa anh phăng đê tạo đường epipolar song song trùng Tuy nhiên biết, phương pháp chinh sửa ánh phăng

k h ô n g h i ệ u q u á, d o v ậ y chì m a t rận đ n g h ì n h t n g t hí ch m i xét đ ế n đà y ,

là ma trận dồim hình chi tạo đucmg thăng trùng

Cho trước ma trận F cặp đối sánh m lìì ma trận đồng hinh tương

thích H biến đồi m "thành điểm Htn nàm đường epipolar Fm Như vậy, áp dụnu ma trận đ n e hình tương thích cho tất điêm anh tương đương với

vi ệc đ ị n h n u h ì a c ặ p ả n h m ó i có cá c đ n g e p i p o l a r t r ù n g n h a u d o c ù n g có

chilli'1 diem epipole He = c va !ỉ ư H dược xác định t h ô n g qua ma trận

Xác đinh ma trận đơng hình tương thích: Xác định ma trận H từ ma trận ban F sao cho khoáng cách từ điểm m, tới điềm Hm, nhỏ nhất:

hay m jn £ d ị (m„ ( [ e ị F + e CIT )m\)

H j=l H 1=1

dE khoảng cách ơclit

Sau áp dụng biển đồi ảnh bàng ma trận đồng hình tương thích ánh với đường epipolar trùng

3.2.5 X â y d ự n g ả n h c hi n h sủa

Sau áp dụng ma trận đồng hình, hai mặt phẳng anh đà trùng nhau, đườniì epipolar trùng hai ảnh có chung điểm epipole e Chình sưa anh

tiến hành thơng qua việc biến đối điểm ánh từ toạ độ phăng hai chiều sang toạ độ cực Ảnh kết quà thu gồm điềm có thành phần toạ độ, y biểu diền

m i ề n g ó c - ĩĩ < < ĩĩ v X h i ện k h o ả n g c c h c ù a điểm ả n h tới e p i p o l e v

đường epipolar song song với đường C C ’

A X c đ ị n h v ù n g ả n h c ầ n q u a n t â m

Đ n g c p i p o l a r c ự c đ u n g e p i p o l a r t iêp x ú c với đ i ê m góc ngồi c Liny

nhát cua anh

e

Giả sử có điểm ảnh với điểm góc a, b c, d chia mặt phẳng chứa ánh thành vùng đánh sô từ đến hình vẽ 3.16 e epipole thuộc miền đánh số góc bed góc lớn nhât tạo bời điêm góc epipole chứa tồn miên anh eb ed đường epipolar cực cùa ảnh cho Vùng ành cần quan tâm edcbe xác định nằm đường epipolar cực

B X c đ ị n h k h o ả n g c c h g i ũ a c c đ ò n g e p i p o l a r liên t i ế p a Một số độ đo cần thiết

Ảnh biến đoi sang tọa độ cực với gốc hệ trục tọa độ điếm epipole Đè chuyển từ tọa độ hai chiều sang tọa độ cực nhiều độ đo cần xác định: Khoana cách từ điểm giao đường epipolar với đường biên ảnh tới epipole e: rmin, Trruv góc tạo tia qua gốc toạ độ e với trục hồnh khống cách đường epipolar liên tiếp A0, (hình 3.16) Các góc độ dài nêu dễ dàng xác định thơng qua đường epipolar

X

Hình 3.16 Các độ đo anh

Hình 3.17 thê đường epipolar liên tiếp Khống cách |a"c"| tối thiểu phai

điêm ánh Tam giác abc a ’b ’c ’ đồng dạng y— = I— -ị — c I Từ đường

\ac\ £7 cị

’ \hc\

epipolar thứ i-1 dịch chuyên I điêm ảnh ta đường epipolar thứ i

\ac\

Hình 3.17 Hai đường cpipolar liên tiếp Toàn ảnh (trái) Xung quanh b, {phui)

c C h u y ề n đ ổ i h ệ t r ụ c t ọ a đ ộ

Ảnh mứi dược xây dựng theo hàng (hay theo đường quét) (hình 3.18) Anh chuyến dối từ toạ độ (x,y) sang toạ độ cực (r,9) Đ ong thời với thu tục chuyên đổi cần xây dựne, bảng tra cứu (lookup table) thề chuyến đôi đê dễ dàng khỏi phục lại ảnh gốc từ ảnh

3 2.6 Đ ô i s n h m iê n d a v o cửa sổ t o n g q uan a Đối sánh ảnh đa cấp xám sử dụng thuật tốn SAD

Mơi điêm toạ độ [i,j] ành bên trái đặt trone cừa sổ việc tim điềm thuộc ảnh bên phải đối sánh với thực thông qua việc so sánh với cứa sơ tương quan có kích cỡ định đặt điếm ành đường quét ành trùne với đường epipolar Hay nói cách khác, với điểm anh so sánh hai cửa sơ có dặc tính sau: cửa số thứ có tâm đặt vị trí cua điểm xét ành thứ nhât, cửa sô thứ hai dịch chuyên dường quét ảnh ánh thứ hai với bước chuyên d ủ n g với mơi giá trị d, tính độ chênh lệch cường độ mức xám cùa hai cửa số sứ dụng hàm tương quan SAD sau:

Trong dó, I k (.V, y) giá trị trung bình cường dộ xám cua cứa số k

Dọc theo đường quét ngang ánh thứ 2, giá trị c(x,v,d) tạo nên dường cong theo biến d Tim giá trị tối thiểu hàm đường cong này, giá trị tối thiểu ứng với giá trị d giá trị d độ chênh lệch cần tìm Hay nói cách khác độ chênh lệch ứng với cặp điểm đối sánh cân tìm

Nishihara [3] chi ràne, xác suất bỏ sót cặp đối sánh giam xuống kích cờ cùa số tương quan tăng lên Tuy nhiên, cưa sô tương quan mà lớn dẫn đến giám độ xác đối sánh Do cần phái tìm kích cờ cưa sỏ phù hợp Hiện nay, dã có nhĩrne nghiên cứu việc thay đỏi kích cỡ cưa sơ tương quan cho phù họp với thời điểm đối sánh [22]

Đối vói thuật toán khác ta chi việc thay đối hàm tương quan đẻ tính độ chênh lệch dày hàm tương quan khác hay sư dụng:

X I7' ( v + y + j ) - Ị A x + d + V+ j I

Ị T /,(* + Uy + j ) x I 2{x + d + i,y + j )

c]{ x , y , c l ) = - = " — [PT3.10]

J ỵ ~ ự x + /~y + ] y X l £ / : (.r + d + i,y + j f

X I 7: (r + y + j ) - Ã ỉ^ỹ))-{ỉ2{-x + d + 3 + )- Ạ(-V-y))]:

c2(.x,y,cl) = - r ^ r = [PT3.11]

J X i 71(*+i>y+j ) - T f c y f i x j Z 72(-v+ d + -v + j ) - Ã í^ ỹ ))

z [ ( 71 ('Y+ '•>’+ j ) - A (*> ■>’))* (72{*+ (/ + V+ /)- Ạ u ) f

c,(* V,./) = - = — = = — - r PT 3.12]

J X ( I ( ' v + ' • > + j ) - / | ( - Y0 ' ) ) x J z í Í-Y + d + * ’ v + v )

-Hiện tượng nuốt ảnh (occlusion) xảy phần hình ảnh hiển thị ảnh bên trái I| lại không xuất ảnh bên phải I2 (hoặc ngược lại) N hư có điếm trcn ảnh l| sè tương ứnii với điềm thuộc vùng bị nuôt cùa 1% dan đên kêt qua dổi sánh khơng Đố giai vấn đề này, ta có the dùng phép toán nội suy cho diêm bị nuốt thao tác đối sánh thực lần thứ hai với vai trị cùa I|, I2 đổi chồ từ tìm cặp đối sánh không phù hợp loại bo

R n g b u ộ c d u y n h ấ t v r n g b u ộ c liên tục d ễ x ứ lý vi vi ệc t ìm k i ế m đ ợ c tiên

Đ n g quét ánh trái

Hình 3.19 Biêu diễn đối sánh cặp điểm cùa ánh trái phái

Hình 3.19 thể ràng buộc thứ tự Mồi điếm doạn thẩng thể việc đổi sánh điểm ảnh bên trái điểm cua ảnh bên phái Nhũng đoạn thẳng liền nét thể việc đối sánh quy tắc Điểm (i.j) đoạn thảng liền nét chéo thê điêm anh i cua ánh trái đối sánh với điêm ánh j cua anh phai Đường liên nét năm ngang thê điểm ảnh bên trái bị che khuất, ngược lại đường liền nét nam dọc điếm anh bên phai bị che khuất N lũm a đườne đứt nét thẻ đối sánh khơng quy tắc vi phạm ràng buộc thứ tự ràng buộc

b Dối sánh ánh màu

Cho ma trận bán F cùa cập ánh I r Định nghĩa cặp bổ trợ: tí(.v.y),

b{x,y) và

a(x >y)= f n * + f n y + f u bi x ,y ) = / 2lx + f n y + f ĩĩ

c(x>y) = / „ j f + / }2y + /33

Với định nghĩa này, đường epipolar tương ứng với điểm m=(x,y) có phương trình sau:

Rc (X,y ) = v).Y + b(x, y )y + c = [PT 3.13]

Việc tìm cặp diêm đối sánh hay việc lìm dộ chênh lệch tương dương với việc tim

hàm vcctơ //(.V, y )(í/(.Y ,y ), v(.Y, v))r cho:

/ , ( í , j ) = (a- + >’), 3' + 3))

với V.Y, y e R ,i = 1,2,3

/ / kênh màu R, G, B cùa ảnh I I ’

Đ i ể m (-V , V ) = (.V + ỉi(x, v ) , j + Zí(.v, v)) t h u ộc o đ n g e p i p l a r c ủ a ( x, y) vậ y t hoá

màn phương trình 3.13

R (.V , V ) = Í/(.Y, VXv + 11( v' ''))+ M-v'.v)(.v + v(.Y._r)) + r = 0

C h u â n lioá s au đ ó t h a m số h o m a trận nà y với t h a m sô/.(.v V) ta được:

t \ - A ( y , v ) ( v , v ) f l ( Y , v ) r + ( r , v ) v + c ( r , v ) _ ^

, -77 Ỷ—777 \ í;'A' ì

Ậ ' { x , y ) + b ( \ , y ) a - { x , y ) + b - ( x , y )

\ Ằị.x, y)a(x, v) a(x, v).Y + h{.\ y )y + cị.x.y) ,J A

r(.\\ r j = ~T = - 77 ; ; : n \ \ \ I

h(x,y) thể độ chênh lệch chi phụ thuộc vào tham số y) Khi ;.(.r, v) = xác

định đ iêm năm đ n g epipolar có khoảng cách nho từ điềm m =(.Y, v) tới

đường epipolar (hình 3.20)

i? I V I =

Z ÁU.1 I

_w'= l.v' v'l

1« = 1.1 VI '

í;!n(.r ).vl.Y V))

Hình 3.20 Khống cách tới đường epipolar nhỏ

3 2.7 T h u ậ t t o n t a m g iá c tối ưu tính đ ộ sâu c h o m ộ t c ặp ếm ảnh đối s nh

a Tinh ma trận camera từ ma trận cư ban I'

Ma trận F phụ thuộc vào ma trận camera p, p \ M a trận camera liên quan đến không

gian c h i ề u lẫn k h ô n g g i an ch i ều , đó, loại m a t r ậ n n y p h ụ t h u ộc v hệ trục

toạ độ ảnh hệ trục toạ độ chiều Tuy nhiên ma trận F lại không phụ thuộc vào tọa độ chiều

Nếu ma trận 4x4 II biểu diễn ma trận biến đổi không gian chiêu thi ma trận ba n tươnu ínm với cặp ma trận camera (P P") (PH P H) nhau, (result 8.8 [15 - tr.235])

Do từ cặp ma trận camera (P P ') xác định ma trận F điều nmrực lại khône đúrm

Ma trận CO' ban t Ươn li ửni2 với cặp ma trận camera P—f I 0] p =[M.m] có dạng

Từ ma trận c F không xác định cặp ma trận (p,p ’), tạo nên tính nhập nhăng tính ma trận camera Đ i ề u thể rõ theo lý thuyết đây:

Cho F ma trận (P, P ’) (P ,P ') cặp ma trận cho F ma trận cơ

bản cặp, thi tồn ma trận 4x4 H cho p - PH P'= P'H (Theorem 8.10 [15- tr.336])

Ma trận camera tương ứng vói ma trận bàn F có thề dược chọn P=[I|0] P ’= [[e ’]xF |e’] Công thức chung cho cặp ma trận camera tương ứng với ma trận F sau:

P=[I|0] P ’= [[c ’]NF + e ’vT|Ằ.e'] V là vectơ chiều X số khác 0. b Tính độ sâu

Bài toán: c h o t r c m a trận c b n tập c c c ặ p đ i ề m t n g ú n g (x,x'), tìm d i êm

3 chiều X tương ứng với cặp điềm (x,x’)

T r o n g tí nh t o n X v x ’ c ó x uấ t hi ện lồi, n h i ễ u d o v ậ y k h n g t ồn c hí nh xác X

thoá mãn x=PX, x ’= P ’X x ’TFx=0 Trên thực tế giá trị cùa cặp điềm

( \

A, A

V )

ần cặp diem (x ,x ’) thoá mân làng buộc -Vr F X - Nhưng cặp diêm này

( \

khơng biết xác, nhiệm vụ đặt tìm cặp Y,.Y J cho tơi thiêu

hàm

c ( Y Y ) = í/Ị^-V,.V j + d X , ,y' I ,yt Fx =

r* ° - í ' ' \

x , x thoả mãn X T F x = đó, x , x

\ V / năm cặp đường epipolar tương ứng

Do vậy, ta có thê viêt lại = d ( x j ) d{x,ỉ) biểu diễn khoang cách

vng góc từ điểm X đến đường thẳng (hình 3.21)

Hình 3.21 Khống cách vntỊ góc

í ^

Bài tốn chuyển thành tìm cặp x,x' ,\,x cho tối thiểu hố

d = { x , i y - + ( ỉ ( x j ý [PT 3.14]

Chiến lược tối ưu hóa nhầm khử bớt lỗi, nhiễu cùa cặp điểm anh đối sánh tương ứng đối sánh:

Tham số hoá chùm đư ne thảng epipolar trone ảnh thứ theo tham số t

Sư dụnu ma trận I tính đ ị n s epipolar tương ứnu anh r (t )

Bièu điền hàm khống cách í/(.V,/(/))" + í/(.v / (r)):

Tìm giá trị t làm tối thiều hàm khoang cách

Bíiiiíỉ 3.4 Chiến lược toi ưu hoá

cua điem chiêu N có điêm ành trùng với điềm ẹpipole điêm chiều phái trùng với vị trí tâm camera cịn lại

Giả thiêt răng, khơng điêm ảnh trùng với điểm epipole Ban đầu áp dụng phép biên đ ô i đ ê c h u y ể n X v x ’ gốc toạ độ, (0,0,1 ) r t r on g hệ trục toạ độ khỏne thuân nhât Do vậy, điêm epipole đặt vị trí (l,0 ,f)T ( l , , f )T trục X

tương ứng (Giá trị f=0 có nghĩa điểm cpipole đặt vỏ cực) Trong trườrm hợp này F ( \ , , j Ỵ = ( l , , / ') F = 0, ma trận ban cỏ dạniĩ sau:

( F =

f f ' d - f c - f d

- Jb a b

- f(l c d

Trong ánh thứ nhất, dường epipolar qua điểm (0,1.1)' điểm epipole (1,0,í)1 biếu thị bới l(t) V ectơ biếu diễn đường thang biếu diễn sau: (0,/,l)x (l,0, /') = ((/ suy khống cách bình phương từ gốc toạ độ đến đường thẳng tính theo công thức sau:

d(x,ỉ{t)Ý =

Sứ dụim ma trận CO’ để tìm đường epipolar tương ứ n g anh thứ 2:

/'(/)= F(0j.\Ỵ = ( - f ( ct + d ị a í + b,ct + (ì)T

Khốnu cách từ gốc toạ độ đến đường thẳng r ( t) là:

rf(.v / ( / ) ) = = — , '

( a t + b ) + f ( c i + í l )

Tồntỉ khodim cách biêu diễn bơi đa thức:

I I _ r _ { c i + ( l ) :

~ I / V (ui + h f + / 2(cr + í l f

P h u o n g phán tam giác tuyến tính:

Trong mơi ảnh, ta có quan hệ x=PX, x ’= P ’X Hai phương trình kết hợp dạng A X = (ảnh thứ X X (PX), ảnh thứ x’ X ( P ’X)) Dùng phương pháp giá trị đơn SVD (Singular Value Decomposition) đê tìm X A phân tích sau

A - U D Vt với D ma trận đường chéo đườníỉ chéo sảp xếp theo thứ tự

giám dần X cột cuối ma trận V

(a) Phương pháp SVD[25]

X b i ểu thị m a trận c ỡ 1)1X1 1, h n g /•, k h n g t hi ếu tí nh t n g qu t giả thiết r n e

111 > 1, / -<// Phương trình phân tích giá trị đơn X sau:

* = sv '

Trong dó u ma trận ỈIÌXIÌ, s ma trận chéơ 11 x n , cũng ma trận n x /1 Các

cột u dược gụi vectơ đơn trái {ííA}, u,tt/ =1 i=j UUI = trong trường hợp ngược lại Các cột cua V ' chứa phần từ cua vectơ dơn phải [v Ị Các phần tứ s khác dường chco dược gợi giá trị đơn Do dó,

s = diag(s Theo qui ước vectơ đơn xác định băng cách sấp xếp giá

trị dơn theo thử tự từ cao xuống thấp

Một kết quan trọng tính SVD X

XUl = Ẻ ‘W Ỉ

/UI

Dưới đày cách tính SVD X

Tính V s cách chéo hoá X TX

X TX = r s :r r

Sau dó tính u theo công thức sau:

(b) Phương pháp tam giác tối ưu tóm tất bảns sau:

(i) Đ ịnh nghĩa ma trận biên đỏi:

ì -x ~ ì - x' ~

T = - y và T = 1 - ỳ

1

(ii) Thay F bời T TFT ' Ma trận F tương ứng với hệ toạ độ dịch chuyển

(iii) Tính epipole trái phải e = (et,eĩ ,eì Ỵ v e' = {ei ,e2 , e ị Ỵ s ao cho

e r F = F e - Chuẩn hoá bang m ộ t hệ số co dãn cho

ưị + e\ - + ư] = 1

(iv) D ựng ma trận

R =

1

1

rs

a

-1

v R =

1

? ■

^

^

1

như R R ’ hai ma trận quay Re - (l,0,e3 )7 R e - (l,0,É? / (v) Thay F bời R F R T F có kết quà dạng

F =

f f f ' d - f c - f d '

- f b a b

d

- f d c

(vi) Đặt f = eì , f =c?3, C I - F22, b = F2}, d

-(vii) Đ ịnh nghĩa đa thức g(t) sau:

g(t) = /((aỉ + b)2 + f ' {ct + d ): )" - {ad - b c \ + f 2r )" (at + b \c t + d ) =

s (/) = jL + {ct + d j

\ + f 2t [at + b)2 + f (ct + (ỉ)1

chọn tmin cho s(t) nhỏ

(ix) Đánh giá đường epipolar l =

l [t)~ F {ũ,t,\Ỵ = { - f'{ c t + d \ a t + b,ct + d ) T tìm X .X điểm

gần đường thắng Với đường thẳng có dạng

điểm cần tìm có toạ độ sau {-À V -/M ’,ẦĨ + f j 2)

(x) Biến đối điếm hệ trục toạ độ ban đầu bàng cách thav X bơi

T ' I V X v X b i T ' - ' R 't x '

(xi) Đ iểm chiều X có theo phương pháp sau: ta có x - P X

.V = p X suy A X = , toạ độ X tính nhờ thuật toán s V D

CHƯƠNG 4:XÂY DỰNG ỨNG DỤNG DỰA TRÊN MƠ HÌNH BA CHIỀU CỦA ĐẠI HỌC QUỐC GIA

4.1 ứng dụng du lịch ảo mơ hình ba chiều đại học

quốc gia

Đại học qc gia đại học lớn, có tới trường đại học khoa trực thuộc, sô viện nghiên cứu, chia làm phân khu lớn thuộc địa điêm cách xa địa bàn thành phố Hà Nội Hiện nay, Đại học Quốc gia chuân bị dịch chuyển phân vê khu công nghệ cao Hòa Lạc cách xa Hà Nội khoảne 30 km Do địa bàn phân tán, việc quàn lý tập trung đéi với Đại học quốc gia khả phức tạp gặp nhiêu khó khăn M ặt khác, Đại học Quốc Gia có quan hệ quốc tê rộng rãi Chi đơn cử nhu trường Công Nghệ bạn bè nhiều trường đại học nhiều viện nghiên cứu g iớ i Điều dẫn đến nhu cầu quản bá hình ánh cùa Đại học Quốc Gia tới bạn bè nước Do nhiều rào càn, ngôn ngữ bất dồng, công việc chưa hoạt động hiệu Mọi người biết đến Đại học quốc gia chủ yếu qua website http://\vV A Y vnU.cdu.vn - trang Web

tiếng Việt, thiểu thơng tin tính gợi mở

Vói mong muốn đem hình anh cua Đại học Quốc Gia đến tới người m ộ t cách sinh động, sử dụng ngơn ngữ hình ảnh dè vượt qua rào can ngôn ngữ, bước dầu tạo môi trường áo đê tập trung địa bán cua trường, chủng tòi nghĩ đến việc xây dựng đê tài Băng cách ứng dụng công nghệ 3D, người sứ dụng chương trinh sống giới ảo thực sự, mà giói giới Đại học Qc Gia mơ hình hóa với chân thực cao nhắt có thề ctirợc

4.2 ứng dụng hoạt họa cho nhân vật ảo

Ngày nay, phần lớn tương tác người máy tính thịna qua văn bản, chuột bàn phím Bên cạnh phát triển nhanh chóne cùa đồ hoạ máy tính cơng nghệ ngôn ngữ Các nhà nghiên cứu đà tăng cườne chủ ý đề làm tương tác có khả thích nghi hơn, linh hoạt hướng tới người Một cách làm dó tạo gương mặt mang cảm xúc Các gương mặt mang cảm xúc sử dụng giao diện chung cho tưcma tác người máy tính Nhũng giao diện, bàng khn mật đàm thoại tin tưứng tương tác tự nhiên tỉiữa người sử dụntì máy tính

7i):0íur.r, f l i w i f m i 9<):OO.QJ I00:íin.r»rn 11 nn 7J7 I? 0:00,033 13 11:00.0«,

IA n:00.nnri 1 T| n:ni.(if»r I6fl.ni.ttcr, t7 <1:111.13.1 1 0:ni.?6G inn:m^r.f, ?0 0:01.333

?I n tfi.u r ??n:m.4iT 23 n D I.531 n:n -G-r.r, ?5 0:m.r,r,r, ?r 0:11.73.1 77 0:01 fifir,

I2rnn:ni.fif,r, P ?nn-mm.T 3ùnn?.nr.r, 11 Orfl.Mirr 1? 0:0? 131 nn n:ì?j>r.r .14 B:0?.?r,6

Q Ĩ k I r V

A ^ : Ạ j j s ^ Ị ị A

CHƯƠNG 5: KÉT LUẬN

Đê tài tập trung nghiên cứu số vấn đề sau:

o Hệ thông hóa nhừng vấn đề lý thuyết đồ hoạ dựnạ mơ hình chiều xu hướng phát triển giới Việt Nam

o Hộ thơng hóa vân đê lý thuvết dựng mơ hình chiều từ anh chiêu

o Đê xuất mơ hình lý thuyết cho qui trình dụng mơ hình chiều sư dụng ảnh chiều máy quay cầm tay

o X ây dựng mơ hình chiều Đại học quốc gia Hà Nội nhàm mục đích

quảng bá hình ảnh Đại học Quốc gia Hà nội đến người cách sinh động

o Xây dựng mơ hình mặt người chiều biểu lộ cám xúc nhàm phục vụ cho mục đích giáo dục giải trí

Việc thực đề tài thu số kết quà:

• Ket khoa học: 03 báo cáo khoa học hội nghị (02 báo cáo quôc tẻ, 01 báo cáo tron Sì nước) 01 bão đăng Tạp chí Đại học Quỏc gia

• Kêt q ứng dụng:

o Một mơ hình lý thuyết quy trình dựng mơ hình chiều sư dụng cam era cầm tay

o 01 mơ hình chiều Đại học Quốc gia H Nội o M hình mặt người cua nhân vật • Kết tạo

o 03 thạc sỹ o 02 nhân

TÀI LIỆU THAM KHẢO

T i liệu T i ế n g A n h:

[1] c Harris and M Stephens, (1988), “A combined corner and edge detector Fourth Alvey Vision Conference”, tr 147-151

[2] Guelch E„ (1988), “Results o f Test on Image Matching o f ISPRS WG 111/4”,

Institute o f Photogram m etry, University o f Stuttgart.

[3] H K Nisliihara PRISM, (1984), “A Practical Real-Time Imaging Stereo m atcher”, Technical Report A.I M em o 780, MIT, Cambridge, MA.

[4] H P Moravec, (1979) “Visual mapping by a robot rover” In Proc o f the 6th

International Joint C onference on A rtificial Intelligence, tr 598 600

[5] H P M oravec, (1977), “Towards automatic visual obstacle avoidance” In Proc

o f the International Joint Conference on Artificial Intelligence, tr 584.

[6] H Wang J.M Brady, (1992), “Corner detection with subpixcl accuracy”

Technical R eport O U EL 1925/92, Dept E ngineering Science, University o f Oxford.

[7] L Kitchen A Rosenfeld, (1982), “Gray-level corner detection Pattern Recognition Letters”, tr 95-102

[8] M Polleyfevs, R Koch M Vergauwen and L Van Gool “A simple and

efficient rectification method for general motion” In Proceedings o f International

Conference on C om puter Vision.

[9] o D Faugeras, (1992), “What can be seen in three dimensions with an unclibrated stereo rig?” In European conference on com puter vision.

[10] P E Debevec, C.J Taylor and J.Malik, (1996) “Modeling and rendering architecture from photographs A hybrid geometry and image-based approach" In

SIG G R A P H '96 C om puter G raphics Proceeding, A nnual C onference Series.

[11] Philippe L eel ere q and John Morris, “Assessing Stereo Algorithm Accuracy”

no

[13] Q Zheng, R Chellappa and B s Manjunath, (1991), “ Balloon motion estimation using two frame”, In Proc 25'h A silom ar Conference on Signals, Systems

a nd C om puters, tr 1057-1061, Pacific Grove, CA.

[14] R Hartley, (1993), “Cheirality invariants” In Proc DARPA Image

U nderstanding W orkshop, tr 743-753.

[15] Richard Hartley and Andrew Zissennan, (2000), M ultiple View Geometry in

com puter vision, University Press, Cambridge, United Kingdom.

[16] R I Hartley, (1995), “Theory and practice o f projective rectification”

Technical R eport 2538, IN HI A.

[17] R I Hartley and R Gupta (1993), “Computing matched epipolar projections” In Proc CVPR, tr 549-555, New York.

[18] R I Hartley, (1992), “Estimation o f relative camera positions for uncalibrated cameras”, In European conference on com puter vision.

[19] R Sablatnig and M Kampel, (2001), “Computing relative disparity maps from stereo im ages”

[20] R Sébastien, J M eunier and J c Ingemar, (1997), “Cylindrical rectification to minimize epipolar distortion” In Proc IC V P R , tr 393-399.

[2IJ S M Smith and J M Brady “SUSAN - a new approach to low level image processing"

Recovery o f the U nknown Epipolar Geometry”

[24] hltp://\\ ww.biolouv-online.org/dictionarv \ ision dispanK

[ ] h u p : p u b l i c k m l » o v m e w a l l k k m c r U h t m l

[26] htip://\\ \vw cs.colum biu c d u /-icbiira/htm lpapers S IM nodc8.html [27] lnip://\\ w w.ihe3dsUidio.cuni/

[28] Imp://\\ WA V I cs.coliimhia.edu/-icbura hlmlpapcrs Sr-'M nodcS.luml

[29]

hltpy/homcpaues.ini.ed.cic.uk'rhrCVonlinc LOCAL COPIES OWENS L.HCTl n oiliõ.hlml

[ ] lu I p : / A v \ v \ v J m n b o \ a e u k / - s t c v c / s u s a n / s u s a n / n o d e o h t m l

M ã n g u n v c ô n g cụ hỗ trọ-:

A p p ly in g A I te c h n iq u e s fo r tra n s fe rrin g 3D facial a n im a tio n

T h e D u y B u i C o l l e g e o f Te c h n o l o g y

V i e t n a m N a t i o n a l U n i v e r s i t y , H a n o i V i e t n a m E - m a i l : bt ' Uv r t u c du vn

In t h i s jMLpor w e d e s c r i b e I lie ns< o f A rt if i ci a l h i t clli^rtii Í A I ) t e c h n i q u e s t o t r a n s f e r t h e a n i m a t i o n fr om o n e D f a ce t o a n e w l y c r e a t e d fa ce T h e a n i m a ­ t i o n is p r o d u c e d w i t h t h e u s e o f t h e v e c t o r m u s c l e m o d e l W i t h t h i s m u s c l e m o d e l , ill o r d e r t o g e n e r a t e n a t u r a l fa ci al e x p r e s s i o n s ill a D f ace , m u s c l e s h a v e

to b(? plac-(»<i ill t lie corn*(’t positions ill the fa CP anrl other p a r a m e t e r s o f t h e m u s c l e s iK'i'd t o b e a s s i g n e d s u i t a b l e v a lu es T h i s is n h e a v y h u m a n - i n v o l v e d a n d t i m e - c o n s u m i n g p r o c e d u r e O u r a p p r o a c h r e p l a c e s t h i s p r o c e s s b y a f a s t e r

and easier OIK1, fa c ilita to d by A ] ti*dm iqtK‘S in w hich t.Ilf* a n im a to r o n ly lia s

t o s e l e c t t h e f a c e s w i t h t lie m o s t n a t u r a l e x p r e s s i o n s f ro m liis p o i n t o f v i e w F i r s t , w e u s e R a d i a l B a s i s F u n c t i o n ( R B F ) n e t w o r k s t o tW'forin a s o u r c e face m o d e l t o r e p r e s e n t a t a r g e t fact1 m o d e ] U ii n g tlie* s p e c i f i c a t i o n o f c o r r e s p o n d i n g l i u n l m a rk s o n the* t w o f a c e m o d e l s W e i n t r o d u c e a n o v e l m e t h o d td s p e c i f y

a nd adjust, la n d m a rk s OII till* target face model a u to m a tic a lly T h e la n d m a rk

ii djust m e n ! p r o c e s s is doiif* by G u l l i t ir A l g o r i t h m s ( G A s ) Aftt*r all ill*- l.uul-

M Wilks liiive liren pliiO ’fl ill o ptim ll positions tin- |{[3F networks rin* UNf-il If»

'I'-iorm til*-* s o u r c e f a c e m o d f l a s w el l a s 1.0 I ii i n s ir r till* I im s r le s o n t h e MHIKI'

I.Il l- Iiid ilr l to 11n* <l<‘iu i mc-d face m odel F iu a llv Int«.*ract ive G e n e tic A lg n rtl Inns ire used ti) refine tile paraiiu-f ('!> of niu.sflcb ill Older 1o produce high (ịii.ility

l.ir inl e x p r e s s i o n s

J\ct/U'n) <h: r.i ciilt A n i m a t i o n : G c n t ' t ir A Igor it Inns: R B F n e t w o r k s.

1 In tr o d u c tio n

Human facial movements consisting o f lip movements and facial expres­ sions pliiy <111 im portant role ill face-to-face communication Lip move­

Oil a 3D lace model of an avatar or tin embodied agent during the interac­ tion between human and computer There are several techniques to achieve this goal, which are: direct parameterized animation (e.g.1 4) A common lim ita tion of these techniques is that they cannot reuse available data for animating new face inodels themselves Each time a new face model is cre­ ated for animation, either the animation must be produced from scratch nr a process for manually tuning parameters is required

The research question studied in this paper is how to transfer the ani­ mation from a given face model to a newly created one Several approaches have been proposed for this purpose Noll and Neumann5 transfers t lie motion Vfrtors hot,worn two face models using th r spot ifif'Rt ion of rorrc'- spoutling landmarks on the two models M iliii and Ost(T]]iíinnÍJ transfers I lie FilCT Anim ation Table (FAT) from ill! MPEG-1 lace model 11 > iiiH iiliiT

one Ill the work of Kahler f t al.,~ the lace mesh, the muscles and till' skull mesh of a m ulti-layer muscle based face model are transferred to u now face model A ll I ht‘S(> approaches, however, require heavy liuiniin involvement to specify and iidjust the correspondences betwwn the source and the target face model, as well iis to adjust the animation parameters

In this paper \V('(1ps( ribe the list* of A rtificial Intelligent (A I) techniques lo t nmsfpi t lie animat ion from one 3D face to a newly createil fac<\ The animation is produced w ith the use of the vector muscle m odfl was intro­ duced by Waters,’* and improved by Bui et al W ith this muscle 1110(1(1 in o r d e r t o g e n e r a t e n a t u r a l f a c ia l e x p r e s s io n s i l l a .'iD fa c e m n s c lc s h a v e I I I lie placed in d ll’ correct positions ill the face and oilier parameters <jl the mus­ cles need lo be assigned suitable values This is a heavy human-involved iirnl time-consuming procedure Our approach replaces this process l>y a foster and easier one, facilitated by A I techniciues ill which the animator only has to select the faces w ith the most natural expressions from his point of view First, we use Rnditil Dasis Function (RBF) network-' to defiHin cl s o ilin ' lace model to represent a target f;uo model using, t lie spcr ifi( at if<111)1

3

F i g D e f o r m a t i o n o n .1 'ID face c r e a t e d b y a v e c t o r m u s c le

deformed face model Filially Interactive Gcnetic Algorithms fIGAs) are

u s e d l u l i ' f i n c t h e p i l l a I l i f t OI'.S o l m u s c l e s i l l o r d e r t o p r o d u c e h i g h ( Ị U i i l i t y

facial expressions

The overview of the approach is presented in Sort ion '2- III Section \VI‘ discuss (lie piucrss of (1(‘ ||) ltiing till' source face moilcl lo 11 -1JI (-s<-] It tlir

tai’gct lace im xlrl riic KỈA s 1111 isclf ’ tim in ji process is discuss! (I ill details

ill Section i Finally, some results iiie shown ill Section "j

2 O v e r v ie w

The ’iD facial animation was produced with the vector muscle moilel i 11-

trocluoed l>y Waters, and improved by Bui.8 Each vector muscle cull 1>P d e s c r ib e d m a i n l v 1)V a se t o f t e n p a r a n iP t P r s :

• coordinates of the head of tlie limscle (3 parameters) • coordinates of the ta il of the muscle (3 parameters)

• the value of fall-olT start Fiill-ofT finish and influence angle (3 pa- lnm rtprs) wliit'h aro used 10 define th(' influonro 7.0110 of n nmselr • the value of the standard to transform contraction level to (0 1) Figuri' shuus ail example of the deformation on a 3D fate created Ijv

the smiling muscle (Zygomatic M ajor) Figure shows liuw wrongly placed m u s c le f i l l I c a u s e u n n a t u r a l f a c ia l e x p r e s s io n s T h i s s h o w s t h a t t i l l ’ im p o r ­ t a n c e o f l h i ‘ p o s it io n m id p i ll (1 1 ( irMS I lf a m u s c le il l m ' i i t i i i n n a t u r a l i i i n l l ie l i( “V iil) lc l i i r i a l <*X|>1p s s io n s

The JJI'OIVSS of u-alisli'1'i'iiig 3D lacial iu iiu iiltion cuiisisti- ui two Mil

4

F i g W ro n g ly p l a c e d m u s r le c a u s e s u n n a t u r a l faci al expression

face, Radial Basis Function (RDF) networks are uspcl to deform a source face itiod(j! to represent a target face model.3 We introduce a novel method to specify and iidjust landmarks automatically The adjustment process is (lone by Genetic Algorithm s (GAs) After all the landmarks have been placet! in optima] positions, the* HI3F networks are used to deform the source fa c t ’ m o d e l a s w e ll Í1S t o t r a n s f e r t h e m u s c le s o il t h e s o u r c e fa c e m o d e l t o t h e deformed IVicc modi*] At tlip scccmd stage Interactive G piictir Algorithms H IV IISC(I t o r e f in e I h e J > a riH iif’ lel'.s o f iH U M 'k'S in o r d e r to p r o d u c e l i i ^ l i q u a li l V facial expressions

3 D e fo rm in g th e source face m o d e l

We deform source fiice model to represent a tiirget face inodi'l usiiiK RDF networks."1 whicli are trained by the value of corresponding landmarks oil the two face models The landmarks on the source face are fixed, while we sail'd for tlie landmarks on till' target tact' to minimize tlie (lilim 'tice be­

tween the deformed face model and the target face model This is described ill mote details ill.9

A set o f landmarks is predetermined oil the source face model Most landmarks are specified manually except several that can be detected au­ tom atically to cover all the features of the face These landmarks are de­ termined only once and are reused for every new target face model For

t i l l ’ I I I I n 111); i r k s n i l t h e t a r g v f f c i i v m o d r l w e f i r s t c l r t r n u i m ' M ' v c n i ! C i i s v -

to-del (>ct l.'inihnai ks namely I Ilf top of the head, the tip of t Ilf nosf> and

V I i l i l l h T i l t ’ r i u t o - d e U ' i 11' I Ỉ i t l i t l n i i i l ' k ^ w i l l s t : i v I i xt - < U ' ỉ i e i V i i > t | ]H i t ‘M o f

noil-detected landmarks We use the auto-detected landmarks and their correspondences oil the source face model as the training set for the RBF Iietwoiks to determine the initia l version of the lion-detected landmarks on the target face model A deformed version of the source face model is created by RBF networks using the landmarks on the source and the target face model The noil-detected landmarks on the target face model are then adjusted w ith Genetic Algorithm s to minimize tlie difference brtween the deformed and the target face model

We fo llo w ’ to use three RDF networks, which map a vertex oil source face model to the y unci - components of a vertex oil ill get Ííirc model

(x, y , z ) I— , ( R D F i ( r ! J :) R B F l U , y , z ) n i F :i{:r z ) )

Each H D F , is íị;ìveil by

n

R B F , { f j , z ) = ^ u y ( / V j k , f / c )

7=1

w h e r e t h e I I 1, J iir<" t l i e w e i g h t s o f t h e n e t w o r k that n e e d t o b e ( l e t e n r i i i i f i l o r

lcanic'd on the liasis of a (ruining set The 1\ y , and ; components oi source landmark ]>oilits and target landmark points are used as tlie m m m i" sets for 1.1 IP three networks For the basis functions h , J we follow the successful

approach given by:5

h, ,((.') = y/|| r - )I, , II2 + S c = í.r, 1/ -J

where is ('tilled t lie renter o f //, , and a, , is given bv

s , , - I i n n ^ j II //,.* - f t , , I:

This choic e for s , J as suggested bv.11 leads to smaller ripfoi mat ions fur widely sc'iiltcred center points and larger deformations for closely located points

Ill order to p ivvfiil o verfilling and improve generalization a regulanzn- tion term I f - is added to tin* error term for each R D F , , cf

(j

Ihc initial

a d i s pl a c e d l a n d ma r k landmark

F i g 1 li e in i t i a l p o s i t i o n o f a p o in t a n d a m o d i f i e d v e r s i o n o f it

The GAs process starts with a random set of solutions, which are rep­ resented as chromosomes Because we want to const ruin till' search to lie only around the in itia l landmarks, each solution of the GAs process is a v a r ia n t , o f t h e l a n d m a r k p o in t s o n t h e t a r g e t f a r e m o d e l, w h ic h is t h e 1110(1-

ÌIÌCHÌ.ÍOII o f t h e i ni t i i i l l a n d m a r k p o i n t s Ill t h i s m o d i f i c a t i o n r ; i r h Viiiirint

(11 lilt* landmark poinl is fill y point i IS i r If I lie cube with spi’fififfl <111(1 the in itia l landmark point IIS lilt* crnUT (see Figure 'A). Solutions liom one popu lilt ion arc lakcii and used to form ;i new population Then till' new Sul 111 ions n r c • selected Iit'cording to I lieir til ness The mure suit ill lie t hev arc

the better dinners they have 1o rcpm ducf Ill this CH.SL' the litn o s function is the inverse of the error function that niihim izi’s the fli(Tr‘ri'Hfv l)H WCCII the ilc lu im iil find the tiirjy ji lace motli-l

T h e C h ro m o s o m e A chromosome’ is tlip coiiriitenat ion IÁ binary repre­ sentations of all noii-deti'ctcd landmark?! on the target [ace model Kuril lancliiiark is represented ill the chromosome bv the distance between this landmark and he original landmark

Each landmark rail 1)P described by I lire? coordinates i ' l f j Still t i l l ” from an in itia l version of the landmark, various versions of the landmark can tip old niiicd by morliiymn t'Hfli coordinate' in a sporifird r;ui” c Let

R m n i ị R n n t X ị , R u t i i n , R n m 1'2- R n ũ ĩ ì ỵ ĩ ì n n i x : Ị b e t h e r a l l i e s o f v a l u e for these coordinates T ill1 coordinate 1.11’ a landmark can lie represented

as-( i n - p -2.1’:i)

where < p , < 1,

L\ - I h l i l l l ,

r, = f j , ị R m t u : , - f t i m n , ) 4- R m i n ,

We tlieu convei t !>, t.o a binary string Using 2rl as upper lim ita we repieseiit

!>, as [ n p , \ ill its binary format:

i ' l l ■ < - i ' i c , ! = o r

We concatenate the binary representation of the three coordinates of all landmark points to form a chromosome

T h e fitn ess fu n c tio n The fitness function is the inverse of the error func­ tion, which assesses the differences between the (lefoniiPil source trice modi’] and the target face model by calculating the distance between them at even- distributed sampling points:

l i t I l l > s ( s o h l t i o n ) = J7- T - - r - -— t ; -

-1 !->< Í I «■ f<jr 111« 't J iic.c* ( >M 11 i<m ,t a r y ^ t l a o - )

w l u ' i c < le iu n iH ‘<U;i<-<‘( s o l u t i o n ) is t ] ( ■ f ji’ i'oi mecJ fact' in o d e ] Iis iim t h e m jIii-

t i o n a s t h e l i m d i n a r k s o i l t h e t i i r ^ e t f a c e m o d e l

C ro ssove r We use m ulti-point crossover, which is illustrated ill Figure For m ulti-point crossover, several crossover positions are chosen at random with no duplicates ami sort Oil ill ascending order Then, the chromosome elements between successive crossover points are exchanged between the two parents 1o produce two new offsprings The section between till' til'st element 1111(1 the first crossover point is not exchanged between individu­

als The idea behind m ulti-point, and in d m l many of the variations oil the crossover operator, is that parts of the chromosome representation that eont.ril>ut(* the most to the performance of a particular individual may not necessarily lie contained ill adjacent substrings.13 Moreover, the disruptive nature of m ulti-point crossover appears to encourage the exploration of the s i m k I i s p a c e , n i t l i e r t h a n f a v o r i n g t h e c o n v e r g e n c e t o h i g h l y f i t i n d i v i d u a l s rnrlv ill the M-arch: thus lm ikiim the S(-’M!'c]i ]nine roljiwt-.14

cross-over points

11 1: 00 a : 0 : 1 !

111 1 1 10: «1

: I I I I 0 0 1

k c ros* ovcr^

' 1 1 0 t o i l

F ig M u l t i - p o i n t c r o s s o v e r

M u ta tio n Solutions nre inuUiteri by applying random flipping to till- component of the cliroinosomes (0 to and to 0) We start with ii m uni­ tion rate of 0.3 We increase this mutation rate when the error stays si;iI>1<■ and decrease it when the GA process produces smaller errors I better re­ sults) T his m utation rate is constrained to be ill the range of 0.3 to

4 A d ju s tin g th e p a m e te rs o f m uscles w ith an IG A s process

While conventional Genetic Algorithms use external determined fitness I'mictions, InU'1 act ivc Genetic Algorithms are guided by I lie u s e r ' s in ­

tu itio n preference, subjectivity, sensation, perception, cognition and other psychological processing functions Instead OĨ l ilting chromosomes oil <■<•!-

1 Hill values (fitness) Interactive GoiiPtic Algorithms rate chromosomes in­

teractively hast'd on evaluations of a user Interactive Genetic Algorithms iire useful for searching through all object space when assessment n it i'iia

<m> not well defined enough to form explicit rules.18 Some ions III'

Cỉem-I ic A ]"Ill'll hms are interactive design aid system.1,1 1IKJI11 iiu,c face imai>e

{•fiKM'ilt ionJI) <111(1 line (hawing

F ig A s n a p s h o t o f t]i(‘ I G A s m u s c l e t u n in g s y s t e m

F o r expression E = I I a p p i n n s s , S u r p r i s e , Silliness A n t/ er Fear D i s g u s t

R e p e at (Interactive Geiii'tic Algorithms)

S h o w ililFort'iil v e r s i o n s o f e x p r e s s i o n /Í T h r u s e r c h o o s e s s o m e T a v u i v i l " f a c e s T h e s y s t e m c i k u l a t e s n e w f a c e s

U n t il I lie user satisfies will] till' faces

The version of tile muscles that creates li lt best satisfied fare is saved.

A snapshot of t he system is shown ill Figure

The IGAs process starts w ith a set of solutions, which are represented us chromosomes Each solution is a version of the being-adjusted group of

m u s c l e s OIL I h e D f a r e , w h i c h is h e m o d i f i r a l i o n o i Il i P i n i t i a l v e r s i o n o f

the group of muscles Ill this modification, each parameter ot a muscle is m o d if ie d in a s p e c if ie d l i i n y i ' F o ] r X i i u i p l c t h e It i'iid o f a i i H b r k1 w ill lie modified til Ihj illIV point inside the cube w ith specified length and the ini­ tial lie<i(l of I lie musc le as t ho center (see Figure 3J Solutions from one population are taken and used to form a liew population Solutions which are then selected to form new solutions (offspring) are selected according to their fitness - the more suitnble they arc tho mon- rlia nrrs they have to reproduce

T h e C h ro m o s o m e A chromosome is a string of binary representation of all pnnuiK'UTs o f all the muscles ill the being-adjusted group Each muscle

ID

P1- P2, ■■■!> 10

Starting from ail in itia l version of the muscle, numbers of version* of the muscle are created by modifying each parameter in a specified range Let

/ ĩ r r ú r i Ị, rtmaxi R n u n w R r i K U u ,

be the ranges of values of these parameters The coordinate of a feature point cun he represented as:

/>10) where

0.0 < b,< 1.0

l>, - I h i t i n ,

i ỉ i u t i r , — 1Ỉ I I I Í

Pi = l ) , ( n I i i d r , - I i n i i n , ) + R u t i n , i = 1 A p.irt ol'chromosome representing a muscle looks like:

c 1 , C'12 i- 'i n , t i , , C’1 ()„ C j j = O I'

w h o r e 2" is u s e d t o c o n v e r t a r e a l n u m b e r b e t w e e n u u a n d t o ii b i­

liary string T h a t means c, , 0,2 c,n is the binary representation OÍ'

[ ' < i J We concatenate the binary representation of all muscles ill the being- injjusted group to form a chromosome

T lio fitn e s s fu n c tio n The fitness function roflprts th r srloetions of tho animator:

fitncssfsolutinii)— <

' 0.9 if tile solution is selected by the animator

0.1 if the solution is not selected by the aninuitoi

1 • Fr<nil m i l | - X| > t l ir m c II n illg it is U -lu v in to 10 gives best c o n V f r g f ii C f ,11x1b i - i t

This fitness function warranties that the selected solutions w ill be selected 1.0 form new generation w ith very high possibility The fitness of 0.1 for the solutions which are not selected by the animator s till allows these solutions to be selected to form new generation but w ith very low possibility

C r o s s o v e r We USP m ulti-point crossover, which is described ill Section Ỉ

M u ta tio n We start w ith a mutation rate of 0.3 We increase this muta­ tion rate when the IG As process seems to converge, and decrease it when the process produces new faces This mutation rate is const rained to be 111

tile range of 0.3 to 0.5

5 R e s u lt

Figure G shows the landmarks oil the source face model and the adjusted landmark points oil the target face model As can be seen from this figure, the landmarks oil the target face model are adjusted to the light posi­ tion The deformed race model generated Ijy RBF networks Using these landmarks is shown ill Figure The deformed face model lias the overall s h a p e , f o r t -h o m i a n d c h e e k s u r f a c e , c h il l s h a p e a s t h e t a r g e t fa c e m o d e l Eyes, nose and mouth are ill collect position The shape of the deformed

ffire m odel's lips, however, floes not completely mat rli I Ilf s!iii])(' i)f lie tnr-

£('t I’;ICC IIII»1 Id 's lip T h is is lic c a u s c he (lifTcn'in e between two p a irs lit lip s

is hill'll to MH’iiMLi't' ow n if they look very (lillcrcnt A u o th i'1 example of 111-

e xpo rtiitio n ’s result is shown ill Figure

A ft 1*1' the (k'lonned face model is created, the muscle* ar<‘ also tinns-

I'cTied from the source face model to the deformed face model Using these muscles, wo call create facial expressions oil the deformed face model, which art! shown ill Figure The1 muscles, however, are liot ill tile perfect positions in the the deformed face model Some more fine tuning is s till needed

We w ill now show t he resuh of muscles tuning up process w ith IGAs These muscles arc used to create happiness and sadness The happiness created by the in itia l version of the muscles is shown ill Figure lO fa j- The muscles are then interactively adjusted w ith the IGAs system Figure 10(b) and 10{c) present the intermediate versions of the muscles during the IGAs

ptXHTSS F ig u re 10(d ) shows t lie filial adjusted result How the musi'k's that

create sadness are adjusted is shown ill Figure I I Muscles that create other expressions are adjusted in the same manner As can lie seen lrom

12

F ig fi I lie l a n d m a r k s oil t h e s o u r c e f a ce m o d e l (l e f t) a n d t h e t a r g e t f ac e m o ( l e l ( r i £ l u ).

F ig Tilt* d e f o r m e d f a ce m o d e l {-KỈ50 p o l y g o n s ) (le f t) a n d t h e targf.'t fa ce m o d e l < 1112 p o l y g o n s ) ( r i g h t )

F i g A n o t h e r e x a m p l e o f t h e d e f o r m e d f a ce m o d e l ( p o l y g o n s ) < left J nIn Ỉ t h e 1 argot f a c e m o d e l ( 7 p o l y g o n s ) ( r i g h t )

1 i

F ig !J F a c i a l e x p r e s s i o n s 0 (1 tIlf* d e f o r m e d f a c e m o d e l: s a d n e s s (l e f t ) a n d ( r i g h t )

(a) (ti) (c) (d J

Fig , 10 T u n i n g Lip t h e m u s c l e s for h a p p i n e s s : ( a ) - in it i a l p l a c e m e n t ; ( b ) ( c ) , ( d ) - s t e p In- s t r p I ' P s u l t f ro m I G A s t i m i n g s y s t e m

c C o n c lu s io n

III this 1>;||H'1 , we described how A I techniques can assist tin- export at ion

of facia] iiuiiiK ition from Ỉ1 3D fjite ro a newly create face The animation

i.s produced w ith the vtvtoi muscle model first introduced bv Wati-T.-1 to create facial expressions in real-time Ill order to create natural facial ex­ pressions ill a 3D lace, muscles have to be p la m l ill the correct positions ill

till' flier O th er p iin n iie te is of the muscles also need to be assigned appro-

p n n lc v a lu e s T h is p ro c e d u re is t i]I le-CdtIS<I]Iliuu, and req u ire s l i P i l Y Y h u m an

i i i v u l v e m i ' t i l O u r i i p p i o a t ' l l I >.J])Iii( etJ t h i s p r o c e s s b y ;i la ' ti ' i a n i l HaMor uli t3

liic ilil In' A I 11-c.lu lit J i l l ‘S , ill which the animator only has to select the

]';I w i t h I lie m u s t natuicil expulsions lium his point of v ie w Oui c l]J-

11

fil) (l>) (<•) Id)

F i g 1 1 I I n i n g u p t h r m u s c l e s f o r ,s;icI[H'S.S: ( i i ) - i n i t i a l p h i r - c u i r n t : ( I ) ) I Í ) (đ ) - s, t< p I )%• Step re su lt from I G A s tin tin g system

R eferences

I l’\ I Parke, A parametric moclc‘1 for human faces, PhD thesis University of Utah ([Salt Lake City] 1974).

'2 P K illia A Mari^ili N Magnrnal-Tlmhimnn and D Thaluiam i .Simulation of facial Jim.sclc actions based on rat ional free form deformations in C f i W p u t r r G r a p h i c s F o r u m ( E Ư R O C Ỉ R A P Ĩ Ỉ Ỉ C S 'ĩ)2 Procređi.iMỊ.s). erls A Kilgour and L K j<*]l<lahlHJÍJ2.

.T K W a t r r s A m u s c l e n i u đ c l íui i i u i i n a l in g t luxT -đ iỉi KM i siu nal Iticia] t ' X p i f s M o i i

ill ( / o m Ị I It!('I G r a p h i c s ( S Ỉ C G R A P H ò'7 Pmct.'cdrny.b). eel M c St'im-riftT. 1 D Teiv.oponlos and K Waters T h e J o u r n a l o f V i s u a l i z a t i o n a n ti C’o n i f i u t r r

A n i m a t i o n 1, 73 (1D9U).

r» J Noll and u Ncniiiicinn lixpressiun cloning, ill S Ỉ G G R A P H 0 1 C o n i j t u h r G r a p h ic x P r o c e e d i n g s ed E FiumeAnnual Conference Series (ACM Pn.-ss / ACM SIGGKAPIỈ 2001)

{) M V Maui and ■). Ostermnnu Cloning of mpeg-4 face models, in ỉ ì i l e n t a - l u n m ! W u f k s h o p o n Ver y ỈÁiii' B it rate Vid e o C o d i n g /1 L B \ 01 ). ‘20(11. 7 K Kiililer J Haber H Vamauclii and H, p Seidel Head '■‘hop: Generating

a n i m a t e i i lu»ail m o d e l s w i t h a n a t o m i c a l s t r u c t u r e , in P r o c e e d i n g ,s o f t h e 0

A C M S ĩ G G R A P Ỉ Ỉ S y m p o s i u m on C o m p u t e r A n i m a t i o n ( S C A - Ỉ ) ed s X Spencer (A C M Press, New York 2002).

8 T D Bui D Hevlen and A, Nijholt, Improvements on a simple mu.^cle- bast’d M<1 face for realistic facial expressions, in 267/i I n t e r n a t i o n a l C o n f e r e n c e on C o in p u t t I' A n i m a t i o n a n d S o c i a l A g e n t s ( C A S A - 0 ) I IE E E Computer Society Los Alamos C A 2003).

f) T D Bui M Poel D Heyleii and A Nijholt Automatic facf morphing

1(J D S Bi'ooniheaci and D Lowe, C o m p l e x S y s t e m s (1ÍJ88). 1 M Eck C A D m ill C o m p u t e r g r a p h i k (1991).

12 c M Bishop N e u r a l N e t w o r k s f o r P a t t e r n R e c o g n itio n (Oxford I'niwi'sity Press Oxford 1995).

13 L Booker, Improving search ill genetic algorithms, in G e n e t i c A l g o r i t h m s a n d .S i m u l a t e d A n n e a l i n g , ed L Davis (Pitman Publishing, London 1987)

pp 61 73

1-1 vv M Spears and K A DeJong An analysis of multi-point crossover ill

F o u n d a t i o n s o f g e n e t i c a l g o r i t h m s , ed G J E, Rawlings (MorR.m Kiiufnmnii, San M ill CO, 1991) pp 301 IT],

1 r) D B G o l d b e r g i i r n r f / r A Ì Ọ í t n l l t n i s i n S r u r v h O ị ) ! I i n I :>il m i l m i l l M m l n ' r i L i ( I i ' m i u / ( A i i r l i s i m - W t ' s l i ' V H i ' i i i l i n ^ , M A l OM' M

1 fj L D a v i s H a ni l b a nl : o j C i i K ' l i t A l g o r i t h m s ( V il l i X n s l r a n d H i ' i n l i o M , N e w

Yurk, 1'JiJI).

IT H T a k i i g i IiiU-iiic.tiv(_' e v o l u t i o n a r y c o m p u t a t i o n : C o o p e r a t i o n <jf C'liiiiputiL- t i o i i i i l i t i l c l l i p ’ii t a n d h u n i i u i k a u s ei ill P r o c e e d i n g o f t h I n t e r n a t i i m a l c o n ­ f e r e n c e o n S o f t C o m p u t i n g 9

18 K NisiLio M Murakami, E Mizutani and H X Fuzzy fitness assignment ill an interactive- genetic algorithm for a cartoon face search, in G c n t t i r A l ­ g o r i t h m m i d I-'uzzt/ Logit 1907.

If) Y Niikanislii Applying evolutionnry systems to design aid svsti'in in A L -

I F E V 19%

21) c ( 'a III w e l l ;u 1(1 J V.S., T r a c k ÍIIỊỊ, 1)1 c r i m i n a l s u s p e c t 1111X11 lị* h lilt ( - s p a c e w i t h a u r n r l i r a l n m i l I n n ill //III I n i l ’ n i o t u i i K ỉ l C ' u n f t r e i i c e u n G< III I I I A l f i o n l h n i b

dcc.x ill), v.m.

T.K Dang, M Worring

Faculty o f Science, University o f Amsierdam, The Netherlands dang, worring@science.uva.nl

Keywords: 3D reconstruction, coordinate normalization

Abstract

3D reconstruction form video sequences is known as an error sensitive process Beside optimization techniques, coordinate normalization techniques are useful to improve [he result Despile of (heir sim­ plicity they are very effective to deal with noise and numerical stability In this paper, we discuss them in a practical reconstruction framework and suggest a technique for the structure update stage that gives better results with both synthetic and some real data Introduction

3D reconstruction is the process of automatically creating a 3D mode! from a video sequence Early methods required a c a refill calibration before capture time Recent methods [1 2, 3] considers the recon­ struction from uncalibraied hand-held cameras Such methods are appealing since they are flexible, and re­ quire minimum prior setup and knowledge In gen­ eral, the proccss first dctccts image features which arc Ihen matched through the sequence Based on the cor­ respondences the structure and moiion of ihe scene are recovered From there ihe slereo mapping step creatcs dense maps where every pixel is matched (O a pixel in (he other imeae Finally the 3D model, i.e a 3D mesh vvilh texture mapping, is recovered [1,4] The whole p ro c e s s is illustrated in fiaure I

T i l e p r o c e s s IS c o m p l e x a n d e a c h s t e p in i t s e l f is

a research topic Many of its steps and therefore the whole process arc’ error-prone In order 10 achieve a

good model, techniques such as coordinate normal­ ization [5] should be employed Local and global op­ timizations arc frequently applied along the process Bui even if optimization is finally used, normalization techniques are still helpful since the optimization will have a better initialization

Anion" many methods for reconstruction, e.g us­ ing line correspondences [6], the new metric upgrade method [2| and lei'oustruction by kicion/aiion [3],

we chose the Pollefeys' framework [I] because of its flexibility and robustness that are proved by Us author's practical implementation In this paper we review normalization techniques that relate to this framework and propose a new technique for slruclurc and motion recovery step

The reconstruction requires solving a number of least squares problems One typical problem is the recovering of the fundamental matrix [7) which rep­ resents the geometric constraints between two frames The condition number [8] of the equation system could be large making the solution sensitive to input noise In [5] by applying a proper transformation to ihe inpul, the condition number is reduced and the result is improved significantly Following a similar iipproacli, we develop a new technique for structure update in Ihe framework of [ I ] Our technique is sim­ ple but effective and has not been considered before in tile literature

In section 2, we give an overview and short expla­ nation of coordinate normalization techniques in 3D reconstruction Section presents our techniques and explains its relation others In section 4, we give

results and evaluate our technique on synthetic data and some real cases

2 Related Work

The structure and motion recovery step takes the feature correspondences from the previous step and recovers the structure of the scene and the motion of the camera Anions (he main stops of the 3D recon­ struction it is extremely important for ihe accuracy of the filial model since it defines the "skeleton" of the model (figure 1).

The structure and motion recovery step can be di­ vided into I wo sub-sieps: namely projective recovery ;ind metric recovery From the correspondences, the structure of the scene is recovered up to an arbitrary

/ C o r e s s p o 7 !

Ị ndences / * i lnits,rurIn it s tru c tu re

* s tru ctu reU p d ate

H

M l

M etric u p g d e ►Metric point cloud

J Metric projection matrices

Figure I : Main tasks of 3D reconstruction with detail of Ihe Structure and Motion recovery step

w h e r e o n l y ( h e s c a l e is u n k n o w n T h e f e a t u r e c o o r d i ­ n a t e n o r m a l i z a t i o n f o r f u n d a m e n t a l m a t r i x c o m p u l a ­ t i o n a n d t h e projection matrices n o r m a l i z a t i o n r e s p e c ­ t i v e l y f a l l i n t o t h e s e t w o s t a g e s

Before imroducing two reluted techniques, we de­ scribe below the notation used in this paper,

2.1 Notations

Points in 3D are presented in a homogeneous co­ ordinate system by 4-vectors and denoled by upper­ case letters X — (Xo, X] , X '2-X- ,i). The projec­ tion of poinl X is denoted by lower ease letter X =

Projection matrices, which are x matrices, arc denoted liy p The fundamental ma­ trix which is a :i X matrix, is denoted by /■’ Finally Iransiormaiion miiiriccs arc denoted by uppercase Id ­ lers

2.2 Coordinate normalization for the 8- point fundamental matrix algorithm

Typically the fundamental matrix is acquired by solving a linear equation system build from a set of correspondences, and maybe followed by a non-linear optimization Hartley has proposed a normalization technique [5] to improve Ihe result of the traditional 8-poim algorithm [7)

The traditional one uses corresponding pairs (x ,x ') on [wo frames as input The fundamental matrix equation presents the constraint of correspon­ dences:

i: F s ' = (I)

If r = 1) a n il I = C | 1) the e q u a ­ tion can he rewrilten US'

(■>' I i'll ■ 1 r n • 1' ' i ' l l I' l •' ■ ' I ' ■I'll' r i ■ ) f = M

( )

where / is 9-veclor made from F ill row -nwjor order We have the linear system:

Af = I) (3)

Based on the fact that frame size is typically 040 X 480 pixels or more, we can estimate thill J" iiiid are

about (100 100 1) Tht condition number of the sys­ tem turns out to be very large, about 10^ In practice, it is even larger, about 1011

To reduce the condition number Hartley trans­ forms the sel of points so that for each frame ils cen­ troid is at the origin of the coordinate system The normalization also makes the average distance from points to the new origin \/2, which is the distance to the origin of (1 1, l j This normalization in practice reduces the condition number about 105 time and Ihe normalized algorithm performs “ almost as well as the best ilerative algorithms” , i.e Ihe ones with nonlinear optimization [5],

2.3 Projection matrices normalization

for metric upgrade

In the mctric upgrade siiige the input duly arc pro­ jection matrices associated with frames Il is well known that those matrices can be transformed by the same homography without changing llie rcsull where there is no inpul noisc[7] In [ ] ] the normalization brings Ihe principal point close the origin This is an assumption required to form melric upgrade equation Secondly, the normalized focal length should be about unity thus make the input's elements more balanced Equationallv the projection matrices are normalized by I\,\r: P;V — I \ ỹ l p with

K s =

/í u

w + li

- w / - h /

1

(4) where w ft are Ihe width and the heicht of the video frames

3 Coordinate Normalization for Struc­

ture Update

I I I this section w t motivLite und prL’sem our normal­

ization lechnique for structure update and its relation to others

3.1 Coordinate Normalization

points, i.e the initial projective structure, are than re­ covered by finding ihe intersections of hack-projected rays, a triangulation process Then projections of the initial 3D points on a new view are found lo establish

the equation system which allows adding that view to

the projective structure The view adding process is iterative and is called structure update

For each 3D to 2D correspondence ( X x ) , from the projection equation X - P X , we have iwo equa­

tions to compute the projection matrix of the new view

- X 0M) n , x Pi

0(4) - X X , x P i = 15)

where p t (i = 1.2,3) are row vectors of the new view’s projection matrix P ncu,.

Since we have 12 unknowns (recall that p is a x4 m a trix ), ill least s ix c o rr e s p o n d e n c e s are r e q u ire d to solve [he problem

Based oil our real data observation we as­ sume the x , ( i = 0.1.2) are about 10 and similar to [5] /■,(/ = 0.1) are about 100 Let A denote the coellicienl matrix Fur ihe assumed values the corresponding entries uf a row of are of (he following magnitude r( —10, -10 -1 , -1 ,0 , 0, 0, 103,103,103 IQ2) The entries of A T A are approximaled r r T = (102 It)2, lO2 0 ,0 (I 10° 10° 10G 104) That means Ihc values of the entries range from to 10s For an intuitive stability analysis, we can assume that the diagonal of 1 IS (10° 1)

Let X, denote an eigenvalue of the matrix ( A, < AJ I < /), and M\ 2 — A r A We wish to esti­ mate the condition numberN = A1 (jA/i 2) / A12 / l 2) ■

Given ih;ti 4r is symmetric, and using the In te r- Idá ní Ị Property- [8], we can deduce (wo facts: (i) the largest eigenvalue of M ị 2 is no less than Ihe largest diagonal entry A] (.A/1 2) > 10s, (ii) and the smallest

one Ai2( )/ij) < A1 (j’V/1) = Thus the condition

number of ji/ is K = A1 / A1 -J > 101', which is a

very large number Here implies that noise can have significant impact

Coordinate normalization before ihe structure up­ date can reduce (he condilion number Because we musl inainciin the consistency over the projection ma­ trix chain I he Inmsfnmiation must be the same for

e v e r y f r a m e H e n c e w e h a v e l o l i n d i r j n s l o n T K i -

tion bused on Ihc L’xpecled values ol the dam ruthcr Ilian spcci(IC values Till.' iissumpiion wc U'M-’J here

IS t h a t l l i e l e u t i l r e p o i n t s a r c d i s t r i b u t e d u m l i ' i m l y

iiround images' center mill llmt the li.viM lrjme> S1/L' is known

Tt =

1 (J -U-/2 -/i/2

1

(6)

in which U' and It are the frames' width and height respectively

After lhat, to equal the magnitudes of homoge­ neous coordinates, the scaling transformation should reduce the average distance of feature points to iheir centroid For simplicity we use the following trans­ formation to gel that effect:

T , =

Tip

(7) in which h is a scalar In our experiments i( is set 10

72 as wc want to limit coordinates to a (1 1) rectan­ gle Consequently, 3D poinls of the projective struc­ ture are sealed 10 seemingly lit into a unit box

To™elher [he transformation is:

T s = T , Tt (8) This transformation will minimize the effect of un­ balanced coordinate magnitudes Below we will ex­ plain how to apply il in more detail

3.2 How to apply the technique

In this sub-section we explain more of how 10 ap­

ply the techniques and I t s relation to other methods

Also we show how to adjust Olhcrs once our technique is applied

Allhough the technique is to improve (he structure update, it must be applied before the structure initial­ ization for two reasons: (i) to keep the added views’ consistent to initial views, (ii) and to reduce the un­ balance among elements of initial 3D points As 11 is

applied before the structure initialization, the thresh­ old 10 decide on outliers in the robust fundamental

matrix computation must be adjusted

The normalization to prepare for the metric up­ grade [ I ] should also be adjusted There IS no need

to translate the origin 10 the center of ihe images any­

more The I f and h are new scaled dimensions of the picture Thus A’.v should now be:

K ' s =

v / ~ h ' 0

(b; Compuit; F with adjusted outlier threshold Decompose projection matrices from F (c) Triangulate to initiale the projective 3D

point cloud (d) Add views

2 M e tric u pg rade.

(a) Projection matrices normalization with ad­ justed K 'n : P,v = K 'n ~xP

(bj Compute metric upgrade homograph)', up­ grade llie structure and motion

Table I: Normalizations in Structure and Motion recovery

4 Experiments

[n this section wo give I he results of our technique on synthetic and real diltii The synlhctic experiment setup is based on some related work The real data include one traditional sequence in 3D reconstruction and two Olhers Irom our experimental video fur the application we arc aiming ill: crime scene rcconslruc- lion

4.1 Synthetic data

Synthetic input used is a random 3D point cloud uniformly distributed within ;i cubic To Iheir projec­ tions onto frames and Ihe principal point with zero mean Gaussian error of standard deviation of 0.5 and 0.1 point is respectively lidded Tile setup is based on die setup OĨ experiments in [10, 1] and the assump­ tion that the Illume point error is mainly caused by llie digitization The result is the average of 100 runs

Evaluation ciiieria arc twofold The condition number crapli shows how our technique reduces the scnsiiily ol (he solution 10 inpul noise The reprojec-

lion error is used evaluate tile actual improvement

Since the frames are scaled down by normalization, the absolute neomeiric error no longer rellixLs the im­ provement Thus to measure the geometric improve- Iiieni we convert I he reprojcciion error buck 111 the

original cooriiiiKile sc;ilc Iisiii'j tliis equation

" ' ■ - ú ỉ é s c u l l ’ f a c t o r

w here the s c a le la c 101' is l l t in ih c n o n -n o r m i] i/c d case and V V U’2 + l r in tlie normalized ease

Figure shows I he iivcracc condition number oil a logarithmic scale with respi’ci lo the number of points

N o rm a liza tio n N o N o rm alization

20 30 40 50

n u m b e r o f co rre s p o n d e n c e s

Figure 2: Log 10 of condition number vs number of correspondences

1

0

0 Qi -

Ụ

9 -

ạ

Q>

o -

e* o

- - 5

10 20 30 50

nu m ber o f co rre sponden ces

Figure 3: LoglO of reprojection error vs number of correspondences

used to add a new view Note that the condition num­ ber without normalization is about 10 , close ( our

estimate in the previous section It is reduced uboul

1 J 10 s t i m e s T h i s h e l p s t o a c h i e v e a b e t t e r r e ­ s u l t a s s h o w e d in IÌLỉunj ỉ T h e i v p r o j L V l i o n erro r r e d u c e d f r o m a b o u t t o l e s s ih u n II.IJ1 p i x e l

To see ihe relation between inpul noise and out­ put error we fix ilie number of correspundenccs 30 and vary the input noise standard deviation from 0.2 to 1.6 pixels Figure and show the dependency of the condition number and the reprojection error on llie input error As the input noise increases the re- projeclion error without normalization increases, with normalization ihe error stays much smaller

The results arc however mil always stable in the normalized case Ii IS prubabl) because in some cases

ihe assumptions not hold thus Ihe condilion num­ ber and consequently ihe error is noi reduced as ex- pecicd We will hme to examine ihose cases further

N o rm alization No norm alization

r i \ 'V \

-V _./ ■ , I

I

% A

o

o

No norm alization

0 0 4 0.6 0 1 1.2 1 4

standard d e via tio n o f in put noise (pixel)

Figure 4: LoglO of condition number vs input noise

Norm alization No norm alization

£ ' 3

0 0.8 1

standard d e viation of in pul noise (pixel)

Figure 5: Log 10 of reprojection error vs inpul noise

4.2 Real data

The new technique is tested with real data within our implementation of the framework in [1], In ad­ dition compared to the process explained in cable RANSAC is used in the structure update ill order to reject outliers Ilnit L'unnm be rejected when comput­ ing F In niosi of Ilic cases the result is similar to the symbolic evpemiK'ni's result

Here \VL* show results for three real sequences ( fie- ure 6) The first one is (lie classic Leuven castle se­ quence others iire from one o f our large! application scenes For cat'll sequence we used four frames, [WO to initiate the structure and two for added views, in order 111 have enough views for metric upgrade [ 10]

The cnndilion number iiiul rcprojeclion error arc given in table ami respectively

The result arc uoocJ with scqueiKL’ s l i h l i ’i i r l and

I n d o o r ! , nilhor elose tlie N v n lh c lic rcsull Willi

if )

Figure 6: Three experimental sequences (a) C as ĩle,

(b) I n d i i o r l , and (c) Iiul(it>r2

Sclj Norm Non Norm

Casilc view 1,1.-ill', ■n r Ii.'jfi!) • 1111,

Castle view I.I.S14 ■ 111 • IJ U ■ 1U,J Ị

Indoor] v i e w 1 (1 3-1' ■1111 1 *• I d 1'

Indoorl view U S G X U 3.G57 X 10°

Indoor2 view ] ' X K r 1 0.300 X 10°

I n d o o r v i e w 2 1.353 ■KJ1 ( 7 X I d ' '

Indoorl view 0.144 X l t r 0.348

Indoorl view 0.338 X IQ -2 0.352

Indoor2 view I 0.G32 X 1 -5 1.008

Indoor2 view 0.210 X 10-3 0.875

Table 3: Reprojection error with/wiihout (he normalization

the C a s t l e sequence, the condition number is not re­ duced as much Consequently, (he error did nol re­ duce much It even increases slightly when addins the first view We will have 10 examine Lhis case fur­

ther together with the instability problem mentioned previously

5 Conclusions

In this paper we have introduced a simple coordi­ nate normalization technique for structure IIpdiile in a practical metric reconstruction framework [I], In gen­ eral wilh both synthetic and real data, this lechmque

i m p r o v e s Ih c r e s u l t s i g n i f i c a n t l y T h e r e ar c h o w e v e r

cases that [his technique does not help Ill synthetic data the number of those cases is about Vi. But since

the le c l i n i c ] u c h a s a v e r y l o w c o m p u t a t i o n a l c o s t , o n e a m a l w i i y s ir v il 1'CjccL i f th e r c s u l l is n o i i m ­ p r o v e d

References

[1] M Pollefeys Visual modeling with a hand-held camera I n w r i i a t i o i u i i J o u r n a l o f C o m p u t e r Vi­ s io n , 59:207-232, 2004

[2] J Ponce, K McHenry, T Papudopoulo, M Teil- laud, and B Trigiis On the absolute quadratic c o m p le x a n d its a p p lic a t io n to a u t o c u lib n u io n

I E E E C o n f e r e n c e o n C o m p u t e r Vision a n d P a t­ tern Rcc oỊỊiiiiKm, 2005

[3] M Han and T Kamide A perspective factor­ ization method for ciiL'lidean reconstruclion wilh linealibrated cameras J o u r n a l o f V ism ilizttiia n tint! C o m p u t e r A n i m a t i o n , pages ] -223 2002

[4] R Hartley and A Zisserman M u l t i p l e vi e w l Ịc a m c lry 11 c a m p i u c r v is io n - m l t'lliliiui

CamhriilCL’ UnixLM'sil)' Press, 2004.

[51 R lUirtk-v Ill tk'lcnsc of the eight-point ako-

rilhin I t i l ' lY tiii s m lin ns <111 I ’l i r w n i A n a l ) ' I S

u n c i M c l i ' l i i n t ' l n t i ‘l l i Ị ỉ i ’i i L T I CJ ( ) I W

[6| A Bat loll ;nnl I’ Sturm Multi-v iew NiriiL'luic

and million from line t'onvspondencev In ĩc n iíì -

l i a n c i l C i i i t j i ' r c i i c c (III (\! c l i l l i / t i l l e r 11 ) 1 1 , 2003

[8] G.H Golub and C.F Van Loan, m a t r i x C o m p u ­ tation - n d e d itio n Johns Hopkins University Press, 1996

[9] Q.T Luonc and T Vieville Canonical represen­ tations for the geometries of multiple projective views C o m p u t e r Vision a n d I m a g e U n d e r s t a n d ­ in g. 64(2) 1996

Trung Kien D ang and The D uy Bui

College o f Technology, Vietnam National University, Hanoi

Email: duybt@vnu.edu.vn ABSTRACT

3D models are getting more and more attention from the research community The application potential o f 3D models is enormous, especially in creating virtual environments In Vietnam National University - Hanoi, there is a need for a test-bed 3D environment for research in virtual reality and advance learning techniques This need raises a very good motivation for the research o f 3D reconstruction In this paper, we present our work toward the creating o f a 3D model of Vietnam National University - Hanoi automatically from image sequences We use the reconstruction process proposed in [1], which consists o f four main steps: Feature Detection and Matching, Structure and Motion Recovery, Stereo Mapping, and Modeling Moreover, we develop a new technique for the structure update step By applying proper transformation on the input of the step, we have produced a new simple but effective technique which has not been considered before in the literature

1 INTRODUCTION

Recently, 3D models are getting more and more attention from the research community The application potential o f 3D models is enormous, especially in creating virtual environments A 3D model o f a museum allows the user to visit the museum “virtually” just by sitting in front o f the computer and clicking mouse A security officer of an university can check the classroom “virtually” through the computer This is the result of mixing real information from security camera with a 3D model In order to build 3D models, the tradition is normally used, in which technicians builds the 3D models manually and then apply the texture on these models This method requires enormous manual effort With five technicians, it may require three to six months to build a 3D model When a change is needed, manual effort is required again The model may even have to rebuild from the scratch A new approach is investigated to reduce the human effort is to build 3D models automatically from video sequences

In Vietnam National University - Hanoi, there is a need for a test-bed 3D environment for research in virtual reality and advance learning techniques This need raises a very good motivation for the research o f 3D reconstruction Again, the question is how to create a 3D model o f Vietnam National University - Hanoi with the least human effort

applying proper transformation on the input o f the step, we have produced a new simple but effective technique which has not been considered before in the literature

Section gives an overview o f the 3D reconstruction process that we use to build the 3D model We then propose our technique for the structure update step in Section We then show the experiments that we have done to show the effectiveness of our technique in Section

2 THE 3D RECONSTRUCTIO N PROCESS

We follow the 3D reconstruction process implemented in [1], which is illustrated in Figure The process consists o f four main steps: Feature Detection and Matching, Structure and Motion Recovery, Stereo Mapping, and Modeling These steps will now be discussed in more details

Fig Main tasks of 3D reconstruction with detail of the Structure and Motion recovery step

2.1 Feature Detection and Matching

relation between the views and the correspondences between the features Among the main steps o f the 3D reconstruction it is extremely important for the accuracy o f the final model s in c e It d e f in e s th e “ s k e le to n ” o f the m odel T h e p ro c e ss Stan w ith creatin g an

initial reconstruction frame with two images Two images suitable for the initialization process are selected so that they are not too close to each other on the one hand and there are sufficient features matched between these two images on the other hand The reconstruction frame is then refined and extended each time a new view (image) is added The pose of the camera for each new view is estimated so that views that have no common features with the reference views also becomes possible A projective bundle adjustment can be used to refine the structure and motion after it is determined for the whole sequence o f images This is recommended to be done with a global minimization step Nevertheless, the reconstruction so far is only determined up to an arbitrary projective transformation This is not sufficient enough for visualization Therefore, the reconstruction need to be upgraded to a metric one, which is done by a process called self-calibration which imposes some constraints on the intrinsic camera parameters Finally, in order to obtain an optimal estimation o f the structure and motion, a metric bundle adjustment is used

2.3 Stereo Mapping

At this stage, the methods developed for calibrated structure from motion algorithms can be used as the camera calibration has been done for all viewpoints o f the sequence Although the feature tracking algorithm has produced a sparse surface model, this is not sufficient to reconstruct geometrically correct and visually acceptable surface models A dense disparity matching step is required to solve this problem The dense disparity matching is done by exploiting additional geometrical constraints which is performed in several steps: (i) image pairs are rectified so that epipolar lines coinciding with the image scan lines which reduces the correspondence search to a matching o f the image points along each image scan-line; (ii) disparity maps are computed through a stereo matching algorithm; (iii) a multi-view approach integrates the results obtained from several view pairs by fusing all independent estimates into a common 3D model

2.4 3D Modeling

To reduce geometric complexity, a 3D surface is approximated to the point cloud generated by previous steps This step also tailors the model so it can be displayed by a visualization system

3 COORDINATE NORMALIZATION FOR STRUCTURE UPDATE

projection matrices A practical approach was proposed in [1], First the fundamental matrix o f the two initial views is decomposed into two projection matrices The first 3D points, i.e the initial projective structure, are than recovered by finding the intersections of back-projected rays, a triangulation process Then projections o f the initial 3D points on a new view are found to establish the equation system which allows adding that view to the projective structure The view adding process is iterative and is called structure update

For each 3D to 2D correspondence (X, x), from the projection equation X = PX, we have two equations to compute the projection matrix o f the new view

-A " | (1 j

()(4) - A ’

J-nA ’ • n Y

Pi P'2

Px _

= ( 1)

w here p, (i = 1,2,3) are ro w v e c to r s o f the n e w v i e w ’s p ro je c tio n m a trix P l)ew

Since we have 12 unknowns (recall that p is a 3*4 matrix), at least six correspondences are required to solve the problem

Based on our real data observation we assume the X, (i = 0,1,2) are about 10 and similar to [7] Xj (i= ,l) are about 100 Let A denote the coefficient matrix For the assumed values the corresponding entries o f a row of A are o f the following magnitude r(—10, - , - , - , 0, 0, 0, 0, 103, 103, o3, 102) The entries o f A1 A are approximated rr1 = (102, \ 102, 1, 0, 0, 0, 0, 10ù, 106, 106, 104) That means the values of the entries range from to 108 For an intuitive stability analysis, we can assume that the diagonal of At A is (106, 1)

Let Xj denote an eigenvalue o f the matrix (Xj <Xj , i < j), and M|2 - A rA We wish to estimate the condition number K = Xi(Mi2)/ Xi2( M |2) Given that A1 A is symmetric, and

using the Interlacing Property [8], we can deduce two facts: (i) the largest eigenvalue of Mi: is no less than the largest diagonal entry X|(Mi:) > \ (ii) and the smallest one Xi:(M|ị) < X|(M|) = Thus the condition number o f M i2 is K = \ | / X]2 > (), which is a very large number Here implies that noise can have significant impact

Coordinate normalization before the structure update can reduce the condition number Because we must maintain the consistency over the projection matrix chain, the transformation must be the same for every frame Hence we have to find a transformation based on the expected values o f the data rather than specific values The assumption we

used h ere is that the fe a tu re p o in ts are d istrib u te d u n if o r m ly a r o u n d i m a g e s ’ c e n te r and

that the fixed frames’ size is known

1

in which U ’ and h are the frames’ width and height respectively.

After that, to equal the magnitudes of homogeneous coordinates, the scaling transformation should reduce the average distance o f feature points to their centroid For simplicity we use the following transformation to get that effect:

in which k is a scalar In our experiments it is set to \ - as we want to limit coordinates to a (1, 1) rectangle Consequently, 3D points of the projective structure are scaled to seemingly fit into a unit box

Together the transformation is:

This transformation will minimize the effect o f unbalanced coordinate magnitudes Below we will explain how to apply it in more detail

3.2 How to apply the technique

In this sub-section we explain more of how to apply the techniques and its relation to other methods Also we show how to adjust others once our technique is applied

Although the technique is to improve the structure update, it must be applied before the structure initialization for two reasons: (i) to keep the added views’ consistent 10

initial views, (ii) and to reduce the unbalance among elements o f initial 3D points As it is applied before the structure initialization, the threshold to decide on outliers in the robust fundamental matrix computation must be adjusted

The normalization to prepare for the metric upgrade [1] should also be adjusted There is no need to translate the origin to the center o f the images anymore The U' and h are new scaled dimensions o f the picture Thus K.\ should now be:

k

s / I V - + h u

0

k

(3)

r.Y = T s T t ( )

0

( ? )

synthetic experiment setup IS based on some related work The real data include one

traditional s e q u e n c e in D re c o n s tru c tio n and tw o o thers from o u r e x p e rim e n ta l video for

the application we are aiming at the reconstruction of Vietnam National University, Hanoi

1 Projective structure initiation

(a) Im a g e coordinate norm alization with T \ :

y = I ' x X

(b) C om pute F with adjusted outlier threshold D e­ com pose projection matrices from F

(c) Triangulate ro initiate the projective 3D point cloud

(cl) A d d views 2 Metric u p g r a d e

(a) P rojection matrices normalization w ith adjusted

K 'N : Pk = h ’x l r

(b) C om pute metric upsracle homoaraphy u p g r a d e the structure and morion

Tiìble Normalizations, in Structure and M otion recovery

4.1 Synthetic data

Synthetic input used is a random 3D point cloud uniformly distributed within a cubic To their projections onto frames and the principal point with zero mean Gaussian error of standard deviation o f Ơ.5 and 0.1 point is respectively added The setup is based on the setup o f experiments in [9, 1] and the assumption that the image point error is mainly caused by the digitization The result is the average o f 100 runs

Evaluation criteria are twofold The condition number graph shows how our technique reduces the sensitity o f the solution to input noise The reprojection error is used to evaluate the actual improvement Since the frames are scaled down by normalization, the absolute geometric error no longer reflects the improvement Thus to measure the geometric improvement, we convert the reprojection error back to the original coordinate scale Lisina this equation

/ ’A ' - r j

I /•/■ — -: : - (O)

8

7

ầ

£

—i

I 1 4

o o o J o

05

o *-1

0

10 20 30 40 50

n um ber o f co rre sp o nd e n ce s

Fig L0 2IO o f condition number vs num ber o f corre­ spondences 0 a>

p -

c_ tu o cn _o -4

10 20 30 40 50

n u m b e r of co rrespondences

Fiợ L0 2IO o f reprojection eiTor vs num ber o f corre­ spondences

— Norm alization — No norm alization

o

o o

0 -1 -1 - - -I -

1 -0 0.4 0.6 0.8 I 1.2 1.4 1.6

S tan dard d e v ia tio n o f in p u t n o is e (p ixe l)

Fig L o s lO o f condition num ber vs input noise

Figure shows the average condition number on a logarithmic scale with respect to the number of points used to add a new view Note that the condition number without normalization is about 107, close to our estimate in the previous section It is reduced about 104 to 105 times This helps to achieve a better result as showed in Figure The reprojection error is reduced from about 1.0 to less than 0.01 pixel

0

Normalization No normalization

o

Ũ

o

-4

-6

0 0.4 0.6 1.2 I J 16

S ta n d a rd deviation of input noise (p ix el)

F i ,T L o e lO o f l'eprojection error vs input noise

To see the relation between input n o i s e and output error we fix the number of

The results are however not always stable in the normalized case It is probably because in some cases the assumptions not hold thus the condition number and consequently the error is not reduced as expected We will have to examine those cases further

4.2 Real data

The new technique is tested with real images o f Vietnam National University - Hanoi (see Figure 6) In addition compared to the process explained in Table RANSAC is used in the structure update in order to reject outliers that cannot be rejected when computing F In most o f the cases the result is similar to the synthetic experiment’s result

In this sequence we used four frames, two to initiate the structure and two for added views, in order to have enough views for metric upgrade [9], Figure shows the feature points detected on the image sequences, while Figure shows how these features points are matched

The condition number and reprojection error are given in table and respectively As can be seen from the table, the result shows that technique has improved the condition number and reprojection error for the image sequence This is rather close to the synthetic result

After the 3D reconstruction process, the generated point cloud is shown in Figure Using polar rectification [11] and a simple dynamic programming stereomapping we generate the final 3D model o f Vietnam National University - Hanoi that is shown in Figure 10 Due to the simplicity o f the stereo mapping algorithm, detail o f the model is lost In future, to improve the quality we will try to use higher quality images as well as apply more sophisticated algorithms (e.g [12, 13])

Seq N orm N on N orm View View 3053.945774 4745.-1-15046 12733610.731249 7462514.512543

T ab le C ondition n um ber w ith without the norm alization

Seq, N orm Non N o u n View :

View j?

II I'll 1047'J

II 0(10367

lUl-UM iỉ n 063270

Fig Experimental imaee sequences o f Vietnam National University

F ig Fen mì'? p o in ts d e te c te d 011 the lin a s e s e q u e n ce s o f V ie tn a m N a tio n a l U n iv e r sity b y SIFT [10]

Fi<* 10 3D m odel o f Vietnam National University

5 CO NCLUSIO N

We presented in Ibis paper our work toward the creating of a 3D model o f Vietnam National University - H a n o i automatically from image s e q u e n c e s Using a reconstruction process proposed in 11 | we have generate a 3D model o f Vietnam National University - Hanoi with a fair overall quality The quality of the 3D m o d e l is improved by a new

Computer Vision, 59:207-232, 2004.

[2] R Hartley and A Zisserman M ultiple view geometry ill computer vision — 2nd

edition Cambridge University Press, 2004.

[3] J Ponce, K McHenry, T Papadopoulo, M Teillaud, and B Triegs On the absolute quadratic complex and its application to autocalibration IEEE Conference on Computer

Vision and Pattern Recognition, 2005.

[4] M Han and T Kanade A perspective factorization method for euclidean reconstruction with uncalibrated cameras Journal o f Visualization and Computer

Animation, pages 21 1-223, 2002.

[5] M Ming-Yuer) Chang and K Hong Wong Model reconstruction and pose acquisition using extended lowes method IEEE Transaction o f M ultimedia 7-2, 2005.

[6] Q.T Luong and T Vieville Canonical representations for the geometries of multiple projective views C om puter Vision and im age Understanding, 64(2), 1996.

[7] R.I Hartley In defense o f the eight-point algorithm IEEE Transactions on Pattern

Analysis and M achine Intelligence, 19(6), 1997.

[8] G.H Golub and C.F Van Loan M atrix Computation - 3iul edition Johns Hopkins University Press, 1996

[9] M Pollefeys, II.Koch, and L.v Gool Self calibration and metric reconstruction in spite of varying and unknown intrinsic camera parameters IEEE International

Conference oil C om puter Vision, 1998.

[10] D G Lowe Distinctive image features from scale invariant keypoints International

Journal o f Com puter Vision, 60(2), 2004.

[11] M Pollefeys, R Koch, and L.v Gool A simple and efficient rectification method for general motion International Conference on Computer Vision, 1999.

MA THỊ CHÂU

X Â Y D Ụ N G CÁC MƠ HÌNH CHIÈU s ủ D Ụ NG C A M E R A CÀM TAY

L U Ậ N V Ã N T H Ạ C s ĩ

MA THỊ CHÂU

X Â Y D ự N G CÁC MƠ HÌNH CHIÈU S Ử D Ụ NG C A M E R A CÀ M TAY

Ngành: Công nghệ thông tin M ã số: 1.01.10

L U Ậ N V Ă N T H Ạ C s ĩ

NGƯỜI HƯỞNG DẢN KHOA HỌC:

TS Bùi Thế Duy

Đ À O M I N H T H U

M Ô H ÌN H C H U Y Ẻ N Đ Ộ NG HÌNH NH ÂN 3D:*

T Ư Ơ N G T Á C NGƯỜI MÁY VÀ CÁC ÚNG DỤNG KHÁC

L U Ậ N V Ă N T H Ạ C s ĩ

Đ À O M I N H T H Ư

M Ơ H ÌN H CHƯ YEN Đ Ộ NG HÌNH NH ÂN 3D:■

T Ư Ơ N G T Á C NGƯỜI M ÁY VÀ CÁC ỦNG DỤNG KHÁC

N g n h : C ô n g nghệ t h ô n g tin M ã sổ: 1.01.10

L U Ậ N V Ã N T H Ạ C s ĩ

NGƯỜI HƯỞNG DẲN KHOA HỌC: TS BÙI Thế Duy

N G U Y Ễ N T H U H À

N G H I E N c u M O H I N H M Ặ T V A C Á C K Ỹ T H U Ậ T C H U Y N N Gã ô

L U Ậ N V Ã N T H Ạ C s ĩ

• • •

NGUYÊN THU HÀ

N G H I Ê N c ứ M Ơ H Ì N H M Ặ T V À C Á C K Ỹ T H U Ậ T C H U Y Ế N Đ Ộ N G

N g n h : C ô n g n g hệ t h ô n g tin M ã sổ: 1.01.10

LUẬN VÃN T H Ạ C s ĩ

NGƯỜI HƯỞNG DẢN KHOA HỌC: PGS TS Hồ Sỹ Đ m

Lê Qu a ng Bình

NG HIÊN CỨU ĐÁNH GIÁ s ự MƠ PHỎNG CẢM XÚC CHO NHÂN VẶT Ả o

K H O Á L U Ậ N T Ó T N G H I Ệ P Đ Ạ I H Ọ C H Ệ C H Í N H Q U Y N g n h : C ô n g N g h ệ T h ô n g Tin

Lê Qu a n g Bình

NGHIÊN CỨU ĐÁNH GIÁ s ự MÔ PHỎNG CẢM XÚC CIIO NHÂN VẶT Ả o

K H O Á L U Ậ N T Ó T N G H I Ệ P ĐẠI H Ọ C H Ệ C H Í N H Q U Y N g n h : C ô n g N g h ệ T h ô n g Till

C n h u ó i i g dẫn: TS Bùi T h ế D uy

N g u y ễ n T h ị T h a n h N g a

G I A O T I É P N G Ư Ờ I M Á Y V Ớ I K H U Ô N M Ặ T H O Ạ T H Ì N H

K H Ó A LUẬN T Ố T N G H I Ệ P Đ Ạ I H Ọ C H Ệ C H Í N H QUY Ngành: Cô ng nghệ thông tin

HÀ N Ộ I - 2006

Nguyễn Thị T h a n h Nga

G IA O T I É P N G Ư Ờ I M Á Y V Ớ I K H U Ô N M Ậ T H O Ạ T H Ì N H

K H Ó A LU ẬN T Ó T N G H I Ệ P ĐẠI H Ọ C H Ệ C H Í N H QUY N gàn h: Công nghệ thông tin

C n bơ h ó n g dẫn: TS Bùi Thế Duy

http://\vV A Y