Tìm hiểu phương pháp ghép ảnh

Ghép ảnh trong bao gồm các kỹ thuật sau: Trộn ảnh thông thường với một tỷ lệ nào đó Hình 1.5 Hai ảnh được ghép với nhau với cùng tỷ lệ 50%; Ghép ảnh dựa vào nắn chỉnh hình dạng Hình 1.6

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LUYỆN TUẤN ANH

TÌM HIỂU PHƯƠNG PHÁP

GHÉP ẢNH

LUẬN VĂN THẠC SĨ

HÀ NỘI - NĂM 2008

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LUYỆN TUẤN ANH

TÌM HIỂU PHƯƠNG PHÁP

GHÉP ẢNH

Ngành: Công nghệ Thông tin

Chuyên ngành: Khoa học Máy tính

Mã số: 60 48 01

LUẬN VĂN THẠC SĨ

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Ngô Quốc Tạo

HÀ NỘI - NĂM 2008

MỤC LỤC

CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT 6

DANH MỤC CÁC HÌNH 7

MỞ ĐẦU 8

Chương 1 –TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ GHÉP ẢNH 10

1.1 Xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh 10

1.1.1 Xử lý ảnh là gì? 10

1.1.2 Các vấn đề cơ bản trong xử lý ảnh 12

1.1.2.1 Biểu diễn ảnh 12

1.1.2.2 Nắn chỉnh biến dạng 13

1.1.2.3 Khử nhiễu 15

1.1.2.4 Nhận dạng ảnh 15

1.2 Ảnh ghép và các phương pháp ghép ảnh 15

1.2.1 Ảnh ghép 15

1.2.2 Các phương pháp ghép ảnh cơ bản 16

Chương 2 –CÁC PHÉP CHUYỂN ĐỔI KHÔNG GIAN ẢNH 18

2.1 Định nghĩa 19

2.2 Ánh xạ xuôi 19

2.3 Ánh xạ ngược 21

2.4 Các phép chuyển đổi tuyến tính 21

2.4.1 Phép tịnh tiến 22

2.4.2 Phép quay 23

2.4.3 Phép co dãn 23

2.4.4 Phép trượt 23

2.4.5 Phép chuyển đổi kết hợp 23

2.4.6 Phép chuyển đổi ngược 24

2.4.7 Kết luận về phép chuyển đổi tuyến tính 24

2.5 Chuyển đổi phối cảnh 25

2.5.1 Kết luận về phép chuyển đổi phối cảnh 25

2.5.1.1 Trường hợp 1: Hình vuông-Tứ giác 26

2.5.1.2 Trường hợp 2: Hình tứ giác-Hình vuông 27

2.5.1.3 Trường hợp 3: Hình tứ giác-Hình tứ giác 27

2.6 Chuyển đổi song tuyến 27

2.6.1 Nội suy song tuyến 28

2.6.2 Phân tách 29

2.6.3 Ánh xạ ngược 29

2.6.4 Lưới nội suy 30

2.7 Phép chuyển đổi đa thức 30

2.7.1 Phương pháp giả nghịch đảo 32

2.7.2 Bình phương cực tiểu với đa thức thường 33

2.7.3 Bình phương cực tiểu với đa thức trực giao 34

2.7.4 Bình phương cực tiểu với trọng số 37

2.8 Các phép chuyển đổi đa thức liên tục từng phần 38

2.8.1 Bề mặt phù hợp với mô hình trong nắn chỉnh hình học 38

2.8.2 Nội dung phép chuyển đổi đa thức liên tục từng phần 39

2.8.3 Phép đạc tam giác 40

2.8.4 Các mặt tam giác tuyến tính 40

2.8.5 Mặt tam giác bậc ba 41

Chương 3 –MỘT SỐ KỸ THUẬT GHÉP ẢNH 44

3.1 Ghép ảnh bằng cách trộn các điểm ảnh của các ảnh ghép 44

3.1.1 Công thức của Alvy Ray Smith và Ed Catmull 45

3.1.2 Công thức của Bruce Wallace và Marc Levoy 45

3.2 Ghép ảnh dựa vào nắn chỉnh hình học 45

3.2.1 Phương án giải quyết 45

3.2.2 Xây dựng hàm biến đổi 46

3.2.3 Phương pháp xác định sai số cho các điểm CP 47

3.2.4 Phương pháp HouseHoulder 49

3.2.5 Xác định các điểm điều khiển (CP) 52

3.2.6 Đánh giá sai số 53

3.3 Ghép ảnh theo phương pháp khảm (Mosaicing) 54

3.3.1 Giới thiệu 54

3.3.2 Hình học xạ ảnh 55

3.3.3 Đăng ký hình ảnh 57

3.3.3.1 Tương quan pha 57

3.3.3.2 Phương pháp dựa vào đặc trưng 59

3.3.3.3 Đăng ký ảnh toàn cục 63

3.3.4 Tái tạo hình ảnh (composing) 64

3.3.4.1 Phép chiếu (projection) 64

3.3.4.2 Hợp (blending) 64

3.3.4.3 Bù trừ phơi sáng (exposure compensation) 66

Chương 4 – ỨNG DỤNG 68

4.1 Các ứng dụng của các kỹ thuật ghép ảnh 68

4.2 Cài đặt kỹ thuật ghép ảnh dựa trên nắn chỉnh hình dạng 71

KẾT LUẬN 74

TÀI LIỆU THAM KHẢO 76

Tiếng Việt: 76

Tiếng Anh: 76

PHỤ LỤC 77

CÁC THUẬT NGỮ VÀ CÁC TỪ VIẾT TẮT

LS Least Squares

CCD Change Coupled Divice

DFT Discrete Fourier Transform

IFT Inverse Fourier Transform

FFT Fast Fourier Transform

IDFT Inverse Discrete Fourier Transform

DPI Dots Per Inch

DANH MỤC CÁC HÌNH

Hình 1.1 Các giai đoạn chính trong xử lý ảnh 11

Hình 1.2 Các thành phần chính trong hệ thống xử lý ảnh 11

Hình 1.3 Ảnh thu nhận 14

Hình 1.4 Ảnh mong muốn 14

Hình 1.5 Minh họa về việc giả mạo ảnh 16

Hình 1.6 Hai ảnh được ghép cùng tỷ lệ 50% 16

Hình 1.7 Hai ảnh được ghép với nhau dựa vào 17

hai tập các điểm đặc trưng được trọn trên 2 ảnh 17

Hình 1.8 Ảnh toàn cảnh được ghép từ 28 ảnh gốc 17

Hình 2.1 Ánh xạ xuôi 19

Hình 2.2 Mảng tích luỹ 20

Hình 2.3 Ánh xạ ngược 21

Hình 2.4 Một số phép nắn chỉnh tuyến tính 22

Hình 2.5 Ánh xạ tứ giác - tứ giác 26

Hình 2.6 Nội suy song tuyến 28

Hình 2.7 Nội suy song tuyến phân tách 29

Hình 2.8 Nội suy hình học của lưới nội suy 30

Hình 2.9 Các biến dạng hình học phổ biến 31

Hình 3.1 Trộn ảnh 44

Hình 3.2 Sơ đồ kỹ thuật ghép ảnh dựa vào nắn chình hình dạng 46

Hình 3.7 Sơ đồ quá trình khảm ảnh 54

Hình 3.8 Biến đổi xạ ảnh thông thường 55

Hình 3.9 Biến đổi xạ ảnh “single view - point” 56

Hình 3.10 Tham số hoá hình cầu 56

Hình 3.11 IDFT của chuẩn hoá độ lớn phổ 58

Hình 3.12 Các bước trích chọn đặc trưng 60

Hình 3.13 Tham số hoá logarit cực 61

Hình 3.14 Tăng cường đăng ký 62

Hình 3.15 Đặc trưng trong ảnh bên trái và bên phải 62

Hình 3.16 Kết quả đăng ký 62

Hình 3.17 Một số hình ảnh đã đăng ký 65

Hình 3.18 Ảnh tái tạo hợp và không hợp 66

Hình 4.1 Ảnh ghép được tạo ra bằng việc trộn các điểm ảnh của hai ảnh vào nhau với một tỷ lệ nhất định gọi là tỷ lệ trộn alpha 68

Hình 4.2 Ghép ảnh bản đồ 70

Hình 4.3 Ghép ảnh toàn cảnh 71

MỞ ĐẦU

Ngày nay, với sự phát triển mạnh mẽ của ngành Khoa học máy tính cũng như sự bùng nổ của lĩnh vực Công nghệ thông tin đã đẩy nhanh sự phát triển của nhiều lĩnh vực như quân sự, y học, giáo dục, kinh tế, giải trí v.v Sự phát triển của phần cứng cả về phương diện thu nhận, hiển thị, cùng với tốc độ xử lý đã mở

ra nhiều hướng mới cho sự phát triển phần mềm, đặc biệt là Công nghệ xử lý ảnh

đã ra đời và phát triển nhanh Sức mạnh của các phần mềm soạn thảo và xử lý ảnh như Photoshop đã giúp cho việc tạo ra ảnh ghép ngày càng dễ dàng hơn Người ta tạo ra các ảnh ghép thường nhằm vào các mục đích như tạo ra các ảnh

có độ phân giải cao như ảnh bản đồ, tạo ra ảnh nghệ thuật, tạo hình ảnh trong phim hoạt hình, tái tạo hình ảnh tội phạm từ những mô tả v.v Do vậy, việc tạo

ra ảnh ghép là vấn đề phải đặt ra ngày càng cấp bách và càng trở nên khó khăn Mặc dù nhu cầu về việc ghép ảnh số đã được công nhận bởi cộng đồng các nhà nghiên cứu, nhưng hiện nay rất ít tài liệu có giá trị về lĩnh vực này Trong thực tế, người ta thường có tấm ảnh bản đồ to, hay một chuỗi các biến đổi ảnh con dê Æ ảnh con gà Æ ảnh con hổ Æ ảnh người đàn bà, hay những bức ảnh toàn cảnh có góc xem rộng hơn so với một tập ảnh gốc Ngày nay nhờ sự phát triển của khoa học kỹ thuật, người ta đã lưu trữ những bức ảnh trên trong máy tính Vậy làm sao để có thể chuyển được những bức ảnh này vào máy tính?

Người ta dùng scanner để quét bản đồ vào máy tính, những bức ảnh riêng rẽ của bức ảnh toàn cảnh được chụp từ máy ảnh Tuy nhiên, scanner không thể quét được cả một bản đồ to mà nó chỉ quét được từng phần và máy ảnh không thể chụp được những bức ảnh có góc xem rộng tuỳ ý mà phụ thuộc vào thấu kính của chúng Vấn đề đặt ra là làm cách nào có thể ghép các phần ghép vào với nhau để thành một bản đồ đúng và những bức ảnh nhỏ vào với nhau để thành một ảnh toàn cảnh có góc xem rộng

Trên đây đã điểm qua tầm quan trọng của vấn đề ghép ảnh và điều đó cho ta thấy rõ tính cần thiết cũng như tính thời sự đồng thời là ý nghĩa khoa học và thực

tiễn của vấn đề Nhận thức được điều này, tôi đã chọn đề tài: “Tìm hiểu phương pháp ghép ảnh” cho luận văn của mình

Bố cục của luận văn bao gồm phần mở đầu, phần kết luận và ba chương nội dung được tổ chức như sau:

Chương 1: Tổng quan về xử lý ảnh và ghép ảnh

Chương này trình bày tổng quan về một hệ thống xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh, đồng thời trình bày tổng quan về ghép ảnh, cụ thể là các dạng ảnh ghép cơ bản cùng các cách tiếp cận chính ghép ảnh

Chương 2: Các phép biến đổi không gian ảnh

Chường này trình bày các cơ sở toán học của các phép biến đổi không gian thường được sử dụng trong xử lý ảnh

Kết luận

Trình bày các kết quả đã đạt được của luận văn và đưa ra hướng pháp triển

Chương 1 – TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ GHÉP ẢNH

Chương này trình bày tổng quan về một hệ thống xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh, đồng thời trình bày tổng quan về ghép ảnh, cụ thể là các dạng ảnh ghép cơ bản cùng với các cách tiếp cận chính để ghép ảnh

1.1 Xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh

1.1.1 Xử lý ảnh là gì?

Xử lý ảnh là một khoa học tương đối mới mẻ so với nhiều ngành khoa học khác, nhất là trong quy mô công nghiệp, song trong xử lý ảnh đã bắt đầu xuất hiện những máy tính chuyên dụng Để có thể hình dung cấu hình một hệ thống xử lý ảnh chuyên dụng hay một hệ thống xử lý ảnh dùng trong nghiên cứu, đào tạo, trước hết chúng ta sẽ xem xét các bước cần thiết trong xử lý ảnh

Trước hết là quá trình thu nhận ảnh Ảnh có thể thu nhận qua camera Thường ảnh thu nhận qua camera là tín hiệu tương tự (loại camera ống kiểu CCIR), nhưng cũng có thể là tín hiệu số hóa (loại CCD-Change Coupled Device)

Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng (sensor), hay ảnh, tranh được quét trên scanner Tiếp theo là quá trình số hóa để biến đổi tín hiệu liên tục sang tín hiệu rời rạc (lấy mẫu) và số hóa bằng lượng hóa, trước khi chuyển sang giai đoạn xử lý, phân tích hay lưu trữ lại

Quá trình phân tích ảnh bao gồm nhiều công đoạn nhỏ Trước hết là công việc tăng cường ảnh để nâng cao chất lượng ảnh Do những nguyên nhân khác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh có thể bị suy biến Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật một số đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốc – trạng thái trước khi ảnh bị biến dạng Giai đoạn tiếp theo là phát hiện các đặc tính như biên, phân vùng ảnh, trích chọn các đặc tính, v.v

Cuối cùng, tùy theo mục đích của người sử dụng, sẽ là giai đoạn nhận dạng, phân lớp hay các quyết định khác Các giai đoạn chính trong quá trình xử lý ảnh được mô tả qua hình 1.1[1]

Hình 1.1 Các giai đoạn chính trong xử lý ảnh

Với các giai đoạn trên, một hệ thống xử lý ảnh gồm các thành phần tối thiểu như hình sau:

Hình 1.2 Các thành phần chính trong hệ thống xử lý ảnh

• Đối với một hệ thống xử lý ảnh thu nhận qua camera - camera như là con mắt của hệ thống Có 2 loại camera: camera ống loại CCIR và camera CCD Loại camera ứng với chuẩn CCIR quét ảnh với tần số 1/25 và mỗi ảnh gồm 625 dòng Loại CCD gồm các photo điốt và làm tương ứng một cường độ sáng tại

Thu nhận

(Camera, scanner,

sensor, )

Tiền xử lý (Nắn chỉnh, xóa nhiễu, )

Trích chọn đặc trưng

Hậu xử lý (Chính xác hóa, rút

đồ họa

một điểm ảnh với một phần tử ảnh (pixel) Như vậy, ảnh là tập hợp các điểm ảnh Số pixel tạo nên một ảnh gọi là độ phân giải

• Bộ xử lý tương tự thực hiện các chức năng sau:

• Chọn camera thích hợp nếu hệ thống có nhiều camera

• Chọn màn hình hiển thị tín hiệu

• Thu nhận tín hiệu video bởi bộ số hóa Thực hiện lấy mẫu và mã hóa

• Tiền xử lý ảnh khi thu nhận: dùng kỹ thuật bảng tra (Look Up Table)

• Bộ xử lý ảnh số gồm nhiều bộ xử lý chuyên dụng: xử lý lọc, trích chọn đường bao, nhị phân hóa ảnh

• Máy chủ đóng vai trò điều khiển các thành phần miêu tả ở trên

• Bộ nhớ ngoài: Dữ liệu ảnh cũng như các dữ liệu khác, để có thể chuyển giao cho các quá trình khác, nó cần được lưu trữ

™ Các khái niệm cơ bản trong xử lý ảnh

Điểm ảnh (pixel): Biểu diễn cường độ sáng hay một dấu hiệu nào đó tại

một tọa độ nào đó của đối tượng trong không gian Điểm ảnh là một hàm nhiều biến P(x1, x2, , xn) trong đó n là số chiều của ảnh

Ảnh: là một tập hợp các điểm ảnh, thông thường được biểu diễn dưới dạng

ma trận các điểm ảnh

Mức xám: là kết quả của sự mã hóa tương ứng một cường độ sáng của một

điểm ảnh với một giá trị số - kết quả của quá trình lượng hóa Cách mã hóa kinh điển thường dùng 16, 32 hay 64 mức

Biểu đồ tần suất: Biều đồ tần suất của một mức xám g của ảnh I là số điểm

Ảnh được lưu trữ trong bộ nhớ có ảnh hưởng rất lớn đến việc hiển thị, in ấn

và xử lý Ảnh là tập hợp các điểm ảnh có cùng kích thước do đó nếu sử dụng càng nhiều điểm ảnh thì ảnh càng mịn càng đẹp và càng thể hiện rõ hơn chi tiết

của ảnh, người ta gọi đặc điểm này là độ phân giải Việc lựa chọn độ phân giải phụ thuộc vào nhu cầu sử dụng và đặc trưng của từng loại ảnh cụ thể Chẳng hạn, ảnh dùng trong văn bản thường thể hiện dưới dạng đen trắng có độ phân giải 300 DPI, ảnh bản vẽ, bản đồ có độ phân giải 200DPI

Trên cơ sở đó, các ảnh được biểu diễn theo 2 mô hình cơ bản là RASTER

và VECTOR

Mô hình RASTER:

Theo mô hình này, ảnh được biểu diễn dưới dạng ma trận các điểm ảnh Tùy theo yêu cầu thực tế mà mỗi điểm ảnh được biểu diễn bằng một hoặc nhiều bít

Ngày nay thiết bị phần cứng phát triển nhưng chủ yếu là theo định hướng Raster cho cả thiết bị đầu vào cũng như đầu ra Ví dụ: máy in, máy quét v.v Một trong những nghiên cứu chủ yếu trong mô hình raster là kỹ thuật nén ảnh, chia ra 2 khuynh hướng là nén bảo toàn và nén không bảo toàn thông tin Nén bảo toàn thông tin là có khả năng phục hồi hoàn toàn dữ liệu ban đầu Nén không bảo toàn thông tin là có khả năng phục hồi dữ liệu ban đầu nhưng với sai

số chấp nhận được Trên cơ sở đó người ta đã xây dựng được nhiều khuôn dạng ảnh khác nhau: *.pcx, *.tif, *.gif, *.jpg, *.jpeg, v.v

Mô hình VECTOR:

Ảnh lưu trữ trên máy tính ngoài yêu cầu về giảm không gian lưu trữ, thời gian xử lý, dễ dàng cho hiển thị và in ấn còn phải đảm bảo dễ dàng trong lựa chọn, sao chép, di chuyển và tìm kiếm Theo những yêu cầu này, kỹ thuật biểu diễn Vector tỏ ra ưu việt hơn

Trong mô hình Vector, ảnh được biểu diễn bởi các điểm ảnh và các đường thể hiện hướng của một điểm Ảnh dạng Vector được thu nhận từ các thiết bị như sensor, digitalier, v.v

Ngày nay, các thiết bị phần cứng phát triển mạnh theo hướng Raster cho cả đầu vào và đầu ra nên một trong những nghiên cứu chủ yếu của mô hình Vector

là tập trung cho chuyển đổi từ ảnh Raster sang ảnh Vector

1.1.2.2 Nắn chỉnh biến dạng

Ảnh thu được sau quá trình thu nhận thường bị biến dạng do những thiết bị quang học và điện tử Do đó cần phải có khâu nắn chỉnh biến dạng

Hình 1.3 Ảnh thu nhận

Hình 1.4 Ảnh mong muốn

Để nắn chỉnh biến dạng ta dựa vào tập các điểm điều khiển

'

( , ) (P P i i i=1, , ).n

Cần tìm hàm: f P: i → f P( )i sao cho:

2 ' 1

n

i i i

Giải hệ phương trình tuyến tính tìm được a1, b1, c1

Tương tự tìm được a2, b2, c2 Æ Xác định được hàm f

- Nhiễu ngẫu nhiên: là các vết bẩn không rõ nguyên nhân Loại nhiễu này thường khó khử, tùy vào từng ảnh cụ thể mà có cách khắc phục Thông thường

sử dụng các phép lọc

1.1.2.4 Nhận dạng ảnh

Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người ta muốn đặc tả nó Quá trình nhận dạng thường đi sau quá trình trích chọn các đặc tính chủ yếu của đối tượng Có hai kiểu mô tả đối tượng:

- Mô tả tham số (nhận dạng theo tham số)

- Mô tả theo cấu trúc (nhận dạng theo cấu trúc)

Trên thực tế, người ta đã áp dụng kỹ thuật nhận dạng khá thành công với nhiều đối tượng khác nhau như: nhận dạng ảnh vân tay, nhận dạng chữ (chữ cái, chữ số, chữ có dấu)

Nhận dạng chữ in hoặc đánh máy phục vụ cho việc tự động hóa quá trình đọc tài liệu, tăng nhanh tốc độ và chất lượng thu nhận thông tin từ máy tính

Nhận dạng chữ viết tay (với mức độ ràng buộc khác nhau về cách viết, kiểu chữ, v.v ) phục vụ cho nhiều lĩnh vực

Ngoài hai kỹ thuật nhận dạng trên, hiện nay một kỹ thuật nhận dạng mới

dựa vào kỹ thuật mạng nơron đang được áp dụng và cho kết quả khả quan

tạo lập từ 3 bức ảnh: Nhà trắng, Bill Clinton và Saddam Hussein Bill Clinton và Saddam Hussein được cắt và dán vào bức ảnh Nhà trắng Các hiệu ứng về bóng

và ánh sáng cũng được tạo ra làm cho bức ảnh nhìn có vẻ hoàn toàn như thật

Hình 1.5 Minh họa về việc giả mạo ảnh

1.2.2 Các phương pháp ghép ảnh cơ bản

Ghép ảnh thường chia làm hai loại chính Loại thứ nhất là ghép ảnh trong

(Transparent Image Merging), tức là các vùng ảnh được ghép với nhau một cách

trong suốt, chúng ta có thể quan sát được tất cả các vùng ảnh của các ảnh ghép

Loại thứ hai là ghép ảnh đục (Opaque Image Merging) là các phần ghép thêm

vào thì che đi các vùng trên ảnh bị ghép

Ghép ảnh trong bao gồm các kỹ thuật sau: Trộn ảnh thông thường với một

tỷ lệ nào đó (Hình 1.5 Hai ảnh được ghép với nhau với cùng tỷ lệ 50%); Ghép ảnh dựa vào nắn chỉnh hình dạng (Hình 1.6 Hai ảnh được ghép với nhau dựa vào các phép nắn chỉnh theo hai tập các điểm đặc trưng được trọn trên 2 ảnh)

Hình 1.6 Hai ảnh được ghép cùng tỷ lệ 50%

Hình 1.7 Hai ảnh được ghép với nhau dựa vào hai tập các điểm đặc trưng được trọn trên 2 ảnh

Ghép ảnh đục bao gồm các kỹ thuật sau: kỹ thuật để tạo ra ảnh toàn cảnh (panorama) hay image mosaicing (Khảm ảnh), kỹ thuật ghép ảnh bản đồ Trong

ví dụ ở dưới ảnh toàn cảnh được tạo ra từ 28 ảnh nhỏ khác [10]

Hình 1.8 Ảnh toàn cảnh được ghép từ 28 ảnh gốc

Chương 2 – CÁC PHÉP CHUYỂN ĐỔI KHÔNG GIAN ẢNH

Vấn đề cơ bản của các phép chuyển đổi hình học là ánh xạ từ một hệ toạ độ này sang một hệ toạ độ khác Đó chính là phép chuyển đổi không gian Phép chuyển đổi không gian là một hàm ánh xạ thiết lập một không gian tương ứng giữa tất cả các điểm trong ảnh và ảnh đã biến đổi Cho một phép chuyển đổi không gian, mỗi một điểm ở ảnh đầu ra sẽ có một điểm tương ứng ở ảnh đầu vào

Tuỳ thuộc vào các ứng dụng, các hàm ánh xạ chuyển đổi không gian sẽ có công thức khác nhau Các phép chuyển đổi cơ bản bao gồm affine, chiếu, song tuyến và chuyển đổi đa thức Các hàm ánh xạ phức tạp hơn có thể được xác định

từ các điểm điều khiển (control points) rời rạc mà trong đó không gian tương

ứng đã biết

Các công thức cơ bản đề cập tới ở đây là các phép chuyển đổi ma trận thuần nhất Có hai lớp ánh xạ không gian hai chiều đồng phẳng: Chuyển đổi

tuyến tính (affine transformations) và chuyển đổi phối cảnh (perspective

transformations) Những biến đổi không đồng phẳng phổ biến hơn đối với phép

chuyển đổi tuyến tính là các phép biến đổi song tuyến (bilinear

transformations) Sau đây sẽ đề cập tới đặc tính hình học của ba phép chuyển

đổi này và điểm qua các công thức toán học cần thiết cho phép chuyển đổi ngược và đưa ra các kết luận về các ánh xạ này

Trong nhiều trường hợp, biến dạng ảnh thường được đặc trưng bởi phép chuyển đổi đa thức Nó phổ biến trong các ứng dụng hiệu chỉnh hình học

(geometric correction), trong đó các mô hình biến dạng không gian thích hợp

với đa thức bậc thấp Điều quang trọng ở đây là phải đưa ra được các hệ số của

đa thức một cách chính xác Trong phần này sẽ giới thiệu một vài phương pháp phân tích số để giải ra các hệ số này Trường hợp biến dạng cục bộ người ta sử dụng phép chuyển đổi đa thức liên tục từng đoạn Nó cho phép các hệ số biến thiên trong khoảng nào đó

Trong trường hợp tổng quát, biểu diễn dưới dạng bề mặt nội suy để đưa ra cái nhìn sâu sắc hơn đối với vấn đề này (và các giải pháp của nó) Cái nhìn rộng lớn hơn này xuất phát từ nhận thức rằng các hàm ánh xạ có thể biểu diễn như là hai bề mặt, mỗi bề mặt gắn với một song ánh giữa các điểm hai chiều trong ảnh gốc và ảnh nắn chỉnh Cách tiếp cận này làm đơn giản hoá việc sử dụng hàm ánh

xạ phức tạp hơn các hàm đa thức Sau đây sẽ đề cập tới các thuật toán nội suy bề mặt

2.1 Định nghĩa

Phép chuyển đổi không gian xác định mối quan hệ hình học giữa các điểm

ở ảnh đầu vào và ảnh đầu ra Ảnh đầu vào bao gồm toàn bộ các điểm tham chiếu

mà toạ độ của nó được biết trước một cách chính xác Ảnh đầu ra gồm thông tin

về các điểm quan sát tức là các điểm đã được nắn chỉnh (warped data) Hàm ánh

xạ tổng quát có thể có hai dạng: quan hệ giữa hệ toạ độ vào với hệ toạ độ ra và ngược lại Nói một cách khác ta có thể biểu diễn hàm ánh xạ dưới dạng sau:

[x, y] = [X(u, v), Y(u, v)]

hoặc

[u, v] = [U(x, y), V(x, y)]

trong đó [u, v] là toạ độ của ảnh đầu vào tương ứng với điểm ảnh [x, y] ở đầu ra

X, Y, U và V là các hàm ánh xạ tuỳ ý xác định phép chuyển đổi không gian duy nhất Nếu X và Y ánh xạ đầu vào thành đầu ra, ta có ánh xạ xuôi Ta có ánh xạ ngược khi U và V ánh xạ các điểm đầu ra thành đầu vào

2.2 Ánh xạ xuôi

Hình 2.1 Ánh xạ xuôi

Ánh xạ xuôi là ánh xạ các điểm ảnh vào thành các điểm ảnh đầu ra tại các

vị trí được xác định bởi hàm ánh xạ X, Y Mỗi một điểm ảnh đầu vào qua các phép chuyển đổi không gian tạo nên giá trị toạ độ mới Toạ độ các điểm ảnh bao giờ cũng là các số nguyên nhưng khi qua phép chuyển đổi không gian thì chúng

có giá trị thực Vì vậy các điểm ảnh vào được ánh xạ từ tập các số nguyên sang tập các số thực

Trong miền liên tục, các điểm ảnh được coi như các điểm, hàm ánh xạ là ánh xạ xuôi Tuy nhiên, trong miền rời rạc, các điểm ảnh được xem như là các phần tử hữu hạn nằm trên dãy số nguyên Như vậy sẽ gây ra tính không tương thích khi thực hiện phép chuyển đổi không gian mà nó được coi là ánh xạ điểm

thành điểm Nếu vậy thì gặp phải hai vấn đề: lỗ (holes) và phần đè lên nhau (overlaps) Lỗ là vị trí các điểm ảnh không được xác định Vấn đề này xảy ra khi

ánh xạ liên tục các mẫu vào sang các vị trí rời rạc ở đầu ra Chẳng hạn như trong hình thì E’ là lỗ Ngược lại phần đè lên nhau xảy ra khi một loạt các mẫu vào ánh xạ tới một điểm ảnh ra như trong hình là điểm F’ Điều này thường xảy ra

do các phép làm tròn số trong hàm ánh xạ hoặc do ánh xạ nhiều - một từ đầu vào tới đầu ra

Các lỗi của ánh xạ điểm - điểm có thể tránh được nếu sử dụng ánh xạ 4 góc

(four-corner mapping) Coi các điểm ảnh vào như là một mặt hình vuông và ta

ánh xạ hình vuông này thành một hình bốn cạnh tuỳ ý ở đầu ra Nó cho các điểm vẫn liên tục sau phép ánh xạ

Do các mẫu vào sau phép ánh xạ nó có thể nằm ở bất kỳ vị trí nào ở đầu ra nên các điểm ảnh đầu vào sau phép ánh xạ có thể nằm trên một vài điểm ảnh hoặc nằm gọn trong một điểm ảnh nào đó Hai trường hợp này được đưa ra trong hình sau:

Hình 2.2 Mảng tích luỹ

Như vậy cần phải có một mảng tích luỹ để tổ hợp các sự đóng góp của đầu vào tại mỗi điểm ảnh ra Do đó, phải xác định các đoạn đóng góp tại mỗi điểm ảnh ra và tổ hợp tất cả các đoạn đóng góp Các đóng góp cục bộ ( từng phần) được xử lý bằng cách lấy tỷ lệ cường độ đầu vào với phần của điểm ảnh được che phủ Như vậy phải có các điểm tra giao để tính độ che phủ Mỗi một vị trí trong mảng tích luỹ được định giá là ∑

=

N

i i

i f w

0

, trong đó fi là giá trị đầu vào, wi là trọng số phản ánh độ che phủ của nó tại đầu ra, N là tổng số các điểm tích luỹ tại điểm ảnh ra này

Ánh xạ bốn góc cho phép tránh được lỗ trên các ảnh ra Tuy nhiên, mô hình này dẫn tới hai vấn đề trong quá trình ánh xạ xuôi Đầu tiên, giá phải trả cho việc kiểm tra phần giao phải dựa trên trọng số Thứ hai, sự phóng to có thể là nguyên nhân của việc cùng một điểm vào được ánh xạ thành nhiều điểm ra trừ khi ta thêm vào các điều kiện lọc

Cả hai vấn đề trên có thể được giải quyết lại bằng cách lấy mẫu phù hợp đầu vào dựa trên kích thước của hình tứ giác được chiếu Nói một cách khác, nếu các

điểm ảnh vào được ánh xạ thành một vùng trên ảnh ra thì lặp lại việc chia nhỏ điểm ảnh vào cho đến khi vùng chiếu đạt tới một giới hạn nhỏ nhất chấp nhận được, chẳng hạn là một điểm ảnh Khi tỷ lệ mẫu tăng, trọng số hội tụ tới một giá trị đơn

Mẫu đồng dạng của ảnh vào không đảm bảo mẫu đồng dạng của ảnh ra trừ khi X và Y là ánh xạ tuyến tính Đối với ánh xạ phi tuyến (phối cảnh hoặc song tuyến….) thì mẫu vào phải được lấy theo một tỷ lệ của sự biến đổi không gian Một cách tổng quát, ánh xạ xuôi rất có lợi khi ảnh vào được đọc liên tục hoặc khi nó không chiếm toàn bộ bộ nhớ

2.3 Ánh xạ ngược

Hình 2.3 Ánh xạ ngược

Ánh xạ ngược ánh xạ các toạ độ ra thành toạ độ vào qua hàm U và V Hình

vẽ trên cho thấy ánh xạ ngược Mỗi một điểm ở đầu ra được ánh xạ ngược lại thành điểm ở đầu vào qua hàm ánh xạ chuyển đổi không gian Các điểm ảnh ở đầu ra có giá trị toạ độ là các số nguyên Nó được ánh xạ thành các điểm ở đầu vào có giá trị thực Như vậy phải có một bước nội suy để lấy ra các giá trị vào ở các vị trí không xác định

Không giống như ánh xạ xuôi điểm-điểm, ánh xạ ngược đảm bảo tất cả các điểm ra đều được tính Do vậy, nó hay được dùng để lấp lỗ của ảnh sau khi nắn chỉnh

Nói chung, các hàm ánh xạ xuôi và ngược được sử dụng trong hiệu chỉnh hình học và biến dạng hình học Nó được thể hiện dưới nhiều công thức khác nhau Sau đây sẽ đề cập tới một số công thức này dùng cho các phép chuyển đổi không gian

2.4 Các phép chuyển đổi tuyến tính

Rất nhiều phép chuyển đổi không gian đều sử dụng ma trận chuyển đổi T 3x3 Ở đây, chỉ đề cập tới các phép chuyển đổi ảnh hai chiều tức là ánh xạ gữa hai hệ toạ độ uv và xy Trong trường hợp tổng quát, ta có:

[x’, y’, w’] = [x, y, w]T

23 22 21

13 12 11

a a a

a a a

a a a T

Ma trận này chứa đựng các phép co dãn (scaling), trượt (shearing), quay (rotation), tịnh tiến (translation) và phối cảnh trong ảnh hai chiều

Cách biểu diễn tổng quát của phép chuyển đổi tuyến tính là:

0 1

, , 1 , ,

32 31

22 32

12 11

a a

a a

a a v u y x

Ánh xạ tuyến tính được đặc trưng bởi ma trận chuyển đổi trong đó cột cuối cùng tương đương với [0, 0, 1]T Nó tương ứng với mặt phẳng chiếu song song

(parallet plane projecion) hoặc trực giao (orthographic) từ mặt phẳng nguồn uv

sang mặt phẳng đích xy Ánh xạ tuyến tính bảo toàn tính song song của các đường thẳng, cho phép ta tránh được các trục bị ngắn lại khi biểu diễn chiếu hai chiều Hơn thế nữa nó còn bảo toàn tính cách đều nhau của các điểm (mặc dù khoảng cách này trong hai hệ toạ độ thực sự là khác nhau) Ánh xạ tuyến tính chứa đựng ánh xạ mặt phẳng Chẳng hạn, nó ánh xạ tam giác thành tam giác Tuy nhiên nó không đủ tổng quát để ánh xạ tứ giác thành tứ giác

Đối với phép chuyển đổi tuyến tính, các hàm ánh xạ xuôi sẽ là:

Tất cả các điểm được dịch tới vị trí mới bằng cách cộng thêm Tu và Tv vào

u và v Phép chuyển đổi tịnh tiến như sau:

0 0 1 1 , , 1 , ,

v

u T T

v u y x

0 cos sin

0 sin cos

1 , , 1 ,

θθ

v u y x

2.4.3 Phép co dãn

Tất cả các điểm được co dãn bởi hệ số co dãn Su và Sv cho toạ độ u và v Phép co dãn phóng to (thu nhỏ) được xác định bởi hệ số co dãn dương và ảnh thu được sẽ lớn hơn (nhỏ hơn) ảnh ban đầu Hệ số co dãn âm dẫn tới ảnh đối xứng, chẳng hạn như ảnh phản chiếu Hệ số co dãn không đều nhau thì dẫn tới ảnh bị méo

0 0

0 0 1

, , 1 ,

u

S

S v u y x

2.4.4 Phép trượt

Toạ độ co dãn được mô tả ở trên liên quan tới số hạng nằm trên đường chéo

a11 và a22 Xét trường hợp a11 = a22 =1 và a21 =0 Nếu a12 ≠ 0, x sẽ độc lập tuyến tính đối với u và v trong khi y vẫn phụ thuộc v Phép toán tương tự được áp dụng với trục v để tính giá trị mới cho y trong khi x vẫn không bị thay đổi Kết quả là ta có phép trượt Phép trượt dọc theo trục u là:

0 1

0 0 1 1 , , 1 , ,y u v H v x

Hv tạo cho x độc lập tuyến tính với v Tương tự, trượt dọc theo trục v là:

0 1 0

0 1

1 , , 1 , ,

u

H v

u y x

2.4.5 Phép chuyển đổi kết hợp

Ta có thể kết hợp nhiều phép chuyển đổi thành một phép chuyển đổi kết hợp đơn Sau đây là ví dụ về cách biểu diễn chuyển đổi kết hợp của các phép tịnh tiến rồi đến quay rồi đến co dãn

[x, y, 1]=[u, v, 1]Mcomp, trong đó

0 0

0 0 1

0 0

0 cos sin

0 sin cos

1

0 1 0

0 0 1

v u

v u

S T

T

θθ

sin cos

0 cos

sin

0 sin

cos

θθ

θθ

θθ

θθ

v u

v v

u u

v u

v u

T T

S T

T S

S S

S S

2.4.6 Phép chuyển đổi ngược

Theo như trên, ánh xạ xuôi là ánh xạ từ mặt phẳng có hệ toạ độ uv sang mặt phẳng có hệ toạ độ xy Như vậy ánh xạ ngược sẽ là ánh xạ từ mặt phẳng có hệ toạ độ xy sang mặt phẳng có hệ toạ độ uv nghĩa là từ mặt phẳng đích sang mặt phẳng nguồn

0 1

, , 1 , ,

32 31

22 21

12 11

A A

A A

A A y x v u

2.4.7 Kết luận về phép chuyển đổi tuyến tính

Một phép chuyển đổi tuyến tính có sáu bậc tự do, quan hệ trực tiếp với sáu

hệ số a11, a21, a31, a12, a22 và a32 Nếu coi ánh xạ tuyến tính tương đương với việc

mô tả các phép chuyển đổi thì sáu hệ số này lấy được từ toạ độ tương ứng của ba điểm không thẳng hàng hoặc ba điểm độc lập tuyến tính trên hai ảnh Giả sử (uk,

vk) và (xk, yk) với k = 0, 1, 2 là ba điểm trên ảnh tham chiếu và ảnh quan sát Phương trình sau sẽ biểu diễn mối quan hệ giữa chúng dưới dạng phương trình

ma trận Sáu hệ số của ánh xạ tuyến tính được xác định bằng cách giải hệ sáu phương trình tuyến tính trong phương trình sau:

1 1 1

1 1

32 31

22 21

12 11

2 2

1 1

0 0

2 2

1 1

0 0

a a

a a

a a v

u

v u

v u y

x

y x

y x

Viết gọn lại ta có X = UA

Để xác định các hệ số, ta phải giải A: A = U-1X

Như vậy, ở đây phải tính ma trận nghịch đảo U-1

Khi có nhiều hơn ba điểm thì ma trận U là không vuông và ta xác định xấp

xỉ các hệ số bằng giải hệ phương trình quá xác định (overdetermined) Trong

trường hợp này, ma trận U không phải là 3x3 mà là ma trận không vuông với số hàng nhiều hơn số cột Do vậy phải dùng phương pháp bình phương cực tiểu để giải

Như vậy, chỉ cần ba điểm là đủ để kết luận ánh xạ tuyến tính Về cơ bản, nó

có thể ánh xạ một tam giác vào thành một tam giác tuỳ ý ở đầu ra Một hình chữ nhật vào có thể được ánh xạ thành hình bình hành ở đầu ra Biến dạng tổng quát thì không thể dùng được chuyển đổi tuyến tính Chẳng hạn, ánh xạ một hình chữ nhật vào thành một hình tứ giác tuỳ ý đòi hỏi chuyển đổi phối cảnh, song tuyến hoặc các phép chuyển đổi phức tạp khác

2.5 Chuyển đổi phối cảnh

Biểu diễn tổng quát của phép chuyển đổi phối cảnh là

23 22 21

13 12 11

, , ' ,'

,'

a a a

a a a

a a a w v u w y

x trong đó x=x’/w’ và y=y’/w’

Khi [a13 a23]T khác 0, ta có phép chuyển đổi phối cảnh Chuyển đổi phối cảnh bảo toàn tính song song của các đường thẳng khi chúng song song với mặt phẳng chiếu Trong các trường hợp khác, các đường thẳng hội tụ Phép chuyển đổi này có tính chất là làm khoảng cách giữa các đường thẳng ngắn lại Đó là một trong các kỹ thuật để biểu hiện những ảnh thật Hàm ánh xạ xuôi của phép chuyển đổi phối cảnh là

33 23 13

31 21 11

'

'

a v a u a

a v a u a w

x x

+ +

+ +

=

33 23 13

32 22 12

'

'

a v a u a

a v a u a w

y y

+ +

+ +

=

=w’ được phép biến thiên tại mỗi điểm Chia cho w’ tương đương với phép chiếu

sử dụng các tia qua gốc Chuyển đổi tuyến tính là trường hợp đặc biệt của chuyển đổi phối cảnh trong đó w’ là hằng số trong toàn bộ ảnh, chẳng hạn a13 =

a23 = 0

Chuyển đổi phối cảnh cũng có một số đặc tính quan trọng như chuyển đổi tuyến tính Nó là hàm ánh xạ mặt phẳng và các phép chuyển đổi xuôi và ngược của chúng có giá trị đơn Nó bảo toàn các đường thẳng theo mọi hướng Như vậy đường thẳng sẽ được ánh xạ thành đường thẳng (mặc dù chúng không cùng hướng) Tám bậc tự do trong phương trình chuyển đổi phối cảnh cho phép chúng ta ánh xạ tứ giác thành tứ giác Ngược lại trong ánh xạ tuyến tính chỉ có sáu bậc tự do và chỉ cho phép ánh xạ tam giác thành tam giác

2.5.1 Kết luận về phép chuyển đổi phối cảnh

Phép chuyển đổi phối cảnh được biểu diễn bởi chín số hạng trong ma trận T 3x3 Không giảm tổng quát giả sử rằng a33 = 1 Tám hệ số còn lại xác định tương ứng giữa bốn điểm vào và bốn điểm ra Đặt (uk, vk) và (xk, yk) là cặp bốn điểm tương ứng giữa đầu vào và đầu ra Phương trình giải x và y có thể được viết lại như sau

x = a11u + a21v + a31 – a13ux – a23vx

y = a12u + a22v + a32 – a13uy – a23vy Thay bốn cặp điểm tương ứng vào phương trình trên, ta được

3

2 2 2 2 2

2

1 1 1 1 1

1

0 0 0 0 0

0

3 3 3 3 3

3

2 2 2 2 2

2

1 1 1 1 1

1

0 0 0 0 0

0

1 0

0 0

1 0

0 0

1 0

0 0

1 0

0 0

0 0 0 1

0 0 0 1

0 0 0 1

0 0 0 1

y v y u v

u

y v y u v

u

y v y u v

u

y v y u v

u

x v x u v

u

x v x u v

u

x v x u v

u

x v x u v

Hình 2.5 Ánh xạ tứ giác - tứ giác

2.5.1.1 Trường hợp 1: Hình vuông-Tứ giác

Xét ánh xạ một hình vuông đơn vị thành một hình tứ giác tuỳ ý Bốn điểm tương ứng sau được tạo lập từ mặt phẳng xy

(0, 0)Æ(x0, y0) (1, 0)Æ(x1, y1) (1, 1)Æ(x2, y2) (0, 1)Æ(x3, y3) Trong trường hơp này tám phương trình trở thành

∆y1 = y1 - y2 ∆y2=y3 - y2 ∆y3=y0 - y1 + y2 - y3

Nếu ∆y3 = 0 và ∆x3 = 0 thì hình tứ giác sẽ trở thành hình bình hành Lúc này ta có ánh xạ là tuyến tính

Nếu ∆y3 ≠ 0 và ∆x3 ≠ 0 thì phép ánh xạ là phép chiếu phối cảnh

2.5.1.2 Trường hợp 2: Hình tứ giác-Hình vuông

Đây là trường hợp ngược của hình vuông thành hình tứ giác

2.5.1.3 Trường hợp 3: Hình tứ giác-Hình tứ giác

Kết quả của hai trường hợp trên có thể dẫn tới trường hợp tổng quát là ánh

xạ hình tứ giác thành hình tứ giác Trường hợp này có thể được coi là ánh xạ bốn góc Nếu hình tứ giác này không đồng phẳng thì ta phải dùng phương pháp khác chẳng hạn là ánh xạ song tuyến

2.6 Chuyển đổi song tuyến

Phép chuyển đổi song tuyến (Bilinear transformations) tổng quát có dạng sau:

1 1

2 2

3 3

1 , ,

,

,

b a

b a

b a

b a v

để các định kích cỡ Nó cũng phổ biến trong đồ hoạ máy tính khi đóng vai trò trong các thuật toán ánh xạ xuôi đối với ánh xạ kết cấu bề mặt

Ánh xạ song tuyến bảo toàn các đường thẳng nằm ngang hoặc thẳng đứng trong ảnh nguồn Các điểm nằm trên các đường nằm ngang và thẳng đứng trong ảnh nguồn (kể cả biên) vẫn giữ được các khoảng cách cách đều Đặc tính này giống như chuyển đổi tuyến tính Tuy nhiên các đường không nằm trên hai

hướng trên thì không được bảo toàn Thay vào đó các đường chéo được ánh xạ thành đường cong bậc 2 ở đầu ra

Ánh xạ song tuyến được xác định qua các hàm liên tục từng đoạn mà hàm này phải nội suy các toạ độ xác định ở các đỉnh Kỹ thuật này dựa trên nội suy song tuyến để ước tính hàm ánh xạ X và Y Sau đây sẽ giới thiệu phương pháp tính X(u, v)

2.6.1 Nội suy song tuyến

Nội suy song tuyến sử dụng kết hợp tuyến tính của bốn giá trị điểm gần nhất để tạo ra một giá trị mới là giá trị nội suy Cho bốn điểm (u0,v0), (u1,v1), (u2,v2) và (u3,v3), và các giá trị hàm x0, x1, x2 và x3 Toạ độ X(u,v) được tính như sau:

X(u,v) = a0 + a1u + a2v + a3uv (2.6.1.1)

Trong đó các hệ số ai được giải từ hệ sau

3 3 3 3

2 2 2 2

1 1 1 1

0 0 0 0

v u v u

v u v u

v u v u

v u v u

x

x

x

x

Hình 2.6 Nội suy song tuyến

Nếu 4 điểm nằm trên một lưới hình chữ nhật thì ta viết lại ma trận trên cho các số hạng u0, u1, v0, v2 ( vì v0 = v1; u0 = u2; u1 = u3; và v1 = v3) Ta có bốn điểm (u0, v0), (u1, v0), (u0, v2) và (u1, v2) Giải ra các ai và thay thế vào (2.6.1.1) ta được:

X(u’, v’)=x0 + (x1 - x0)u’+(x2 - x0)v’+(x3 - x2 - x1 + x0)u’v’ (2.6.1.2) Trong đó u’, v’ thuộc (0, 1) là tạo độ chuẩn hoá độ dài cạnh của hình chữ nhật và

u=u0 + (u1 - u0)u’

v=v0 + (v1 - v0)v’

Như vậy, cho toạ độ (u, v) và các giá trị hàm (x0, x1, x2, x3), toạ độ chuẩn hoá (u’, v’) tính được và điểm tương ứng (x, y) trong hình tứ giác tuỳ ý được xác định bởi phương trình (2.6.1.2) Hình sau cho thấy nội suy đối với hàm ánh

xạ X

2.6.2 Phân tách

Ánh xạ song tuyến là chuyển đổi phân tách: nó là tích số của hai ánh xạ một chiều, mỗi một phép tính thực hiện theo một trục vuông góc Đặc tính này cho phép ta mở rộng nội suy tuyến tính một chiều thành hai chiều và tạo ra thuật toán hiệu quả Thuật toán này có hai bước: bước đầu tiên áp dụng nội suy tuyến tính dọc theo hướng nằm ngang, bước thứ hai nội suy dọc theo hướng thẳng đứng

Hình 2.7 Nội suy song tuyến phân tách

2.6.3 Ánh xạ ngược

Trong viễn thám, ta sẽ phải gặp trường hợp: cho toạ độ chuẩn hoá (x’, y’) trong một hình tứ giác tuỳ ý tức là nó đã biến dạng, tìm vị trí của nó trong hình chữ nhật

Đầu tiên, viết lại phương trình đối với x và y theo u và v theo phương trình (2.6.1.1)

x = a0 + a1u + a2v + a3uv (a)

y = b0 + b1u + b2v + b3uv (b)

Như vậy : a a v

v a a x u

3 1

2 0

) (

) (

) (

) (a1 a3v b0 a1 a3v b1 x a0 a2v b2v a1 a3v b3v x a0 a2v

Như vậy, phép ánh xạ ngược đối với v đòi hỏi phải giải phương trình bậc hai Khi đã giải được v thì thay thế ngược lại, ta được u Rõ ràng, phép giải ngược không cho ta một giá trị đơn và thực hiện nó khó hơn phép giải xuôi rất nhiều

2.6.4 Lưới nội suy

Ánh xạ từ một lưới tuỳ ý sang một lưới hình chữ nhật là một bước quan trọng trong nội suy hai chiều trong một hình tứ giác tuỳ ý Quá trình ánh xạ như sau:

1 Một điểm bất kỳ (x, y) nào trong vùng nội suy đều được xác định bởi bốn điểm tuỳ ý, một toạ độ chuẩn hoá (u’, v’) Nội suy hình học được cho bởi hình sau Trong đó các toạ độ chuẩn hoá được xác định bằng các đường lưới giao nhau tại (x, y) (điểm P)

2 3

2 23 0 1

0 01

'

P P

P P P P

P P

1 3

1 13 0 2

0 02

'

P P

P P P P

P P

4 Kết quả là có điểm (x, y) trong mặt phẳng biến dạng

Hình 2.8 Nội suy hình học của lưới nội suy

Ưu điểm của thủ tục này là phương pháp nội suy bậc cao mà nó thường được xác định trong các lưới hình chữ nhật và bây giờ có thể mở rộng thành các lưới không phải là hình chữ nhật Như vậy, nó cho phép ta tạo ra các hàm nội suy liên tục cho một lưới bất kỳ

2.7 Phép chuyển đổi đa thức

Trong hiệu chỉnh hình học (geometric correction), người ta dùng các phép

chuyển đổi không gian để xác định công thức của các hàm biến dạng chưa biết Hàm ánh xạ U và V của phép chuyển đổi đa thức 2 biến số có công thức sau:

j i

i

N

j

ij x y b

(2.7.1) Phép chuyển đổi đa thức ở trên là hàm ánh xạ toàn cục bậc thấp thực hiện trên toàn bộ ảnh Nó bao gồm các biến dạng từng phần do bộ cảm biến gây ra

chẳng hạn như lệch tâm (centering), co dãn (scale), đối xứng lệch (skew) cũng

như các lỗi do độ cong của bề mặt trái đất, góc nhìn hình học, góc mở của camera và do sự thay đổi về độ cao Do các điều kiện thao tác động, các lỗi biến dạng liên quan tới bộ cảm biến Các lỗi bên ngoài là do nhiễu nền và do các đặc điểm của khung cảnh

Ảnh hưởng của các lỗi này được thể hiện qua hình dưới đây

Hình 2.9 Các biến dạng hình học phổ biến

Những lỗi này thường có đặc điểm là sự biến dạng ở tần số thấp

(low-frequency distortion) Ảnh hưởng toàn cục của ánh xạ đa thức không được tính

đến trong biến dạng tần số cao, thường là cục bộ trong tự nhiên Vì hầu hết các lỗi liên quan tới bộ cảm biến có khuynh hướng xảy ra ở tần số thấp cho nên các

mô hình chuyển đổi không gian bằng các đa thức bậc thấp được đưa ra Giá trị thông thường của N sử dụng trong đa thức (6.1) là N = 1, 2, 3, 4 Tuy nhiên trong những bài toán thực tế thì xấp xỉ bậc 2 (N = 2) là đủ

Với bậc một thì đa thức hai biến xác định hàm ánh xạ được cho bởi ma trận chuyển đổi tuyến tính 3x3 Đặc trưng của các đa thức này thường là biến dạng vật lý, chẳng hạn là chuyển đổi tuyến tính Khi ta nhìn bài toán dưới góc độ hình học, việc chọn lựa các hệ số được xác định trực tiếp từ các đặc điểm co dãn, tịnh tiến, quay, lệch

Trong lĩnh vực viễn thám, ảnh y học, thị giác máy, việc tính toán chuyển đổi không gian là rất khó Trong rất nhiều ứng dụng, hệ số của đa thức không được tính trực tiếp Thay vào đó, các thông tin về không gian được đưa ra qua

các điểm điều khiển (tiepoints hoặc control points) Các điển điều khiển này có

vị trí tương ứng trong ảnh vào và ảnh ra và vị trí của nó được xác định chính xác Trong những trường hợp này, nhiệm vụ chủ yếu của bước chuyển đổi không gian là kết luận của các hệ số của đa thức đặc trưng cho phép biến dạng này Quá trình sử dụng các điểm điều khiển để tìm ra các hệ số của đa thức là cần thiết để xác định phép chuyển đổi không gian và nó được coi như là nội suy

không gian (spatial interpolation)

Để xác định các hệ số của đa thức, người ta còn dùng thêm các thông tin phụ Các thông tin này bao gồm lưới điểm được đánh dấu, vị trí nền, độ cao và các điểm điều khiển Các điểm đánh dấu có hình chữ thập nằm ở trên mặt của bộ cảm biến Khi vị trí của các điểm đánh dấu có thể được lấy chính xác thì sai số giữa vị trí thực và vị trí biến dạng là do bộ cảm biến Đó chính là các lỗi do bên trong gây ra

Các lỗi bên ngoài có thể được đặc trưng trực tiếp từ độ cao, vị trí nền và các

dữ liệu thiên văn Tuy nhiên, các dữ liệu này không được xác định một cách chính xác Do đó, các điểm điều khiển trên mặt đất ( Ground Control Points: GCP) được sử dụng để xác định các lỗi do yếu tố bên ngoài gây ra GCP là các điểm mốc tự nhiên mà vị trí của nó có thể được nhận biết dễ dàng Ta thiết lập được một tương ứng giữa toạ độ của ảnh (đo bởi hàng và cột) với toạ độ bản đồ (đo bởi vĩ độ, kinh độ, feet, hoặc met) Các điểm điều khiển đặc tưng có thể là sân bay, giao của các đường hoặc các mẫu địa chất…

Đôi khi các điểm điều khiển có vị trí khác nhau giữa vị trí quan sát và vị trí thực Chúng được sử dụng để đặc trưng cho lỗi bên ngoài Kết hợp với cả các biến dạng bên trong, chúng ta sẽ xác định phép chuyển đổi không gian giữa ảnh đầu vào và ảnh đúng sau khi đã biến dạng Khi số điểm điều khiển nhiều hơn số

hệ số, người ta sử dụng phương pháp bình phương cực tiểu sai số để tính các hệ

số Sau đây sẽ điểm qua một vài phương pháp số để giải các hệ số

2.7.1 Phương pháp giả nghịch đảo

Trong phương pháp giả nghịch đảo ( Pseudoinverse solution), ta có M điểm

tương ứng trong ảnh quan sát và ảnh tham chiếu Phép chuyển đổi không gian xấp xỉ tương ứng này là đa thức bậc N Trong trường hợp hai biến, đa thức sẽ có

K hệ số cần phải được xác định

2

) 2 )(

1 ( 1

0

1 0

+ +

2 2

2 3

2 3 3 3 3 3

2 2

2 2 2 2 2 2

2 1

2 1 1 1 1 1

3 2 1

1

1 1 1

a a a a a a

y x y x y x

y x y x y x

y x y x y x

y x y x y x

u

u u u

M M M M M M M

Trong đó M ≥ 6 Phương trình tương tự biểu diễn đối với v và bij Biểu diễn dưới dạng ma trận như sau:

U = WA

V = WB

Để giải A và B, cần phải tính ma trận nghịch đảo của W Nếu W có kích thước là MxK thì nó không phải là ma trận vuông và do đó không tính được nghịch đảo Thay vào đó, nhân hai vế với WT, ta được:

nó Chẳng hạn, trong đại số tuyến tính, người ta sử dụng kỹ thuật phân tách LU hoặc QR Kỹ thuật này sẽ được đề cập sau này

2.7.2 Bình phương cực tiểu với đa thức thường

Phương pháp giả nghịch đảo cũng là mô hình bình phương cực tiểu với đa thức thường Mặc dù cả hai cách tiếp cận đều thuộc các bài toán bình phương cực tiểu nhưng phương pháp bình phương cực tiểu ở đây thường hay được đề cập tới trong lớp các bài toán giải hệ phương trình quá xác định

(Overdetermined) Hơn nữa nó được biến đổi để giải ra các hệ số với độ chính xác cao và ổn định

Quay lại với phương trình (2.7.1), với N = 2 các hệ số aij được xác định bằng phương pháp cực tiểu như sau:

x U

02

2 20 11

01 10

k

l k k N

l k

j k

i k

1

0 1

(2.7.2) với l = 0,…, N và m = 0,…, N-1

Áp dụng phương pháp bình phương cực tiểu để giải hệ phương trình tuyến tính quá xác định (M phương trình với K ẩn tương đương với M điểm dữ liệu để xác định K hệ số, M > K) Như vậy ta có một xấp xỉ ánh xạ hàm Nếu ta thay thế toạ độ của các điểm điều khiển vào đa thức thì kết quả sẽ không phù hợp với toạ

độ (u,v) Như vậy, cách tốt nhất được xác định bằng tổng bình phương nhỏ nhất của các sai số [ 2]2

) , (x k y k u k

2.7.3 Bình phương cực tiểu với đa thức trực giao

Phương trình (2.7.2) có thể giải được với trường hợp M > K Hệ phương trình này tăng theo K Khi K lớn thì phải giải hệ phương trình lớn Như vậy với

hệ phương trình lớn thì cách giải này không ổn định và chính xác Sự chính xác

băng phương pháp số còn phụ thuộc tuyến tính vào các phương trình Trong phần này, sẽ giới thiệu phương pháp đa thức trực giao để cho lời giải tốt hơn Hàm ánh xạ U và V có thể viết lại dưới dạng đa thức trực giao như sau:

u

1

) , (

=

= k

i i

i P x y b v

1

) , ( (2.7.3) trong đó ai, bi là các hệ số chưa biết của đa thức trực giao Pi Đa thức trực giao cho phép xác định các hệ số mà không cần giải hệ phương trình tuyến tính

Ta xác định đặc tính của đa thức trực giao và chỉ ra cách làm sao có thể sử dụng chúng để xây dựng đa thức trực giao từ tập các hàm cơ bản độc lập tuyến tính

Đa thức trực giao cùng với tập các điểm điều khiển cho ta lời giải gần đúng cho các hệ số ai, bi

Tập các đa thức P1(x, y), P2(x, y),…, Pk(x, y) là trực giao qua các điểm (xk,

y x h y x P

y x P

1 1

2

) , ( ) , (

) , (

α

i = 2…K

k j k k i k k ii

ij

y x P

y x h y x P

1

2 1

) , (

) , ( ) , (

α

Khi đã tính được αij sẽ xác định được đa thức trực giao Chúng là các kết hợp tuyến tính của các hàm cơ bản Ta phải giải để tìm các hệ số ai Sử dụng phương pháp bình phương cực tiểu, tổng bình phương các sai số E được xác định như sau:

i P x y u a

Các hệ số được xác định bằng cách lấy đạo hàm từng phần của E theo các

hệ số và cho chúng bằng 0 Nó sẽ cho ta hệ phương trình tuyến tính sau :

, ( ) , (

1

k k j k K

i

k k j k k i

k

k k i

a

1 1

2

) , ( )

, (Giải ra được các hệ số như sau :

y x P

y x P u a

1

1

) , (

) , (

M

k

k k i k i

y x P

y x P v a

1

1

) , (

) , (

Phương pháp bình phương cực tiểu với đa thức trực giao đưa tới các ưu điểm sau Đầu tiên, để xác định các hệ số ai, bi không cần phải giải hệ phương trình mà chỉ giải bằng phương pháp gần đúng Đây là cách giải nhanh và chính xác hơn Độ phức tạp tính toán là O(MK3) Thứ hai, số hạng đa thức trực giao thêm vào có thể được thêm vào hàm ánh xạ để làm tăng tính chính xác của hàm xấp xỉ Chẳng hạn, sai số bình phương trung bình là:

2

1 1

) , (

M E

Nếu Ems vượt quá ngưỡng, có thể tăng số các số hạng đa thức trực giao trong hàm ánh xạ để giảm sai số Tính chất trực giao cho phép thêm các số hạng này vào mà không cần phải tính lại tất cả các hệ số đa thức

2.7.4 Bình phương cực tiểu với trọng số

Nhược điểm của công thức bình phương cực tiểu là tính các lỗi toàn cục Trong các phương trình trên, ta không xét tới khoảng cách giữa các điểm điều khiển (xk,yk) và vị trí xấp xỉ (x, y) Bằng trực giác, ta mong muốn các sai số tích luỹ của khoảng cách các điểm điều khiển là ít ảnh hưởng hơn so với các điểm gần hơn so với vị trí xấp xỉ Nó giúp ta hạn chế được các sai số hình học cục bộ

và hạn chế chúng trên toàn bộ ảnh

Phần này giới thiệu phương pháp cực tiểu cục bộ bằng hàm trọng số Wk biểu diễn sự đóng góp của điểm điều khiển (xk, yk) so với (x, y)

2 2

k

) (

) (

1 W

) , ( )

, ( )

, (

1

2

y x W u y x U y

x

k

k k k

∑

=

−

=Mỗi điểm (x, y) sẽ được tính lại trong tổng bình phương sai số Đối với đa thức thường phương trình (2.7.2) trở thành

l k k k N

i

i N

j

M

k

m k

l k

j k

i k k

Với đa thức trực giao, ta có:

M

ii

y x h y x P y x W

y x P y x W

1

1 1

2 1

) , ( ) , ( ) , (

) , ( ) , (

M

k

k k i k k j k

ii ij

y x P y x W

y x h y x P y x W

1

2

1

) , ( ) , (

) , ( ) , ( ) , (

α

α i = 1,…, K; j = 1,…, K-1

Các hệ số trong phương trình (2.7.3) được xác định theo phương pháp bình phương cực tiểu trọng số là:

M

i

y x P y x W

y x P u y x W y

x a

1

2 1

) , ( ) , (

) , ( ) , ( )

, (

M

i

y x P y x W

y x P v y x W y

x b

1

2 1

) , ( ) , (

) , ( ) , ( )

, (

Độ phức tạp tính toán của bình phương cực tiểu trọng số là O(NMK3) N là

số điểm ảnh trong ảnh tham chiếu

2.8 Các phép chuyển đổi đa thức liên tục từng phần

Các phép chuyển đổi đa thức toàn cục sử dụng một hàm ánh xạ đơn trên toàn bộ ảnh Nó không tính đến các biến dạng hình học cục bộ như độ cao của khung cảnh, nhiễu không khí, vị trí bộ cảm biến không thẳng… Do vậy người

ta đưa ra hàm ánh xạ liên tục từng đoạn (piecewise mapping functions) để xử lý

các biến dạng cục bộ này

Việc nghiên cứu nội suy liên tục từng phần đã gây được sự chú ý trong các tài liệu spline Ở đây, giả thiết rằng các điểm dữ liệu nằm trên một lưới hình chữ nhật Trong các ứng dụng thì đây không phải là trường hợp tổng quát Thay vào

đó, ta phải xét tới trường hợp bề mặt phù hợp qua các điểm dữ liệu 3-D rời rạc

2.8.1 Bề mặt phù hợp với mô hình trong nắn chỉnh hình học

Giả sử ta đã biết M điểm điều khiển (xk, yk) trong ảnh quan sát và (uk, vk) trong ảnh tham chiếu, 1 ≤ k ≥ M Dùng hàm ánh xạ U và V để xác định hai bề mặt nhẵn: một đi qua các điểm (xk, yk, uk) và một đi qua (xk, yk, vk), 1 ≤ k ≥ M Cho một số điểm điều khiển rời rạc, phải nội suy bề mặt qua các điểm này

và xấp xỉ gần với hàm biến dạng chưa biết Việc nội suy/xấp xỉ bề mặt trơn nhẵn

từ dữ liệu rời rạc là chủ đề quan tâm của nhiều lĩnh vực Giải pháp cổ điển cho vấn đề này được đưa ra dưới một trong hai dạng chuyển đổi toàn cục và cục bộ Phép chuyển đổi toàn cục (global transformation) xét tới tất cả các điểm điều khiển để giải ra các hệ số chưa xác định được của hàm ánh xạ Có rất nhiều giải pháp dựa trên phương pháp đa thức toàn cục Thông thường, các hệ số của

đa thức tính theo phương pháp toàn cục không thay đổi trên toàn bộ ảnh Như vây, phép chuyển đổi đa thức tương tự được áp dụng đối với từng điểm ảnh Hàm ánh xạ đa thức bậc thấp xấp xỉ các bề mặt này Phương pháp bình phương cực tiểu dùng để xác định các hệ số trung bình một sai số hình học cục

bộ trên toàn bộ vùng ảnh độc lập với vị trí sai lệch Theo như các kết quả thì biến dạng cục bộ không thể xử lý được và nó góp phần để tạo ra sai số ở các vị trí xa Thay vào đó, người ta nội suy bề mặt với ánh xạ toàn cục bằng việc tăng bậc của đa thức để phù hợp với số điểm điều khiển

Ở phần trước đã giới thiệu phương pháp bình phương cực tiểu trọng số Mặc dù nó là một phương pháp toàn cục xét tới tất cả các điểm điều khiển nhưng nó tính lại các hệ số tại mỗi điểm ảnh Người ta đưa ra phương pháp lai toàn cục/ cục bộ để tính các hệ số theo phương pháp toàn cục nhưng cho phép các hệ số biến đổi theo không gian

Nếu tất cả các điểm điều khiển nằm trong lưới hình chữ nhật, khi đó có thể

sử dụng phương pháp nội suy spline bậc ba Chẳng hạn, nội suy B-splines hoặc

bề mặt Bezier để phù hợp với các điểm dữ liệu Những phương pháp này được

mô tả tổng quất nhưng vẫn dễ bị ảnh hưởng bởi dữ liệu cục bộ

Phép chuyển đổi cục bộ (local transformation) xét tới các điểm điều khiển gần để ước tính giá trị nội suy dọc theo bề mặt Sau đây, sẽ giới thiệu phép chuyển đổi đa thức liên tục từng phần, một kỹ thuật cục bộ để xác định bề mặt qua các điểm rời rạc

2.8.2 Nội dung phép chuyển đổi đa thức liên tục từng phần

Phương pháp tổng quát để biểu diễn bề mặt nội suy trên các điểm 3-D không cách đều nhau gồm các bước sau:

1 Chia ảnh thành các vùng tam giác bằng cách nối các điểm điều khiển lân cận bởi các đoạn thằng không cắt nhau Quá trình này gọi là tam giác hoá để phân định các lân cận cục bộ trên bề mặt sẽ được xác định

2 Tính đạo hàm từng phần của U và V theo các biến x và y tại mỗi điểm điều khiển Ta có thể dùng phương pháp cục bộ với các giá trị dữ liệu lấy từ các điểm điều khiển lân cận hoặc bằng phương pháp toàn cục sử dụng tất cả các điểm điều khiển Tính các đạo hàm từng phần, chẳng hạn C1, C2, để các mặt kết nối trơn nhẵn

3 Với mỗi vùng tam giác, xây dựng một bề mặt trơn nhẵn qua các đỉnh thoả mãn các điều kiện của đạo hàm từng phần Các bề mặt này được tạo ra bằng cách sử dụng đa thức hai biến bậc thấp Giải hệ phương trình tuyến tính thì sẽ được các hệ số của đa thức

4 Những vùng nằm ngoài đa giác lồi chứa các điểm dữ liệu thì phải được ngoại suy bề mặt từ các mặt nằm dọc bao đóng

5 Với mỗi điểm (x, y), xác định phần tam giác bao quanh và tính giá trị nội suy

u, v bằng cách sử dụng các hệ số của đa thức dựa trên các tam giác này