Phương pháp ghép ảnh sử dụng hệ số tương quan (có Source Code)

Ghép ảnh là một chủ đề được quan tâm khá nhiều, ghép ảnh phục vụ cho nhiều việc : phục hồi ảnh, phục vụ cho ghép bản đồ… Biện pháp thông thường là tìm phần chung của 2 ảnh, sau đó xem xét chúng có thể ghép được với nhau hay không.

MỤC LỤC 1 PHẦN 1 : PHÁT BIỂU BÀI TOÁN Ghép ảnh là một chủ đề được quan tâm khá nhiều, ghép ảnh phục vụ cho nhiều việc : phục hồi ảnh, phục vụ cho ghép bản đồ… Biện pháp thông thường là tìm phần chung của 2 ảnh, sau đó xem xét chúng có thể ghép được với nhau hay không. 1.1 Phát biểu bài toán : Cho 2 ảnh đầu vào A có kích thước MxN và ảnh B có kích thước M’xN’ có phần chung. Việc cần làm là ghép 2 ảnh A,B lại với nhau để được ảnh mới có tính hợp lý. 1.2 Thuật giải: Tìm phần chung của 2 ảnh và ghép 2 ảnh theo phần chung đã tìm được. Cách tìm phần chung : 1.Thiết lập cửa sổ trượt W có kích thước m x n (0<m<M,M’ ; 0<n<N,N’) . 2.Di chuyển W xung quanh ảnh 2 ảnh A, B (di chuyển từng hàng từng cột, di chuyển từ trái sang phải, từ trên xuống dưới) 3.Tại mỗi vị trí, tính toán hệ số tương quan Q của 2 ảnh A,B, nếu Q1, thì tại đó 2 ảnh có phần chung. 4.Lặp lại bước 2, 3 đến khi hết kích thước của 2 ảnh Theo yêu cầu của bài toán, phương pháp sử dụng để thực hiện là áp dụng hệ số tương quan vào ghép ảnh. Sau đây em xin trình bày các vấn đề liên quan đến thuật toán. 2 PHẨN 2 : NỘI DUNG PHƯƠNG PHÁP GHÉP ẢNH SỬ DỤNG HỆ SỐ TƯƠNG QUAN 2.1: Ý tưởng: Biến đổi ảnh T và W thành một ảnh khác để so sánh và chuyên đánh giá về so sánh trong phạm vi [0,1], là phạm vi đánh giá quen thuộc. Với phạm vi đánh giá này có thể định ra sai số ε=0.01 hoặc giá trị rất nhỏ nào đó khác. Trong các công thức trong mục này ta xét các tổng với biến chạy từ -∞ đến +∞. Trong kí hiệu W(i,j), tương tự như vậy đối với T(i,j), nếu i nằm ngoài khoảng [1 m] hoặc j nằm ngoài khoảng [1 n] ta sẽ coi như W(i,j)=0, cũng như T(i,j)=0. 2.2: Tính ma trận tương quan R: Xây dựng ma trận R WT như sau: )1(),().,(),( ∑ ∑ +∞ −∞= +∞ −∞= −−= i j WT qjkiTjiWqkR với k = 0, ±1, ±2, ±3, ±4, và q = 0, ±1, ±2, ±3, ±4 Dễ thấy từ (1) R WT (k,q) = ∑∑ W(i+k,j+q).T(i,j) (2) Thật vậy, nếu ta đặt i':= i-k, j' := j-q suy ra i := i'+k, j := j'+q. Thay vào công thức (1) và để ý rằng do cận là từ -∞ đến +∞ nên cận không thay đổi, từ đó nhận được công thức (2). )1(),().,(),( ∑ ∑ +∞ −∞= +∞ −∞= −−= i j WT qjkiTjiWqkR Ví dụ, Hai ảnh W và T có kích thước 3×3: W: 1 2 3 1 1 4 1 1 3 T : 1 2 3 1 1 4 1 1 3 R(-2,-2) = ∑W(i,j)T(i+2,j+2), với 1≤ i ≤ 1 và 1≤ j ≤ 1, ⇒ R(-2,-2) = W(1,1)T(3,3) = 3 R(-2,-1) = ∑W(i,j)T(i+2,j+1), với 1≤ i ≤ 1 và 1≤ j ≤ 2, ⇒ R(-2,-1) = W(1,1)T(3,2) + W(1,2)T(3,3)= 1 + 6 = 7 R(-2,0) = ∑W(i,j)T(i+2,j), với 1≤ i ≤ 1 và 1≤ j ≤ 3, ⇒ R(-2,0) = W(1,1)T(3,1)+W(1,2)T(3,2)+W(1,3)T(3,3)= 1+2+9 = 12 3 R(-2,1) = ∑W(i,j)T(i+2,j-1), với 1≤ i ≤ 1 và 2≤ j ≤ 3, ⇒ R(-2,0) = W(1,2)T(3,1)+W(1,3)T(3,2) = 2+3 = 5 Các ma trận tương quan của W cũng như T: R WW (k,q) = ∑∑ W(i,j).W(i-k,j-q) (3) R TT (k,q) = ∑∑ T(i,j). T(i-k,j-q) (4) Rõ ràng là R WW (0,0) = ∑∑ W 2 (i,j) >0 và R TT (0,0) = ∑∑ T 2 (i,j) >0. 2.3:Tính ma trận hệ số tương quan Q : )5( )0,0()0,0( ),( ),( ¦¦ TTWW WT WT RR qkR qkQ = Nhận xét rằng R WT (0,0) chính là tích vô hướng của hai vectơ W và T, khi này Q WT (0,0) chính là cosin góc giữa hai vectơ W và T. 2.3.1:Định lý 1. Q WT (k,q) ≤ 1, ∀ k,q = 0, ±1, ±2, ±3, 2. Q WT (i 0 ,j 0 ) = 1 ⇔ ∃ c, sao cho, với ∀ i,j có W(i,j) = c.T(i-i 0 ,j-j 0 ) Chứng minh định lý: 1. Rõ ràng là ∑∑ (aW(i,j) + T(i-k,j-q)) 2 ≥0 với mọi k,q và a hay ∑∑ (a 2 W 2 (i,j) + T 2 (i-k,j-q) + 2aW(i,j)T(i-k,j-q) ) ≥0 ⇔ ∑∑a 2 W 2 (i,j) + ∑∑ T 2 (i-k,j-q) + ∑∑ 2aW(i,j)T(i-k,j-q) ≥ 0 ⇔ a 2 ∑∑W 2 (i,j) + 2a ∑∑W(i,j)T(i-k,j-q) + ∑∑T 2 (i-k,j-q) ≥ 0 ⇔ ∆' = (∑∑W(i,j)T(i-k,j-q))2 - ∑∑W 2 (i,j) ∑∑T 2 (i-k,j-q) ≤ 0 ⇔ ∆' = (R WT (k,q))2 - ∑∑W 2 (i,j) ∑∑T 2 (i-k,j-q) ≤ 0 ⇔ (R WT (k,q))2 ≤ ∑∑W 2 (i,j) ∑∑T 2 (i-k,j-q) ⇔ (R WT (k,q))2 / ∑∑W 2 (i,j) ∑∑T 2 (i-k,j-q) ≤ 1 (đpcm). 2. Giả thiết là tồn tại hằng số c≠0 sao cho W(i,j) = c T(i-i 0 ,j-j 0 ) với mọi i,j. Hiển nhiên, khi này R WT (i 0 ,j 0 ) = ∑∑ W(i,j).T(i-i 0 ,j-j 0 ) = c. ∑∑ W 2 (i,j) R WW (0,0) = ∑∑ W 2 (i,j) R TT (0,0) = ∑∑ T 2 (i,j)=∑∑ T 2 (i-i 0 ,j-j 0 ), bằng cách đặt i':=i-i 0 , j':=j-j 0 và đảo chỉ số như trên. Cuối cùng ta có: R TT (0,0) = ∑∑ c 2 W 2 (i,j) = c 2 ∑∑W 2 (i,j) = c 2 R WW (0,0). Từ đây suy ra Q WT (i 0 ,j 0 ) = 1. 4  Giả sử Q WT (i 0 ,j 0 ) =1 với (i 0 ,j 0 ) nào đó. Từ chứng minh trên suy ra ∆' = (R WT (k,q))2 - ∑∑W 2 (i,j) ∑∑T 2 (i-i 0 ,j-j 0 ) = 0 Dẫn đến tồn tại duy nhất một giá trị c sao cho c 2 ∑∑W 2 (i,j) + 2c ∑∑W(i,j)T(i-i 0 ,j-j 0 ) + ∑∑T 2 (i-i 0 ,j-j 0 ) = 0 Hay ∑∑ (cW(i,j) + T(i-i 0 ,j-j 0 )) 2 = 0. Suy ra -cW(i,j) = T(i-i 0 ,j-j 0 ). Đặt lại c := -1/c ta có điều phải chứng minh. Nhận xét rằng W(i,j) = c.T(i,j) với mọi i,j có thể hiểu rằng cường độ sáng của W bằng c lần cường độ sáng của T, tính theo từng điểm ảnh. Trong biểu thức W(i,j) = c.T(i-i 0 ,j-j 0 ) có thể hiểu rằng, nếu rời điểm (1,1) của W đến điểm (i 0 ,j 0 ) của T thì ta nhận được hai phần nào đó của W và T lệch nhau về cường độ sáng c lần. 2.3.2:Hệ quả: Nếu hệ số tương quan Q WT (k,q)=1 thì hoặc T là thành phần của W hoặc W và T giống nhau. 2.4:Tính ma trận R WT : A B C D Ta có thể dễ dàng thấy rằng ma trận R có kích thước (2m-1)×(2n-1). Nếu ta chia ma trận R thành 4 phần. Xét công thức W(i,j)T(i-k,j-q) với 1≤ i ≤m, 1≤ j ≤ n. Rõ ràng là khi k ∉ [- m+1 m-1] thì T(i-k,j-q) không xác định (ở trên ta đã giả thiết là bằng 0 để dễ biến đổi. For k:=-m+1 to m-1; For q:=-n+1 to n-1 R(k,q) := 0; Tính phần A: k:= -m+1 to -1 q:= - n+1 to -1 1≤ i-k ≤ m ⇒ 1+k ≤ i ≤ m+k ⇒ 1 ≤ i ≤ m+k 1≤ j-q ≤ n ⇒ 1+q ≤ j ≤ n+q ⇒ 1 ≤ j ≤ n+ q Tính phần B: k:= -m+1 to -1 5 q:= 0 to n-1 1≤ i-k ≤ m ⇒ 1+k ≤ i ≤ m+k ⇒ 1 ≤ i ≤ m+k 1≤ j-q ≤ n ⇒ 1+q ≤ j ≤ n+q ⇒ 1+q ≤ j ≤ n Tính phần C: k:= 0 to m-1 q:= - n+1 to -1 1≤ i-k ≤ m ⇒ 1+k ≤ i ≤ m+k ⇒ 1+k ≤ i ≤ m 1≤ j-q ≤ n ⇒ 1+q ≤ j ≤ n+q ⇒ 1 ≤ j ≤ n+ q Tính phần D: k:= 0 to m-1 q:= 0 to n-1 1≤ i-k ≤ m ⇒ 1+k ≤ i ≤ m+k ⇒ 1+k ≤ i ≤ m 1≤ j-q ≤ n ⇒ 1+q ≤ j ≤ n+q ⇒ 1+q ≤ j ≤ n R(k,q) := R(k,q) + W(i,j)*T(i-k,j-q); Ví dụ: 1.Hai ảnh W và T giống hệt nhau W:1 2 3 1 1 4 1 1 3 T :1 2 3 1 1 4 1 1 3 => Q: 0.07 0.16 0.28 0.12 0.07 0.16 0.30 0.67 0.23 0.16 0.23 0.40 1.00 0.40 0.23 1.16 0.23 0.67 0.30 0.16 0.07 0.12 0.28 0.16 0.07 2.Hai ảnh W và T lệch nhau W = 3T 6 W: 3 6 9 3 3 12 3 3 9 T: 1 2 3 1 1 4 1 1 3 Q: 0.07 0.16 0.28 0.12 0.07 0.16 0.30 0.67 0.23 0.16 0.23 0.40 1.00 0.40 0.23 0.16 0.23 0.67 0.30 0.16 0.07 0.12 0.28 0.16 0.07 1. Hai ảnh W và T lệch nhau W = T +2 W: 3 4 5 3 3 6 3 3 5 T: 1 2 3 1 1 4 1 1 3 Q: 0.11 0.19 0.28 0.11 0.06 0.26 0.39 0.64 0.23 0.14 0.38 0.57 0.97 0.39 0.20 0.26 0.38 0.67 0.29 0.14 0.11 0.19 0.30 0.16 0.06 2. Hai ảnh W và T lệch nhau tại một điểm ảnh W: 1 2 3 1 1 7 1 1 3 T: 1 2 3 1 1 4 1 1 3 7 Q: 0.05 0.12 0.21 0.09 0.05 0.12 0.23 0.66 0.23 0.17 0.17 0.30 0.96 0.35 0.23 0.12 0.17 0.66 0.33 0.17 0.05 0.09 0.21 0.12 0.05 Trên đây là phần lý thuyết có liên quan đến bài làm mà em tìm hiểu được. 8 PHẦN 3 : KẾT LUẬN Quá quá trình cài đặt thuật toán,các vấn đề liên quan thì em có một số vấn đề sau : -Đối với các ảnh đầu vào có kích thước lớn thì xử lý còn chậm -Chương trình chỉ giải quyết được ghép 2 ảnh có phần chung, có cùng kích thước hoặc chỉ có chiều cao bằng nhau, còn các trường hợp còn lại thì chưa xử lỹ đươc. -Do thời gian hạn chế nên em chỉ mới thực hiện được theo yêu cầu của đề bài, chưa mở rộng tìm kiếm thêm. Qua quá trình bảo vệ đồ án, kính mong thầy cô góp ý để em hoàn thiện bài làm. Em xin chân thành cảm ơn ! TÀI LIỆU THAM KHẢO: 1.“Phương pháp đối sánh ảnh dựa trên hệ số tương quan và ứng dụng” - TS. Đào Thanh Tĩnh (Tạp chí Khoa học và kỹ thuật – số 120(III - 2007) - HVKTQS) 2. “Sử dụng hình đặc trưng trên ảnh để xác định kết quả bắn trên máy bắn tập MBT03 (2006)” - Hà Đại Dương, Đào Thanh Tĩnh, Mai Quang Huy (Tạp chí Khoa học và Kỹ thuật, Số 118, I-2007) 3.Một số tài liệu tìm kiếm được trên mạng Internet. 9 . BIỂU BÀI TOÁN Ghép ảnh là một chủ đề được quan tâm khá nhiều, ghép ảnh phục vụ cho nhiều việc : phục hồi ảnh, phục vụ cho ghép bản đồ… Biện pháp thông thường là tìm phần chung của 2 ảnh, sau đó. ghép được với nhau hay không. 1.1 Phát biểu bài toán : Cho 2 ảnh đầu vào A có kích thước MxN và ảnh B có kích thước M’xN’ có phần chung. Việc cần làm là ghép 2 ảnh A,B lại với nhau để được ảnh. vào ghép ảnh. Sau đây em xin trình bày các vấn đề liên quan đến thuật toán. 2 PHẨN 2 : NỘI DUNG PHƯƠNG PHÁP GHÉP ẢNH SỬ DỤNG HỆ SỐ TƯƠNG QUAN 2.1: Ý tưởng: Biến đổi ảnh T và W thành một ảnh khác