6. Dự kiến kết quả (vi ết theo từng nội dung nghiên cứ u, dự kiến logíc và khoa học,
2.4. Bộ lọc logic:
Trong bản đồ độ sâu cĩ nhiều lỗi được sinh ra vì nhiều lý do, nhưng chúng ta cĩ thể loại bỏ hầu hết chúng vì đặc trưng về logic của tấm ảnh. Sau đây là sự phân tích về các đặc trưng logic đĩ.
2.4.1. Sự che khuất trong hai tấm ảnh
Trong bản đồ chênh lệch cĩ những lỗi xảy ra do sự che khuất. Những chi tiết bị che khuất là những chi tiết chỉ tìm thấy ở một ảnh mà khơng thể tìm được ởảnh kia. Điều này gây ra là do hai tấm ảnh là kết quả từ hai gĩc nhìn khác nhau. Những chi tiết như vậy tìm được là khơng ít. Tuy nhiên, khi một chi tiết như thế tìm thấy thì khả năng cĩ thể tìm được ảnh của nĩ ở trong tấm ảnh cịn lại là khơng cĩ. Và lỗi sai xảy ra là tất yếu. Hình 0.11 là một sự minh họa cho lỗi xảy ra vì che khuất.
Bạch Ngọc Minh 45 Nhìn vào hai đồ thị trên, điểm A đã tồn tại trong ảnh bên trái nhưng bị che khuất trong ảnh bên phải. Chúng ta khơng thể tìm thấy được điểm A trong ảnh bên phải.
2.4.2. Bộ lọc logic trong trường hợp này
Trước hết, khi tính bản đồ chênh lệch là ta đang tính đến ∆x, hay là độ lệch của tọa độ x của một điểm giữa ảnh bên trái và ảnh bên phải. Gọi tọa độ x của ảnh bên trái là xl và ảnh bên phải là xr, khi đĩ, ta cĩ:
∆xA = xAl - xAr và ∆xB = xBl - xBr Suy ra:
xAr = xAl - ∆xA và xBr = xBl - ∆xB
Ở ảnh bên trái, điểm B nằm bên phải điểm A nên ta cĩ xBl > xAl. Nếu cĩ thể
tìm thấy được ∆xA thì điều kiện trước hết là điểm A khơng bị khuất sau điểm B. Như vậy, ta cĩ xBr > xAr. Từđĩ suy ra điều kiện để tìm thấy ∆xAđúng đĩ là:
xAl - ∆xA < xBl - ∆xB (0-2)
Nếu điều kiện trên khơng thỏa mãn với bất cứ một điểm nào, ta cĩ thể coi như∆xAđã bị tính sai và loại bỏ khỏi kết quả.
2.5. Bộ lọc kích thước:
2.5.1. Kích thước lỗi sai
Nếu tồn tại một lỗi sai trong kết quả, nĩ cĩ thể xảy ra do sự nhầm lẫn giữa các lần tính SAD. Nhưng sự nhầm lẫn này khơng đáng kể, đặc biệt khi ta tính tốn dựa trên những điểm hồn tồn đáng tin cậy nhưđường biên. Nếu vậy, trong bản đồ
chênh lệch của đường biên, những điểm tính bị lỗi sẽ chiếm diện tích khơng đáng kể. Và chúng ta cĩ thể dựa vào việc phân vùng và xác định kích thước vùng để loại bỏ các điểm bị sai.
Bạch Ngọc Minh 46
2.5.2. Cách lọc bằng kích thước:
Đầu tiên ta phải tìm cách đánh dấu những vùng cĩ sự sai lệch hợp lý với nhau vào cùng một vùng. Lưu ý rằng 2 pixel liên tiếp trong cùng một vùng sẽ cĩ giá trị sai lệch nhau khơng quá 1 đơn vị.
a
b
Hình 0.12: Lọc kích thước vùng
a. Kết quả khơng cĩ lọc kích thước
b. Kết quảđã cĩ lọc kích thước
Hình 0.12 thể hiện kết quả của một phép lọc kích thước vùng. Quan sát trong
Hình 0.12.a thấy cĩ tồn tại những lỗi sai nhưng rất rời rạc và cĩ kích thước bé. Quan sát Hình 0.12.b thấy những lỗi sai phát hiện ở Hình.a đã bị mất. Như vậy, phương pháp lọc này đã cĩ hiệu quả.
Kích thước của vùng điểm ảnh được cho là nhiễu cũng ảnh hưởng đến kết quả đầu ra. Nếu kích thước này quá bé, các lỗi sai sẽ khơng được lược bỏ hết. Nếu kích
Bạch Ngọc Minh 47 thước này lớn quá, các chi tiết đúng sẽ bị mất mát nhiều dẫn đến khĩ khăn trong quá trình nội suy.
2.6. Phương pháp SAD phân vùng
SAD phân đoạn là kỹ thuật sử dụng để nội suy một bản đồ độ sâu bao gồm các điểm đã tính được chuẩn. Sử dụng kỹ thuật này trong trường hợp chúng ta cĩ thểđốn được phạm vi của những điểm cần tính. Giả sử một điểm đã được xác định bên trong một vật thể mà những đường biên của nĩ đã được xác định độ sâu. Khi
đĩ, tồn tại một xác suất cao rằng những điểm bên trong vật thể sẽ cĩ độ sâu trong một phạm vi nhỏ xung quanh giá trị độ sâu của các đường biên của nĩ. Khi đĩ, sự
giới hạn độ sâu tính tốn của các điểm nội suy cĩ thể làm mất khả năng nhầm lẫn giữa điểm đã cho và các điểm bên ngồi.
Hình 0-1A : SAD phân đoạn
Ở Hình 0-1A, giả thiết độ sâu của những điểm thuộc đường biên bao gồm E1 và E2 đã tính được và tính chuẩn. Khi đĩ, giá trị vềđộ sâu của A chỉ cĩ thể dao
động xung quanh các giá trịđộ sâu của E1 và E2 dẫn đến khả năng tính tốn độ sâu của A được nâng cao lên, mặt khác lại khơng bị nhầm lẫn với một điểm cũng cĩ cấu trúc màu tương tự là điểm B.
Giả thiết biện pháp này khơng được sử dụng, khi đĩ ở ảnh đối chiếu cĩ thể
xuất hiện một điểm giống với điểm cần tính nằm ở lân cận khoảng cách với điểm B. Khi này, thuật tốn SAD cĩ thểđưa đến sự nhầm lẫn ở giá trịđộ sâu của A. Điểm A cĩ thểđược tính nhầm và ảnh hưởng trực tiếp đến các điểm nằm bên cạnh nĩ.
Bạch Ngọc Minh 48 Tĩm lại, phương pháp SAD phân đoạn dùng tốt trong trường hợp nội suy dựa theo giá trịđã tính đúng. Sử dụng biện pháp này giúp giảm lỗi và tăng tốc độ.
Tính tốn bản đồ chênh lệch là một trong những vấn đề quan trọng trong thị
giác máy tính 3D. Một số lượng lớn các thuật tốn đã được đề xuất để giải quyết vấn đề này. Một trong những phương pháp tương đối mới là Cải thiện tính tốn Bản
đồđộ sâu từ hình ảnh stereo theo phương pháp lai.
Đối với các cặp hình ảnh stereo đã được chỉnh sửa epipolar, mỗi điểm trong hình ảnh bên trái nằm trên đường nằm ngang ( đường epipolar ) cĩ thể cĩ điểm ảnh tương ứng trong hình ảnh bên phải. Cách tiếp cận này được sử dụng để làm giảm khơng gian tìm kiếm chiều sâu bản đồ thuật tốn tính tốn. Chiều sâu của một điểm
ảnh là khoảng cách điểm khơng gian tương ứng tới trung tâm máy ảnh. Đểước tính bản đồđộ sâu và phát hiện các đối tượng 3D, các điểm ảnh tương ứng trong những
ảnh trái và ảnh phải cần được phát hiện. Hệ thống được đề xuất cho việc phục hồi
độ sâu bắt đầu với việc thu thập lại các hình ảnh đã được hiệu chỉnh và sửa chữa. Thuật tốn này bao gồm các giai đoạn sau đây (Hình 0.13) :
1. Thu thập hình ảnh,
2. Hình học Epipolar và cải thiện hình ảnh, 3. Phân đoạn,
4. Thuật tốn phù hợp stereo, 5. Ước lượng bản đồđộ sâu.
Đầu tiên, biến dạng xuyên tâm và tiếp tuyến của ống kính được loại bỏ bằng cách hiệu chỉnh máy ảnh bởi các thơng số bên trong và bên ngồi máy ảnh. Để làm
được điều này cần cĩ sự hiểu biết về các thơng số máy ảnh với mục đích khắc phục cả hai hình ảnh. Sau khi hiệu chỉnh, hình ảnh được tách ra thành các khu vực bằng cách sử dụng các thuật tốn phân chia lai được đề xuất. Cuối cùng, thuật tốn phù hợp stereo được áp dụng trên các hình ảnh phân đoạn trái và phải với mục đích để
tìm tất cả các tương quan (điểm phù hợp) và gán chiều sâu cho từng phân đoạn. Đầu ra của thuật tốn phù hợp stereo là các bản đồđộ sâu.
Bạch Ngọc Minh 49
Hình 0.13: Thuật tốn SAD phân vùng
Trong phần tiếp theo, mục 1 trình bày về tổng quan về hiệu chuẩn máy ảnh cơ bản. Hình ảnh cải tiến dựa trên phân đoạn được mơ tả trong mục 2. Phương pháp phân đoạn Mean Shift và Belief Propagation được trình bày trong mục 3. Tại mục 4 trình bày về thuật tốn SAD lai. Cuối cùng là kết quả thực nghiệm và kết luận được trình bày ở chương 4.
1 .Hiệu chuẩn máy ảnh: Để áp dụng các kỹ thuật khác nhau cho ảnh stereo với một mức độ hợp lý chính xác, điều quan trọng là để hiệu chỉnh hệ thống camera. Nĩ là một quá trình tìm kiếm các thơng số bên trong và bên ngồi của máy ảnh. Các phương pháp hiệu chuẩn cổ điển dựa trên các mẫu hiệu chuẩn đặc biệt chuẩn bị, các đối tượng với kích thước và vị trí được biết đến trong một hệ tọa độ nhất định. Sau đĩ, các tính năng, chẳng hạn như gĩc và
đường, được chiết xuất từ một hình ảnh của mơ hình chuẩn. Đối tượng với các tính năng cĩ ý nghĩa thường được chọn để hiệu chỉnh được một cách rõ ràng các vị trí của chúng. Người ta thường dùng một bàn cờđơn giản cĩ thể đạt được mục đích này.
2 Chỉnh sửa hình ảnh: Chỉnh sửa hình ảnh (Hình 0.14) là cần thiết để giảm độ
phức tạp tính tốn điểm ảnh tương ứng trong hình ảnh trái và bên phải. Mục
đích của việc cải thiện hình ảnh là để tìm đường epipolar của hai hình ảnh theo liên kết chiều ngang. Điều này cĩ thểđược thực hiện bằng cách sử dụng các biến đổi tuyến tính xoay, dịch và nghiêng hình ảnh. Các thơng số nội bộ
Bạch Ngọc Minh 50 camera và thơng tin về định hướng và vị trí máy ảnh được sử dụng trong các phép biến đổi.
Các điểm 3D được phản chiếu thành các điểm trong hình ảnh stereo trái và phải. Sau khi cải thiện theo Hình 0.15, các đường epipolar của hai điểm phản chiếu là song song theo chiều ngang và liên kết dọc theo mặt phẳng hình ảnh mới. Các điểm được nằm trên cùng một đường dây epipolar. Do đĩ vấn đề
phù hợp stereo được giảm xuống tìm kiếm một chiều dọc theo các đường ngang, thay vì tìm kiếm hai chiều như nĩ được hiển thị trong Hình 0.15.
Hình 0.14: Ảnh stereo trước khi chỉnh sửa
Hình 0.15: Ảnh stereo sau khi chỉnh sửa
3 Phân đoạn hình ảnh màu: Trong phần này, hai phương pháp phân chia màu sắc được mơ tả: Belief Propagation, Mean Shift. Mục tiêu của việc phân vùng ảnh là chia tồn bộ hình ảnh thành một tập hợp các phân đoạn bao gồm các hình ảnh. Các phân đoạn cuối cùng phải đáp ứng đầy đủ bốn điều kiện sau:
Bạch Ngọc Minh 51 1.
2. Với mọi i và j, , tồn tại 3. Với thì bắt buộc 4. Với mọi , tồn tại
trong đĩ R đại diện cho tồn bộ hình ảnh, Ri (i = 1, 2,..., n) là các phân đoạn khơng rỗng, khơng chung nhau của R, P(Ri) là thuộc tính giống nhau của tất cả các yếu tố trong Ri và 0 đại diện cho một tập rỗng. Tổng kết cơng tác phân
đoạn phải bao gồm tất cả các điểm ảnh trong hình ảnh. Đây là điều kiện tiên quyết. Điều kiện thứ hai thể hiện các phân đoạn khác nhau khơng chồng chéo nhau. Điều kiện thứ ba thể hiện rằng các điểm ảnh trong cùng phân đoạn phải cĩ chung thuộc tính. Các thuộc tính phải khác nhau là điều kiện cuối cùng.
a. Belief Propagation: Belief Propagation là các thuật tốn đã được phát triển chủ yếu là với mục đích để tìm xác suất cận biên trong mạng Bayes. Ngồi ra, các thuật tốn cũng cĩ thể xử lý các mơ hình đồ họa khác như mơ hình Markov Random Field (MRF), đây là mối quan tâm nhất định trong việc tối ưu hĩa các hàm năng lượng tồn cục được tìm thấy trong máy tính thị giác. Mơ hình MRF là mơ hình đồ thị vơ hướng, trong đĩ các nút đại diện cho các biến ngẫu nhiên. Xác suất chung P(x1,..., xn) của mơ hình MRF pair-wise cĩ thểđược viết phân tích như sau:
(0-3)
Ở đây đại diện cho các nút của đồ thị, Z là hằng số chuẩn hĩa và các sản phẩm trên ij là hơn các nước láng giềng gần nhất trên mạng vuơng. Tiềm năng biểu diễn cho xác suất cho một trạng thái nhất định trong nút i dựa trên quan sát và tiềm năng biểu thị sự phụ thuộc điều kiện giữa các nút lân cận. Biến quan sát hiếm khi được viết ra một cách rõ ràng.
Bạch Ngọc Minh 52 Thuật tốn Belief Propagation (BP) thể hiện trong Hình 0.16, các thơng điệp
được chuyển đi trong một mơ hình đồ họa thơng qua một loạt các bản tin được gửi đi giữa các nút lân cận xung quanh trong một lưới hình ảnh liền kề 4. Bản tin được cập nhật trong các lần lặp. Trong mỗi bước lặp, mỗi điểm ảnh của đồ
thị liền kề tính tốn thơng điệp của mình, dựa trên kết quả của bước lặp trước, và gửi tin nhắn mới của nĩ tới tất cả các điểm ảnh liền kề 4 (hàng xĩm) theo hình thức song song.
Hình 0.16: Mơ hình cơ bản cho phân vùng ảnh
Mơ hình cơ bản cho phân vùng ảnh, như thể hiện trong Hình 0.16, là một đồ
thị với hai loại nút: nút ẩn (vịng trịn) và các nút quan sát (hình vuơng). Ψ là hàm chuyển trạng thái giữa một cặp nút trạng thái ẩn khác nhau và δ là hàm
đo lường giữa các nút trạng thái ẩn và nút dữ liệu quan sát được. Trong BP, mỗi nút sẽ gửi một thơng điệp tới các nút láng giềng trong đĩ biểu diễn phân bố xác suất.
b. Phương pháp Mean Shift: Thuật tốn Mean Shift đã được đề xuất bởi Fukunaga và Hostetler. Các thuật tốn dựa trên mật độ ước lượng hạt nhân. Thuật tốn này là thuật tốn lặp phi tham số. Cho một tập hợp các điểm dữ liệu d-chiều được đại diện bởi các giá trị xi, i = 1, 2,..., n trong d-chiều khơng gian Rd. Số lượng của điểm xi thuộc khu vực d-chiều xung quanh x với cạnh dài h được cho bởi:
Bạch Ngọc Minh 53
(0-4)
trong đĩ h xác định bán kính của hạt nhân và K (x) là hạt nhân hoặc hàm cửa sổ. Như vậy, ước tính mật độ hạt nhân được cho bởi:
(0-5)
Trong đĩ là hạt nhân đối xứng xuyên tâm, là hồ
sơ hạt nhân, và được chuẩn hĩa liên tục. Sau đĩ, phương trình (2-5) cĩ thểđược viết lại để:
(0-6)
Ước tính này cĩ thểđược xem như là gradient của xấp xỉ mật độ:
(0-7)
Một hạt nhân mới được định nghĩa là , trong đĩ là hàm hạt nhân mới và là hằng sốđược chuẩn hĩa. Sau khi thay thế trong phương trình (2-7):
Bạch Ngọc Minh 54
(0-9)
Sử dụng phương trình (0-8) , vector thay đổi trung bình được xác định:
(0-10)
Các thuật tốn Mean Shift dựa trên việc tính tốn lặp đi lặp lại vector dịch trung bình và thay đổi cĩ ý nghĩa và liên tục hiện thực hĩa vị trí hạt nhân bằng phương trình xk +1 = xk + m (XK).
4 Thuật tốn SAD lai
Trong phân vùng ảnh, phương pháp lai kết hợp hai hoặc nhiều hơn các thuật tốn phân vùng ảnh khác nhau. Ởđây chúng ta xem xét các thuật tốn lai được tạo ra bởi sự kết hợp của hai kỹ thuật: Belief Propagation và các thuật tốn phân đoạn Mean Shift. Cách tiếp cận này kết hợp những ưu điểm của cả hai phương pháp phân đoạn. Các thuật tốn Mean Shift cho kết quả nhanh chĩng và Belief Propagation thực hiện phân đoạn rất chính xác.
Bạch Ngọc Minh 55
Hình 0.17: Thuật tốn SAD lai
Đầu tiên, chúng tơi áp dụng cách lọc hình ảnh bằng thuật tốn Mean Shift. Bước này rất hữu ích cho việc loại bỏ tiếng ồn, làm mịn và phân vùng ảnh.
Đối với mỗi điểm ảnh của một hình ảnh, tập hợp các pixel lân cận được xác
định. Cho Xi là đầu vào và Yi hình ảnh lọc, trong đĩ i = 1, 2,..., n. Các thuật tốn lọc bao gồm các bước sau đây:
1 Khởi tạo , , .
2 Tính tốn thơng qua Shift bình chếđộ, nơi hội tụđiểm ảnh.
3 Lưu trữ các thành phần của mức xám của các giá trị tính tốn tại , nơi là thành phần khơng gian và , là thành phần phạm vi.
Thứ hai, hình ảnh được chia thành các đoạn sử dụng thuật tốn phím Mean Shift. Trong bước thứ ba, thực hiện sấp xỉđường bao của các phân đoạn. Thứ
tư, các phân đoạn nhỏ được sáp nhập với nhau thành những đoạn tiếp giáp tương tự như hầu hết các phương pháp Belief Propagation. Cuối cùng, chúng