6. Dự kiến kết quả (vi ết theo từng nội dung nghiên cứ u, dự kiến logíc và khoa học,
2.3.1.Phương pháp SAD đối với đường biên
Là phương pháp dựa trên phương pháp SAD nhưng chỉ áp dụng với những
điểm thuộc đường biên. Với cách này, tơi kỳ vọng sẽ cĩ được kết quả chính xác hơn với tốc độ tính tốn cao hơn.
Giả sử cĩ một cách nào đĩ, tơi cĩ thể giảm sốđiểm trong tập hợp dữ liệu cần tính xuống cịn 20% so với ban đầu. Như vậy, tốc độ của thuật tốn cĩ thể sẽ tăng
Bạch Ngọc Minh 40 lên đến 5 lần hay thời gian tính tốn sẽ giảm xuống 5 lần. Thật vậy, theo phương trình (0-1), nếu S giảm đi 5 lần và các giá trị khác vẫn giữ nguyên, ta sẽ cĩ t giảm 5 lần. Như vậy, tơi sẽ tìm những điểm đáng tin cậy nhất để tính tốn bản đồ chênh lệch nhằm giảm lỗi và tăng tốc độ.
Những điểm được chọn là những điểm mang tính phân biệt cao, hay nĩi cách khác là khĩ bị nhầm lẫn với những điểm khác. Dựa trên các tính chất của đường biên đã được nêu tại mục 1.6.11.6.1, những điểm thuộc đường biên cĩ tính phân biệt rất cao. Như vậy, lựa chọn đường biên để tính tốn trong trường hợp này là một lựa chọn hợp lý. Khi chọn đường biên làm tập hợp dữ liệu để tính tốn, bước đầu ta cũng cĩ thể tránh được sự nhầm lẫn gây ra bởi các điểm lân cận, lỗi nhiều nhất trong những phép tốn trước.
Hình 0.7: Đường biên cũng là đường bao đối tượng
Đường biên cịn giúp tạo ra kết quả nội suy chính xác hơn về sau. Thật vậy, cũng theo tính chất của đường biên, nĩ là đặc trưng bất biến và cũng chứa các
đường bao của các đối tượng. Nếu cho rằng các đối tượng cĩ độ sâu như nhau ở
mọi điểm của nĩ. Như vậy, khi cĩ được tồn bộđường bao của đối tượng và độ sâu của tất cả các điểm trên nĩ, ta cĩ thể suy ra độ sâu của những điểm cịn lại.
Dưới những lý do trên, tơi chọn đường biên là những điểm sẽ được tính tốn
độ sâu trực tiếp. Hình 0.8 là một sự so sánh kết quả tính bản đồ chênh lệch dựa trên
đường biên là 20% bức ảnh, đường biên là 30% bức ảnh và tồn bộ bức ảnh. Với kết quảđã thể hiện trong Hình 0.8, chúng ta rút ra một số nhận xét:
Bạch Ngọc Minh 41
• Kết quả của thuật tốn chính xác hơn đối với những đường biên. Sốđường biên tính tốn càng nhỏ, độ chính xác càng cao.
• Khi sốđiểm làm đường biên được tính tốn nhỏđến một ngưỡng nào đĩ thì kích thước cửa sổ tính tốn khơng cịn ảnh hưởng đến kết quả tính tốn nữa. Với nhận xét thứ 2, ta hiển nhiên cĩ thể giảm kích thước cửa sổ lấy SAD đi mà vẫn kỳ vọng cĩ được kết quả cĩ độ chính xác cao.
Hình 0.8: Đánh giá kết quả của phương pháp SAD dựa trên đường biên 2.3.2. Phương pháp trích chọn đường biên màu
Phương pháp trích chọn đường biên màu là một phương pháp cải tiến hơn so với phương pháp trích chọn đường biên dựa trên ảnh xám. Sở dĩ phải trích chọn đường biên màu vì đường biên ảnh xám khơng thể hiện được hết các đường bao của đối tượng. Các
ảnh xám khơng thể thể hiện được hết các tính chất nhưđối với ảnh màu.
Hình 0.9 thể hiện sự khác biệt giữa đường biên được lấy từảnh màu và đường biên được lấy từảnh xám. Nhìn vào kết quả của phép lấy đường biên, ta để ý:
Đường biên của ảnh màu kín hơn so với đường biên trong ảnh xám.
Những đường biên thực tế bị thiếu đi thì những đường biên sai sĩt lập tức vào
Bạch Ngọc Minh 42
a b
c d
Hình 0.9: Đường biên 20% sốđiểm bằng phương pháp Sobel màu và xám
a. Ảnh xám
b. Ảnh màu
c. Đường biên ảnh xám
Bạch Ngọc Minh 43 a b c d e Hình 0.10 : Các mảng màu của hình gốc a. Ảnh màu b. Ảnh xám c. Ảnh màu đỏ d. Ảnh màu xanh lục
e. Ảnh màu xanh lam
Hình 0.10 thể hiện lý do của sự thiếu đường biên trong đường biên ảnh xám. Trong ảnh màu hoặc các mảng màu của ảnh gốc cĩ những điểm cĩ sự nhảy bậc của màu sắc hoặc đường biên, nhưng trong ảnh xám khơng cĩ. Như vậy, thực hiện bắt các đường biên bằng các mảng màu cơ bản, ta sẽ cĩ các đường biên kín hơn và đặc trưng hơn. Sau đây sẽ là các bước để xây dựng giải thuật tìm đường biên dựa trên các mảng màu cơ bản: (adsbygoogle = window.adsbygoogle || []).push({});
• Bước 1: Ta coi 3 mảng màu giống như những ảnh xám bình thường khác, ta tìm đường biên bằng tốn tử sobel.
• Bước 2: Ứng với mỗi điểm chỉ cĩ thể cĩ 1 giá trị nên ta sẽ lấy giá trịđường biên của nĩ bằng giá trị lớn nhất trong 3 giá trị tính được trên 3 mảng màu. Tính tốn SAD dựa trên 3 mảng màu sẽ phải tốn thời gian gấp 3 lần so với tính tốn SAD dựa trên ảnh xám. Thật vậy, nếu coi mỗi màu cơ bản tương đương
Bạch Ngọc Minh 44 với một ảnh xám, ta sẽ phải tính SAD dựa trên 3 tấm ảnh so vì một tấm. Như vậy, dựa theo cơng thức (0-1), kích thước cửa sổ W sẽ tăng gấp 3 khiến thời gian thực hiện phép tốn t cũng tăng gấp 3 lần, tốc độ phép tốn sẽ giảm đi 3 lần.
Tuy nhiên, dựa vào phương pháp này, tốc độ phép tốn sẽ khơng bị giảm đi 3 lần như so với phương pháp SAD ảnh xám thơng thường. Thật vậy, bởi lẽ mặc dù
đường biên được lấy dựa trên 3 mảng màu, mỗi điểm chỉ là đường biên của một mảng màu cơ bản. Như vậy, tính đặc trưng của đường biên được nĩi đến trong mục 1.6.1 cũng chỉ tồn tại trong 1 mảng màu. Như vậy, phép tính SAD dựa vào điểm đĩ cũng chỉ phải tính trên một mảng màu. Và điều này khiến tốc độ thuật tốn lúc này khơng bị tăng gấp 3 lần.
2.4. Bộ lọc logic:
Trong bản đồ độ sâu cĩ nhiều lỗi được sinh ra vì nhiều lý do, nhưng chúng ta cĩ thể loại bỏ hầu hết chúng vì đặc trưng về logic của tấm ảnh. Sau đây là sự phân tích về các đặc trưng logic đĩ.
2.4.1. Sự che khuất trong hai tấm ảnh
Trong bản đồ chênh lệch cĩ những lỗi xảy ra do sự che khuất. Những chi tiết bị che khuất là những chi tiết chỉ tìm thấy ở một ảnh mà khơng thể tìm được ởảnh kia. Điều này gây ra là do hai tấm ảnh là kết quả từ hai gĩc nhìn khác nhau. Những chi tiết như vậy tìm được là khơng ít. Tuy nhiên, khi một chi tiết như thế tìm thấy thì khả năng cĩ thể tìm được ảnh của nĩ ở trong tấm ảnh cịn lại là khơng cĩ. Và lỗi sai xảy ra là tất yếu. Hình 0.11 là một sự minh họa cho lỗi xảy ra vì che khuất.
Bạch Ngọc Minh 45 Nhìn vào hai đồ thị trên, điểm A đã tồn tại trong ảnh bên trái nhưng bị che khuất trong ảnh bên phải. Chúng ta khơng thể tìm thấy được điểm A trong ảnh bên phải.
2.4.2. Bộ lọc logic trong trường hợp này
Trước hết, khi tính bản đồ chênh lệch là ta đang tính đến ∆x, hay là độ lệch của tọa độ x của một điểm giữa ảnh bên trái và ảnh bên phải. Gọi tọa độ x của ảnh bên trái là xl và ảnh bên phải là xr, khi đĩ, ta cĩ:
∆xA = xAl - xAr và ∆xB = xBl - xBr Suy ra:
xAr = xAl - ∆xA và xBr = xBl - ∆xB
Ở ảnh bên trái, điểm B nằm bên phải điểm A nên ta cĩ xBl > xAl. Nếu cĩ thể
tìm thấy được ∆xA thì điều kiện trước hết là điểm A khơng bị khuất sau điểm B. Như vậy, ta cĩ xBr > xAr. Từđĩ suy ra điều kiện để tìm thấy ∆xAđúng đĩ là:
xAl - ∆xA < xBl - ∆xB (0-2)
Nếu điều kiện trên khơng thỏa mãn với bất cứ một điểm nào, ta cĩ thể coi như∆xAđã bị tính sai và loại bỏ khỏi kết quả.
2.5. Bộ lọc kích thước:
2.5.1. Kích thước lỗi sai
Nếu tồn tại một lỗi sai trong kết quả, nĩ cĩ thể xảy ra do sự nhầm lẫn giữa các lần tính SAD. Nhưng sự nhầm lẫn này khơng đáng kể, đặc biệt khi ta tính tốn dựa trên những điểm hồn tồn đáng tin cậy nhưđường biên. Nếu vậy, trong bản đồ
chênh lệch của đường biên, những điểm tính bị lỗi sẽ chiếm diện tích khơng đáng kể. Và chúng ta cĩ thể dựa vào việc phân vùng và xác định kích thước vùng để loại bỏ các điểm bị sai.
Bạch Ngọc Minh 46
2.5.2. Cách lọc bằng kích thước:
Đầu tiên ta phải tìm cách đánh dấu những vùng cĩ sự sai lệch hợp lý với nhau vào cùng một vùng. Lưu ý rằng 2 pixel liên tiếp trong cùng một vùng sẽ cĩ giá trị sai lệch nhau khơng quá 1 đơn vị.
a
b
Hình 0.12: Lọc kích thước vùng
a. Kết quả khơng cĩ lọc kích thước
b. Kết quảđã cĩ lọc kích thước (adsbygoogle = window.adsbygoogle || []).push({});
Hình 0.12 thể hiện kết quả của một phép lọc kích thước vùng. Quan sát trong
Hình 0.12.a thấy cĩ tồn tại những lỗi sai nhưng rất rời rạc và cĩ kích thước bé. Quan sát Hình 0.12.b thấy những lỗi sai phát hiện ở Hình.a đã bị mất. Như vậy, phương pháp lọc này đã cĩ hiệu quả.
Kích thước của vùng điểm ảnh được cho là nhiễu cũng ảnh hưởng đến kết quả đầu ra. Nếu kích thước này quá bé, các lỗi sai sẽ khơng được lược bỏ hết. Nếu kích
Bạch Ngọc Minh 47 thước này lớn quá, các chi tiết đúng sẽ bị mất mát nhiều dẫn đến khĩ khăn trong quá trình nội suy.
2.6. Phương pháp SAD phân vùng
SAD phân đoạn là kỹ thuật sử dụng để nội suy một bản đồ độ sâu bao gồm các điểm đã tính được chuẩn. Sử dụng kỹ thuật này trong trường hợp chúng ta cĩ thểđốn được phạm vi của những điểm cần tính. Giả sử một điểm đã được xác định bên trong một vật thể mà những đường biên của nĩ đã được xác định độ sâu. Khi
đĩ, tồn tại một xác suất cao rằng những điểm bên trong vật thể sẽ cĩ độ sâu trong một phạm vi nhỏ xung quanh giá trị độ sâu của các đường biên của nĩ. Khi đĩ, sự
giới hạn độ sâu tính tốn của các điểm nội suy cĩ thể làm mất khả năng nhầm lẫn giữa điểm đã cho và các điểm bên ngồi.
Hình 0-1A : SAD phân đoạn
Ở Hình 0-1A, giả thiết độ sâu của những điểm thuộc đường biên bao gồm E1 và E2 đã tính được và tính chuẩn. Khi đĩ, giá trị vềđộ sâu của A chỉ cĩ thể dao
động xung quanh các giá trịđộ sâu của E1 và E2 dẫn đến khả năng tính tốn độ sâu của A được nâng cao lên, mặt khác lại khơng bị nhầm lẫn với một điểm cũng cĩ cấu trúc màu tương tự là điểm B.
Giả thiết biện pháp này khơng được sử dụng, khi đĩ ở ảnh đối chiếu cĩ thể
xuất hiện một điểm giống với điểm cần tính nằm ở lân cận khoảng cách với điểm B. Khi này, thuật tốn SAD cĩ thểđưa đến sự nhầm lẫn ở giá trịđộ sâu của A. Điểm A cĩ thểđược tính nhầm và ảnh hưởng trực tiếp đến các điểm nằm bên cạnh nĩ.
Bạch Ngọc Minh 48 Tĩm lại, phương pháp SAD phân đoạn dùng tốt trong trường hợp nội suy dựa theo giá trịđã tính đúng. Sử dụng biện pháp này giúp giảm lỗi và tăng tốc độ.
Tính tốn bản đồ chênh lệch là một trong những vấn đề quan trọng trong thị
giác máy tính 3D. Một số lượng lớn các thuật tốn đã được đề xuất để giải quyết vấn đề này. Một trong những phương pháp tương đối mới là Cải thiện tính tốn Bản
đồđộ sâu từ hình ảnh stereo theo phương pháp lai.
Đối với các cặp hình ảnh stereo đã được chỉnh sửa epipolar, mỗi điểm trong hình ảnh bên trái nằm trên đường nằm ngang ( đường epipolar ) cĩ thể cĩ điểm ảnh tương ứng trong hình ảnh bên phải. Cách tiếp cận này được sử dụng để làm giảm khơng gian tìm kiếm chiều sâu bản đồ thuật tốn tính tốn. Chiều sâu của một điểm
ảnh là khoảng cách điểm khơng gian tương ứng tới trung tâm máy ảnh. Đểước tính bản đồđộ sâu và phát hiện các đối tượng 3D, các điểm ảnh tương ứng trong những
ảnh trái và ảnh phải cần được phát hiện. Hệ thống được đề xuất cho việc phục hồi
độ sâu bắt đầu với việc thu thập lại các hình ảnh đã được hiệu chỉnh và sửa chữa. Thuật tốn này bao gồm các giai đoạn sau đây (Hình 0.13) :
1. Thu thập hình ảnh,
2. Hình học Epipolar và cải thiện hình ảnh, 3. Phân đoạn,
4. Thuật tốn phù hợp stereo, 5. Ước lượng bản đồđộ sâu.
Đầu tiên, biến dạng xuyên tâm và tiếp tuyến của ống kính được loại bỏ bằng cách hiệu chỉnh máy ảnh bởi các thơng số bên trong và bên ngồi máy ảnh. Để làm
được điều này cần cĩ sự hiểu biết về các thơng số máy ảnh với mục đích khắc phục cả hai hình ảnh. Sau khi hiệu chỉnh, hình ảnh được tách ra thành các khu vực bằng cách sử dụng các thuật tốn phân chia lai được đề xuất. Cuối cùng, thuật tốn phù hợp stereo được áp dụng trên các hình ảnh phân đoạn trái và phải với mục đích để
tìm tất cả các tương quan (điểm phù hợp) và gán chiều sâu cho từng phân đoạn. Đầu ra của thuật tốn phù hợp stereo là các bản đồđộ sâu.
Bạch Ngọc Minh 49
Hình 0.13: Thuật tốn SAD phân vùng
Trong phần tiếp theo, mục 1 trình bày về tổng quan về hiệu chuẩn máy ảnh cơ bản. Hình ảnh cải tiến dựa trên phân đoạn được mơ tả trong mục 2. Phương pháp phân đoạn Mean Shift và Belief Propagation được trình bày trong mục 3. Tại mục 4 trình bày về thuật tốn SAD lai. Cuối cùng là kết quả thực nghiệm và kết luận được trình bày ở chương 4. (adsbygoogle = window.adsbygoogle || []).push({});
1 .Hiệu chuẩn máy ảnh: Để áp dụng các kỹ thuật khác nhau cho ảnh stereo với một mức độ hợp lý chính xác, điều quan trọng là để hiệu chỉnh hệ thống camera. Nĩ là một quá trình tìm kiếm các thơng số bên trong và bên ngồi của máy ảnh. Các phương pháp hiệu chuẩn cổ điển dựa trên các mẫu hiệu chuẩn đặc biệt chuẩn bị, các đối tượng với kích thước và vị trí được biết đến trong một hệ tọa độ nhất định. Sau đĩ, các tính năng, chẳng hạn như gĩc và
đường, được chiết xuất từ một hình ảnh của mơ hình chuẩn. Đối tượng với các tính năng cĩ ý nghĩa thường được chọn để hiệu chỉnh được một cách rõ ràng các vị trí của chúng. Người ta thường dùng một bàn cờđơn giản cĩ thể đạt được mục đích này.
2 Chỉnh sửa hình ảnh: Chỉnh sửa hình ảnh (Hình 0.14) là cần thiết để giảm độ
phức tạp tính tốn điểm ảnh tương ứng trong hình ảnh trái và bên phải. Mục
đích của việc cải thiện hình ảnh là để tìm đường epipolar của hai hình ảnh theo liên kết chiều ngang. Điều này cĩ thểđược thực hiện bằng cách sử dụng các biến đổi tuyến tính xoay, dịch và nghiêng hình ảnh. Các thơng số nội bộ
Bạch Ngọc Minh 50 camera và thơng tin về định hướng và vị trí máy ảnh được sử dụng trong các phép biến đổi.
Các điểm 3D được phản chiếu thành các điểm trong hình ảnh stereo trái và phải. Sau khi cải thiện theo Hình 0.15, các đường epipolar của hai điểm phản chiếu là song song theo chiều ngang và liên kết dọc theo mặt phẳng hình ảnh mới. Các điểm được nằm trên cùng một đường dây epipolar. Do đĩ vấn đề
phù hợp stereo được giảm xuống tìm kiếm một chiều dọc theo các đường ngang, thay vì tìm kiếm hai chiều như nĩ được hiển thị trong Hình 0.15.
Hình 0.14: Ảnh stereo trước khi chỉnh sửa
Hình 0.15: Ảnh stereo sau khi chỉnh sửa
3 Phân đoạn hình ảnh màu: Trong phần này, hai phương pháp phân chia màu