Trong phần này, các kết quả thử nghiệm bằng cách sử dụng phương pháp được đề xuất được trình bày chi tiết. Thử nghiệm được thực hiện trên hai loại bản đồ chênh lệch khác nhau. Tập dữ liệu đầu vào đầu tiên bao gồm năm bản đồ chênh lệch được thu thập từ cơ sở dữ liệu chung với liên kết http://vision.middlebury.edu/stereo/data/ như được minh họa trong Hình 2.20. Mục đích của phép thử này là thực hiện thuật tốn được áp dụng trong trường hợp có bản đồ chênh lệch hồn hảo.
(a) (b) (c) Hình 2.20. Kết quả của các ảnh kiểm tra trong thư viện Middlebury
Chú thích: Theo cột, từ trái qua phải: (a) hình ảnh màu, (b) bản đồ chênh lệch, (c) bản đồ với các mặt phẳng được đánh dấu bằng các màu khác nhau.
Theo hàng từ trên xuống dưới, hàng đầu tiên là hình ảnh Sawtooth, hàng thứ hai là hình ảnh Venus, hàng thứ ba là hình ảnh Cones, thứ tư là hình ảnh Teddy, và hàng cuối cùng là hình ảnh Books, tương ứng;
Để kiểm tra sự ổn định của thuật toán được đề xuất khi xử lý dữ liệu độ sâu mơi trường hoạt động của rơ-bốt, chương trình được thực hiện với các bản đồ độ sâu không lý tưởng như trong Hình 2.21. Trường hợp thứ hai này gặp thường xuyên hơn trường hợp đầu tiên. Chất lượng bản đồ độ sâu thường khơng lý tưởng do các thiết bị tính tốn độ sâu thường sử dụng một số thuật toán với độ phức tạp thấp để đạt được mức tăng tối đa trong thời gian tính tốn. Các mặt phẳng được phát hiện như được minh họa trong cột cuối cùng được hiển thị mượt mà, trơn tru với các cảnh thực trong nhiều cảnh thử nghiệm với số lượng đối tượng nằm trên nền tăng dần.
(a) (b) (c) Hình 2.21. Kết quả của các ảnh kiểm tra thu thập bởi máy ảnh RGB-D
Chú thích: Theo cột, từ trái qua phải: (a) ảnh màu, (b) bản đồ độ sâu, (c) bản đồ với các mặt phẳng được đánh dấu bằng các màu khác nhau. Theo hàng từ trên xuống dưới, hàng đầu tiên là hình ảnh Một vật cản, hình ảnh 2 vật cản và hình ảnh 3 vật cản, tương ứng;
Hình 2.22 cho thấy so sánh số lượng mặt phẳng được phát hiện giữa phương pháp áp dụng NGaF và phương pháp FPDIDM [7]. Đối với hình ảnh Sawtooth và Venus, kết quả số lượng mặt phẳng của phương pháp FPDIDM tương ứng với kết quả của phương pháp được đề xuất áp dụng ngưỡng lọc min = 256. Đối với hình ảnh Cones và Teddy, số lượng mặt phẳng thu được của thuật tốn FPDIDM tương ứng với cơng việc được áp dụng với ngưỡng lọc min = 64. Số lượng mặt phẳng phát hiện của FPDIDM trong ảnh Books
tương ứng với phương pháp được áp dụng bằng ngưỡng tối thiểu min = 128.
Hình 2.22. So sánh số lượng mặt phẳng được phát hiện theo một số ngưỡng tối thiểu min khác nhau với phương pháp FPDIDM [7]
Chú thích: Các bản đồ chênh lệch từ thư viện Middlebury
36 23 122 149 181 9 13 73 76 106 4 7 36 52 62 3 5 24 28 42 3 5 77 72 63 50 100 150 200
Sawtooth Venus Cones Teddy Books
Numbe r of de tec ted plane
Hình 2.23 minh họa số lượng mặt phẳng được phát hiện với ngưỡng tối thiểu min từ 32 đến 256 kiểm tra với bản đồ độ sâu từ máy ảnh RGB-D. Rõ ràng, cũng như Hình 2.23, ngưỡng min lớn hơn thì số lượng mặt phẳng phát hiện ít hơn vì một số mặt phẳng nhỏ hơn ngưỡng min được coi như nhiễu nên bị loại bỏ. Tốc độ giảm của mặt phẳng số lượng là gần 50% trong khi min nhảy từ 32 đến 64 và từ 64 đến 128 nhưng tốc độ giảm này chậm lại khi ngưỡng tối thiểu tăng từ 128 lên 256 trong tất cả các trường hợp được thử nghiệm. Ngoài ra số lượng các mặt phẳng phát hiện phụ thuộc vào các đối tượng trong
cảnh rất nhiều.
Hình 2.23. Số lượng mặt phẳng được phát hiện theo các ngưỡng tối thiểu min khác nhau áp dụng với bản đồ độ sâu từ máy ảnh RGB-D
Hình 2.24 minh họa so sánh giữa phương pháp được đề xuất và ba phương pháp tiếp cận khác bao gồm HSBSR, PPDFM, FPDIDM về khía cạnh hình ảnh kết quả trực quan.
(d) (e) (f)
Hình 2.24. Kết quả của các phương pháp HSBSR [6], PPDFDM [53], FPDIDM [7] và thuật toán đề xuất trên bản đồ chênh lệch St-Michel Jail của Toulouse
Chú thích: (a): hình ảnh tham chiếu, (b): bản đồ chênh lệch, (c): Phân loại các mảnh phẳng của [6], (d): Phân loại các mảnh phẳng của [53], (e): Phân loại các mảnh phẳng của
phương pháp FPDIDM [7].
Mỗi cấp độ xám tương ứng với một mặt phẳng khác nhau. Các phần màu đỏ được định nghĩa là phi phẳng theo lý thuyết xác nhận [6], (f): Phân loại các mảnh phẳng của phương pháp đề xuất NGaF. Mỗi màu tương ứng với một mặt phẳng khác nhau.
Hình 2.25 biểu diễn kết quả đánh giá so sánh dựa trên ba thơng số chung bao gồm thời gian tính tốn, số lượng mặt phẳng phát hiện và tỷ lệ phần trăm của các điểm hợp lệ. Thời gian xử lý được đưa ra để đo lường tương đối tính đáp ứng thời gian thực của phương pháp nghiên cứu. Trong bối cảnh chương trình chạy trên cùng cấu hình phần cứng, thời gian tính tốn của phương pháp đề xuất giảm 33 lần so với thuật tốn RANSAC được cải thiện (HSBSR). Trong khi đó, kết quả số lượng mặt phẳng tìm thấy của phương pháp đề xuất lớn hơn kết quả của phương pháp PPDFDM và FPDIDM khoảng 8%. Tất cả kết quả số lượng mặt phẳng của các phương pháp nằm trong phạm vi hợp lý. Cuối cùng, tham số có ý nghĩa quan trọng nhất là kết quả tỷ lệ phần trăm điểm hợp lệ. Đây là tỷ lệ số điểm tìm được trong một mặt phẳng trên tổng số điểm cần phải quan tâm. Tỷ lệ số điểm hợp lệ của phương pháp đề xuất tốt hơn so với những cách tiếp cận được so sánh ít nhất 2%.
Hình 2.25. So sánh ba thơng số đánh giá giữa các phương pháp HSBSR, PPDFDM, FPDIDM và Phương pháp NGaF đề xuất trên bản đồ chênh lệch nhà thờ St-Michel Jail ở Toulouse.
2.5.4. Kết luận
Trong lĩnh vực xử lý hình ảnh thị giác nổi, phát hiện mặt phẳng nhằm mục đích hỗ trợ sự di chuyển của phương tiện giao thông hay rô-bốt di động. Phần này thực hiện giải quyết vấn đề phát hiện mặt phẳng dựa trên bản đồ độ sâu bằng cách sử dụng một thuật tốn phân nhóm hàng xóm mới và bộ lọc hợp lý (NGaF). Ưu điểm chính của phương pháp đề xuất này là sự đơn giản trong khi vẫn đảm bảo độ tin cậy của các kết quả. Đầu tiên, một giả thuyết về mặt phẳng trong các bản đồ độ sâu được xây dựng ngắn gọn và rõ ràng. Sau đó các thuật tốn trích mặt phẳng được áp dụng dựa trên một số đặc trưng chắc chắn của mặt phẳng. Kết quả của phương pháp áp dụng được đánh giá là tích cực trên cả hai mặt trực quan và qua các thông số quan trọng. Phương pháp tiếp cận NGaF cũng đang được đánh giá vượt trội hơn so với các phương pháp sử dụng thuật toán kinh điển RANSAC, thuật toán mạnh PPDFDM và FPDIDM. Thời gian tính tốn của phương án đề xuất giảm 33 lần so với các thuật toán RANSAC được cải thiện (HSBSR). Trong khi đó, số lượng mặt phẳng được tìm thấy là lớn hơn khoảng 8% so với kết quả của phương pháp PPDFDM và FPDIDM. Cuối cùng, tỷ lệ phần trăm các điểm có giá trị được xử lý lớn hơn 2% so với các phương pháp được so sánh. Phương pháp đề xuất chắc chắn có khả năng thực hiện trên phần cứng thơng thường với nguồn lực hạn chế cũng như đảm bảo cho các ứng dụng thời gian thực về xử lý tín hiệu video.
Tổng kết chương
Chương này đã trình bày đề xuất cách áp dụng thuật tốn SAD sửa đổi để giải quyết vấn đề xác định bản đồ chênh lệch. Phương pháp tính tốn áp dụng cho dữ liệu biên ảnh, được trích xuất từ các cặp ảnh nổi. Khối lượng dữ liệu cần xử lý được giảm rất nhiều so
50 103 91 4 89 93 9 92 92 1.5 98 95 20 40 60 80 100
Computation tim e (s) Num ber of planes Valid point (%)
với khối dữ liệu tồn ảnh nên chương trình u cầu ít tải tính tốn hơn. Đồng nghĩa với việc thời gian chạy nhanh hơn trên cùng một nền tảng phần cứng. Kết quả đánh giá thời gian chạy giảm trung bình 5,7 lần. Việc áp dụng maxbias là 2, 5 và 10 chứng minh cho hiệu quả hơn thực nghiệm không dùng maxbias trong việc giảm thời gian xử lý. Đề xuất áp dụng SAD cải thiện với bộ thông số maxbias=10 và cửa sổ làm việc 11 11 bởi độ chính xác giữ gần như khơng thay đổi so với phương pháp SAD gốc.
Trong các mục 2.4 và 2.5 của chương này, tác giả đã đề xuất thuật tốn Nhóm hàng xóm và Lọc (NGaF) để phát hiện bề mặt phẳng từ chỉ một bản đồ độ sâu hoặc bản đồ chênh lệch. Kết quả thử nghiệm thể hiện phương pháp được đề xuất mạnh mẽ. Bằng cách so sánh ba thơng số chung giữa các phương pháp, thuật tốn được áp dụng mang lại hiệu suất cao. Với cách tiếp cận khai thác bản đồ gradient độ sâu để trích xuất đối tượng mặt phẳng là một hướng giải quyết bài tốn ứng dụng như tái tạo mơi trường 3D, nhận dạng sâu các đối tượng trong ảnh thị giác. Do đó, mơ hình tốn học đề xuất của chương 2 là cơ sở để phát triển thuật toán nhận dạng đối tượng mặt đất được trình bày trong chương 3.
CHƯƠNG 3. PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT MẶT ĐẤT
Giới thiệu chương
Nhận dạng mặt đất là bài toán cơ bản trong lĩnh vực xử lý ảnh thị giác. Kết quả của bài tốn này có thể hỗ trợ cho ứng dụng dẫn đường xe rô-bốt. Sự di chuyển rô-bốt là liên tục nên bài tốn ln đặt ra yêu cầu phải đáp ứng thời gian thực. Trong khi đó các phương pháp áp dụng ln phải đối mặt với tải tính tốn cao và hoạt động trên nền tảng phần cứng hạn chế hoặc u cầu bắt buộc có cấu hình cao. Trong chương này, tác giả đề xuất cách tiếp cận nâng cao để nhận dạng mặt đất bằng cách sử dụng các vùng phẳng gần đúng và nhóm phẳng được nhận dạng từ bản đồ độ sâu 2D. Chương này được cấu trúc trong bốn phần, trong đó phần 3.2 giới thiệu một số nguyên tắc cơ bản về toán học trong bài tốn phát hiện mặt phẳng. Sau đó, phần 3.3 minh họa thuật toán nhận dạng mặt đất được đề xuất xử lý bộ dữ liệu tin cậy trong khi phần 3.4 là một số cải thiện thuật toán đề xuất cho phù hợp với bộ dữ liệu thực tế thu thập bởi máy ảnh RGB-D. Hai phần này đều trình bày cụ thể các thảo luận về kết quả thử nghiệm và đánh giá hiệu suất phương pháp đề xuất. Cuối cùng phần 3.5 là tổng kết nội dung chính cơng việc đã làm.
Các kết quả nghiên cứu đề xuất đề cập trong chương 3 đã được công bố trong các bài báo (2) và (4) trong phần “Danh mục các cơng trình đã cơng bố của luận án”. Bài báo số (4) ở trên cũng chính là kết quả tiếp theo của đề tài khoa học và công nghệ cấp cơ sở mã số T2016-PC-108 năm 2016 có tên “Nghiên cứu phát triển thuật tốn trích mặt phẳng đất và vật cản dựa trên hệ thống cảm biến kinect ứng dụng hỗ trợ dẫn đường cho rô-bốt di động”. Đề tài này được Trường Đại học Bách Khoa Hà Nội phê duyệt năm 2016 và nghiệm thu năm 2017 với kết quả tốt đã hỗ trợ hiệu quả cho nghiên cứu sinh trong thời gian thực hiện luận án tiến sỹ.
Nguyên lý nhận dạng đối tượng mặt đất
Giả sử rằng máy ảnh có tiêu cự f nằm ở O với chiều cao h so với mặt đất như thể hiện trong Hình 3.1, trong đó PI và PG tương ứng là mặt phẳng hình ảnh và mặt phẳng đất. Cho O1 và O2 là kết quả các phép chiếu của O trên PG và PI tương ứng; MI1 và MI2 là các điểm nằm trên PI và p khoảng cách từ O2 đến MI1. Tiếp theo, độ sâu của MI1 có
2 2 1 p f h z= + (3.1)
Thực hiện vi phân hai vế của (3.1), nhận được (3.2).
d f p p hf dz 2 2 2 2 1 + − = (3.2)
Từ phương trình (3.2) có thể xác định độ chênh lệch độ sâu zy từ sự khác biệt chiều cao p ở trục đứng y. O 1 G M z p 2 G M y 2 O 1 M d G M x h f d 1 O 1 I M 2 I M G P I P
Hình 3.1. Mơ hình tốn học xác định độ chênh lệch độ sâu
Mặt khác, cũng từ Hình 3.1, độ chênh lệch độ sâu zx có thể được xác định từ khoảng cách khác nhau MG của MG1 và MG2 trên mặt đất trong trục ngang x như thể
hiện trong phương trình (3.3).
z z M zx = G + − 2 2 (3.3)
Hai phương trình (3.2) và (3.3) có thể được sử dụng để tính tốn bản đồ gradient độ sâu theo hướng y và x tương ứng. Giả sử MI là khoảng cách của một điểm, ta có
z OM M M I I G = 1 , trong đó tỷ lệ 1 I I OM M rất nhỏ. Do đó z OM M z I I 1 và zx được tính bằng phương trình (3.3) nên rất nhỏ. Do đó để đơn giản trong các thuật tốn đề xuất,
x
z
luôn luôn được coi bằng 0 cho các điểm ảnh thuộc về mặt phẳng đất. Từ phân tích đồ thị phương trình (3.2), có thể thấy rằng đối với zx = 0, zythơng thường có giá trị lớn hơn một ngưỡng nhất định T, có thể được xác định theo phương pháp đồ thị bằng
cách xấp xỉ hai trạng thái của đường cong được đưa ra bởi tỷ lệ
dp dz
trong phương trình (3.2). Giá trị ngưỡng này thực sự là tọa độ y tại zy =1. Vì độ sâu của các điểm ảnh nền thường được lượng tử hóa bởi 8 bit, do đó zy thường khác với 0 đối với tất cả các
y < T.
Trên cơ sở phân tích hình học liên quan đến các thuộc tính mặt đất, thuật toán đề xuất phân loại một điểm được xem xét thuộc đất hoặc không đất như bảng 3.1.
Bảng 3.1. Phân loại điểm đất và điểm phi đất
STT Điều kiện Ý nghĩa
1 Không phải điểm mặt đất. (3.4)
2 Zx =0&Zy 0 Điểm trên mặt đất. (3.5)
3
& điểm thuộc một phần tư dưới của hình ảnh đầu vào.
Điểm mặt đất, vì sự biến thiên rất nhỏ trong khu vực này.
(3.6)
Như vậy trong phạm vi nghiên cứu luận án này, có thể định nghĩa mặt đất là tập hợp bao gồm các điểm trong bản đồ độ sâu mà thỏa mãn điều kiện (3.5) hoặc (3.6). Các điểm phi đất là tập các điểm trong bản đồ độ sâu mà thỏa mãn điều kiện (3.4). Các định nghĩa rõ ràng này sẽ giúp việc phân loại điểm theo gradient độ sâu rất thuận lợi trong chương trình.
Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn
3.3.1. Kiến trúc hệ thống xử lý dữ liệu
Sơ đồ khối của phương pháp đề xuất được trình bày trong Hình 3.2. Giai đoạn đầu tiên là xây dựng bản đồ gradient độ sâu từ gradient độ sâu theo trục x gradient_x và gradient độ sâu dọc theo trục y gradient_y cho mỗi điểm ảnh bản đồ chiều sâu. Giai đoạn thứ hai là nhóm các điểm ảnh lân cận có cùng gradient vào cùng một dải (range). Các dải đáp ứng điều kiện giả thuyết mặt đất sẽ hình thành nên một mặt phẳng đất ứng viên. Trong mặt phẳng đất ứng viên thường xuất hiện nhiễu ngẫu nhiên tạo thành các “lỗ thủng”, nên các nhiễu này cần được loại bỏ trong giai đoạn cuối cùng để hình thành mặt
0 Zx y Z 0 & 0 = = Zx Zy
đất tin cậy. Trong thuật toán đề xuất, bản đồ mặt đất ứng viên sau bước hai thành các khối có cùng kích thước B để xem xét loại bỏ nhiễu nếu có.