Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tâ ̣p 30, Số (2014) 26-48 Nghiên cứu so sánh thuật tốn xử lý ảnh tính độ sâu ảnh stereo ứng dụng hệ thống camera thị giác Bạch Ngọc Minh* Trung tâm Phát triển Đại học Quốc gia Hà Nội, 144 Xuân Thủy, Hà Nội, Việt Nam Nhận ngày 16 tháng năm 2014 Chỉnh sửa ngày 18 tháng năm 2014; Chấp nhận đăng ngày 22 tháng năm 2014 Tóm tắt: Có ba phương pháp để so sánh tương hợp hai ảnh SAD, SSD NCC Phương pháp NCC sử dụng tương quan chéo điểm ảnh nên phép toán phức tạp Chúng bao gồm phép tốn bình phương, tổng, tích tổng, khai nên việc thực chắn tốn thời gian Cịn hai phương pháp SAD SSD có độ phức tạp thuật tốn khơng khác biệt q lớn nên cần làm thực nghiệm để kiểm chứng chất lượng đồ độ sâu tốc độ thực Từ chọn phương pháp thích hợp So sánh thời gian chạy hai giải thuật SAD SSD cho thấy việc lựa chọn thuật tốn SAD hợp lý hơn, thuật tốn SSD cần gần gấp đơi thời gian chạy Phương pháp SAD giải vấn đề việc tìm độ sâu ảnh 3D Một điểm khơng gian lấy ảnh hai ống kính máy hai vị trí khác Chính nên trước tìm độ sâu điểm ảnh, ta cần tìm điểm ảnh tương ứng Phương pháp SAD phương pháp đơn giản để tìm điểm ảnh Phương pháp SAD lại có nhiều cách tính tốn, tính theo phương pháp SAD truyền thống, phương pháp SAD điều chỉnh (dựa vào biên ảnh), phương pháp SAD phân đoạn ( phân vùng ảnh) Ở ta lại lựa chọn phương pháp SAD điều chỉnh SAD phân đoạn giảm 20% so với SAD truyền thống Tiếp theo xem xét thuật toán SAD phân vùng lai tạo kết hợp hai kỹ thuật: Belief Propagation thuật toán phân đoạn Mean Shift Cách tiếp cận kết hợp ưu điểm hai phương pháp phân đoạn Các thuật toán Mean Shift cho kết nhanh chóng Belief Propagation thực phân đoạn xác Từ khóa: Phân vùng ảnh, Belief Propagation, Mean Shift, SAD , hình ảnh 3D Giới thiệu* giác khó khăn dùng cảm biến bù lại cách thức cung cấp cho rơ bốt người liệu trực quan sinh động đầy đủ Một xu hướng phát triển rô bốt sử dụng camera thị giác để quan sát mắt người Mặc dù việc chiết xuất liệu từ ảnh thị Khi xử lý tín hiệu ảnh stereo thị giác thường có hai khâu (Hình 1) _ * ĐT.: 84-913550789 Email:minhbn@vnu.edu.vn 26 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 * Khâu khâu tiền xử lý có nhiệm vụ lấy liệu có chứa thơng tin hữu ích cho việc phát triển ứng dụng thị giác stereo thời gian thực 27 * Khâu thứ hai ứng dụng thị giác ứng dụng tái tạo môi trường 3D, tìm đường, phát đối tượng… Hình Quá trình xử lý liệu ảnh stereo thị giác Trong khâu tiền xử lý, có đặc điểm khối lượng liệu thu thập camera lớn (lớn nhiều lần so với liệu thu thập cảm biến) cần xử lý tiên hệ thống Sau đó, kỹ thuật xử lý để trích nội dung ảnh bàn đến Các thuật tốn để dựa vào mà có nghiên cứu hồn thiện Mọi cách giải phải phát triển tảng sẵn có Ở phần tiếp, kỹ thuật xử lý ảnh 3D đưa để làm sở phát triển cho thuật toán sau Bước đầu tiên, tìm hiểu ảnh 3D máy quay 3D, tảng sở đầu 1.1 Ảnh 3D: Là ảnh mà thân có chứa nội dung chiều sâu Các điểm ảnh giá trị màu sắc, tọa độ theo hai trục cịn có giá trị chiều sâu Để tạo nên ảnh 3D, người ta thực đồng thời hai ảnh nội dung khác hướng Hình Một cảnh phim 3D 28 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 (Hình 2) thể ảnh 3D theo dõi mắt kính chuyên dụng Ảnh cấu tạo từ hai ảnh khác trộn dải màu khác Khi nhìn ảnh kính mắt chun dụng, mắt người xem thấy ảnh Sự chênh lệch vị trí ảnh nhìn thấy tạo nên cảm giác độ sâu cho người xem Thực tế, tách hai ảnh ảnh 3D, nhận ảnh tương tự ( Hình 3) Ảnh 3D có nhiều ứng dụng để giải trí Nó có khả lưu trữ độ sâu điểm ảnh nên sử dụng cho ứng dụng yêu cầu độ sâu điểm ảnh Nói cách khác, từ ảnh 3D, mơ tả lại khơng gian lấy thơng tin hữu ích từ độ sâu điểm ảnh [1] Các đối tượng 3D trích từ ảnh 3D a b Hình Ảnh 3D sau tách a: Ảnh nhìn thấy mắt trái; b: Ảnh nhìn thấy mắt phải 1.2 Stereo camera: Là thiết bị thu ảnh 3D thu phim 3D Về bản, stereo camera giống máy ảnh máy quay chuyên dụng khác, có hai ống kính mắc song song ( Hình 4)[2] Hai ống kính stereo-camera sử dụng để lấy hai hình ảnh ảnh 3D Hình Hệ thống Stereo camera Bumblebee [3] B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 (Hình 5) thể hoạt động stereo camera [3] Các chi tiết thu vào ảnh thơng qua ống kính camera lúc Lúc này, tọa độ điểm ảnh thu hai có độ lệch định, ta gọi độ lệch 29 1.3.Tính toán đồ chênh lệch: Là vấn đề quan trọng thị giác máy tính 3D Một số lượng lớn thuật toán đề xuất để giải vấn đề [4],[5] Một phương pháp tương đối Cải thiện tính tốn Bản đồ độ sâu từ hình ảnh stereo theo phương pháp lai Đối với cặp hình ảnh stereo chỉnh sửa epipolar, điểm hình ảnh bên trái nằm đường nằm ngang ( đường epipolar ) có điểm ảnh tương ứng hình ảnh bên phải Cách tiếp cận sử dụng để làm giảm khơng gian tìm kiếm chiều sâu đồ thuật tốn tính tốn Chiều sâu điểm ảnh khoảng cách điểm không gian tương ứng tới trung tâm máy ảnh Để ước tính đồ độ sâu phát đối tượng 3D, điểm ảnh tương ứng ảnh trái ảnh phải cần phát Thuật toán bao gồm giai đoạn sau (Hình 6) : Thu thập hình ảnh, Hình học Epipolar cải thiện hình ảnh, Phân đoạn, Thuật toán phù hợp stereo, Ước lượng đồ độ sâu Hình Hoạt động stereo camera Ta có: = x1 – x2 (1-1) Và khoảng cách từ điểm A đến camera tính: (1-2) Như vậy, từ tọa độ ảnh thu điểm A hai ảnh trái phải, ta thu khoảng cách từ camera tới điểm A Khoảng cách gọi độ sâu điểm ảnh ký hiệu z Đầu tiên, biến dạng xuyên tâm tiếp tuyến ống kính loại bỏ cách hiệu chỉnh máy ảnh thông số bên bên máy ảnh Để làm điều cần có hiểu biết thơng số máy ảnh với mục đích khắc phục hai hình ảnh Sau hiệu chỉnh, hình ảnh tách thành khu vực cách sử dụng thuật toán phân chia lai đề xuất Cuối cùng, thuật toán phù hợp stereo áp dụng hình ảnh phân đoạn trái phải với mục đích để tìm tất tương quan (điểm phù hợp) gán chiều sâu cho phân đoạn Đầu thuật toán phù hợp stereo đồ độ sâu 30 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 Hình ảnh vào Trái Hiệu chỉnh ảnh Trái Phân khúc Phải Phải Các thông số hiệu chuẩn Ảnh stereo phù hợp Độ sâu Mơ hình hiệu chuẩn (Bàn cờ) Bản đồ độ sâu Hình Thuật toán SAD phân vùng [6] Trong phần tiếp theo, mục 2.1 trình bày tổng quan hiệu chuẩn máy ảnh Hình ảnh cải tiến dựa phân đoạn mô tả mục 2.3 Phương pháp phân đoạn Mean Shift Belief Propagation trình bày mục mục Tại mục trình bày thuật toán SAD phân vùng lai Cuối kết thực nghiệm kết luận trình bày mục mục 10 Cải thiện hình ảnh 2.1 Hiệu chuẩn máy ảnh: Để áp dụng kỹ thuật khác cho ảnh stereo với mức độ hợp lý xác, điều quan trọng để hiệu chỉnh hệ thống camera Nó trình tìm kiếm thơng số bên bên máy ảnh Các phương pháp hiệu chuẩn cổ điển dựa mẫu hiệu chuẩn đặc biệt chuẩn bị, đối tượng với kích thước vị trí biết đến hệ tọa độ định Sau đó, tính năng, chẳng hạn góc đường, chiết xuất từ hình ảnh mơ hình chuẩn Đối tượng với tính có ý nghĩa thường chọn để hiệu chỉnh cách rõ ràng vị trí chúng Người ta thường dùng bàn cờ đơn giản đạt mục đích 2.2 Chỉnh sửa hình ảnh: Chỉnh sửa hình ảnh (Hình 7) cần thiết để giảm độ phức tạp tính tốn điểm ảnh tương ứng hình ảnh trái bên phải Mục đích việc cải thiện hình ảnh để tìm đường epipolar hai hình ảnh theo liên kết chiều ngang Điều thực cách sử dụng biến đổi tuyến tính xoay, dịch nghiêng hình ảnh Các thông số nội camera thông tin định hướng vị trí máy ảnh sử dụng phép biến đổi Các điểm 3D phản chiếu thành điểm hình ảnh stereo trái phải Sau cải thiện theo (Hình 8), đường epipolar hai điểm phản chiếu song song theo chiều ngang liên kết dọc theo mặt phẳng hình ảnh Các điểm nằm đường dây epipolar [7] Do vấn đề phù hợp stereo giảm xuống tìm kiếm chiều dọc theo đường ngang, thay tìm kiếm hai chiều hiển thị (Hình 8) [8],[9] B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Cơng nghệ, Tập 30, Sớ (2014) 26-48 Cửa sổ tìm kiêm 31 Điểm ảnh tương ứng Đường epipolar Trung tâm chiếu Hình Ảnh stereo trước chỉnh sửa Đường epipolar Hình Ảnh stereo sau chỉnh sửa 2.3 Phân đoạn hình ảnh màu: Trong phần này, hai phương pháp phân chia màu sắc mô tả: Belief Propagation, Mean Shift Mục tiêu việc phân vùng ảnh chia tồn hình ảnh thành tập hợp phân đoạn bao gồm hình ảnh Các phân đoạn cuối phải đáp ứng đầy đủ bốn điều kiện sau [10]: Với i j, Với , tồn bắt buộc Với , tồn R đại diện cho tồn hình ảnh, Ri (i = 1, 2, , n) phân đoạn không rỗng, không chung R, P(Ri) thuộc tính giống tất yếu tố Ri đại diện cho tập rỗng Tổng kết công tác phân đoạn phải bao gồm tất điểm ảnh hình ảnh Đây điều kiện tiên Điều kiện thứ hai thể phân đoạn khác không chồng chéo Điều kiện thứ ba thể điểm ảnh phân 32 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 đoạn phải có chung thuộc tính Các thuộc tính phải khác điều kiện cuối Có số thuật tốn đề xuất để giải vấn đề Tuy nhiên, tất thuật toán sử dụng hàm chi phí kết hợp để thiết lập tương ứng hai điểm ảnh Có ba phương pháp phổ biến phương pháp dựa khác biệt cường độ tuyệt đối (AD), phương pháp dựa khác biệt cường độ bình phương (SD) phương pháp dựa tương quan chéo chuẩn (NCC) 2.4 Các phương pháp thị giác stereo thể mặt toán học sau: 1- Phương pháp tổng khác biệt tuyệt đối (SAD - Sum of Absolute Differences): (2-3) Theo cơng thức (2-3), việc tính giá trị chênh thực tính SAD với cửa sổ 3x3, 5x5 lệch điểm (x,y) thực phép 7x7 11x11 Phạm vi chênh lệch d thường tính hiệu cửa sổ W Do thuật tốn đơn chọn 120 với giá trị tham khảo 16, giản Cửa sổ W phạm vi chênh lệch d 50, 128 [11-13] lớn số phép tính tăng Thơng thường 2- Phương pháp tổng bình phương khác biệt (SSD – Sum of Squared Differences): (2-4) Phương pháp tính tổng bình nhân trước tính tổng Do độ phức tạp phương hiệu nên xuất thêm phép tăng lên đáng kể [19] 3- Phương pháp dựa tương quan chéo chuẩn (NCC) (2-5) Trong Il, Ir giá trị cường độ hình ảnh trái phải, (x, y) tọa độ điểm ảnh, d giá trị sai lệch xem xét W cửa sổ phức hợp Việc lựa chọn giá trị sai lệch thích hợp cho điểm ảnh thực sau Phương pháp có độ phức tạp cao xuất phép tốn tiêu tốn nhiều tài ngun máy tính phép bình phương, khai Do việc ứng dụng thuật tốn hệ thống thời gian thực không khả thi (2-6) tức là, cho điểm ảnh (x, y) cho giá trị khơng đổi có khác d, chi phí tối thiểu lựa chọn Phương trình (2-6) dùng cho phương pháp SAD Tuy nhiên, nhiều trường hợp lựa chọn khác biệt trình lặp lặp lại, độ chênh lệch điểm ảnh tùy thuộc vào chênh lệch điểm ảnh lân cận [14] Các thuật toán phân vùng lai kết hợp với phương pháp SAD áp dụng phù hợp với hình ảnh stereo để tinh chỉnh đồ độ sâu cuối Cả hai, thuật toán phù hợp với âm stereo dựa phương pháp mà không SAD phân đoạn cách tiếp cận lai B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Cơng nghệ, Tập 30, Số (2014) 26-48 đề xuất dựa phương pháp phân khúc hybrid hiệu tin.Tập hình ảnh tính tốn 2,8 GHz xử lý Intel Core i5 với GB nhớ DDR3 kit phát triển FPGA DE2 để mô Kết thực nghiệm SAD Độ phân giải 400x266 400x266 400x266 Cửa sổ 3x3 5x5 9x9 Thời gian(s) 46 58.5 105 Kết thực nghiệm SSD Độ phân giải 400x266 400x266 400x266 Cửa sổ 3x3 5x5 9x9 Thời gian(s) 106.5 335 891 Thời gian tính tốn cho thuật tốn SAD khoảng 105 giây cho phương pháp phân vùng lai 29 giây, tương ứng Các thuật toán phù hợp với hình ảnh stereo dựa SAD lai Hình ảnh đầu vào Tập hợp chi phí phù hợp Tính tốn chi phí phù hợp thuật tốn hiệu để sản xuất đồ chênh lệch với khu vực đồng Mặt khác, thuật tốn phù hợp với hình ảnh stereo dựa phương pháp SAD sản xuất đồ chiều sâu rõ ràng trường Hơn nữa, tạo chất lượng cao lỗi gây tắc phân đoạn hình ảnh Nó áp dụng cho hình ảnh stereo chụp máy ảnh lập thể Bộ liệu thử nghiệm chúng tơi bao gồm 25 cặp hình ảnh stereo thực màu xám quy mơ với kích thước 800x600 pixels (Hình 28) Kết là, cần thiết có nhiều lần lặp lại để tìm thiết lập tốt chênh lệch Giai đoạn tạo nên khác biệt thuật toán địa phương với thuật tốn tồn cục Q trình tính tốn thường thêm bước để kết tốt gọi khâu lọc (Hình 9) Lựa chọn chênh lệch Sàng lọc kết Bản đồ chênh lệch Hình Sơ đồ khối tổng quát thuật toán tương ứng stereo Phương pháp SAD truyền thống: Ảnh trái Chuyển đổi ảnh xám Tính Bản đồ chênh lệch SAD Từ hệ thống camera stereo Ảnh phải 33 Chuyển đổi ảnh xám Hình 10 Sơ đồ khối tổng quát phương pháp SAD truyền thống B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 34 Như phân tích phần 2.4, phương pháp SAD phương pháp để nhận diện thuận tiện Song, bên cạnh ưu điểm phương pháp này, cịn có số khuyết điểm thời gian đáp ứng xác suất lỗi Công thức (3-7) thể tốc độ thuật toán áp dụng vào việc tính Bản đồ chênh lệch (3-7) Trong công thức này, t thời gian chạy chương trình, S số điểm cần tính, W kích thước cửa sổ tính tốn L khoảng cách u cầu tính tốn Với cơng thức trên, giả sử 1.5 triệu phép tính hàm chạy giây, ảnh xử lý với kích thước 640x480 pixel, kích thước cửa sổ 5x5 pixel khoảng cách thực 50 pixel Khi đó, thời gian phép toán 25.6 giây Đây khoảng thời gian lớn, hay nói cách khác tốc độ tính tốn phép toán chậm a b c d e f Hình 11 Các kết tính SAD thơng thường a) Ảnh trái gốc, b) Ảnh phải gốc, c) Bản đồ chênh lệch mong muốn, d) Bản đồ chênh lệch tính phương pháp SAD với cửa sổ 5x5, e) Bản đồ chênh lệch tính phương pháp SAD với cửa sổ 7x7, f) Bản đồ chênh lệch tính phương pháp SAD với cửa sổ 11x11 Mặc dù tốc độ tính tốn chậm, kết tính tốn lại khơng xác hồn tồn Lỗi phương pháp SAD thường xuyên xảy nhầm lẫn q trình tính tốn (Hình 11) thể số kết tính đồ sai lệch phương pháp SAD với cửa sổ 5x5, 7x7 11x11 thực ảnh Teddy [14] Nhận xét, ứng với hình trên, lỗi cục xảy nhiều thuật toán sử dụng cửa sổ so sánh nhỏ Tuy nhiên, hình dáng vật thể thuật tốn lại giữ gần với hình dáng thực Sử dụng cửa sổ lớn cho lỗi cục hơn, hình dáng vật thể lại bị sai sót đáng kể so với thực tế Hơn nữa, lỗi lớn giảm thiểu thuật toán B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Cơng nghệ, Tập 30, Sớ (2014) 26-48 35 hộ phải tốn chi phí lớn khả tính tốn mà chưa hiệu Vì vậy, phương pháp cần phải cải thiện để có kết tốt phù hợp cho hệ thống thực Phương pháp SAD điều chỉnh: Hình12 Tốc độ phép tốn SAD với kích thước cửa sổ khác 12) thể thời gian thuật toán đo dựa đầu vào ảnh có kích thước 450x375 Như vậy, tốc độ thuật tốn bé, khơng thích hợp cho hệ thống xử lý robot, kể loại bỏ tất lỗi Lỗi phương pháp SAD đâu? Phương pháp SAD dựa so sánh độ khác biệt cửa sổ ảnh Theo ý tưởng thuật tốn ảnh điểm hai ảnh giống Như vậy, kết tính tốn thuật tốn thực khơng hiệu cho hệ thống dẫn đường chạy robot Nếu thực triển khai hệ thống robot cứu Sau phân tích nhược điểm phương pháp xác định đồ chênh lệch dựa phương pháp SAD truyền thống, muốn đề xuất phương pháp tốt chất lượng tốc độ (Hình 13) thể bước phương pháp nhằm lấy đồ chênh lệch Những mục chương thể rõ bước phương pháp ý nghĩa chúng 4.1 Phương pháp SAD đường biên Là phương pháp dựa phương pháp SAD áp dụng với điểm thuộc đường biên Với cách này, tơi kỳ vọng có kết xác với tốc độ tính tốn cao Hình 13 Phương pháp SAD điều chỉnh 36 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Cơng nghệ, Tập 30, Số (2014) 26-48 Ảnh trái Chuyển đổi ảnh xám Phát biên ảnh Tính Bản đồ chênh lệch SAD Từ hệ thống camera stereo Ảnh phải Chuyển đổi ảnh xám Phát biên ảnh Hình 14 Sơ đồ khối tổng quát phương pháp SAD điều chỉnh Giả sử có cách đó, tơi giảm số điểm tập hợp liệu cần tính xuống cịn 20% so với ban đầu Như vậy, tốc độ thuật tốn tăng lên đến lần hay thời gian tính tốn giảm xuống lần Thật vậy, theo phương trình (3 -7) S giảm lần giá trị khác giữ nguyên, ta có t giảm lần Như vậy, tơi tìm điểm đáng tin cậy để tính tốn đồ chênh lệch nhằm giảm lỗi tăng tốc độ toán, bước đầu ta tránh nhầm lẫn gây điểm lân cận, lỗi nhiều phép tốn trước Đường biên cịn giúp tạo kết nội suy xác sau Như vậy, có tồn đường bao đối tượng độ sâu tất điểm nó, ta suy độ sâu điểm cịn lại Dưới lý trên, tơi chọn đường biên điểm tính tốn độ sâu trực tiếp (Hình 16) so sánh kết tính đồ chênh lệch dựa đường biên 20% ảnh, đường biên 30% ảnh toàn ảnh Với kết thể (Hình 16), rút số nhận xét: * Kết thuật tốn xác đường biên Số đường biên tính tốn nhỏ, độ xác cao Hình.15 Đường biên đường bao đối tượng Những điểm chọn điểm mang tính phân biệt cao, hay nói cách khác khó bị nhầm lẫn với điểm khác Khi chọn đường biên làm tập hợp liệu để tính * Khi số điểm làm đường biên tính tốn nhỏ đến ngưỡng kích thước cửa sổ tính tốn khơng cịn ảnh hưởng đến kết tính tốn Với nhận xét thứ 2, ta hiển nhiên giảm kích thước cửa sổ lấy SAD mà kỳ vọng có kết có độ xác cao B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 37 Hình 16 Đánh giá kết phương pháp SAD dựa đường biên 4.2 Phương pháp trích chọn đường biên màu Phương pháp trích chọn đường biên màu phương pháp cải tiến so với phương pháp trích chọn đường biên dựa ảnh xám Sở dĩ phải trích chọn đường biên màu đường biên ảnh xám hết đường bao đối tượng Các ảnh xám thể hết tính chất ảnh màu (Hình 17) thể khác biệt đường biên lấy từ ảnh màu đường biên lấy từ ảnh xám (Hình 18) thể lý thiếu đường biên đường biên ảnh xám Trong ảnh màu mảng màu ảnh gốc có điểm có nhảy bậc màu sắc đường biên, ảnh xám khơng có Như vậy, thực bắt đường biên mảng màu bản, ta có đường biên kín đặc trưng Sau bước để xây dựng giải thuật tìm đường biên dựa mảng màu bản: * Bước 1: Ta coi mảng màu giống ảnh xám bình thường khác, ta tìm đường biên tốn tử sobel * Bước 2: Ứng với điểm có giá trị nên ta lấy giá trị đường biên giá trị lớn giá trị tính mảng màu Tính tốn SAD dựa mảng màu phải tốn thời gian gấp lần so với tính tốn SAD dựa ảnh xám Thật vậy, coi màu tương đương với ảnh xám, ta phải tính SAD dựa ảnh so Như vậy, dựa theo cơng thức (3-7), kích thước cửa sổ W tăng gấp khiến thời gian thực phép toán t tăng gấp lần, tốc độ phép toán giảm lần Tuy nhiên, dựa vào phương pháp này, tốc độ phép toán không bị giảm lần so với phương pháp SAD ảnh xám thông thường Thật vậy, lẽ đường biên lấy dựa mảng màu, điểm đường biên mảng màu Như vậy, phép tính SAD dựa vào điểm phải tính mảng màu Và điều khiến tốc độ thuật toán lúc không bị tăng gấp lần 38 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 b a d c Hình 17 Đường biên 20% số điểm phương pháp Sobel màu xám a) Ảnh xám b) Ảnh màu c) Đường biên ảnh xám d) Đường biên ảnh màu b a c d e Hình 18 Các mảng màu hình gốc a)Ảnh màu , b) Ảnh xám , c) Ảnh màu đỏ , d Ảnh màu xanh lục e Ảnh màu xanh lam B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 Phương pháp SAD phân vùng SAD phân vùng kỹ thuật sử dụng để nội suy đồ độ sâu bao gồm điểm tính chuẩn Sử dụng kỹ thuật trường hợp đốn phạm vi điểm cần tính Giả sử điểm xác định bên vật thể mà 39 đường biên xác định độ sâu Khi đó, tồn xác suất cao điểm bên vật thể có độ sâu phạm vi nhỏ xung quanh giá trị độ sâu đường biên Khi đó, giới hạn độ sâu tính tốn điểm nội suy làm khả nhầm lẫn điểm cho điểm bên ngồi Hình 19 SAD phân đoạn Ở (Hình 19) , giả thiết độ sâu điểm thuộc đường biên bao gồm E1 E2 tính tính chuẩn Khi đó, giá trị độ sâu A dao động xung quanh giá trị độ sâu E1 E2 dẫn đến khả tính tốn độ sâu A nâng cao lên, mặt khác lại không bị nhầm lẫn với điểm có cấu trúc màu tương tự điểm B Ảnh trái Chuyển đổi ảnh xám Phân đoạn Tính SAD Từ hệ thống camera stereo Ảnh phải Chuyển đổi ảnh xám Phân đoạn Hình 20 Sơ đồ khối tổng quát phương pháp SAD phân vùng Bản đồ chênh lệch 40 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 Giả thiết biện pháp không sử dụng, ảnh đối chiếu xuất điểm giống với điểm cần tính nằm lân cận khoảng cách với điểm B Khi này, thuật tốn SAD đưa đến nhầm lẫn giá trị độ sâu A Điểm A tính nhầm ảnh hưởng trực tiếp đến điểm nằm bên cạnh Tóm lại, phương pháp SAD phân đoạn dùng tốt trường hợp nội suy dựa theo giá trị tính Sử dụng biện pháp giúp giảm lỗi tăng tốc độ Tính toán đồ chênh lệch vấn đề quan trọng thị giác máy tính 3D Một phương pháp tương đối Cải thiện tính tốn Bản đồ độ sâu từ hình ảnh stereo theo phương pháp lai Có nhiều phương pháp tính Bản đồ chênh lệch, ta nghiên cứu hai phương pháp cải thiện tốc độ tính tốn ( SAD điều chỉnh SAD phân vùng) nước láng giềng gần mạng vuông Tiềm Øi(xiyi), biểu diễn cho xác suất cho trạng thái định xi Є Xi nút i dựa quan sát tiềm ψij (xi,xj) biểu thị phụ thuộc điều kiện nút lân cận Biến quan sát yi viết cách rõ ràng [15] Thuật tốn Belief Propagation (BP) thể (Hình 21) thơng điệp chuyển mơ hình đồ họa thông qua loạt tin gửi nút lân cận xung quanh lưới hình ảnh liền kề Bản tin cập nhật lần lặp Trong bước lặp, điểm ảnh đồ thị liền kề tính tốn thơng điệp mình, dựa kết bước lặp trước, gửi tin nhắn tới tất điểm ảnh liền kề (hàng xóm) theo hình thức song song [15] Belief Propagation Belief Propagation thuật toán phát triển chủ yếu với mục đích để tìm xác suất cận biên mạng Bayes Ngồi ra, thuật tốn xử lý mơ hình đồ họa khác mơ hình Markov Random Field (MRF), mối quan tâm định việc tối ưu hóa hàm lượng tồn cục tìm thấy máy tính thị giác Mơ hình MRF mơ hình đồ thị vơ hướng, nút đại diện cho biến ngẫu nhiên Xác suất chung P(x1, , xn) mơ hình MRF pair-wise viết phân tích sau: (6-6) Ở xn đại diện cho nút đồ thị, Z số chuẩn hóa sản phẩm ij Hình 21 Mơ hình cho phân vùng ảnh Mơ hình cho phân vùng ảnh, thể (Hình ), đồ thị với hai loại nút: nút ẩn (vịng trịn) nút quan sát (hình vuông) Ψ hàm chuyển trạng thái cặp nút trạng thái ẩn khác δ hàm đo lường nút trạng thái ẩn nút liệu quan sát Trong BP, nút gửi thông điệp tới nút láng giềng biểu diễn phân bố xác suất [15] B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 41 Phương pháp Mean Shift: Thuật toán Mean Shift [16]đã đề xuất Fukunaga Hostetler Các thuật toán dựa mật độ ước lượng hạt nhân [17] Thuật toán thuật toán lặp phi tham số Cho tập hợp điểm liệu d-chiều đại diện giá trị xi, i = 1, 2, , n d-chiều không gian Rd Số lượng điểm xi thuộc khu vực dchiều xung quanh x với cạnh dài h cho bởi: Sử dụng phương trình (7-13) thay đổi trung bình xác định: (7-14) (7-7) h xác định bán kính hạt nhân K (x) hạt nhân hàm cửa sổ Như vậy, ước tính mật độ hạt nhân cho bởi: (7-8) Trong Các thuật tốn Mean Shift dựa việc tính tốn lặp lặp lại vector dịch trung bình thay đổi có ý nghĩa liên tục thực hóa vị trí hạt nhân phương trình [15],[16] xk +1 = xk + m (XK) (7-15) hạt nhân đối xứng xuyên tâm, nhân (7-13) hồ sơ hạt chuẩn hóa liên tục.Sau đó, phương trình (7-10) viết lại để: (7-9) Ước tính xem gradient xấp xỉ mật độ: (7-10) Một hạt nhân định nghĩa , hàm hạt nhân số chuẩn hóa Sau thay phương trình (7-12): Thuật tốn SAD phân vùng lai: Trong phân vùng ảnh, phương pháp lai kết hợp hai nhiều thuật toán phân vùng ảnh khác [18] Ở xem xét thuật toán lai tạo kết hợp hai kỹ thuật: Belief Propagation thuật tốn phân đoạn Mean Shift nhanh chóng xác Đầu tiên, chúng tơi áp dụng cách lọc hình ảnh thuật tốn Mean Shift Bước hữu ích cho việc loại bỏ tiếng ồn, làm mịn phân vùng ảnh Đối với điểm ảnh hình ảnh, tập hợp pixel lân cận xác định Cho Xi đầu vào Yi hình ảnh lọc, i = 1, 2, , n Các thuật toán lọc bao gồm bước sau [19],[20],[21]: 42 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 * Khởi tạo , , * Tính tốn thơng qua Shift bình chế độ, nơi hội tụ điểm ảnh * Lưu trữ thành phần mức xám giá trị tính tốn nơi thành phần không gian , , thành phần phạm vi Thứ hai, hình ảnh chia thành đoạn sử dụng thuật tốn phím Mean Shift Trong bước thứ ba, thực sấp xỉ đường bao phân đoạn Thứ tư, phân đoạn nhỏ sáp nhập với thành đoạn tiếp giáp tương tự hầu hết phương pháp Belief Propagation Cuối cùng, tích hợp thuật tốn phân đoạn lai đề xuất với thuật toán phù hợp stereo SAD Phương pháp SAD lai cung cấp kết đồ độ sâu xác cao Hình 22 Thuật tốn SAD lai Tính tốn độ lệch: Trong mục này, diễn tả trình so sánh chênh lệch nơi ảnh đưa vào mảnh (đoạn) lần sau điểm có điều kiện bên trái bên phải ảnh tìm thấy Đây ý tưởng giải thích cho vùng 3D điểm P (hình 23) Để đưa khoảng cách vật quan sát máy quay nhìn theo hướng hướng khoảng cách khác biết (định nghĩa) đường Sau đó, vật thể xuất vị trí tương tự hai ảnh 3chiều Khoảng cách vật bên trái bên phải ảnh biết (định nghĩa) khoảng chênh lệch d (8-16) XL XR tọa độ x ước lượng tọa độ 3D ảnh phẳng bên trái bên phải IL IR (8-16) (8-17) Khi bên trái bên phải ảnh phẳng quay có vị trí phẳng, tọa độ y ảnh (yL = yR) có độ chênh lệch tọa độ ngang (trục x) (xL - xR).[22] Điều có nghĩa độ chênh lệch tính tốn, cường độ thay đổi thay đổi thông số máy quay: chiều dài tiêu cự f khoảng cách đường sở B = 2l B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 Hình 23 Một hệ thống stereo đơn giản Nhận xét đánh giá: 9.1 Phương pháp SAD truyền thống a) b) c) Hình 24 Một số kết Bản đồ chênh lệch SAD truyền thống a Bản đồ chênh lệch với cửa sổ 5x5; b Bản đồ chênh lệch với cửa sổ 7x7; c Bản đồ chênh lệch với cửa sổ 11x11; Hình 25 Đồ thị thời gian, độ phủ độ xác 43 44 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Sớ (2014) 26-48 9.2 Phương pháp SAD có điều chỉnh: a) b) c) Hình 26 Một số kết thực tìm SAD đường biên Hình 27 Đồ thị thời gian, độ phủ độ xác Thời gian thực tính đồ chênh lệch theo phương pháp SAD điều chỉnh giảm nhiều so với phương pháp SAD thông thường c.Phương pháp SAD phân vùng: Trong thử nghiệm tiếp theo, phương pháp lai đề xuất thử nghiệm bốn hình ảnh stereo thực tế thực hệ thống camera stereo Thuật tốn áp dụng để ước tính chênh lệch khối 9x9 từ hình ảnh bên trái tham chiếu cách tìm kiếm khối ứng cử viên tương ứng hình ảnh bên phải Bản đồ chênh lệch cuối bốn hình ảnh lập thể thử nghiệm, cụ thể sách, vợt, khối lập phương tịa thể (Hình 28) Cụ thể, (Hình 28-b) cho thấy đồ khác biệt tạo thuật toán SAD mà khơng phân đoạn hình (Hình 28-c) kết theo thuật toán phân chia lai Bản đồ chênh lệch sản xuất máy ảnh Bumblebee hiển thị (Hình 28-d) B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 a) b) c) 45 d) Hình 28 Kết thực nghiệm bốn ảnh thử nghiệm màu xám a) Hình ảnh tham khảo, b) Bản đồ chênh lệch sau sử dụng thuật tốn SAD mà khơng phân đoạn c) Kết thuật toán SAD lai, d) Hệ thống camera Bumblebee Chất lượng đồ khác biệt biểu diễn tỷ lệ phần trăm điểm ảnh với lỗi sai lệch (pixel có phù hợp xấu) [6]: (9-18) X * Y đại diện cho kích thước hình ảnh, dC đồ chênh lệch tính hình ảnh thử nghiệm dT đồ chênh lệch thật Sự thật chênh lệch đồ mặt đất nghịch đảo khoảng cách thật mặt đất Phương trình (9-19) cho thấy làm để tính tốn đồ chênh lệch thật mặt đất từ đồ độ (9-19) với DT thật đồ độ sâu mặt đất, h chiều cao từ mặt phẳng đất, DT * h khoảng cách thật mặt đất, B sở máy ảnh, IRES có độ phân giải hình ảnh f tiêu cự 46 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 Bảng So sánh kết giải thuật tính đồ chênh lệch Ảnh kiểm tra SAD thông thường 9,64% SAD phân vùng lai 4,12% Hệ thống camera Bumblelee 3,59% 8,48% 4,72% 3,83% Rubic 9,26% 4,37% 3,51% Tòa nhà 9,91% 4,21% 3,65% Quyển sách Cái vợt Các đồ chênh lệch thu từ việc đề xuất lai phân đoạn dựa thuật toán SAD phân vùng lai so sánh với phương pháp khác (sử dụng hệ thống camera Bumblebee phương pháp SAD mà không phân đoạn) Trong ( bảng 1), khác biệt tỷ lệ phần trăm điểm ảnh lỗi chênh lệch trình bày Như thấy (hình 28), thuật tốn SAD phân vùng lai tạo kết xác so với thuật tốn SAD mà khơng phân đoạn Ngồi ra, hiệu suất phương pháp gần đạt đến hiệu suất hệ thống camera Bumblebee Cuối cùng, thuật toán phân đoạn lai tận dụng lợi nhanh chóng thuật tốn Mean Shift xác từ thuật toán Belief Propagation Lợi lớn thuật toán SAD lai phân đoạn phát nhận dạng tự động Thuật toán đạt hiệu suất phân đoạn gần thời gian thực kết xác cao 10 Kết luận: Bài viết nghiên cứu so sánh cho việc khôi phục đồ độ sâu dựa thuật toán phân vùng lai đề xuất sử dụng trình lọc Các thuật toán thử nghiệm thực tế với cảnh phức tạp tình trạng ánh sáng dựa hệ thống camera stereo công nghiệp từ Bumblebee, từ kết thí nghiệm ta tìm đồ chênh lệch, mà dịch chuyển chênh lệch hai hình ảnh cuối sử dụng để ước tính giá trị chiều sâu Dựa thuật tốn tổng bình phương khác biệt (SSD) tổng khác biệt tuyệt đối (SAD) tìm thấy đồ độ sâu trực tiếp Tùy thuộc vào kỹ thuật phù hợp dựa thuật toán SAD SSD nguyên tắc thời gian chạy chất lượng cần phải lựa chọn Cuối cùng, thuật tốn SAD phù hợp hình ảnh stereo lựa chọn để thực thí nghiệm tiếp theo, thuật tốn SSD địi hỏi gần tăng gấp đơi thời gian Kết thí nghiệm trình bày (Hình 28) cho thấy thuật tốn SAD phân vùng lai cho kết tốt hơn thuật toán SAD mà không cần sử dụng pjaan vùng SAD điều chỉnh so với máy ảnh hệ thống Bumblebee Các thuật toán SAD phân vùng lai đề xuất cho thấy hiệu suất cao Trong tương lai, dự định thực nghiên cứu kiểm tra thuật toán phức tạp Tài liệu tham khảo: [1] Dorit Borrmann, Jan Elseberg, Kai Lingemann, Andreas Nüchter (2011), “ The 3D Hough transform for plane detection in point clouds: A Review and a new Accumulator Design”, Received: 13 January 2011 / Revised: 13 February 2011 / Accepted: 10 March 2011, © 3D Research Center and Springer 2011 [2] Yedida, J S, Freeeman, W T, Weiss, Y Understanding belief propagation and it is genneralizstions Exploring Artificial Intellrgence in the New Millennium, 2003, Chap.8, p, 236 – 239 [3] POINT GREY, Bumblebee Stereo Vision Camera Sytems BB2 – 08S2 (datasheet) pages [Online] Cited 2011-10-23 Advailable at: http://www.ptgrey.com/products/bumblebee2_xb3 _datasheet.pdf [4] Scharstein, D, Szeliski,R, A taxonomy and evaluation of dense two frame stereo B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 [5] [6] [7] [8] [9] [10] [11] [12] [13] correspondence algorithms International Jounrnal of Computer Vision, 2003, vol, 47, no (1/2/3), p.& - 42 Brown, M, Z, Burschka, D, Hager, G, D, Bhartia, P Advances in computional stereo IEEE Transactions on Pattenrn Analysis and Machine Itelligence, 2003, vol, 25, no.8 KUHL, A Comparison of stereo matching algorithms for mobile robots Centre for Intelligent Information Processing Sytem 2005, University of Western Australia, p – 24 Cao, X., Foroosh, H, H Camera calibration using symmetric objects Image Processing IEEE Transactions, 2006, vol, 15, no 11, p.3614 – 3619 Shimizu, M., Okutomi, M, Calibration and rectification for reflection stereo In IEEE Conference on Computer Vision and Pattern Recognition CVPR Anchorage ( USA), 2008, p.1 – Hartley, R, Zisserman, A, Multiple View Geometry in Computer Vision 2nd ed Cambridge: University Press, 2005 Zhang, Y J Advance in Image and Video Segmentation 1nd ed USA: IRM Press, 2006 Wang, G, JU, H, A disparity map extraction algorithm for lunar rover BH In IEEE International Conference on Intelligent Computing and Intelligent Sytems ICIS 2009 Shanghai, 2009, vol 4, p 385 – 389 Mckinnon, B., Baltes, J Practical region – based matching for stereo vision In IWCIA, 2005, vol 3322 of Lecture Notes in Computer Science, Springer, p 726 – 738 Craig Watman, “Fast Sum of Absolute Differences Visual Landmark Detector”, Robotic Systems Laboratory Department of Systems Engineering, RSISE, Australian National University, Canberra, ACT 0200 Australia, Email: d.austin@computer.org 47 [14] Christor Georgoulas, Georgios CH, Real-time stereo vision applicasions.Laboratory of Electronics,Democritris University of Thrace Xanthi, Greece p.267-292 [15] Guan, S, Klette, R, Belief Propagation on edge image sequences InmProceedingx Robot Vision LNCS 4931, 2006, p 291 – 302 [16] Siqiang, L., Wei, L, Image segmentation basedon the Mean – Shift in the HSV space In 26th Chinese Control Conference, 2007 [Online], p 476 – 479 [17] Benco, M., Hudec, R, The advances image segmentation techniques for broadly useful retrieval in large image database In NSSS IX, Tatranske Zruby (Slovakia), 2006, p 40 – 44 [18] He, R, Zhu, Y A hybrid image segmentation approach based on Mean Shift and fuzzy C – Means In Asia Pacific Conference on Information Processing [Online], 2009 [19] Comaniciu, D., Meer, P Mean Shift: A robust approach toward feature space analysis IEEE Transaction on Pattern Analysis and Machine Intel., 2002, vol 24, no 5, p – 18 [20] Rodriguez, R., Suarez, A G An image segmentation algorithm using interatively the Mean Shift Progress in Pattern Recognition, Image Analysis and Appliscations 2006, LNCS 4225, Berlin Heidelberg: Springer, vol 4225/2006, p 326 – 335 [21] Hudec, R Adaptive Order – statistics L – filters, 1st ed University of Zilina: EDIS Press, 155 pages, ISBN 978 – 80 – 554 – 0248 – 2, 2011 (in Slovak) [22] Rostam Affendi Hamzah, Hasrul Nisham Rosly, “An Obstacle Detection and Avoidance of A Mobile Robot with Stereo Vision Camera” , Faculty of Electronics & Computer Engineering, UTeM, Malaysia rostamaffendi@utem.edu.my 48 B.N Minh / Tạp chí Khoa học ĐHQGHN: Khoa học Tự nhiên Công nghệ, Tập 30, Số (2014) 26-48 Comparative Study of Image Processing Algorithms Calculate Depth Stereo Image Camera Applications in the Visual System Bạch Ngọc Minh Centre Development Vietnam National University, Hanoi, 144 Xuân Thủy, Hanoi, Vietnam Abstract: There are three basic methods to compare the similarity between two images, which is SAD, SSD and NCC NCC method is using cross- correlation between the pixels so the calculations are complex These include the arithmetic average, total, multiplication total, square root should this method definitely perform very time consuming Both SAD method and SSD method does’nt much difference the complexity of the algorithm so we need to an experiment to verify the quality of the depth maps and the speed of execution From the results that we choose a more appropriate method Comparison of running time between SAD and SSD algorithms show that the choice of the SAD algorithm is more reasonable, because the SSD algorithm needs nearly twice the time to run SAD method can solve the problem of finding depth in 3D images A point in space to acquire images of two lenses in two different locations Therefore so before finding the depth of the pixel, we need to find the corresponding pixels SAD method is the easiest method to find the pixel SAD method has many calculate ways, calculate by traditional methods SAD, adjustment SAD method (based on the image border) , segmentation SAD method (image segmentation) In Here we choose between two methods of adjustment SAD method and segment SAD method decreased 20 % compared with traditional SAD Then we consider the hybrid algorithm SAD partition is created by the combination to two techniques: Belief Propagation and the Mean Shift segmentation algorithm This approach combines the advantages of both methods segment Mean Shift algorithm is fast results and Belief Propagation perform very accurate segmentation Keywords: Image segmentation, Belief Propagation, Mean Shift, SAD, 3D image ... (lớn nhiều lần so với liệu thu thập cảm biến) cần xử lý tiên hệ thống Sau đó, kỹ thuật xử lý để trích nội dung ảnh bàn đến Các thuật toán để dựa vào mà có nghiên cứu hồn thiện Mọi cách giải phải... kiếm chiều sâu đồ thuật tốn tính tốn Chiều sâu điểm ảnh khoảng cách điểm không gian tương ứng tới trung tâm máy ảnh Để ước tính đồ độ sâu phát đối tượng 3D, điểm ảnh tương ứng ảnh trái ảnh phải... bốn hình ảnh stereo thực tế thực hệ thống camera stereo Thuật toán áp dụng để ước tính chênh lệch khối 9x9 từ hình ảnh bên trái tham chiếu cách tìm kiếm khối ứng cử viên tương ứng hình ảnh bên