Một giải pháp thực hiện bản đồ sai lệch của ảnh camera kép có mật độ dày đặc ứng dụng cho ảnh 3D và bản đồ độ sâu

Bản đồ sai lệch là một trong các thông số rất quan trọng trong thị giác nổi (stereo vision). Từ thông tin bản đồ sai lệch sẽ xác định được ảnh 3D và bản đồ độ sâu của ảnh. Đã có nhiều thuật toán đề xuất, trong đó thuật toán BP (Belief propagation) đã được nhiều nhà khoa học nghiên cứu và cải tiến.

Cơng nghệ thơng tin & Cơ sở tốn học cho tin học MỘT GIẢI PHÁP THỰC HIỆN BẢN ĐỒ SAI LỆCH CỦA ẢNH CAMERA KÉP CÓ MẬT ĐỘ DÀY ĐẶC ỨNG DỤNG CHO ẢNH 3D VÀ BẢN ĐỒ ĐỘ SÂU Đồn Văn Tuấn*, Bùi Trung Thành Tóm tắt: Bản đồ sai lệch thông số quan trọng thị giác (stereo vision) Từ thông tin đồ sai lệch xác định ảnh 3D đồ độ sâu ảnh Đã có nhiều thuật tốn đề xuất, thuật tốn BP (Belief propagation) nhiều nhà khoa học nghiên cứu cải tiến Đây thuật toán suy diễn gần dựa mơ hình trường ngẫu nhiên Markov với tối ưu toàn cục cho độ tin cậy cao Hầu hết thuật toán BP cải tiến lấy điểm khớp ban đầu điểm bên trái ảnh để lan truyền tin cậy xác định đồ sai lệch Trong báo đề xuất phương pháp cải tiến cho thuật toán BP, điểm khớp xuất phát ban đầu điểm trung tâm ảnh camera kép, sau đó, thực lan truyền tin cậy để xác định đồ sai lệch Điểm khớp trung tâm xác định bằngthuật toán cục CT (Census transfrom) Với phương pháp đề xuất cho kết thực đồ sai lệch có tin cậy cao hiệu thực nhanh 2,5 lần so với thuật tốn BP tiêu chuẩn Từ khóa: Bản đồ sai lệch, Thị giác nổi, Lan truyền tin cậy, Biến đổi kiểm kê, Camera kép, Bán toàn cục MỞ ĐẦU Thị giác (stereo vision) vấn đề quan trọng thị giác máy (computer vision) [1] Hệ thống stereo vision có nhiệm vụ nhận dạng, xác định khoảng cách từ camera đến vật tái tạo vật Stereo vision ứng dụng rộng rãi nhiều lĩnh vực như: cơng nghiệp, y khoa, giải trí, ôtô tự hành đặc biệt robotics Bản đồ sai lệch thông số quan trọng stereo vision, đặc biệt ứng dụng cho robotic đồ sai lệch ảnh camera Camera Camer a phải kép có mật độ dầy đặc (dense) trái nhiều nhà khoa học nghiên cứu [2], camera kép hai mắt robot Ảnh camera Hình 1.Mơ hình ảnh camera kép kép hai ảnh chụp cảnh với góc nhìn khác hình Hầu hết thuật toán xác định đồ sai lệch phải tự cân tốc độ thực độ tin cậy, để thực tốt hai việc khó Các thuật tốn phải dựa mơ hình cụ thể Một mơ hình mơ hình trường ngẫu nhiên Markov (MRFs) Mơ hình trường ngẫu nhiên Markov tạo thuật toán suy diễn [3] thực đồ sai lệch vùng ảnh bị che khuất, độ sâu thay đổi đồng Một thuật toán suy diễn gần thuật toán BP (Belief Propagation) Thuật tốn BP thực dựa vòng lặp cho độ tin cậy cao ảnh camera kép có mật độ dầy đặc Tuy nhiên, thuật tốn BP có nhược điểm độ phức tạp tính toán cao yêu cầu nhớ lớn Để khắc phục nhược điểm cần phải giảm độ phức tạp tính tốn, giảm u cầu nhớ xử lý song song, nhiên, phải trả giá độ tin cậy Các thuật toán BP nâng cao thực song song hệ thống 100 Đ V Tuấn, B T Thành, “Một giải pháp thực đồ … ảnh 3D đồ độ sâu.” Nghiên cứu khoa học công nghệ nhúng GPU [4] hay FPGA [5] Đa số thuật toán BP cải tiến thực cấu trúc ảnh dạng lưới với kết nối cho điểm ảnh Tác giả Sun[6] biểu diễn BP dùng suy diễn MAP coi thuật toán BP chuẩn Tác giả Felzenszwalb[7] đề xuất phương pháp khắc phục nhược điểm thuật toán BP Thứ dùng tối thiểu cho hàm chi phí giảm thời gian tính tốn từ O(L2) xuống O(L), thứ hai chia ảnh thành hai phần tương ứng với vòng lặp chẵn vòng lặp lẻ điều mang lại ưu điểm giảm nhớ lưu trữ, thứ ba chia thô làm mịn điều giảm số vòng lặp nhớ yêu cầu nhiên phải trả giá cho độ xác Tác giả Li Zhang[8] đề xuất bổ xung tham số ngưỡng cho hàm chi phí, việc làm mang lại giảm khơng gian tìm kiếm đo nâng cao tốc độ Tác giả Yu-Cheng Tseng[9] đề xuất giải pháp nhằm giảm nhớ cách chia ảnh thành khối độc lập thực BP riêng khối, phương pháp có ưu điểm thực nhanh độ tin cậy giảm Để khắc phục nhược điểm tác giả Chia [10] đề xuất khối lưu trữ thông tin điểm đường bao khối cần bổ xung nhớ cho thông tin đường bao Để giảm yêu cầu nhớ cho thông tin đường bao, tác giả Chao[11] đề xuất tái sử dụng thông tin đường bao độ phức tạp tính tốn tăng lên Tác giả Yang[12] đề xuất giải pháp giảm nhớ cách cố định không gian sai lệch cho việc chia thô tới mịn Đặc điểm chung giải pháp cải tiến điểm khớp xuất phát ban đầu vị trí điểm bên trái ảnh camera kép để lan truyền tin cậy, đó, điểm ảnh camera kép ban đầu khơng khớp dẫn đến yêu cầu lượng chi phí lớn độ xác khơng cao Để khắc phục nhược điểm này, đề xuất giải pháp mới, điểm ảnh khớp xuất phát ban đầu điểm khớp trung tâm ảnh camera kép xác định theo thuật toán CT (Census transform) lan truyền tin cậy đồng thời theo bốn hướng dùng xử lý song song Thật tốn CT có hàm biến đổi mạnh khơng phụ thuộc cường độ ánh sang ảnh [13] Phần lại báo tổ chức sau: phần trình bày số kiến thức liên quan đến thuật toán thực đồ sai lệch BP CT Phần đề xuất thuật toán lan truyền tin cậy kết hợp biến đổi kiểm kê CTBP Kết thực nghiệm đưa phần 4; Kết luận cho phần CÁC NGHIÊN CỨU LIÊN QUAN Bảng sau liệt kê số kí hiệu sử dụng báo Bảng Các kí hiệu định nghĩa Kí hiệu Định nghĩa G Mơ hình đồ thị biểu diễn đồ sai lệch ảnh stereo camera V Tập nút mơ hình đồ thị (nút biểu diễn sai lệch cặp ảnh tương đồng ảnh stereo camera) E Tập cạnh mơ hình đồ thị (cạnh biểu diễn lượng chi phí cuat nút với nút lân cận nó) i,j Biểu diễn nút thứ i nút lân cận i Xi Biến ngẫu nhiên nút i xi Sự chuẩn hóa Xivà Xi không gian trạng thái xi (xiϵ Xi) X Biến ngẫu nhiên liên kết x x Sự chuẩn hóa giá trị mơ hình đồ thị khơng gian X p(x) Xác xuất hậu nghiệm (posterior) MAP Xác suất nút i  i (x i ) Tạp chí Nghiên cứu KH&CN quân sự, Số 51, 10 - 2017 101 Cơng nghệ thơng tin & Cơ sở tốn học cho tin học  ( xi , x j ) E(x) D(xi) Xác suất nút i với nút j lân cận nút i V ( xi , x j ) Năng lượng chi phí Hàm lượng chi phí cho nút i Hàm lượng chi phí nút i nút j lân cận mit j ( x j ) Thông điệp chuyển từ nút i sang nút lân cận j bj (x j ) Độ tin cậy nút j c Tỉ lệ tăng hàm nhẵn d Ngưỡng dừng tăng hàm nhẵn E(i)\j Tập nút i trừ nút j dC(x,y) Bản đồ sai lệch thực dT(x,y) Bản đồ sai lệch mẫu 2.1 Thuật toán BP Thuật toán BP thuật toán suy diễn lặp gần dựa trường ngẫu nhiên Markov [3] Xét mơ hình trường ngẫu nhiên Markov (MRF) hình 2, đó, G = (V, E), x= (xi)iϵV X = (Xi)iϵV Xác suất hậu nghiệm (posterior) MAP xác định là: p( x)   ( xi )   ( xi , x j ) iV (1) iV jV / i Từ phương trình xác định MAP (maximum a posterior) thông qua phương pháp tích cực đại (max-product) Phương pháp tích cực đại tương đương với phương pháp tổng cực tiểu (min- sum) Đối với phương pháp tổng cực tiểu tìm lượng chi phí cho việc chuyển thơng điệp nút từ tìm cách tối thiểu hóa lượng chi phí E ( p( x))    log ( xi )  iV   log  ( xi , x j ) (2) i , jE Chúng ta đơn giản E(p(x)) thành E(x), đó, hàm lượng viết: E ( x)   D( xi )  iV  V (x , x ) i (3) j i , jE Trong thị giác nút tương ứng độ sai lệch hàm lượng chi phí cặp nút đến điểm lân cận dựa khác nút Do hàm: V ( xi , x j )  V ( xi  x j ) E ( x)   D( xi )  iV (4)  V (x  x ) i (5) j i , jE Thông điệp cập nhật vòng lặp t xác định là: mit j ( x j )  min(V ( xi  x j )  Di ( xi )  xi  mst 1i ( xi )) (6) sE (i )\ j Sau T vòng lặp độ tin cậy nút là: bj ( x j )  Dj ( f j )  T i j m (x j ) (7) iN ( j ) Nút x*j lựa chọn xác định theo công thức: x*j  arg b j ( x j ) 102 (8) Đ V Tuấn, B T Thành, “Một giải pháp thực đồ … ảnh 3D đồ độ sâu.” Nghiên cứu khoa học công nghệ Thông thường hàm lượng chi phí nhẵn xác định theo mơ hình tuyến tính V ( xi  x j )  min(c xi  x j , d ) (9) Khi thông điệp cập nhật xác định là: mit j ( x j )  min(min(c xi  x j , d )  Di ( xi )  xi 2.2 Thuật toán CT Thuật toán CT thuật toán biến đổi kiểm kê cục khơng tham số, không phụ thuộc vào điều kiện ánh sáng ảnh [13] Nguyên lý hoạt động CT biến đổi điểm ảnh thành chuỗi bít có độ dài N bít với kiến trúc khơng gian cục Đối với điểm ảnh lân cận ngoại trừ điểm trung tâm biến đổi tương ứng thành bít chuỗi N bít theo ngưỡng giá trị cường độ (intensity) bít lân cận lớn giá trị cường độ bít trung tâm tương ứng với bít ngồi bít  mst 1i ( xi )) (10) sE ( i )\ j Hình Mơ hình MRF Chuỗi bít Khoảng cách Hamming CT Hình Biến đổi CT với cửa sổ 3x3 khoảng cách Hamming Hình mơ tả thuật tốn CT với cửa sổ 3x3, giá trị cường độ điểm trung tâm 30 Các điểm lân cận có giá trị lớn 30 tương ứng với bít ngồi bít Khi so sánh chuỗi bít ảnh trái ảnh phải, đếm số bít khác hai chuỗi bít gọi khoảng cách Hamming tính theo cơng thức (11) Hai điểm ảnh hai ảnh trái phải có khoảng cách Hamming nhỏ chọn khớp ( x0 , y0 )  arg Hamming(TL ( x, y ), TR ( x  d , y )) (11) ( x, y ) đó, TL(x,y) TR(x,y) chuỗi bít điểm ảnh khớp ảnh trái ảnh phải ảnh camera kép ĐỀ XUẤT THUẬT TỐN KẾT HỢP 3.1 Mơ tả thuật tốn đề xuất Khi điểm xuất phát ban đầu để lan truyền tin cậy khơng khớp dẫn đến u cầu chi phí lượng lớn độ tin cậy thấp thực đồ sai lệch hình 4.d Tạp chí Nghiên cứu KH&CN quân sự, Số 51, 10 - 2017 103 Công nghệ nghệ thông tin & C Cơ sở s toán học học cho tin học (a) (b) (c) (d) Hình Ảnh hưởng h ởng điểm khớp ban đầu: (a) Ảnh camera kép trái, (b) Ảnh camera kép ph phải, ải, (c)Bản đồ sai lệch mẫu vvà (d) Bản Bản đồ sai lệch lệch Đểể khắc phục nhược ợc điểm này, đđềề xuất điểm khớp xuất phát llàà điểm ểm khớp trung tâm ccủa ảnh camera kép Điểm khớp trung tâm ảnh camera kép đđư ợc xác định ược dùng phương pháp bi biến ến đổi kiểm kkêê CT Sau đđãã xác định ịnh đđược ợc điểm khớp trung tâm, chia ảnh th thành nh phần phần và coi điểm ểm khớp trung tâm llàà điểm ểm khớp ban đầu để lan truyền tin cậy cho phần Tại phần, ảnh camera kép đđư truyền ược ợc chia thô tới mịn mức hhình ình 5, trình làm gi giảm ảm số lư lượng ợng ảnh lần Khi chia thơ tới mịn mức th thìì lư lượng ợng chi pphí hí cho m ỗi mức chia đđược ợc tính theo cơng thức (12) E ( x)  * i  D( x ) (12) i[1,4] Thông điệp ệp đđư ược ợc lan truyền tin cậy nút nh hình hình đồng ồng thời th ực BP thực cho ccảả bốn phần nhờ vvào ấu trúc xử lý song song nh ph phần ần cứng GPU vvàà ph phần ần mềm ccấu CUDA Hình Chia thơ ttới ới mịn mức Hình 6 Sơ đđồ thông điệp lan truyền 3.2 Chương tr trình ình đ đề xu xuấất Thuậtt tốn đ Thuậ đềề xu xuấtt CTBP ((Census Census Transform Belief Propagation Propagation)) Đầầu u vào: Ảnh Ảnh camera kép có đđộ ộ phân gi giảảii cao (m, n, d) Đầầu u ra:: Bả Bản n đồ đ sai llệch ch ảnh nh camera kép có m mậtt độ đ dầy y đặ đặcc (m, n) Các bư bướ ớcc thự thựcc hi n: Tìm điểm m khớp kh p trung tâm ảnh thuậtt toán CT ảnh camera kép dùng thu T Từ điểm m khớp kh p trung tâm, chia ảnh ảnh thành ph phầần n lấy l y điểểm m kh khớ ớp p trung tâm điểm m kh p ban đầ khớp đầu u lan truy truyềnn tin ccậậy y cho m mỗỗii ph phần n hhình ình Thực Th c hiệ n lan truy truyềnn tin ccậy y phầnn đđồng ng th thờii sau: phầ Đặặtt thông điệp p = Thực Th c hiệ n chia thơ ttớ ớii m n mứ ình mịn mứcc hhình Tính tốn lư lượ ợng ng chi phí ttạii m i ph phần n theo công th thứcc (12) Cậập p nhật nh t thông điệệp p lan truyền truy n tin ccậyy xu xuấtt phát ttừ điểm m kh khớpp ban đđầầu u theo công thứ thứcc (7) Tính tốn đđộ ộ tin cậ cậyy ccủaa nút theo công th thứ ứcc (8) Nút x*j được lựa chọn vvàà xác định định theo cơng thức (9) 10 Tính ttổng lư lượng ợng chi phí theo cơng thức (6) 104 Đ V Tu Tuấn, ấn, B T Th ành, “Một “Một giải pháp thực đồ … ảnh 3D vvà bản đồ độ sâu sâu.”” Thành, Nghiên ccứu ứu khoa học công nghệ KẾT KẾT QUẢ THỰC NGHIỆM MÔ PHỎNG V VÀ À TH THẢO ẢO LUẬN LU ẬN 4.1 D Dữ ữ liệu thực nghiệm Hệệ thống thực nghiệm nh hình hình vvới ới cấu hhình ình PC ợc mơ tả bảng vvà ảnh camera kép ttập ập liệu kiểm thử [14] đđược ợc mô tả bảng Hình 7 H Hệệ thống thực nghiệm nghiệm Bảng ảng 2 Mơ ttả ả cấu hình hình PC Destop Destop Ph Phần ần cứng Ph Phần n mềm mềm CPU RAM Card hình Hệệ điều hành hành Phần Phần mềm ứng dụng Intel 8GB Geforce GTX750 Ti Window 8.1 QT Creator 5.4 core i7 Bộ ộ nhớ trong: 2GB 64 bít OpenCV 3.0 Core: 460 nhân Visual Studio 2013 BUS: 128 bít CUDA 4.2 Ch Chỉỉ số đánh giá độ tin cậy RMSE Để đánh giá độ tin cậy kết thực nghiệm, sử dụng tham số RMSE Để (root root mean squared error: sai ssố ố tồn tồn phương trung bbình ình)) theo công th thức ức (13) Tham số RMSE nh nhỏ ỏ ccàng àng ttốt, ốt, điều chứng tỏ kết đồ sai lệch thực đđược ợc ccàng àng gần ần vvới ới đồ sai lệch mẫu =( ∑ Ký Độ ộ sai Tên ảnh Kích th thức ức hi hiệu ệu lệch ệch #1 Baby 620x555 , | ( , )− Ảnh trái ( , ))| ) (13) Bảng ảng Tập ập liệu kiểm thử thử Bản Bản đồ sai lệch Ảnh phải mẫu m 300 Tạp ạp chí Nghi Nghiên ên cứu cứu KH&CN quân uân sự, sự, Số 51, 10 - 2017 2017 105 Công nghệ nghệ thông tin & C Cơ sở s toán học học cho tin học #2 Aloe 641x555 270 #3 Cloth 626x555 290 #4 Flower pots 656x555 251 #5 Bowling 665x555 240 #6 Book 695x555 200 4.3 K 4.3 Kết ết thực nghiệm vvà thảo thảo luận Đểể đánh giá hiệu thật tốn đề xuất, chúng tơi đđưa ưa m ột số thực nghiệm ccơ bbản ản so sánh kkết ết với kết phương phương pháp đư ợc mô tả [7] Trong thực nghiệm nghiệm,, ssử dụng đa dạng ảnh camera kép để kiểm thử với độ phức tạp khác nh bảng ảng với cấu hhình ình PC nh bảng bảng Bảng Chỉỉ số đánh giá sai số to toàn àn phương trung bbình ình RMSE RMSE Bảng Ch Ảnh Thu Thuật ật toán BP Thuật toán đề xuất Thuật #1 0.7200 0.7150 #2 1,0921 1,0568 #3 2.2737 1.5560 #4 3.05911 2.9021 #5 4.7338 3.9676 #6 5,0250 3,3840 Kết ết thử nghiệm với mẫu ảnh thu đđư ược ợc đồ sai lệch nh hình hình đánh giá đđộ ộ tin ccậy ậy thuật toán đề xuất với thuật toán BP đư ợc thể bảng Để đánh giá hiệu ệu thuật tốn đề xuất, chúng tơi thực đồ sai lệch mẫu ảnh theo thuật tốn BP nh thuật hhình ình B ảng thể hiệu thực thuật toán đề xuất với Bảng thuật toán BP dựa tr thuật ên hhệệ thống thực thực nghiệm đđãã mô tả tả bảng Bảng cho thấy thuật tốn đđềề xuất có độ tin cậy cao hhơn ơn thu thuật ật toán BP Đối với ảnh #1, #2 vvàà #3 có bbềề mặt đơn gi giản ản cho kết RMSE thấp hhơn ơn ảnh #4, #5 vvàà #6 có bbềề mặt ảnh phức tạp Điều nnày Điều ày lý gi giải, ải, ảnh camera kép có bề mặt đđơn ơn gi giản ản th thìì sẽ thu đ ợc đồ sai lệch ệch gần đồ sai lệch mẫu 106 Đ V Tu Tuấn, ấn, B T Th ành, “Một “Một giải pháp thực đồ … ảnh 3D vvà bản đồ độ sâu sâu.”” Thành, Nghiên cứu khoa học công nghệ (a) (b) (c) (d) (e) (f) Hình Bản đồ sai lệch dùng thuật tốn đề xuất: (a), (b), (c), (d), (e) (f) đồ sai lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Bảng Đánh giá hiệu thực (ms) Ảnh Thuật toán BP Thuật toán đề xuất #1 439 182 #2 457 185 #3 442 182 #4 473 187 #5 478 188 #6 494 191 Bảng cho thấy, ảnh kiểm thử có kích thước tương đương thời gian thực khơng thay đổi thực thuật toán Điều cho thấy hiệu thực đồ sai lệch không phụ thuộc vào độ phức tạp ảnh mẫu mà phụ thuộc vào độ phân giải ảnh Ngồi ra, bảng thể hiệu thuật toán đề xuất tăng khoảng 2,5 lần so với thuật toán BP (a) (b) (c) (d) (e) (f) Hình Bản đồ sai lệch dùng thuật tốn BP: (a), (b), (c), (d), (e) (f) đồ sai lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Các kết thực nghiệm thực phần mềm mở OpenCV 3.0 Ngồi ra, có phần mềm thực đánh giá đồ sai lệch Matlab [15] Cả hai phần mềm công cụ tốt cho đánh giá đồ sai lệch nhiên OpenCV khó cho người tiếp cận phần mềm mở Matlab dễ cho người tiếp cận với Toolbox có sẵn phải trả phí sử dụng KẾT LUẬN Trong báo chúng tơi đề xuất giải pháp cải tiến thuật tốn BP [7] Với ảnh camera kép kiểm thử [14] đa dạng độ phức tạp cho kết đồ sai lệch hình Đánh giá hiệu thuật toán đề xuất so với thuật toán BP thể bảng bảng bảng thể so sánh đánh giá độ tin cậy thơng qua số RMSE bảng thể hiệu thực thông qua hệ thống PC có cấu bảng Chúng tơi đề xuất giải pháp cải tiến thuật toán BP giải pháp thay điểm khớp xuất phát lan truyền tin cậy điểm bên trái ảnh camera kép điểm khớp trung tâm ảnh Điểm khớp trung tâm ảnh camera kép xác định thuật toán CT Thuật toán đề xuất cho độ tin cậy cao hiệu thực tăng khoảng 2,5 lần so với thuật tốn BP Tạp chí Nghiên cứu KH&CN quân sự, Số 51, 10 - 2017 107 Công nghệ thơng tin & Cơ sở tốn học cho tin học Hướng nghiên cứu báo tìm giải pháp nâng cao xác định điểm khớp trung tâm ảnh camera kép để tối ưu hóa lượng chi phí xác định đồ sai lệch ứng dụng thuật toán đề xuất vào thị giác robotics Ngồi ra, đánh giá hiệu thuật tốn đề xuất dùng phần mềm Matlab PHỤ LỤC Định nghĩa: Khoảng cách Hamming D(x, y) hai véc tơ x,y € F(n) hệ số mà chúng khác F trường hữu hạn Định luật: D thỏa mãn kiện sau: D(x,y) ≥ D(x,y) = x = y D(x,y) = D(y,x) D(x,z) ≤ D(x,y) + D(y,z) với y [16] TÀI LIỆU THAM KHẢO [1] R Szeliski, "Computer Vision: Algorithms and Applications," Springer-Verlag New York, 2010 [2] M Stefano, “Stereo vision: Algorithms and Applications,” University of Bologna, 2012 [3] A Blake, P Kohli, C Rother, "Markov Random Fields for Vision and Image Processing," MIT Press, 2011 [4] K Zhang, J B Lu, Q Yang, G Lafruit, R Lauwereins and L.V Gool, “Real-Time and Accurate Stereo: A Scalable Approach with Bitwise Fast Voting on CUDA”, IEEE Transactions on Circuits and Systems for Video Technology, vol 7, no 21, 2011, pp.867-879 [5] S Jin, J Cho, X D Pham, K M Lee, S K Park, M Kim and J W Jeon, “FPGA Design and Implementation of a Real-Time Stereo Vision System”, IEEE Transactions on Circuits and Systems for Video Technology, vol 1, no 20, 2010, pp 15-26 [6] Sun, Zheng, Shum, "Stereo matching using belief propagation," IEEE Trans PAMI, pp 787 -800, 2003 [7] P F Felzenszwalb and D P Huttenlocher, "Efficient Belief Propagation for Early," Proc IEEE Int Conf Computer Vision and Pattern Recognition, vol 1, no 70, pp 261 - 267, 2004 [8] L Zhang and S M Seitz, "Parameter Estimation for MRF Stereo," Proc IEEE Int'l Conf Computer Vision and Pattern Recognition (CVPR '05), pp 288 - 295, 20 - 25 June 2005 [9] N C a T C Y C Tseng, "Low Memory Cost Block - based Belief Propagations for Stereo Correspondence," 2007 IEEE International conference on Multimedia and Expo,pp 1415 - 1418, - july 2007 [10] C K Liang, C C Cheng, Y C Lai, L G Chen and H H Chen, "Hardware Efficient Belief Propagation," Proc of IEEE Conf Computer Vision and Pattern Recognition, pp 80 - 87, 20 -25 June 2009 [11] Y C Tseng and T S Chang, "Architecture Design of Belief Propagation for Real Time Disparity Estimation," IEEE Transaction on Circuits and Systems for Video Technology, vol 11, no 20, pp 1555 - 1565, 2010 [12] L W a N A Q Yang, "A Constant-sapce Belief Propagation Algorithm for Stereo Matching," IEEE Computer Society Conference on Computer Vision and Pattern 108 Đ V Tuấn, B T Thành, “Một giải pháp thực đồ … ảnh 3D đồ độ sâu.” Nghiên cứu khoa học công nghệ Recognition, pp 1458-1465, 2010 [13] Zabih, R and Woodfill, J., "Non-Parametric Local Transforms for Computing Visual Correspondence," Proceedingsings of Third European Conference of Computer Vision, vol 801, pp 151 - 158, 1994 [14] D Scharstein and R Szeliski Middlebury benchmark.http://vision.middlebury.edu [15] Https://www.mathworks.com/help/vision/examples/depth-estimation-from-stereo[16] video.html H Gopalakrishra Gadiyar and P Padma, “A historical introduction to coding theory through Hamming’s work,” V I T University, Vellore, 2015 ABSTRACT A SOLUTION TO IMPROVE DISPARITY MAP OF DENSE STEREO CAMERA APPLICATION 3D IMAGE AND DEPTH MAP Disparity map is one of the most important parameters of stereo vision From disparity map we can derive 3D and deep map of pictures and objects There are many proposed algorithms in which Belief Propagation (BP) has been studied and modified by many researchers This is an approximation inference algorithm based on Markov Random Fields model with global optimization for high accuracy Almost standard and modified BP algorithms have starting point is on the left-top of pictures to propagate believable messages in order to derive disparity map In this paper, an advanced BP algorithm is proposed whereas the proposed algorithm with center pixel is started The center pixel is determined by using global Census Tranform method Then, believable messages around to derive disparity map are propagated Simulation result on CPU and GPU show that this proposed method has 2.5 times fasster computing and higher reliability in compared with standard BP Keywords: Disparity map, Stereo vision, Belief propagation, Census transform, Stereo camera, Semi-Global Nhận ngày 05 tháng năm 2017 Hoàn thiện ngày 05 tháng 10 năm 2017 Chấp nhận đăng ngày 25 tháng 10 năm 2017 Địa chỉ: Trường Đại học Sư phạm Kĩ thuật Hưng Yên * Email: tuandv.ute@gmail.com Tạp chí Nghiên cứu KH&CN quân sự, Số 51, 10 - 2017 109 ... gi giải, ải, ảnh camera kép có bề mặt đđơn ơn gi giản ản th thìì sẽ thu đ ợc đồ sai lệch ệch gần đồ sai lệch mẫu 106 Đ V Tu Tuấn, ấn, B T Th ành, Một Một giải pháp thực đồ … ảnh 3D vvà bản đồ. .. Propagation)) Đầầu u vào: Ảnh Ảnh camera kép có độ ộ phân gi giảảii cao (m, n, d) Đầầu u ra:: Bả Bản n đồ đ sai llệch ch ảnh nh camera kép có m mậtt độ đ dầy y đặ đặcc (m, n) Các bư bướ ớcc thự thựcc hi... học học cho tin học (a) (b) (c) (d) Hình Ảnh hưởng h ởng điểm khớp ban đầu: (a) Ảnh camera kép trái, (b) Ảnh camera kép ph phải, ải, (c )Bản đồ sai lệch mẫu vvà (d) Bản Bản đồ sai lệch lệch Đểể