Nghiên cứu giải pháp nâng cao tốc độ xử lý tín hiệu trong hệ thống thị giác nổi tt

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CƠNG NGHỆ QN SỰ ĐỒN VĂN TUẤN NGHIÊN CỨU GIẢI PHÁP NÂNG CAO TỐC ĐỘ XỬ LÝ TÍN HIỆU TRONG HỆ THỐNG THỊ GIÁC NỔI Chuyên ngành: Kỹ thuật điện tử Mã số: 52 02 03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2019 CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI VIỆN KHOA HỌC VÀ CƠNG NGHỆ QN SỰ - BỘ QUỐC PHỊNG Ngƣời hƣớng dẫn khoa học: TS Hà Hữu Huy PGS TS Bùi Trung Thành Phản biện 1: PGS.TS Hoàng Mạnh Thắng Trường Đại học Bách khoa Hà Nội Phản biện 2: PGS.TS Lê Nhật Thăng Học viện Công nghệ Bưu Viễn thơng Phản biện 3: TS Vũ Lê Hà Viện Khoa học Công nghệ quân Luận án bảo vệ Hội đồng đánh giá luận án cấp Viện họp viện Khoa học Công nghệ quân vào hồi ngày tháng năm 2019 Có thể tìm hiểu luận án tại: - Thư viện Viện Khoa học Công nghệ quân - Thư viện Quốc gia Việt Nam MỞ ĐẦU Tính cấp thiết đề tài Ngày nay, khoa học kỹ thuật phát triển mạnh mẽ điển hình cách mạng công nghiệp 4.0 khởi xướng từ nước Đức năm 2013 Một yếu tố làm nên cách mạng công nghiệp 4.0 robot dần thay sức lao động người người làm việc nhà máy, công xưởng Do đó, robot phải xử lý thơng tin môi trường chiều (3D) thông qua hệ thống thị giác để định hướng, định vị, nhận dạng xác định xác vị trí vật xung quanh gọi thị giác hay thị giác robot 3D Ngồi ra, thị giác cịn ứng dụng nhận dạng, tái tạo, định vị, phẫu thuật, xe tự hành, xây dựng đồ nghệ thuật Con người mong muốn tạo hệ thị giác robot giống thị giác người, hệ thị giác đơn giản sử dụng stereo camera bao gồm hai camera thay cho hai mắt người kết hợp với hệ thống nhúng xử lý liệu đóng vai trị não Thơng tin ảnh stereo camera xử lý thơng qua thuật tốn tảng xử lý CPU, DSP, GPU, FPGA ASIC kết hợp với ngôn ngữ thực Matlab, OpenCV, CUDA… Một hệ thống gọi hệ thống thị giác Các thách thức lớn hệ thống thị giác dùng stereo camera nguồn liệu từ ảnh stereo camera ngày tăng, tốc độ thực đòi hỏi đáp ứng thời gian thực, độ tin cậy cao dung lượng nhớ hữu hạn Để giải toán này, giải pháp hiệu phát triển thuật toán xử lý, tảng xử lý chưa phát triển kịp theo nhu cầu người Mục đích nghiên cứu Nghiên cứu giải pháp cụ thể để cải tiến thuật toán lan truyền tin cậy BP nhằm tăng tốc độ thực giảm dung lượng nhớ yêu cầu thực đồ độ chênh lệch ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dày hệ thống thị giác ứng dụng cho thị giác robot 3D Đối tƣợng, phạm vi nghiên cứu Luận án tập trung nghiên cứu giải pháp giảm lượng chi phí thuật tốn tồn cục lan truyền tin cậy BP thực đồ độ chênh lệch ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dầy Ảnh stereo camera lấy từ tập liệu kiểm thử Nghiên cứu, đề xuất giải pháp cải tiến thuật toán lan truyền tin cậy BP nhằm nâng cao hiệu thực đồ độ chênh lệch Phƣơng pháp nghiên cứu Luận án tập trung nghiên cứu giải pháp giảm giá trị chi phí thuật tốn lan truyền tin cậy thực đồ độ chênh lệch từ ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dầy Phân tích thuật tốn cải tiến thuật tốn BP từ đề xuất giải pháp nhằm giảm giá trị chi phí thuật tốn BP lựa chọn tảng xử lý phù hợp nhằm đạt mục đích đề luận án Từ phân tích tốn học, biểu thức hóa tham số, luận án dùng công cụ mô phỏng, liệu từ tập liệu kiểm thử để chứng minh tính đắn kết nghiên cứu Ý nghĩa khoa học thực tiễn luận án Bản đồ chênh lệch (disparity map) ảnh stereo camera có vai trị quan trọng thị giác Robot 3D Từ đồ độ chênh lệch, kết hợp với phép đạc tam giác cho đồ độ sâu ước lượng khoảng cách từ camera đến vật Kĩ thuật áp dụng rộng rãi công nghiệp, robot, phẫu thuật, xe tự hành, định vị xây dựng đồ Luận án đề xuất hai giải pháp giảm hàm chi phí cho thuật tốn lan truyền tin cậy BP Giải pháp thứ thực giảm số lượng nút mơ hình trường ngẫu nhiên Markov thơng qua vịng lặp dùng phương pháp chia thơ đến mịn CTF mức Giải pháp thứ hai thực kết hợp thuật toán cục CT (Census transform) thuật tốn tồn cục BP cải thiện giảm lượng chi phí nút xuất phát ban đầu thực lan truyền thơng điệp thuật tốn BP Bố cục luận án Toàn luận án gồm 137 trang trình bày thành chương, 40 hình vẽ, 29 bảng 14 biểu đồ Chƣơng 1: TỔNG QUAN THỊ GIÁC NỔI VÀ XỬ LÝ TÍN HIỆU TRONG HỆ THỐNG THỊ GIÁC NỔI 1.1 Tổng quan thị giác Thị giác thành phần quan trọng thị giác máy nhiều nhà khoa học nghiên cứu phát triển hai thập kỉ gần Hệ thống thị giác áp dụng rộng rãi nhiều lĩnh vực robot, xe tự hành, y khoa, nghệ thuật, giải trí đặc biệt mạng công nghiệp 4.0 [59] Con người muốn tạo hệ thị giác robot làm việc môi trường chiều gần giống với thị giác người gọi hệ thống thị giác Hình 1.1, robot người hoạt động sản xuất, tương tác lẫn [107] Khối thông tin ảnh Khối xử lý thơng tin ảnh Khối phát triển ứng dụng Hình 1.1 Sơ đồ khối hệ thống thị giác 1.2 Mô hình camera 1.3 Phƣơng pháp hiệu chuẩn camera Phương pháp hiệu chuẩn camera định đến tốc độ thực độ tin cậy tham số bên bên ngồi camera Hiện có số phương pháp hiệu chuẩn ảnh kinh điển Hall [39], Salvi [37], Tsai [91] Weng [76] dựa mơ hình camera tương ứng Mỗi mơ hình có phương pháp hiệu chuẩn thích hợp có ưu nhược điểm khác 1.4 Phƣơng pháp hiệu chỉnh ảnh Các phương pháp hiệu chỉnh ảnh làm tối ưu trình đồng ảnh stereo camera nâng cao độ tin cậy xử lý thông tin ảnh Phương pháp hiệu chỉnh chia làm hai dạng Dạng thứ nhất, phương pháp hiệu chỉnh sau hiệu chuẩn [9], [105] Dạng thứ hai, phương pháp hiệu chỉnh thực mà không hiệu chuẩn [26] 1.5 Các thuật toán so khớp Trong khoảng hai thập kỉ qua, có nhiều thuật tốn so khớp đề xuất Thuật toán so khớp phân loại theo ảnh stereo camera Các thuật toán so khớp cho ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng thưa SIFT [10], SURF [66] thường dùng cho hệ thị giác có yêu cầu tốc độ cao dung lượng nhớ yêu cầu thấp nhiên không yêu cầu độ tin cậy cao, thường áp dụng vào hệ thống định vị, xây dựng đồ hay SLAM [36] xe tự hành Các thuật toán so khớp cho ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dầy [7], [44] thường dùng cho hệ thị giác yêu cầu độ tin cậy cao, thường áp dụng vào hệ kiểm tra sản phẩm công nghiệp, hệ thị giác 3D thị giác robot phẫu thuật hay tái tạo đối tượng, nhiên, độ phức tạp tính tốn lớn dung lượng nhớ yêu cầu cao Thuật toán so khớp cho ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dầy chia làm ba loại thuật tốn cục [15], [101], thuật tốn tồn cục [48], [78] thuật tốn lai [24], [90] 1.6 Nền tảng xử lý hệ thống thị giác - Nền tảng xử lý dùng CPU - Nền tảng xử lý dùng DSP - Nền tảng xử lý dùng GPU - Nền tảng xử lý dùng FPGA/ASIC 1.7 Đánh giá tảng xử lý hệ thị giác Từ CPU→DSP→GPU→FPGA→ASIC, hiệu suất xử lý tăng tuần tự, chi phí cơng suất tiêu thụ giảm tương ứng Thuật tốn thị giác có tính linh hoạt chu kỳ phát triển ngắn, phần cứng thực có chu kỳ thiết kế dài với độ linh hoạt thiết kế đồng thời phải xem xét tối ưu thuật toán thu thập đồ phần cứng Từ quan điểm thực tiễn, hệ thống phần cứng xử lý thị giác cần tiếp cận cho hệ thống thị giác thời gian thực tiêu thụ cơng suất thấp giá thành rẻ 1.8 Các hƣớng nghiên cứu nhằm nâng cao hiệu hệ thống thị giác - Phương pháp phân đoạn ảnh tối ưu hóa phân cấp - Điều chỉnh vùng đồng khơng nhìn thấy - Phương pháp cải thiện tối thiểu giá trị chi phí cho so khớp điểm ảnh - Phương pháp tối ưu hóa liên kết - Phương pháp sếp nhớ - Phương pháp cải tiến thiết kế VLSI 1.9 Kết luận chƣơng Chương trình bày tổng quan thành phần hệ thống thị giác bao gồm hai khối khối thông tin ảnh khối xử lý thông tin ảnh Mỗi thành phần phân tích đưa đánh giá vai trò ảnh hưởng đến hệ thống Khối thơng tin ảnh bao gồm hai thành phần stereo camera hiệu chuẩn camera Khối cung cấp thông số ảnh stereo camera kích thước mức độ chênh lệch độ sâu ảnh, thông số bên thông số bên ngồi stereo camera Các thơng số ảnh hưởng đến độ tin cậy hệ thống Khối xử lý thơng tin ảnh định đến hiệu hệ thống bao gồm phần mềm phần cứng Phần mềm ngơn ngữ lập trình thực thuật toán xử lý bao gồm thuật toán hiệu chỉnh ảnh, thuật toán so khớp Trong vai trị thuật tốn so khớp ảnh hưởng chủ yếu đến hiệu hệ thống Phần cứng tảng xử lý thực thuật tốn xử lý đóng vai trò nâng cao hiệu hệ thống thị giác Ngoài ra, việc lựa chọn phù hợp tảng xử lý thuật toán so khớp ảnh hướng đến tốc độ thực hệ thống thị giác Phần cứng lựa chọn thực tảng xử lý GPU Nvidia GXT 750Ti với nhớ 2GB, 460 nhân băng thông 128 bit dùng phần mềm CUDA 7.5 trình biên dịch QT creator kết hợp với CPU Intel core i7, RAM GB với hệ điều hành Window 8.1 Nền tảng xử lý GPU lựa chọn hỗ trợ cấu trúc xử lý song song, có nhiều nhân xử lý, băng thông rộng nhớ ngày tăng lên phù hợp với chương trình thực nghiệm luận án Chƣơng 2: NGHIÊN CỨU CÁC THUẬT TOÁN LAN TRUYỀN TIN CẬY BP VÀ XÂY DỰNG CÁC PHƢƠNG PHÁP NÂNG CAO TỐC ĐỘ XỬ LÝ TRONG HỆ THỐNG THỊ GIÁC NỔI 2.1 Trƣờng ngẫu nhiên Markov Trường ngẫu nhiên Markov (MRF: Markov Random Field) nhánh lý thuyết xác suất Trường ngẫu nhiên Markov sử dụng công cụ để xử lý mô hình hóa liệu ảnh, kết hợp với thuật tốn tiên tiến Ngồi ra, trường ngẫu nhiên Markov sử dụng phương tiện tạo kết suy luận hình ảnh Các suy luận liên quan hình ảnh cấu trúc khn hình giải vấn đề tái tạo lại ảnh, phân đoạn ảnh, thị giác tạo dán nhãn đối tượng Mơ hình trường ngẫu nhiên Markov thường có hai dạng dạng hình dạng hình lưới 2.2 Thuật tốn lan truyền tin cậy BP ứng dụng cho thị giác Thuật toán lan truyền tin cậy BP sử dụng thông điệp chứa giá trị chênh lệch điểm tương ứng di chuyển nút theo phương pháp lặp để thực suy luận mơ hình đồ thị Phương pháp cung cấp suy luận xác với mơ hình dạng cung cấp suy luận gần cho mơ hình dạng lưới Thuật toán lan truyền tin cậy áp dụng để xác định MAP mơ hình trường ngẫu nhiên Markov cho vấn đề thị giác 2.3 Thuật toán cục CT Thuật toán cục CT (Census transform) thuật toán biến đổi thống kê cục khơng tham số, khơng phụ thuộc vào điều kiện ánh sáng ảnh [86] Nguyên lý hoạt động CT biến đổi điểm ảnh thành chuỗi bit có độ dài N bit với kiến trúc khơng gian cục Đối với điểm ảnh lân cận ngoại trừ điểm trung tâm biến đổi tương ứng thành bit chuỗi N bit theo ngưỡng giá trị cường độ sáng (intensity), bit lân cận lớn giá trị cường độ bit trung tâm tương ứng với bit ngồi bit 2.4 Các giải pháp cải tiến tốc độ xử lý thuật toán lan truyền tin cậy BP - Tính tốn song song - Giảm độ phức tạp tính tốn - Giảm dung lượng nhớ u cầu thực - Tối thiểu thông điệp cập nhật - Tối ưu cách thức truy cập nhớ - Tái sử dụng nhớ - Nâng cao độ tin cậy - Tối ưu hóa liên kết - Lựa chọn thuật toán xử lý tảng xử lý phù hợp Đề tài luận án đề xuất hai giải pháp để nâng cao tốc độ xử lý cho thuật toán lan truyền tin cậy BP giải pháp giảm hàm chí phí giải pháp tối ưu hóa kết hợp 2.5 Đề xuất giải pháp giảm hàm chi phí 2.5.1 Thuật tốn đề xuất Mơ hình thuật tốn đề xuất (CFBP) xây dựng dựa mơ hình trường ngẫu nhiên Markov dạng hình lưới, nút có liên kết Hình 2.16 Xét G = (E, V) G mơ hình đồ thị, E tập nút , V tập cạnh Nút nhãn gán giá trị độ chênh lệch cường độ sáng điểm tương ứng ảnh trái ảnh phải ảnh stereo camera, thường gọi giá trị liệu hay hàm liệu Cạnh nhãn gán giá trị độ chênh lệch hai nút lân cận, thường gọi giá trị nhẵn hay hàm nhẵn Hình 2.16 Sơ đồ mơ hình thuật tốn đề xuất Từ mơ hình thuật tốn đề xuất cho thấy thuật toán đề xuất sử dụng phương pháp chia thô đến mịn CTF mức Hình 2.17 để giảm số lượng nút sau vịng lặp Phương pháp chia thơ đến mịn CTF (Coarse to Fine) dùng để suy luận giảm số lượng nút theo mức Sau thực CTF mức l số lượng nút vịng lặp giảm S=2x2l lần so với số lượng nút vịng lặp trước Giá trị chi phí để thực suy luận nút nút xác định theo công thức (2.36) Thông điệp thuật toán đề xuất lan truyền theo sơ đồ song song Hình 2.18 Nút xuất phát ban đầu lựa chọn nút có gán nhãn (0, 0) với '  giá trị thông điệp ban đầu đặt đặt m0'  m0,0 Hình 2.17 Sơ đồ cấu trúc chia thô đến mịn CTF mức Hình 2.18 Sơ đồ lan truyền thơng điệp Giá trị chi phí thực chia thơ đến mịn CTF mức là: (2.36) E CTF ( x)    ( xi ) i[1,4] Số lần thực CTF mức k2' xác định theo công thức (2.37) Xét ảnh stereo camera có độ phân giải m, n k m số lượng điểm ảnh theo hàng, n số lượng điểm ảnh theo cột k số lượng mức chênh lệch độ sâu ảnh k2'  log m (2.37) Số vòng lặp k1' thực lần chia thô đến mịn CTF mức xác định là: k1'  k log2 m  + Tính tốn giá trị chi phí lan truyền thơng điệp (2.38) xuất thực giống thuật toán đề xuất khác chỗ thuật toán đề xuất phải thực k '  k1'  k2' vòng lặp cịn thuật tốn đề xuất thực k ''  k1''  k2'' vòng lặp 2.6 Đề xuất giải pháp tối ƣu hóa kết hợp 2.6.1 Thuật tốn đề xuất Mơ hình thuật tốn đề xuất (CTBP) xây dựng dựa mơ hình trường ngẫu nhiên Markov dạng Hình lưới, nút có liên kết Hình 2.22 Xét G = (E, V) G mơ hình đồ thị, E tập nút , V tập cạnh Nút nhãn gán giá trị độ chênh lệch cường độ sáng điểm tương ứng ảnh trái ảnh phải ảnh stereo camera, thường gọi giá trị liệu hay hàm liệu Cạnh nhãn gán giá trị độ chênh lệch hai nút lân cận, thường gọi giá trị nhẵn hay hàm nhẵn V1, V2, V3, V4 E1, E2, E3, E4 tương ứng nút cạnh phần 1, phần 2, phần phần mơ hình thuật tốn đề xuất Hình 2.22 Sơ đồ mơ hình thuật tốn đề xuất Từ mơ hình thuật toán đề xuất cho thấy, nút xuất phát lan truyền thơng điệp gán nhãn (0,0) mơ hình thuật toán lan truyền tin cậy BP thay nút xuất phát lan truyền thông điệp nút gán m n nhãn  ,  mô hình thuật tốn đề xuất Q trình tìm điểm tương  2 m n ứng cho nút gán nhãn  ,  thực thông qua phương  2 pháp cục CT công thức (2.35) với cửa sổ  dải quét xCT = 10 Ảnh hiệu chỉnh làm phần qua điểm tương ứng xác định qua CT Mỗi phần lan truyền thông điệp tin cậy theo thuật toán BP với sơ đồ lan truyền Hình 2.18, nút xuất phát nút gán nhãn m n  ,  Cả phần mơ hình thực đồng thời  2 +Tính giá trị chi phí Vì phần mơ hình có kích thước nên phương pháp tính giá trị chi phí giống + Tính tốn giá trị chi phí lan truyền thơng điệp cho phần mơ hình Tính tốn giá trị chi phí lan truyền thơng điệp thuật tốn đề xuất giống tính tốn giá trị chi phí lan truyền thơng điệp thuật tốn đề xuất 3, khác kích thước nút lan truyền Thuật tốn đề xuất có nút xuất lan truyền nút gán nhãn (0,0) thuật toán đề m n xuất có nút xuất phát lan nút gán nhãn  ,   2 2.6.2 Thuật tốn đề xuất Mơ hình thuật toán đề xuất (CTCSBP) xây dựng dựa mơ hình trường ngẫu nhiên Markov dạng hình lưới, nút có liên kết giống thuật tốn đề xuất Hình 2.22 Tuy nhiên, có điểm khác hai mơ hình thuật tốn đề xuất phải thực số vòng lặp với số mức chênh lệch ảnh cịn thuật tốn đề xuất có số vịng lặp thay đổi theo tỉ lệ Z '''' theo công thức (2.71) so với mức chênh lệch nút V1, V2, V3, V4 E1, E2, E3, E4 tương ứng nút cạnh phần 1, phần 2, phần phần mơ hình đề xuất Ngun lý hoạt động tính tốn giá trị chi phí cho lan truyền thơng điệp thuật tốn đề xuất thực giống thuật toán đề xuất khác chỗ thuật toán đề xuất phải thực k ''' vịng lặp cịn thuật tốn đề xuất thực k '''' vòng lặp Hình 2.24 Sơ đồ mơ hình thuật tốn đề xuất k (2.71) k ''''  '''' Z 2.7 Phƣơng pháp đánh giá thuật toán Hai phép đo chất lượng dựa liệu chuẩn biết [29]: + Độ lệch chuẩn RMSE (Root_Mean_Squared_Error) tính tốn đồ chênh lệch dC(x,y) đồ chênh lệch chuẩn dT(x,y): 1 2 R    dc ( x, y )  dT ( x, y )   N ( x, y )  N tổng số điểm ảnh + Tỉ lệ điểm khớp xấu B   ( d C ( x, y )  d T ( x , y )   d ) N ( x, y ) (2.82) (2.83)  d ngưỡng đánh giá lỗi chênh lệch 2.8 Kết luận chƣơng Chương luận án trình bày sở lý thuyết thuật toán lan truyền tin cậy BP trường ngẫu nhiên Markov bao gồm lý thuyết đồ thị kết hợp với lý thuyết xác suất Nghiên cứu, ứng dụng thuật toán lan truyền tin cậy BP xác định đồ chênh lệch ảnh stereo camera có độ phân giải cao, mật độ điểm tương ứng dầy Phân tích, đánh giá thuật toán lan truyền tin cậy BP cải tiến thực đồ sai lệch ảnh stereo camera, từ đưa hướng để cải tiến nâng cao tốc độ xử lý tín hiệu thuật tốn lan truyền tin cậy BP ứng dụng hệ thống thị giác Từ phân tích đánh giá thuật toán thực hiện, đề tài luận án đề xuất hai giải pháp nâng cao tốc độ xử lý tín hiệu thuật tốn lan truyền tin cậy BP ứng dụng trọng hệ thống thị giác giải pháp giảm hàm chi phí giải pháp tối ưu hóa kết hợp Cả hai giải pháp có mơ hình dựa mơ hình trường ngẫu nhiên Markov dạng lưới, nút có liên kết Giải pháp giảm hàm chi phí biểu diễn qua hai thuật toán đề xuất thuật toán lan truyền tin cậy dùng chia thơ đến mịn CFBP gọi thuật tốn đề xuất thuật toán đề xuất lan truyền tin cậy có độ sâu thay đổi dùng chia thơ đến mịn CFCSBP gọi thuật toán đề xuất Giải pháp tối ưu hóa kết hợp kết hợp thuật toán cục CT thuật toán toàn cục lan truyền tin cậy BP, biểu diễn qua hai thuật toán đề xuất thuật toán lan truyền tin cậy kết hợp biến đổi thống kê CTBP gọi thuật toán đề xuất thuật toán lan truyền tin cậy có độ sâu thay đổi kết hợp biến đổi thống kê CTCSBP gọi thuật toán đề xuất Chƣơng 3: THỰC NGHIỆM CÁC THUẬT TOÁN ĐỀ XUẤT VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Công cụ liệu thực nghiệm Hệ thống thực nghiệm Hình 3.1 với cấu hình PC mơ tả Bảng 3.1 ảnh stereo camera tập liệu kiểm thử [30] mơ tả Bảng 3.2 Hình 3.1 Hệ thống thực nghiệm Bảng 3.1 Mô tả cấu hình PC Desktop Phần cứng Phần mềm CPU RAM Card hình Hệ điều Phần mềm ứng hành dụng Intel 8GB Geforce GTX750 Ti Window QT Creator 5.8 core Bộ nhớ trong: 2GB 8.1 OpenCV 3.0 i7 Core: 460 nhân 64 bit Visual Studio 2013 BUS: 128 bit CUDA Bảng 3.2 Tập liệu kiểm thử Bản đồ Ký Tên Độ chênh Kích thức Ảnh trái Ảnh phải chênh lệch hiệu ảnh lệch chuẩn #1 Baby 620x555 300 #2 Aloe 641x555 270 #3 Cloth 626x555 290 #4 Flower 656x555 pots 251 #5 Bowlin 665x555 g 240 #6 Book 695x555 200 3.2 Chỉ số đánh giá độ tin cậy RMSE 3.3 Kết thực nghiệm 3.3.1 Thuật toán BP tiêu chuẩn Tốc độ thực đồ chênh lệch thuật toán lan truyền tin cậy BP [78] hệ thống Hình 3.1 có cấu hình mơ tả thơng số Bảng 3.1 liệu kiểm thử Bảng 3.2 thể Bảng 3.3 Bảng 3.3 Tốc độ thực thuật toán BP (ms) Ảnh #1 #2 #3 #4 #5 #6 TT BP 439 457 442 473 478 494 3.3.2 Thuật toán đề xuất Kết đồ chênh lệch ảnh stereo camera Bảng 3.2 thực dùng thuật toán đề xuất thể Hình 3.3 (a) (b) (c) (d) (e) (f) Hình 3.3 Bản đồ chênh lệch dùng thuật tốn 1: (a), (b), (c), (d), (e) (f) đồ chênh lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Tốc độ thực đồ chênh lệch thuật toán đề xuất hệ thống Hình 3.1 có cấu hình mơ tả thông số Bảng 3.1 liệu kiểm thử Bảng 3.2 thể Bảng 3.6 Bảng 3.6 Tốc độ thực thuật toán đề xuất (ms) Ảnh #1 #2 #3 #4 #5 #6 TT CFBP 206 217 213 224 227 235 3.3.3 Thuật toán đề xuất Kết đồ chênh lệch ảnh stereo camera Bảng 3.2 thực dùng thuật toán đề xuất với hệ số độ sâu thay đổi Z ''  thể Hình 3.4 (a) (b) (c) (d) (e) (f) Hình 3.4 Bản đồ chênh lệch dùng thuật toán 2: (a), (b), (c), (d), (e) (f) đồ chênh lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Tốc độ thực đồ chênh lệch thuật toán đề xuất với hệ số Z  hệ thống Hình 3.1 có cấu hình mô tả thông số Bảng 3.1 liệu kiểm thử Bảng 3.2 thể Bảng 3.9 Bảng 3.9 Tốc độ thực thuật toán đề xuất (ms) Ảnh #1 #2 #3 #4 #5 #6 TT CFCSBP 191 199 195 203 204 211 3.3.2 Thuật toán đề xuất Kết đồ chênh lệch ảnh stereo camera Bảng 3.2 thực dùng thuật toán đề xuất kết hợp với thuật toán CT có cửa sổ 3x3 xCT  10 thể Hình 3.5 '' (a) (b) (c) (d) (e) (f) Hình 3.5 Bản đồ chênh lệch dùng thuật toán 3: (a), (b), (c), (d), (e) (f) đồ chênh lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Tốc độ thực đồ chênh lệch thuật toán đề xuất với thuật tốn CT có cửa sổ  dải quét xCT  10 hệ thống Hình 3.1 có cấu hình mơ tả thơng số Bảng 3.1 liệu kiểm thử Bảng 3.2 thể Bảng 3.12 Bảng 3.12 Tốc độ thực thuật toán đề xuất (ms) Ảnh #1 #2 #3 #4 #5 #6 TT CTBP 182 185 182 187 188 191 3.3.2 Thuật toán đề xuất Kết đồ chênh lệch ảnh stereo camera Bảng 3.2 thực dùng thuật toán đề xuất với hệ số độ sâu thay đổi Z ''''  thể Hình 3.6 (a) (b) (c) (d) (e) (f) Hình 3.6 Bản đồ chênh lệch dùng thuật toán 4: (a), (b), (c), (d), (e) (f) đồ chênh lệch tương ứng ảnh #1, #2, #3, #4, #5 #6 Tốc độ thực đồ chênh lệch thuật toán đề xuất với hệ số độ sâu thay đổi Z ''''  hệ thống Hình 3.1 có cấu hình mơ tả thơng số Bảng 3.1 liệu kiểm thử Bảng 3.2 thể Bảng 3.15 Bảng 3.15 Tốc độ thực thuật toán đề xuất (ms) Ảnh #1 #2 #3 #4 #5 #6 TT CTCSBP 83 84 83 89 92 94 3.4 Đánh giá thuật toán đề xuất 3.4.1 Đánh giá thuật toán đề xuất với thuật toán BP Tốc độ thực đồ chênh lệch ảnh stereo camera phụ thuộc vào yếu tố thuật toán thực (kỹ lập trình), trình biên dịch, cấu hình hệ thống liệu đầu vào Do vậy, để đánh giá tốc độ thực thuật toán đề xuất thuật toán BP [78], luận án thực hai thuật toán hệ thống thực nghiệm Hình 3.1 với thông số thể Bảng 3.1 tập liệu kiểm thử Bảng 3.2 Kết so sánh tốc độ hai thuật tốn mơ tả Bảng 3.18 Biểu đồ 3.1 Bảng 3.18 So sánh tốc độ thực thuật toán BP (ms) Ảnh Thuật toán BP Thuật toán đề xuất Tốc độ tăng #1 439 206 113,11% #2 457 217 110,60% #3 442 213 107,51% #4 473 224 111,16% #5 478 227 110,57% #6 494 235 110,21% Bảng 3.18 cho thấy, ảnh kiểm thử có kích thước tương đương có mức chênh lệch khác thời gian thực gần khơng thay đổi thực thuật toán Điều cho thấy tốc độ thực đồ chênh lệch không phụ thuộc vào độ phức tạp độ chênh lệch ảnh mẫu mà phụ thuộc vào độ phân giải ảnh Ngồi ra, Bảng 3.18 cịn thể tốc độ thuật toán đề xuất tăng 113,11% so với thuật toán BP tiêu chuẩn thực ảnh # Bảng 3.2 Để trực quan, luận án mô tả so sánh tốc độ thực hai thuật toán qua biểu đồ 3.1 Biểu đồ 3.1 So sánh tốc độ thuật toán thuật toán BP (ms) 3.4.2 Đánh giá thuật toán đề xuất với thuật toán BP Để đánh giá tốc độ thật toán đề xuất 2, luận án so sánh tốc độ thuật toán đề xuất với tốc độ thực thuật toán BP hệ thống thực nghiệm Hình 3.1 với thơng số thể Bảng 3.1 tập liệu kiểm thử Bảng 3.2 với hệ số độ sâu thay đổi Z ''  Kết tốc độ thực thuật toán đề xuất thuật tốn BP mơ tả Bảng 3.21 Bảng 3.21 cho thấy, ảnh kiểm thử có kích thước tương đương có mức chênh lệch khác thời gian thực gần khơng thay đổi thực thuật tốn Điều cho thấy tốc độ thực đồ chênh lệch không phụ thuộc vào độ phức tạp độ chênh lệch ảnh mẫu mà phụ thuộc vào độ phân giải ảnh Bảng 3.21 So sánh tốc độ thực thuật toán BP (ms) Tốc độ tăng Ảnh Thuật toán BP Thuật toán đề xuất #1 #2 #3 #4 #5 #6 439 457 442 473 478 494 191 199 195 203 204 211 129,84% 129,65% 126,67% 133,00% 134,31% 134,12% Để trực quan, luận án mô tả so sánh, đánh giá tốc độ thực thuật toán đề xuất thuật tốn BP thơng qua biểu đồ 3.4 Biểu đồ 3.4 So sánh tốc độ thuật toán thuật toán BP (ms) 3.4.3 Đánh giá thuật toán đề xuất với thuật toán BP Tốc độ thực đồ chênh lệch ảnh stereo camera phụ thuộc vào yếu tố thuật tốn thực hiện, trình biên dịch, cấu hình hệ thống liệu đầu vào Do vậy, để đánh giá tốc độ thực thuật toán đề xuất thuật toán BP [78], luận án thực hai thuật toán hệ thống thực nghiệm Hình 3.1 với thông số thể Bảng 3.1 tập liệu kiểm thử Bảng 3.2 Kết so sánh tốc độ hai thuật toán mô tả Bảng 3.24 Bảng 3.24 So sánh tốc độ thực thuật toán BP (ms) Ảnh Thuật toán BP Thuật toán đề xuất Tốc độ tăng #1 439 182 141,21% #2 457 185 147,03% #3 442 182 142,86% #4 473 187 152,94% #5 478 188 154,26% #6 494 191 158,64% Bảng 3.24 cho thấy, ảnh kiểm thử có kích thước tương đương có mức chênh lệch khác thời gian thực gần không thay đổi thực thuật toán Điều cho thấy tốc độ thực đồ chênh lệch không phụ thuộc vào độ phức tạp độ chênh lệch ảnh mà phụ thuộc vào độ phân giải ảnh Ngồi Bảng 3.24 cịn thể tốc độ thuật toán đề xuất tăng 141,21% so với thuật toán BP tiêu chuẩn thực ảnh # Bảng 3.2 Để trực quan, luận án mô tả so sánh tốc độ thuật toán đề xuất thuật tốn BP thơng qua biểu đồ 3.7 Biểu đồ 3.7 So sánh tốc độ thuật toán thuật toán BP (ms) 3.4.4 Đánh giá thuật toán đề xuất với thuật toán BP Để đánh giá tốc độ thật toán đề xuất 4, luận án so sánh tốc độ thuật toán đề xuất với tốc độ thực thuật toán BP hệ thống thực nghiệm Hình 3.1 với thơng số thể Bảng 3.1 tập liệu kiểm thử Bảng 3.2 Kết tốc độ thực thuật toán đề xuất thuật tốn BP mơ tả Bảng 3.26 Bảng 3.26 cho thấy, ảnh kiểm thử có kích thước tương đương có mức chênh lệch khác thời gian thực gần khơng thay đổi thực thuật toán Điều cho thấy tốc độ thực đồ chênh lệch không phụ thuộc vào độ phức tạp độ chênh lệch ảnh mẫu mà phụ thuộc vào độ phân giải ảnh Bảng 3.26 So sánh tốc độ thực thuật toán BP (ms) Ảnh Thuật toán BP Thuật toán đề xuất Tốc độ tăng #1 439 83 428,92% #2 457 84 444,05% #3 442 83 432,53% #4 473 89 431,46% #5 478 92 419,57% #6 494 94 425,53% Để trực quan hơn, luận án mô tả so sánh, đánh giá tốc độ thực hai thuật tốn thơng qua biểu đồ 3.9 Biểu đồ 3.9 So sánh tốc độ thuật toán thuật toán BP (ms) 3.4.5 So sánh thuật toán đề xuất Để so sánh thuật toán đề xuất, luận án thực nghiệm thuật toán đề xuất hệ thống thực nghiệm với chương trình biên dịch dữa liệu đầu vào Tập trung so sánh tốc độ thực hiện, ra, luận án xem xét đến yếu tố dung lượng nhớ yêu cầu độ tin cậy Bảng 3.29 biểu diễn tốc độ thực thuật toán đề xuất thực hệ thống Hình 3.1 với cấu Bảng 3.1 liệu đầu vào Bảng 3.2 với lựa chọn hệ số độ sâu thay đổi Z ''  Z ''''  Bảng 3.30 So sánh tốc độ thực thuật toán đề xuất (ms) Ảnh BP Đề xuất Đề xuất Đề xuất Đề xuất #1 439 206 191 182 83 #2 457 217 199 185 84 #3 442 213 195 182 83 #4 473 224 203 187 89 #5 478 227 204 188 92 #6 494 235 211 191 94 Từ Bảng 3.29 cho thấy, thuật toán đề xuất cải thiện tốc độ thực so với thuật toán BP tiêu chuẩn Trong thuật toán đề xuất, thuật tốn đề xuất với hệ số Z ''''  cho tốc độ tốt Để trực quan, luận án biểu diễn so sánh tốc độ thực thuật tốn đề xuất thơng qua biểu đồ 3.12 Biểu đồ 3.12 So sánh tốc độ thực thuật toán đề xuất (ms) 3.5 Kết luận chƣơng Chương thực nghiệm thuật toán đề xuất thuật toán lan truyền tin cậy BP tiêu chuẩn tảng xử lý với trình biên dịch tập liệu kiểm thử đầu vào giống Ba yếu tố để so sánh, đánh giá thuật toán tốc độ thực hiện, dung lượng nhớ yêu cầu độ tin cậy Luận án đánh giá thuật toán đề xuất với thuật toán BP tiêu chuẩn theo ba yếu tố tốc độ thực hiện, dung lượng nhớ yêu cầu độ tin cậy Tuy nhiên, ba yếu tố luận án tập trung đánh giá tốc độ thực chủ yếu Đa số thuật toán đề xuất cải thiện tốc độ thực hiện, dung lượng nhớ yêu cầu phải trả giá độ tin cậy Trong thuật tốn đề xuất thuật tốn đề xuất có nhiều ưu điểm nhất, cải thiện nhanh tốc độ thực độ tin cậy suy giảm không đáng kể KẾT LUẬN Kết luận - Luận án hệ thống hóa thành phần thị giác robot 3D bao gồm thành phần thông tin ảnh thành phần xử lý thông tin Đánh giá, phân loại lựa chọn thành phần thị giác ứng dụng cho thị giác robot 3D - Nêu sở lý thuyết thuật toán suy luận gần dựa mơ hình trường ngẫu nhiên Markov ứng dụng xác định đồ chênh lệch ảnh stereo camera Trình bày giải pháp để cải tiến thuật toán suy diễn BP lựa chọn tảng xử lý phù hợp để thực thuật tốn BP - Mơ hình hóa thuật tốn đề xuất cải tiến BP lựa chọn tảng xử lý thực để cải thiện nâng cao tốc độ xử lý so với thuật tốn BP Đề xuất mơ hình xây dựng chương trình thực thuật tốn đề xuất từ nêu phương pháp để đánh giá hiệu thuật tốn đề xuất Đóng góp luận án - Đề xuất giải pháp giảm hàm chi phí với hai thuật tốn thuật toán lan truyền tin cậy sử dụng phương pháp chia thô đến mịn CFBP giảm số lượng nút sau vịng lặp thuật tốn lan truyền tin cậy có độ sâu thay đổi sử dụng phương pháp chia thô đến mịn CFCSBP thay đổi chênh lệch độ sâu ảnh nhằm nâng cao tốc độ xử lý tín hiệu hệ thống thị giác - Đề xuất giải pháp kết hợp thuật tốn tồn cục BP thuật toán cục CT thành hai thuật toán thuật toán lan truyền tin cậy kết hợp biến đổi thống kê CTBP thay đổi nút xuất phát ban đầu lan truyền thông điệp thuật tốn lan truyền tin cậy có độ sâu thay đổi kết hợp biến đổi thống kê CTCSBP thay đổi chênh lệch độ sâu ảnh nhằm cải thiện tốc độ xử lý tín hiệu hệ thống thị giác Hƣớng nghiên cứu Tiếp tục nghiên cứu, thực thuật toán đề xuất hệ thống nhúng sử dụng liệu từ ảnh stereo camera thực cho kết đồ độ sâu vật khoảng cách từ stereo camera đến vật DANH MỤC CƠNG TRÌNH KHOA HỌC ĐÃ ĐƯỢC CƠNG BỐ [1] Đoàn Văn Tuấn, Bùi Trung Thành, Hà Hữu Huy (2015), Hệ thống thị giác đánh giá thuật tốn thị giác nổi, Tạp chí Khoa học Công nghệ Trường Đại học Thái nguyên, số 137 tháng /2015, tr 155 – 160 [2] Đoàn Văn Tuấn, Bùi Trung Thành, Hà Hữu Huy (2017), Giải pháp nâng cao tốc độ thuật toán Belief Propagation cho hệ thống thị giác nổi, Tạp chí Khoa học Công nghệ Trường Đại học Thái nguyên, số 162 tháng / 2017, tr 65 – 71 [3] Đoàn Văn Tuấn, Bùi Trung Thành (2017), Một giải pháp thực đồ chênh lệch ảnh stereo camera có mật độ điểm tương ứng dầy ứng dụng cho ảnh 3D đồ độ sâu, Tạp chí Nghiên cứu Khoa học Công nghệ Quân số 51 tháng 10 /2017, tr 100 – 109 [4] Đoàn Văn Tuấn, Bùi Trung Thành (2017), Nâng cao chất lượng thuật toán lan truyền tin cậy xác định đồ chênh lệch ứng dụng cho thị giác Robot, Tạp chí Nghiên cứu Khoa học Công nghệ Quân số 52 tháng 12/ 2017, tr 111 – 120 [5] Đoàn Văn Tuấn, Bùi Trung Thành, Hà Hữu Huy (2018), Giải pháp nâng cao hiệu xử lý tín hiệu thị giác Robot, Tạp chí Nghiên cứu Khoa học Cơng nghệ Qn số 53 tháng 2/ 2018, tr 19 – 27 ... QUAN THỊ GIÁC NỔI VÀ XỬ LÝ TÍN HIỆU TRONG HỆ THỐNG THỊ GIÁC NỔI 1.1 Tổng quan thị giác Thị giác thành phần quan trọng thị giác máy nhiều nhà khoa học nghiên cứu phát triển hai thập kỉ gần Hệ thống. .. 1.6 Nền tảng xử lý hệ thống thị giác - Nền tảng xử lý dùng CPU - Nền tảng xử lý dùng DSP - Nền tảng xử lý dùng GPU - Nền tảng xử lý dùng FPGA/ASIC 1.7 Đánh giá tảng xử lý hệ thị giác Từ CPU→DSP→GPU→FPGA→ASIC,... tiễn, hệ thống phần cứng xử lý thị giác cần tiếp cận cho hệ thống thị giác thời gian thực tiêu thụ cơng suất thấp giá thành rẻ 1.8 Các hƣớng nghiên cứu nhằm nâng cao hiệu hệ thống thị giác -