Tái cấu trúc vật thể 3d từ cặp hình ảnh stereo camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP HÌNH ẢNH STEREO CAMERA S K C 0 9 MÃ SỐ: SV2021-125 S KC 0 7 Tp Hồ Chí Minh, tháng 10/2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM  BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP HÌNH ẢNH STEREO CAMERA SV2021-125 Chủ nhiệm đề tài: Nguyễn Tấn Lực TP Hồ Chí Minh, 10/2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM  BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP HÌNH ẢNH STEREO CAMERA SV2021-125 Chủ nhiệm đề tài: Nguyễn Tấn Lực Thuộc nhóm ngành khoa học: Kỹ thuật SV thực hiện: Nguyễn Tấn Lực Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 18151CL3B, khoa Đào tạo Chất lượng cao Năm thứ: Số năm đào tạo: Ngành học: Công nghệ kỹ thuật điều khiển tự động hoá Người hướng dẫn: PGS.TS Lê Mỹ Hà TP Hồ Chí Minh, 10/2021 MỤC LỤC DANH MỤC HÌNH ẢNH .3 DANH MỤC NHỮNG TỪ VIẾT TẮT THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI .7 MỞ ĐẦU TỔNG QUAN 11 1.1 Phương pháp nghiên cứu 11 1.2 Nguyên lý phương pháp tái cấu trúc vật thể 3D 11 1.3 Các mơ hình biến thể kỹ thuật phương pháp tái cấu trúc vật thể 3D .11 1.3.1 Trong nước 12 1.3.2 Ngoài nước 12 1.4 Nội dung đề tài 17 CƠ SỞ LÝ THUYẾT 18 2.1 Tìm hiểu stereo camera 18 2.1.1 Mơ hình pinhole camera .18 2.1.2 Lens distortion 19 2.1.3 Homogeneous Coordinates 21 2.2 Cân sáng ̣(histogram equalization) 22 2.3 Gaussian blur 23 2.4 Hiệu chỉnh máy ảnh (camera calibration) 25 2.5 Hiệu chỉnh stereo camera 27 2.6 Geometry of image formation 28 2.7 Stereo matching: .33 2.7.1 Tổng quan: 33 2.7.2 Phương pháp Semi-global matching: 34 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 1/90 2.8 Bộ lọc trung vị (Median filter) 36 XÂY DỰNG MƠ HÌNH 3D VẬT THỂ 38 3.1 Khối lấy liệu ảnh từ camera 39 3.2 Khối hiệu chỉnh 40 3.3 Khối tính tốn độ sâu ảnh 41 3.4 Khối hiển thị mơ hình 3D 42 CHƯƠNG TRÌNH VÀ HƯỚNG DẪN SỬ DỤNG .44 4.1 Chương trình “captures.py” .44 4.2 Chương trình “Calibration_Rectification.py” 45 4.3 Chương trình “sgm_disparity.py” 46 4.4 Chương trình “pointCloud_visualize.py” 46 THỰC NGHIỆM VÀ KẾT QUẢ THU ĐƯỢC .48 5.1 Thực nghiệm 1: Kết tốt nhóm đạt 48 5.2 Thực nghiệm 2: Kết phương pháp, độ sáng vật thể khác .51 5.3 Thực nghiệm 3: Kết phương pháp, khác độ sáng, khác vật thể 52 5.4 Thực nghiệm 4: Kết phương pháp, khác độ sáng, khác vật thể 52 5.5 Thực nghiệm 5: Kết so sánh phương pháp tìm đờ chênh lệch (disparity maps): 53 KẾT LUẬN VÀ KIẾN NGHỊ .55 TÀI LIỆU THAM KHẢO .56 PHỤ LỤC 58 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 2/90 DANH MỤC HÌNH ẢNH Hình 1: Stereo camera 10 Hình Tạo mơ hình 3D từ nhiều ảnh khác 13 Hình Kết chất lượng tái cấu trúc 3D 13 Hình (a) Cặp ảnh trái phải ,(b) Đám mây điểm từ cặp, 14 Hình Kết từ PMVS 14 Hình Mesh model .14 Hình Cặp hình ảnh trái phải từ stereo camera 15 Hình Mơ hình 3D vật thể 15 Hình Kết cơng trình Christian Teutsch, Dirk Berndt, Andreas Sobotta, Silvio Sperling .16 Hình 10 Cặp ảnh left right theo nghiên cứu Josef Bigun 16 Hình 11 Kết việc tìm điểm tương đờng ước tính, táo mơ hình 3D mặt người .16 Hình 12 Ảnh trái 17 Hình 13 Ảnh phải 17 Hình 14 Kết độ sáng độ sâu .17 Hình 15: Mơ hình pinhole .18 Hình 16 Mơ hình Pinhole 19 Hình 17 Radial distortion 20 Hình 18 Sự méo dạng tiếp tuyến 20 Hình 19 21 Hình 20 Ảnh chưa cân 23 Hình 21 Ảnh cân sáng .23 Hình 22 Đồ thị ảnh chưa cân sáng .23 Hình 23 Đờ thị ảnh cân sáng 23 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 3/90 Hình 24 Ảnh trước sau dùng lọc Gaussian blur 24 Hình 25 Điểm Q = (X, Y, Z) chiếu mặt phẳng ảnh .26 Hình 26 Hiệu chỉnh stereo camera 28 Hình 27 Toạ độ không gian 28 Hình 28 Chuyển đởi từ kích thước sang toạ độ pixel 30 Hình 29 Toạ độ điểm principal .30 Hình 30 Phép chiếu toạ độ 3D đến toạ độ 3D 32 Hình 31 Biến đởi census 33 Hình 32 Dữ liệu sau biến đởi census .34 Hình 33 Hamming Distance 34 Hình 34 Phương pháp semi-global matching .35 Hình 35 Ví dụ hoạt động lọc trung vị 37 Hình 36 Ảnh gốc 37 Hình 37 Ảnh lọc 37 Hình 38 Sơ đờ khối q trình xây dựng mơ hình 3D .38 Hình 39 Lưu đồ thu thập liệu từ stereo camera .39 Hình 40 Các loại méo dạng ảnh 40 Hình 41 Disparity trước lọc trung vị 42 Hình 42 Disparity sau lọc trung vị 42 Hình 43 Ví dụ mơ hình 3D dạng ply .43 Hình 44 Sơ đờ khối mối liên hệ chương trình 44 Hình 45 Hệ thống kết nối stereo camera với máy tính 45 Hình 46 Chạy chương trình Calibration Rectification 45 Hình 47 Q trình tính tốn disparity 46 Hình 48 Chạy chương trình pointCloud_visualize.py 47 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 4/90 Hình 49 Giao diện cửa sở để xem mơ hình 3D vật thể .47 Hình 50 Ảnh trái 48 Hình 51 Ảnh phải 48 Hình 52 So sánh ảnh sau hiệu chỉnh .49 Hình 53 Ảnh cân sáng .49 Hình 54 Disparity trước lọc trung vị 49 Hình 55 Disparity thể độ sâu ảnh 50 Hình 56 Mơ hình 3D vật thể 50 Hình 57 Ảnh disparity thực nghiệm 51 Hình 58 Đám mây điểm ảnh thực nghiệm 51 Hình 59 Disparity vật thể thực nghiệm 52 Hình 60 Đám mây điểm ảnh thực nghiệm 52 Hình 61 Disparity vật thể thực nghiệm 52 Hình 62 Đám mây điểm ảnh thực nghiệm 53 Hình 63 Ảnh cones trái 53 Hình 64 Ảnh cones phải 53 Hình 65 Groud truth 53 Hình 66 Phương pháp Block matching opencv 54 Hình 67 Disparity phương pháp SSD stereo matching .54 Hình 68 Disparity phương pháp semi-global matching 54 Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 5/90 DANH MỤC NHỮNG TỪ VIẾT TẮT 2D 2-Dimension (Không gian chiều) 3D 3-Dimension (Không gian chiều) CNC Computer Numerical Control HD High Definition NCC Normalized Cross Correlation RGB “red, green, blue” - đỏ, xanh lục xanh lam SAD Sum of Absolute Differences SSD Sum of Squared Differences SGM Semi-global matching USB Universal Serial Bus (một chuẩn kết nối đa dụng máy tính) USD United States dollar (đồng đô la Mỹ) VR Virtual Reality (Thực tế ảo) Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 6/90 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP HÌNH ẢNH STEREO CAMERA - Chủ nhiệm đề tài: Nguyễn Tấn Lực Mã số SV: 18151093 - Lớp: 18151CL3B Khoa: Đào tạo Chất lượng cao - Thành viên đề tài: Stt Họ tên MSSV Lớp Khoa Nguyễn Thanh Nhã 18151098 18151CL3A Đào tạo CLC Phan Thanh Truyền 18151139 18151CL2B Đào tạo CLC - Người hướng dẫn: PGS.TS Lê Mỹ Hà Mục tiêu đề tài: - Tìm hiểu ngun lí cấu tạo xây dựng mơ hình Stereo camera từ hai camera logitech C310 HD - Tạo mơ hình 3D từ cặp hình ảnh stereo camera - Tính tốn khoảng cách từ vật thể tới camera Tính sáng tạo: - Áp dụng giải thuật việc tính tốn đồ chênh lệch Kết nghiên cứu: - Kết thu đạt khoảng 90% so với mục tiêu đề - Point cloud mô tả vật thể tương đối rõ ràng nhận biết khoảng cách trước sau, có màu sắc rõ ràng thực tế Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: - Áp dụng lĩnh vực robot để tìm thơng tin trích xuất vị trí vật thể 3D không gian thực - Ứng dụng phù hợp cho hệ thống tự hành - Tái tạo không gian ảo 3D - Ứng dụng thực tế ảo (VR) Công bố khoa học SV từ kết nghiên cứu đề tài: Khơng Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần sốt xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 7/90 minimum_cost_path[i, :] = current_cost + costs - np.amin(previous_cost) return minimum_cost_path def aggregate_costs(cost_volume, parameters, paths): """ second step of the sgm algorithm, aggregates matching costs for N possible directions (8 in this case) :param cost_volume: array containing the matching costs :param parameters: structure containing parameters of the algorithm :param paths: structure containing all directions in which to aggregate costs :return: H x W x D x N array of matching cost for all defined directions """ height = cost_volume.shape[0] width = cost_volume.shape[1] disparities = cost_volume.shape[2] start = -(height - 1) end = width - aggregation_volume = np.zeros(shape=(height, width, disparities, paths.size), dtype=cost_volume.dtype) path_id = for path in paths.effective_paths: print('\tProcessing paths {} and {} '.format(path[0].name, path[1].name), end='') sys.stdout.flush() Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 75/90 dawn = t.time() main_aggregation = np.zeros(shape=(height, width, disparities), dtype=cost_volume.dtype) opposite_aggregation = np.copy(main_aggregation) main = path[0] if main.direction == S.direction: for x in range(0, width): south = cost_volume[0:height, x, :] north = np.flip(south, axis=0) # Reverse the order of elements in an array along the given axis main_aggregation[:, x, :] = get_path_cost(south, 1, parameters) opposite_aggregation[:, x, :] = np.flip(get_path_cost(north, 1, parameters), axis=0) if main.direction == E.direction: for y in range(0, height): east = cost_volume[y, 0:width, :] west = np.flip(east, axis=0) main_aggregation[y, :, :] = get_path_cost(east, 1, parameters) opposite_aggregation[y, :, :] = np.flip(get_path_cost(west, 1, parameters), axis=0) if main.direction == SE.direction: for offset in range(start, end): south_east = cost_volume.diagonal(offset=offset).T Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 76/90 north_west = np.flip(south_east, axis=0) dim = south_east.shape[0] y_se_idx, x_se_idx = get_indices(offset, dim, SE.direction, None) y_nw_idx = np.flip(y_se_idx, axis=0) x_nw_idx = np.flip(x_se_idx, axis=0) main_aggregation[y_se_idx, x_se_idx, :] = get_path_cost(south_east, 1, parameters) opposite_aggregation[y_nw_idx, x_nw_idx, :] = get_path_cost(north_west, 1, parameters) if main.direction == SW.direction: for offset in range(start, end): south_west = np.flipud(cost_volume).diagonal(offset=offset).T north_east = np.flip(south_west, axis=0) dim = south_west.shape[0] y_sw_idx, x_sw_idx = get_indices(offset, dim, SW.direction, height - 1) y_ne_idx = np.flip(y_sw_idx, axis=0) x_ne_idx = np.flip(x_sw_idx, axis=0) main_aggregation[y_sw_idx, x_sw_idx, :] = get_path_cost(south_west, 1, parameters) opposite_aggregation[y_ne_idx, x_ne_idx, :] = get_path_cost(north_east, 1, parameters) aggregation_volume[:, :, :, path_id] = main_aggregation aggregation_volume[:, :, :, path_id + 1] = opposite_aggregation path_id = path_id + Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 77/90 dusk = t.time() print('\t(done in {:.2f}s)'.format(dusk - dawn)) return aggregation_volume def compute_costs(left, right, parameters, save_images): """ first step of the sgm algorithm, matching cost based on census transform and hamming distance :param left: left image :param right: right image :param parameters: structure containing parameters of the algorithm :param save_images: whether to save census images or not :return: H x W x D array with the matching costs """ assert left.shape[0] == right.shape[0] and left.shape[1] == right.shape[1], 'left & right must have the same shape.' assert parameters.max_disparity > 0, 'maximum disparity must be greater than 0.' height = left.shape[0] width = left.shape[1] cheight = parameters.csize[0] cwidth = parameters.csize[1] y_offset = int(cheight / 2) x_offset = int(cwidth / 2) Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 78/90 disparity = parameters.max_disparity left_img_census = np.zeros(shape=(height, width), dtype=np.uint8) right_img_census = np.zeros(shape=(height, width), dtype=np.uint8) left_census_values = np.zeros(shape=(height, width), dtype=np.uint64) right_census_values = np.zeros(shape=(height, width), dtype=np.uint64) print('\tComputing left and right census ', end='') sys.stdout.flush() dawn = t.time() # pixels on the border will have no census values for y in range(y_offset, height - y_offset): for x in range(x_offset, width - x_offset): left_census = np.int64(0) center_pixel = left[y, x] reference = np.full(shape=(cheight, cwidth), fill_value=center_pixel, dtype=np.int64) image = left[(y - y_offset):(y + y_offset + 1), (x - x_offset):(x + x_offset + 1)] comparison = image - reference for j in range(comparison.shape[0]): for i in range(comparison.shape[1]): if (i, j) != (y_offset, x_offset): left_census = left_census