Thiết kế và điều khiển gương tương tác thông minh đồ án tốt nghiệp khoa đào tạo chất lượng cao ngành công nghệ kỹ thuật cơ điện tử

MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii LỜI NÓI ĐẦU v DANH MỤC CÁC TỪ VIẾT TẮT vi DANH SÁCH BẢNG BIỂU vii DANH SÁCH BIỂU ĐỒ VÀ HÌNH ẢNH viii CHƯƠNG 1: TỔNG QUAN .1 1.1 Giới thiệu chung .1 1.2 Đặt vấn đề .2 1.3 Mục tiêu đề tài 1.4 Giới hạn đề tài 1.5 Kết cấu đề tài CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Thực tế ảo 2.2 Hệ thống gương tương tác thông minh .6 2.3 Xử lý ảnh 2D 2.4 Xử lý ảnh 3D 17 2.5 Thuật toán Machine Learning ( Support Vector Machines) 33 CHƯƠNG 3: XÂY DỰNG PHẦN CỨNG .37 3.1 Không gian tương tác .37 3.2 Camera Intel Realsense D455 41 3.3 Board nhúng 42 3.4 Môi trường 43 CHƯƠNG 4: XỬ LÝ DỮ LIỆU .45 iii 4.1 Calibration (hiệu chỉnh máy ảnh) 46 4.2 Xử lý liệu ảnh 2D 54 4.3 Nhận diện chuyển động 57 4.4 Xử lý ảnh 3d 64 4.5 Tính kích thước thể 74 CHƯƠNG 5: TẠO GIAO DIỆN NGƯỜI DÙNG 85 5.1 Tổng quan Website 85 5.2 Thành phần giao diện hệ thống gương tương tác .85 5.3 Các trang giao diện .87 CHƯƠNG 6: KẾT LUẬN, NHẬN XÉT VÀ HƯỚNG PHÁT TRIỂN 91 6.1 Kết thu 91 6.2 Nhận xét 91 6.3 Hướng phát triển 92 KẾT LUẬN .93 TÀI LIỆU THAM KHẢO 94 PHỤ LỤC 96 Phụ lục A: Code 96 Phụ lục B: Bản vẽ 132 iv LỜI NÓI ĐẦU Rất nhiều khách hàng lựa chọn đến cửa hàng để mua quần áo thay mua sắm internet Lý đơn giản: họ thử đồ thích trả tiền chắn đồ vừa vặn Theo nghiên cứu năm 2016 Body Labs công bố vào năm 2016, 76% người mua thử quần áo 91% người mua thử giày trước mua Và thường khách rời cửa hàng mà khơng mua họ khơng thể thử đồ cách thoải mái việc hạn chế số lượng thử, đợi chờ tới lượt thử đồ, hay việc phải qua lại nhiều với trang phục đầy màu sắc Thêm vào việc thay đổi đồ phiền phức, gặp phải trang phục cầu kỳ thời gian để thay Nói chung có vơ số lý làm khách hàng nản lịng đơi biến việc mua sắm u thích trở thành nỗi khổ Để giải khuyết điểm “gương tương tác thông minh” xây dựng phát triển Hệ thống gương tương tác thông minh bao gồm hai camera độ sâu Intel Realsense D455 chụp hai nửa thể người từ hai bên Gương tương tác sản phẩm xử lý ảnh 3D, để lấy liệu ảnh, cần thực điều chỉnh thông số nội camera Dữ liệu 3D lấy theo thời gian thực kết hợp lọc - khử nhiễu công tác chuẩn bị cho liệu đầu vào, thực cách cẩn thận, để đảm bảo độ xác cho q trình xử lý Tiếp đến thuật toán xử lý ảnh chuyên sâu kết hợp với phân tích liệu đầu vào để tìm phương pháp khử ngoại vật xung quanh thể để có mảng liệu có thân hình người Sau qua trình xử lý ghép hai nửa thể từ hai camera thành một, nhận diện khớp để tính số đo thể bao gồm vịng một, vịng hai vịng ba Cuối có trang web hiển thị hình ảnh người dùng bao gồm kích thước thể thơng tin Hệ thống nhận diện động tác người dùng thông qua hành động tay phải gạt sang hai bên Sau hiển thị tương tác người dùng lên web việc thay đổi hình ảnh giao diện Sau khoảng thời gian làm đồ án, nhóm hồn thành quy trình xử lý liệu hình ảnh giúp nhận diện người dùng, hỗ trợ tương tác gương khách hàng v DANH MỤC CÁC TỪ VIẾT TẮT VR: Virtual Reality PCAP: Projective Capacitive FRID: Radio Frequency Identification Two Dimensional: 2D Three Dimensional: 3D Time-of-Flight: ToF Iterative closest point: ICP Support Vector Machines: SVM Radial Basis Function: RBF Convolution Neural Network: CNN Part Affinity fields: PAFs RGB: Red Green Blue EMA: Exponential Moving Average HTML: Hypertext Markup Language CSS: Cascading Style Sheets JS: JavaScript PHP: Hypertext Preprocessor SQL: Structured Query Language RDBMS: Relational Database Management System vi DANH SÁCH BẢNG BIỂU Bảng 4-1 Kết thực nghiệm nhận diện chuyển động 63 Bảng 4-2 Thực nghiệm cơng thức tính vịng 79 Bảng 4-3 Bảng thực nghiệm công thức tính vịng 81 Bảng 4-4 Thực nghiệm hệ số x 82 Bảng 4-5 Thực nghiệm cơng thức tính vịng 83 vii DANH SÁCH BIỂU ĐỒ VÀ HÌNH ẢNH Biểu đồ 1-1 Biểu đồ quy mơ thị trường ảo theo thành phần từ 2015-2025 (tỷ đô) Hình 2-1 Interactive Mirror Prestop .7 Hình 2-2 Magic Mirror H&M Hình 2-3 Ảnh 2D Hình 2-4 Khớp xương người 11 Hình 2-5 Tỷ lệ người 12 Hình 2-6 Tỷ lệ thể người so với chiều cao đầu .13 Hình 2-7 Motion capture system .14 Hình 2-8 Tracking 18 khớp thể .16 Hình 2-9 Ảnh 3D .19 Hình 2-10 Ảnh độ sâu .20 Hình 2-11 Ảnh vật qua camera 22 Hình 2-12 Point cloud .23 Hình 2-13 Edge-Preserving filter 24 Hình 2-14 Trong môi trường thiếu ánh sánh ánh sáng vừa đủ 25 Hình 2-15 Ghép point cloud ICP 27 Hình 2-16 Thuật tốn KDTree 28 Hình 2-17 Tìm kiếm điểm gần 29 Hình 2-18 Thuật tốn RANSAC .31 Hình 2-19 Các mặt phẳng phân tách 34 Hình 2-20 Mặt phẳng phân tách tốt 35 Hình 3-1 Trường nhìn máy ảnh 37 viii Hình 3-2 Độ cao lắp đặt hình 38 Hình 3-3 Sơ đồ khoảng cách ngắn từ máy ảnh đến vị trí đứng 39 Hình 3-4 Sơ đồ khoảng cách ngắn từ hình đến vị trí đứng .39 Hình 3-5 Sơ đồ khoảng cách từ hình đến vị trí đứng 1,5m 40 Hình 3-6 Kết thiết kế 40 Hình 3-7 Camera Intel Realsense D455 41 Hình 3-8 Nguyên lí hoạt động camera D455 42 Hình 3-9 NVIDIA Jetson Nano Developer Kit 43 Hình 3-10 Ảnh hưởng tia laser đèn flash tới camera 44 Hình 4-1 Hiệu chỉnh máy ảnh 46 Hình 4-2 Mục tiêu dùng để hiệu chỉnh .48 Hình 4-3 Giai đoạn chỉnh lưu mục tiêu .49 Hình 4-4 Giai đoạn chỉnh lưu mục tiêu (tiếp tục) .50 Hình 4-5 Giai đoạn chỉnh lưu mục tiêu (tiếp tục) .51 Hình 4-6 Giai đoạn hiệu chỉnh động quy mơ 15 52 Hình 4-7 Hồn thành q trình hiệu chỉnh động .53 Hình 4-8 Trước sau calib 53 Hình 4-9 Các bước xử lý để xây dựng khung xương người video 55 Hình 4-10 18 khớp thể xác định 56 Hình 4-11 Tọa độ (x,y) 18 khớp thể 57 Hình 4-12 Skeleton bao gồm toa độ khớp không gian xyz .59 Hình 4-13 Quá trình thu thập liệu động tác 60 Hình 4-14 Nguyên lý đưa liệu vào hệ thống 61 Hình 4-15 Kết nhận diện chuyển động gạt phải 62 ix Hình 4-16 Smooth Alpha 0.25 65 Hình 4-17 Smooth Delta 50 100 65 Hình 4-18 Hole filling .66 Hình 4-19 Bộ lọc temporal với alpha = 0,5 delta = 20 .66 Hình 4-20 Trước sau áp hold filling chế độ nearest_from_around 67 Hình 4-21 Vị trí camera 67 Hình 4-22 Ảnh độ sâu mã hóa màu 67 Hình 4-23 Point cloud đối tượng máy ảnh thu .68 Hình 4-24 Point cloud sau cắt .69 Hình 4-25 Point cloud sau tách 69 Hình 4-26 Vị trí lắp đặt máy ảnh 70 Hình 4-27 Sau xoay point cloud 71 Hình 4-28 Point cloud sau tiến hành ghép 72 Hình 4-29 Downsample với voxel 0,05 73 Hình 4-30 Lọc nhiễu với esp = 0,05 min_points = 25 74 Hình 4-31 Dựa khớp để xác định vịng 75 Hình 4-32 Cắt lấy đường cong vòng bề dày 0,02 cm 76 Hình 4-33 Kết biên dạng vòng 77 Hình 4-34 Ước lượng biên dạng sau vòng .78 Hình 4-35 Ước lượng biên dạng sau vịng .80 Hình 4-36 Chiều cáo thể theo point cloud 84 Hình 5-1 Kết cấu để hình thành giao diện .85 Hình 5-2 Trang information 88 Hình 5-3 Trang show skeleton point cloud 89 x Hình 5-4 Database .90 Hình 5-5 Trang tương tác 90 xi CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu chung Các nhà tiếp thị ln tìm kiếm đường ngắn từ sản phẩm đến tâm trí người tiêu dùng, giúp họ lựa chọn sản phẩm phù hợp Với phát triển cách mạng công nghiệp lần thứ tư, phát triển công nghiệp 4.0, trình số hóa ngành cơng nghiệp khơng ngừng thay đổi giới Gương thực tế ảo tương tác xuất thị trường Nó cho phép người tiêu dùng xem kết mua hàng họ trước thực tốn Quy mơ thị trường gương ảo toàn cầu định giá 3,64 tỷ USD vào năm 2018 dự kiến đạt tốc độ CAGR 25,6% từ năm 2019 đến năm 2025 Các yếu tố dễ dàng thử quần áo phòng thay đồ ảo cửa hàng, tăng cường trọng vệ sinh mỹ phẩm mặt hàng bán lẻ khác, việc dùng thử ảo sản phẩm tảng thương mại điện tử trước mua kỳ vọng thúc đẩy tăng trưởng thị trường Hơn nữa, đời máy quét thể đa cảm biến cách mạng hóa trải nghiệm mua sắm tảng trực tuyến Sự phát triển kênh thương mại điện tử kỳ vọng tạo tiềm tăng trưởng lớn cho nhà cung cấp giải pháp gương ảo Biểu đồ 1-1 Biểu đồ quy mô thị trường ảo theo thành phần từ 2015-2025 (tỷ đô) point_3d[1], point_3d[2]] cnt+=1 else: for ii in range(0,12): Points_15[int(ii)] = [Points_15[int(ii)+3][0], Points_15[int(ii)+3][1], Points_15[int(ii)+3][2]] for ii in range(12,15): Points_15[int(ii)] = [Points_3[int(ii)-12][0], Points_3[int(ii)-12][1], Points_3[int(ii)-12][2]] cnt = return motion_kinds(Points_15) def render_ids_3d( render_image, skeletons_2d, depth_map, depth_intrinsic, joint_confidence): thickness = text_color = (255, 255, 255) rows, cols, channel = render_image.shape[:3] distance_kernel_size = for skeleton_index in range(len(skeletons_2d)): if skeletons_2d[skeleton_index] == []: break skeleton_2D = skeletons_2d[skeleton_index] joints_2D = skeleton_2D.joints 119 did_once = False i=0 cnt = save = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0] for joint_index in range(len(joints_2D)): if did_once == False: cv2.putText( render_image, "id: " + str(skeleton_2D.id), (int(joints_2D[joint_index].x), int(joints_2D[joint_index].y - 30)), cv2.FONT_HERSHEY_SIMPLEX, 0.55, text_color, thickness, ) did_once = True # check if the joint was detected and has valid coordinate if skeleton_2D.confidences[joint_index] > joint_confidence: distance_in_kernel = [] # of image RGB low_bound_x = max( 0, int( 120 joints_2D[joint_index].x - math.floor(distance_kernel_size / 2) ) ) upper_bound_x = min( cols - 1, int(joints_2D[joint_index].x + math.ceil(distance_kernel_size / 2)), ) low_bound_y = max( 0, int( joints_2D[joint_index].y - math.floor(distance_kernel_size / 2) ), ) upper_bound_y = min( rows - 1, int(joints_2D[joint_index].y + math.ceil(distance_kernel_size / 2)), ) # have to change to Depth for x in range(low_bound_x, upper_bound_x): for y in range(low_bound_y, upper_bound_y): 121 distance_in_kernel.append(depth_map.get_distance(847-y, x)) if len(distance_in_kernel) == 25: median_distance = np.percentile(np.array(distance_in_kernel), 50) else: continue depth_pixel = [ 847-int(joints_2D[joint_index].y), int(joints_2D[joint_index].x), ] # if joint_index == 4: # print("median_distance", median_distance) if median_distance >= 0.3: point_3d = rs.rs2_deproject_pixel_to_point( depth_intrinsic, depth_pixel, median_distance ) point_3d = np.round([float(i) for i in point_3d], 3) # if joint_index == 4: # print("joints_2D[joint_index].y:", joints_2D[joint_index].y) # print("point3d sau:",point_3d) point_str = [str(x) for x in point_3d] i = "{}".format(joint_index) cnt +=1 save[cnt-1] = [point_3d[1], 122 -point_3d[0], point_3d[2]] cv2.putText( render_image, str(i) + ' ' + str([point_3d[1], point_3d[0], -point_3d[2]]) , (int(joints_2D[joint_index].x), int(joints_2D[joint_index].y)), cv2.FONT_HERSHEY_DUPLEX, 0.4, text_color, thickness, ) if cnt == 18: return save else: return None if name == " main ": try: # Configure depth and color streams of the intel realsense # from Camera config_1 = rs.config() config_1.enable_device('046122251324') 123 config_1.enable_stream(rs.stream.depth, 848, 480, rs.format.z16, 30) config_1.enable_stream(rs.stream.color, 848, 480, rs.format.rgb8, 30) # from Camera config_2 = rs.config() config_2.enable_device('108222250284') config_2.enable_stream(rs.stream.depth, 848, 480, rs.format.z16, 30) config_2.enable_stream(rs.stream.color, 848, 480, rs.format.rgb8, 30) # Start the realsense pipeline # from Camera pipeline_1 = rs.pipeline() pipeline_1.start(config_1) # from Camera pipeline_2 = rs.pipeline() pipeline_2.start(config_2) # Create align object to align depth frames to color frames # from Camera align_1 = rs.align(rs.stream.color) # from Camera align_2 = rs.align(rs.stream.color) # Get the intrinsics information for calculation of 3D point # from Camera unaligned_frames_1 = pipeline_1.wait_for_frames() frames_1 = align_1.process(unaligned_frames_1) depth_frame_1 = frames_1.get_depth_frame() 124 depth_intrinsic_1 = depth_frame_1.profile.as_video_stream_profile().intrinsics color_1 = frames_1.get_color_frame() color_image_1= np.asanyarray(color_1.get_data()) # from Camera unaligned_frames_2 = pipeline_2.wait_for_frames() frames_2 = align_2.process(unaligned_frames_2) depth_frame_2 = frames_2.get_depth_frame() depth_intrinsic_2 = depth_frame_2.profile.as_video_stream_profile().intrinsics color_2 = frames_2.get_color_frame() color_image_2 = np.asanyarray(color_2.get_data()) # Initialize the cubemos api with a valid license key in default_license_dir() skeletrack = skeletontracker(cloud_tracking_api_key="") joint_confidence = 0.2 # Create window for initialisation window_name = "cubemos skeleton tracking with realsense D400 series" # Initialize out = cv2.VideoWriter('person.avi',cv2.VideoWriter_fourcc('M','J','P','G'), 30, (color_image_1.shape[0],color_image_1.shape[1])) loaded_model = pickle.load(open('traindongtac.sav', 'rb')) P15_distance = np.arange(15).reshape((15,)).tolist() Points_15 = np.arange(15).reshape((15,1)).tolist() Points_3 = np.arange(3).reshape((3,1)).tolist() 125 pc1 = rs.pointcloud() pc2 = rs.pointcloud() vong = times1 = times2 = cnt = first_loop = True flag = mydb = mysql.connector.connect( host="localhost", user="byt", password="123", database="interaction" ) # send_flagtable(mydb,0) while True: # Create a pipeline_1 object This object configures the streaming camera and owns it's handle # from Camera unaligned_frames_1 = pipeline_1.wait_for_frames() frames_1 = align_1.process(unaligned_frames_1) depth_frame_1 = frames_1.get_depth_frame() color_1 = frames_1.get_color_frame() # from Camera 126 unaligned_frames_2 = pipeline_2.wait_for_frames() frames_2 = align_2.process(unaligned_frames_2) depth_frame_2 = frames_2.get_depth_frame() color_2 = frames_2.get_color_frame() if not depth_frame_1 or not depth_frame_2 or not color_1 or not color_2: continue # Convert images to numpy arrays # from camera depth_image_1 = np.asanyarray(depth_frame_1.get_data()) color_image_1 = np.asanyarray(color_1.get_data()) color_image_1 = cv2.cvtColor(color_image_1, cv2.COLOR_BGR2RGB) # from camera depth_image_2 = np.asanyarray(depth_frame_2.get_data()) color_image_2 = np.asanyarray(color_2.get_data()) color_image_2 = cv2.cvtColor(color_image_2, cv2.COLOR_BGR2RGB) # rotation color_image_1 = cv2.rotate(color_image_1, cv2.ROTATE_90_COUNTERCLOCKWISE) color_image_2 = cv2.rotate(color_image_2, cv2.ROTATE_90_COUNTERCLOCKWISE) out.write(color_image_1) # print('depth_image_shape1',depth_image_1) 127 # print('depth_image_shape2',depth_image_2) flag = read_flagtable(mydb) if flag == 1: '''find size''' # perform inference and update the tracking id skeletons = skeletrack.track_skeletons(color_image_1) # render the skeletons on top of the acquired image and display it cm.render_result(skeletons, color_image_1, joint_confidence) skeletons_3D = render_ids_3d( color_image_1, skeletons, depth_frame_1, depth_intrinsic_1, joint_confidence) if skeletons_3D is not None: # depth_image_1 = np.asanyarray(depth_2.get_data()) #calculate pcd points_1 = pc1.calculate(depth_frame_1) points_2 = pc2.calculate(depth_frame_2) v1 = points_1.get_vertices() v2 = points_2.get_vertices() verts1 = np.asanyarray(v1).view(np.float32).reshape(-1, 3) # xyz verts2 = np.asanyarray(v2).view(np.float32).reshape(-1, 3) # xyz 128 print('verts 1: ',verts1) print('verts 2: ',verts2) pcl1 = o3d.geometry.PointCloud() pcl1.points = o3d.utility.Vector3dVector(verts1) pcl2 = o3d.geometry.PointCloud() pcl2.points = o3d.utility.Vector3dVector(verts2) size = process_3D(pcl1,pcl2,skeletons_3D) send_sizetable(size[0],size[1],size[2],size[3]) print('da gui size') elif flag == 2: '''tuong tac''' # ghi lien tuc doc tac vao database skeletons = skeletrack.track_skeletons(color_image_1) # render the skeletons on top of the acquired image and display it cm.render_result(skeletons, color_image_1, joint_confidence) skeletons_3D = render_ids_3d( color_image_1, skeletons, depth_frame_1, depth_intrinsic_1, joint_confidence) if skeletons_3D is not None: k = motion_detection(skeletons_3D[4]) if k is not None: 129 print('k = ',k) if k == 1: times1 += times2 = elif k == 2: times1 = times2 += elif k == 3: times1 = times2 = if times1 >=3: mycursor = mydb.cursor() sql = "INSERT INTO movement (id,kind) VALUES (%s, %s)" val = (None,1) mycursor.execute(sql, val) mydb.commit() times1 = print('gat 1') elif times2 >=3: mycursor = mydb.cursor() sql = "INSERT INTO movement (id,kind) VALUES (%s, %s)" val = (None,2) 130 mycursor.execute(sql, val) mydb.commit() times2 = print('gat 2') cv2.imshow('1', color_image_1) # cv2.imshow('2', color_image_2) if cv2.waitKey(1) == 27: break pipeline_1.stop() pipeline_2.stop() cv2.destroyAllWindows() #sle = except Exception as ex: print('Exception occured: "{}"'.format(ex)) 131 Phụ lục B: Bản vẽ 132 133 ... sản phẩm gương tương tác (hoặc dạng gương thơng minh có hỗ trợ tương tác trực tiếp với người dùng thông qua thiết bị điện tử khác) Interactive Mirror Prestop dòng sản phẩm gương tương tác bật... thực thoải mái Trong đồ án này, nhóm lựa chọn ? ?Thiết kế điều khiển hệ thống gương tương tác thông minh? ?? nhằm phục vụ cho ngành thời trang Định hướng sau phát triển mở rộng cho ngành khác 1.2 Đặt... dựa khả hệ thống 2.2 Hệ thống gương tương tác thông minh Gương tương tác sản phẩm mắt gần đây, hỗ trợ hệ thống thông minh giúp người dùng tương tác trực tiếp với gương mà khơng thơng qua phân