Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3d theo thời gian thực sử dụng dữ liệu RGBD

Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3D theo thời gian thực sử dụng dữ liệu RGBD Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3D theo thời gian thực sử dụng dữ liệu RGBD Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3D theo thời gian thực sử dụng dữ liệu RGBD Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3D theo thời gian thực sử dụng dữ liệu RGBD Nghiên cứu và phát hiện hệ thống phát hiện người trong không gian 3D theo thời gian thực sử dụng dữ liệu RGBD

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LÊ THỊ MAI NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN NGƯỜI TRONG KHÔNG GIAN 3D THEO THỜI GIAN THỰC SỬ DỤNG DỮ LIỆU RGB-D LUẬN VĂN THẠC SỸ CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN Hà Nội – 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LÊ THỊ MAI NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN NGƯỜI TRONG KHÔNG GIAN 3D THEO THỜI GIAN THỰC SỬ DỤNG DỮ LIỆU RGB-D LUẬN VĂN THẠC SỸ CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TRẦN QUANG ĐỨC MỤC LỤC LỜI CAM ĐOAN CHƢƠNG 1: GIỚI THIỆU 1.1 Mục đích nghiên cứu đề tài .9 1.2 Phạm vi nghiên cứu đề tài .10 1.3 Bố cục luận văn .10 CHƢƠNG : CƠ SỞ L THUY T 12 2.1 Tiền xử lý .16 2.1.1 Giảm mẫu 16 2.1.2 Phân vùng 17 2.2 Trích ch n đặc trƣng 23 2.2.1 Kh i niệm HOG 23 2.2.2 C c ƣớc tính vector HOG cho ảnh 25 2.3 Phân lớp, phát đối tƣợng phƣơng ph p h c máy SVM 26 2.3.1 Khái niệm m y véc tơ hỗ trợ 27 2.3.2 Mơ hình phân lớp SVM .27 2.3.3 Chuyển đổi không gian liệu SVM 29 CHƢƠNG X Y D NG CHƢƠNG TR NH PHÁT HIỆN NGƢỜI 31 3.1 ặc tả chƣơng tr nh 31 3.2 Các thƣ viện mã nguồn mở 32 3.3 Sơ đồ giải thuật chƣơng tr nh 34 3.4 Quá trình xử lý liệu cho phát ngƣời 36 3.4.1 Các kiểu liệu Point Cloud 37 3.4.2 Cách khai báo liệu cho Point Cloud .38 3.4.3 Chuyển đổi kiểu liệu cho Point Cloud 38 3.4.4 Mở lƣu file 39 3.4.5 Nối hai Point Cloud 40 3.4.6 Tiền xử lý 40 3.4.7 Trích ch n đặc trƣng với HOG 50 3.4.8 Phân lớp phát ngƣời 52 3.5 Xây dựng chƣơng tr nh 53 3.5.1 Xây dựng giao diện 53 3.5.2 Chức tự động phát mặt phẳng 55 3.5.3 Phát ngƣời 56 3.6 Khảo nghiệm đ nh gi hệ thống 57 K T LUẬN VÀ HƢỚNG PHÁT TRIỂN .61 TÀI LIỆU THAM KHẢO 62 LỜI CAM ĐOAN Tên t i là: Lê Th Mai Sinh ngày: 16 th ng năm 1986 H c viên lớp Cao h c C ng nghệ th ng tin 16 - Trƣờng ại h c Bách Khoa Hà Nội T i xin cam đoan toàn ộ nội dung luận văn mà t i thực thời gian vừa qua trung thực không chép Hà Nội, ngày 28 tháng năm 2018 Tác giả luận văn Lê Th Mai LỜI CẢM ƠN Trƣớc tiên em xin đƣợc gửi lời cảm ơn tới Ban Giám Hiệu Trƣờng ại h c Bách Khoa Hà Nội tạo điều kiện cho em đƣợc làm luận văn tốt nghiệp Sau thời gian nghiên cứu làm việc miệt mài, luận văn tốt nghiệp em đến ản hồn thành Có đƣợc thành đó, ngồi cố gắng nỗ lực thân phải kể đến giúp đỡ lớn từ thầy giáo TS Trầ Đ , ngƣời trực tiếp hƣớng dẫn, bảo tận tình cung cấp tài liệu, kiến thức nhƣ kinh nghiệm quý báu cho em suốt thời gian làm luận văn Qua em xin đƣợc bày tỏ lòng biết ơn sâu sắc tới thầy, kính chúc thầy ln mạnh khoẻ cơng tác tốt Em xin chân thành cảm ơn c c thầy cô Viện Công nghệ thông tin Truyền thông nhiệt tình truyền thụ cho chúng em khơng kiến thức chuyên môn mà kinh nghiệm quý u Em xin cảm ơn Ban Giám Hiệu, c c đồng nghiệp trƣờng Cao đẳng Cơ điện C ng nghệ thực ph m Hà Nội tạo điều kiện tận t nh giúp đỡ em việc tìm hiểu, tiếp cận kiến thức Cuối em xin gửi lời cảm ơn chân thành tới gia đ nh ạn bè Chính gia đ nh ạn è nguồn động viên hỗ trợ vơ to lớn giúp em có thêm động lực khích lệ để hồn thành luận văn Trong trình thực đề tài, cố gắng, nhiên thời gian có hạn tr nh độ hạn chế nên luận văn kh ng tr nh khỏi thiếu sót Em kính mong nhận đƣợc góp ý Hội đồng Khoa h c bạn để đề tài đƣợc hoàn thiện Em xin trân tr ng cảm ơn! DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Kí hiệ Tiế A h Tiế RGB Red Green Blue Ảnh màu RGB-D Red Green Blue – Depth Ảnh màu – độ sâu 2D Dimensional chiều 3D Dimensional chiều Việt Thuật to n loại ỏ RANSAC Random Sample Consensus SVM Support Véc tơ Machine M y véc tơ hỗ trợ PCL Point Cloud Library Thƣ viện mở xử lý đ m mây điểm VTK Visualization Toolkit Thƣ viện cung cấp hàm hiển th HOG Histogram of Oriented Thuật to n trích xuất đặc trƣng Gradients TN Số lƣợng điểm lớp Negative True Negative đƣợc phân loại vào lớp Negative TP Số lƣợng điểm lớp Positive True Positive đƣợc phân loại vào lớp Positive FN Số lƣợng điểm lớp Negative False Negative phân loại sai vào lớp Negative FP Số lƣợng điểm lớp Positive False Positive phân loại sai vào lớp Positive DANH MỤC CÁC HÌNH VẼ H nh Sơ đồ giai đoạn huấn luyện phân lớp 12 H nh Sơ đồ giai đoạn thử nghiệm 13 H nh Sơ đồ giai đoạn phát đối tƣợng .13 Hình 2.4 Quá trình phát đối tƣợng 15 Hình 2.5 Voxel grid khơng gian ba chiều .16 Hình 2.6 Thay c c điểm voxel điểm trung bình .17 Hình 2.7(a)Tập liệu đầu vào thuật toán RANSAC, (b)Kết thử khớp đƣờng thẳng với thuật toán RANSAC 19 Hình 2.8 Kết phép biến đổi RANSAC 21 Hình 2.9 Các cụm điểm thành nhóm riêng biệt .22 Hình 2.10 Hình ảnh HOG 23 Hình 2.11 ầu HOG 24 Hình 2.12 Ảnh input hai đạo hàm 25 Hình 2.13 Siêu phẳng (w, b) tối ƣu phân chia class 28 Hình 2.14 Chuyển đổi không gian liệu SVM 29 Hình 3.1 Xtion Pro Live 31 Hình 3.2 Ảnh RGB ảnh độ sâu (Depth) 32 Hình 3.3 Logo Point Cloud Library .33 H nh Sơ đồ luồng xử lý chƣơng tr nh 35 H nh Sơ đồ giải thuật chƣơng tr nh 36 Hình 3.6 Dữ liệu ảnh 3D trƣớc sau áp dụng l c Voxel grid 41 Hình 3.7 Biểu đồ biểu diễn thay đổi điểm ảnh thay đổi kích thƣớc ô lƣới 42 Hình 3.8 Biểu đồ biểu diễn thay đổi thời gian thay đổi kích thƣớc lƣới 42 H nh Sơ đồ đ nh nghĩa mặt phẳng .43 Hình 3.10 Dữ liệu sau loại bỏ mặt phẳng 44 Hình 3.11 Dữ liệu sau đƣợc nhóm sử dụng Euclidean 45 H nh Phân đoạn đối tƣợng ngƣời thành phần theo đặc điểm nhân trắc h c 47 Hình 3.13 Biểu diễn nhóm ngƣời s t phân vùng sử dụng hình h c 3D .47 Hình 3.14 Phát đầu chia cắt thành nhóm có ngƣời đứng cạnh 49 Hình 3.15 Phát đầu chia cắt ngƣời đứng cạnh vật .49 Hình 3.16 Ảnh liệu ngƣời b che khuất .50 Hình 3.17 Mở rộng c c đối tƣợng b che khuất đến mặt phẳng nhà .50 Hình 3.18 Tồn c c nhóm đƣợc tính HOG .51 Hình 3.19 Sau áp dụng hợp nhóm .52 Hình 3.20 Áp dụng ngƣỡng kích thƣớc cho tất nhóm cịn lại .53 Hình 3.21 Giao diện .53 Hình 3.22 Các chức thực .54 Hình 3.23 Quản lý đối tƣợng 54 Hình 3.24 Thiết lập mặt phẳng sàn nhà 54 Hình 3.25 Hiển th kết xử lý 55 Hình 3.26 Lựa ch n thơng số tìm mặt phẳng 55 Hình 3.27 Các mặt phẳng đƣợc tự động phát khoanh vùng 56 Hình 3.28 Các tham số lựa ch n cho phát ngƣời 56 Hình 3.29 Phát ngƣời đứng quay mặt phía camera .57 Hình 3.30 Phát ngƣời đứng nghiêng so với camera 57 DANH MỤC CÁC BẢNG BIỂU Bảng 3-1 Bảng thống kê thời gian thực số điểm ảnh thay đổi kích thƣớc lƣới .41 Bảng 3-2 Bảng th ng kê c c đối tƣợng sau sử dụng phƣơng ph p phân vùng Euclidean 46 Bảng 3-3 Bảng kết x c đ nh độ xác phát .59 LỜI MỞ ĐẦU Ph t đối tƣợng toán quan tr ng lĩnh vực th giác máy tính nhận đƣợc quan tâm lớn cộng đồng nhà nghiên cứu thời gian gần Và hƣớng nghiên cứu có nhiều ứng dụng thực tế: quân sự, giao thông, y tế, d ch vụ… Một nhánh phát đối tƣợng phát ngƣời ảnh, video ối với ngƣời việc nhận biết c c đối tƣợng ngƣời ảnh video tƣơng đối dễ dàng dù khác đa dạng Nhƣng th giác máy tính cơng việc thách thức lớn Hiện nay, hƣớng nghiên cứu th giác máy tính khơng tập trung vào việc xử lý ảnh màu 2D mà phát triển công cụ xử lý ảnh 3D Các loại camera 3D th trƣờng thƣờng sử dụng kết hợp camera màu RGB truyền thống camera độ sâu (Depth), cho đầu ảnh kết hợp RGB-D Bài toán nhận diện phân loại bề mặt vật thể nói chung ài to n ph t ngƣời nói riêng sử dụng camera RGB-D ƣớc khởi đầu cho việc nghiên cứu th giác máy tính theo xu hƣớng Trong khn khổ đề tài, t i hƣớng đến giải ài to n ph t ngƣời theo thời gian thực thông qua camera RGB_D Với thông số ngƣỡng bề rộng thể ngƣời đƣợc x c đ nh từ tâm tới phần ngồi thể khơng q 25 cm chiều cao lấy ngƣỡng đặt từ 0.8m 2m dễ dàng t ch đƣợc ngƣời đứng cạnh hoạt cảnh, lợi mà xử lý ảnh 3D vƣợt trội xử lý ảnh 2D Thực chia cắt ngƣời theo khai báo sau: // khai bao bien cho lop chia cat theo thuoc tinh Dau cua doi tuong nguoi pcl::people::HeadBasedSubclustering subclustering; subclustering.setInputCloud(no_ground_cloud_); subclustering.setGround(ground_coeffs_transformed_); subclustering.setInitialClusters(cluster_indices); subclustering.setHeightLimits(min_height_, max_height_); subclustering.setMinimumDistanceBetweenHeads(heads_minim um_distance_); subclustering.setSensorPortraitOrientation(vertical_); subclustering.subcluster(clusters); - setInputCloud(): hàm khai báo liệu đầu vào - setGround(): hàm khai báo tham số mặt phẳng - setHeightLimits(): Khai báo chiều cao giới hạn dƣới - setMinimumDistanceBetweenHeads(): Khai báo khoảng cách nhỏ đầu c c đối tƣợng sát 48 Hình 3.14 Phát đầu chia cắt thành nhóm có người đứng cạnh Hình 3.15 Phát đầu chia cắt người đứng cạnh vật ối với trƣờng hợp ngƣời b vật che khuất, biết điều kiện bắt buộc ngƣời phải đứng nền, chiếu nhóm xuống mặt phẳng xét khoảng cách tâm nhóm theo phƣơng D XY nhóm 49 mà khoảng cách khơng q 40 cm gộp thành nhóm nhƣ có nghĩa mở rộng nhóm b che khuất Hình 3.16 Ảnh liệu người bị che khuất Hình 3.17 Mở rộng đối tượng bị che khuất đến mặt phẳng nhà 3.4.7 Trích chọ đặ trƣ với HOG Sau có c c nhóm có khả đối tƣợng ngƣời, tiến hành áp dụng phƣơng ph p tính iểu đồ đặc trƣng toàn cục HOG kênh RGB Khai báo hàm: // Calculate HOG descriptor: 50 pcl::people::HOG hog; float *descriptor = (float*) calloc(SVM_weights_.size(), sizeof(float)); hog.compute(sample_float, descriptor); Trong đó: + sample_float: mảng liệu ảnh đầu vào có kích thƣớc 128x64 + descriptor: mảng liệu kết sau tính tốn Hình 3.18 Tồn nhóm tính HOG 51 Hình 3.19 Sau áp dụng hợp nhóm 3.4.8 Phân lớp phát ƣời Khi sử dụng so sánh biểu đồ đặc trƣng nhóm ngƣời với liệu biểu đồ đƣợc đào tạo, cần kiểm tra xem tham số phù hợp đề thiết lập nhận biết ngƣời, trƣờng hợp này, nhóm nghiên cứu lựa ch n ngƣỡng -1 để xác đ nh ngƣời, cịn c c nhóm có ngƣỡng so sánh nhỏ th đƣa kết luận đồ vật Khai báo hàm :pcl::people::PersonClassifier person_classifier_; Eigen::Vector3f centroid = intrinsics_matrix_transformed_ * (it->getTCenter()); centroid /= centroid(2); Eigen::Vector3f top = intrinsics_matrix_transformed_ * (it->getTTop()); top /= top(2); Eigen::Vector3f bottom = intrinsics_matrix_transformed_ * (it->getTBottom()); bottom /= bottom(2); person_classifier_.evaluate(rgb_image_, bottom, top, centroid, vertical_); Trong đó: + rgb_image: ảnh màu RGB đối tƣợng đƣợc phân đoạn có khả đối tƣợng ngƣời + ottom: điểm xyz thấp đối tƣợng + top: điểm xyz cao đối tƣợng + vertical_: thuộc tích g đặt camera 52 Hình 3.20 Áp dụng ngưỡng kích thước cho tất nhóm cịn lại 3.5 Xây dự hƣơ tr h 3.5.1 Xây dựng giao diện Hình 3.21 Giao diện Giao diện chƣơng tr nh đƣợc thiết kế phần chính: 53 Hình 3.22 Các chức thực - Phần 1: Bao gồm chức thực kết nối với phần cứng, tự động phát mặt phẳng phát đối tƣợng Hình 3.23 Quản lý đối tượng - Phần 2: Quản lý c c đối tƣợng xử lý theo dạng Trong đối tƣợng bao gồm c c đối tƣợng con: + Scene: Chứa liệu đ m mây điểm + Plane: Chứa liệu tham số mặt phẳng A, B, C, D Hình 3.24 Thiết lập mặt phẳng sàn nhà Khi click chuột phải vào c c đối tƣợng phần quản lý đối tƣợng để thiết lập mặt phẳng sàn nhà 54 Hình 3.25 Hiển thị kết xử lý - Phần 3: Hiển th kết xử lý sau thực lệnh chức Có chức phụ nhƣ: Pan, Zoom, Rotate, Fly… 3.5.2 Ch ă tự động phát mặt phẳng Chức tự động tìm mặt phẳng thu đƣợc từ Xtion Pro Live sau update tham số t m đƣợc tƣơng ứng lên quản lý Chúng ta dựa màu sắc để lựa ch n mặt phẳng sàn Hình 3.26 Lựa chọn thơng số tìm mặt phẳng 55 Hình 3.27 Các mặt phẳng tự động phát khoanh vùng 3.5.3 Phát hiệ ƣời ể phát ngƣời không gian 3D ta cần hiệu chỉnh tham số màu sắc camera, tham số đƣợc đào tạo trƣớc để làm sở cho phát ngƣời Hình 3.28 Các tham số lựa chọn cho phát người 56 Hình 3.29 Phát người đứng quay mặt phía camera Hình 3.30 Phát người đứng nghiêng so với camera 3.6 Khảo nghiệm đá h iá hệ thống Phƣơng ph p thí nghiệm: Sử dụng tập liệu mẫu nhóm tác giả L Spinello, K O Arras M Luber [9], [10], bao gồm ảnh RGB-D đƣợc thu nhận từ ba cảm biến Kinect đƣợc gắn theo phƣơng d c Dữ liệu chứa chủ yếu ngƣời đứng sàn nhà từ c c hƣớng kh c nhau, ao gồm trƣờng hợp c c đối tƣợng che khuất lẫn File TRACK_000N.DAT chứa thông tin liệu đơn lẻ ao gồm tên file ảnh RGB ảnh độ sâu Depth, bên cạnh ảnh v trí c c đối 57 tƣợng ảnh Track-ID tên lần lƣợt liệu từ (TRACK_000N.DAT > track-ID N) Dƣới ví dụ thơng tin file TRACK_0001.DAT: IMAGE_NAME_ID TS X_tl_dpt Y_tl_dpt X_tl_rgb Y_tl_rgb WDT_rgb HGT_rgb VSB Trong đó: WDT_dpt HGT_dpt - IMAGE_NAME_ID = tên file, seq0_0001_2.pgm [ID: ID Camera: = đặt phía bên trái, = đặt tâm, = đặt bên phải] TS = timestamp - X_tl_dpt, Y_tl_dpt = gốc t a độ điểm phía bên trái hình hộp chữ nhật ảnh độ sâu - WDT_dpt, HGT_dpt = kích thƣớc chiều rộng chiều cao hình chữ nhật ảnh độ sâu - X_tl_rgb, Y_tl_rgb = gốc t a độ điểm phía bên trái hình hộp chữ nhật ảnh màu RGB WDT_rgb, HGT_rgb = kích thƣớc chiều rộng chiều cao hình chữ nhật ảnh màu - - VSB = khả nh n thấy đối tƣợng ảnh độ sâu [0 = b n = nhìn thấy tồn bộ, = nhìn thấy phần] - TS = nhãn thời gian Hình 3.31 Hình ảnh tập liệu Ả h độ sâu Depth đƣợc lƣu trữ dƣới dạng 16bits, kênh đ nh dạng PGM, kích thƣớc [640x480] 58 Ảnh màu RGB đƣợc lƣu trữ dƣới dạng 8bits, kênh đ nh dạng PPM, kích thƣớc [640x480] ể tổng hợp từ ảnh độ sâu sang ảnh RGB_D (XYZRRGB) ta cần tham số camera thu nhận bao gồm thông số hiệu chu n sau: Tham số ma trận bên camera màu (dành cho khử méo): k1=2.6451622333009589e-01 k2=-8.3990749424620825e-01 k3=9.1192465078713847e-01 p1=-1.9922302173693159e-03 p2=1.4371995932897616e-03 fx=5.2921508098293293e+02 fy=5.2556393630057437e+02 cx=3.2894272028759258e+02 cy=2.6748068171871557e+02 Tham số ma trận bên camera hồng ngoại (dành cho khử méo): k1=-2.6386489753128833e-01 k2=9.9966832163729757e-01 k3=-1.3053628089976321e+00 p1=-7.6275862143610667e-04 p2=5.0350940090814270e-03 fx=5.9421434211923247e+02 fy=5.9104053696870778e+02 cx=3.3930780975300314e+02 cy=2.4273913761751615e+02 camera để đồng c c trƣờng thông tin Tham số liên quan hình h c RGB ZYZ pixel: T= [1.9985242312092553e-02 -7.4423738761617583e-04 1.0916736334336222e-02] {rotation angles} roll=1.22775236635173e-02 pitch=1.74713102421449e-02 yaw=-1.47813574129019e-03 Kết cần đạt: - X c đ nh phát đúng: Ảnh có ngƣời, x c đ nh số ảnh phát đƣợc SST Số ảnh phát Số ảnh Độ xác đối tƣợng Có Khơng 214 185 29 86.4% 302 260 42 86.1% 89 73 16 82.0% Bảng 3-3 Bảng kết xác định độ xác phát Tê đối tƣợng Ngƣời_01 Ngƣời_02 Ngƣời_03 ộ xác hệ thống đƣợc tính theo cơng thức: 59 Trong đó: - TP (True Positive): Tổng số lần hệ thống phát ngƣời đƣợc phát - TN (True Negative): Tổng số lần hệ thống phát không ngƣời đƣợc phát - FP (False Positive): Tổng số lần hệ thống phát kh ng ngƣời đƣợc phát sai - FN (False Negative): Tổng số lần hệ thống phát ngƣời đƣợc phát sai Kết luận: Với thí nghiệm mẫu khác cho thấy độ xác phát với đối tƣợng ngƣời thấp 82% cao so với mức tiêu xây dựng Nhƣ với c c tiêu chí đ nh gi c c phần trên, phần mềm ản đ p ứng tiêu đặt với phạm vi ứng dụng hẹp thí nghiệm ể hƣớng tới hồn thiện sản ph m đề tài, tác giả tiếp tục hoàn thiện sản ph m để hƣớng tới phát triển ứng dụng đ p ứng nhu cầu sản xuất, khoa h c, đời sống… 60 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Phần mềm phát ngƣời ản đ p ứng đƣợc yêu cầu thực c c ƣớc xử lý ảnh 3D nhƣ: Tiền xử lý, phân vùng c c đối tƣợng, trích xuất đặc trƣng phân lớp cho trình phát ngƣời ối với liệu thu đƣợc từ hệ phần cứng xây dựng, phần mềm có chức phát frames riêng lẻ; với hệ thu nhận diễn biến theo thời gian thực phần mềm xử lý từ 14~18fps Phần mềm đạt đƣợc c c tiêu chí nhƣ sau: - Có khả phát nhiều đối tƣợng ngƣời ảnh - Có khả phát ngƣời b che khuất phần phần ản (đầu tay) đƣợc thu nhận ảnh ba chiều (mức độ che khuất chấp nhận đối tƣợng 35%) - Phƣơng pháp phát áp dụng cho ảnh ba chiều có độ phân dải khác - Phát ngƣời với kết độ xác 85,3% - Các tiến trình xử lý đ p ứng thời gian thực Với ý nghĩa giải toán phát ngƣời, ứng dụng phần mềm đƣợc hƣớng tới nhiệm vụ nhƣ: Quản lý nhân an ninh, hệ thống tự động nhà thông minh, cảnh giới, giao th ng… Hƣớng nghiên cứu tiếp luận văn đƣa hệ thống ứng dụng vào thực tế để đ nh gi x c c c kết nghiên cứu ồng thời tiếp tục tìm hiểu k thuật xử lý ảnh cải thiện chất lƣợng hệ thống Cùng với phát triển thiết b phần cứng: Tốc độ xử lý nhanh hơn, gi thành rẻ phần mềm hƣớng đến sử dụng GPU để tăng tốc độ tính tốn Bên cạnh tích hợp với robot tự hành nhằm xây dựng hệ thống trợ lý ảo, hệ thống kiểm soát đ nh gi kh ch hàng c c chuỗi siêu th , cửa hàng tiện lợi hay hệ thống cảnh báo phạm vi khu vực nguy hiểm cho ngƣời động vật… 61 TÀI LIỆU THAM KHẢO [1] M Munaro, F Basso and E Menegatti “Tracking people within groups with RGB-D data” In Proceedings of the International Conference on Intelligent Robots and Systems (IROS) 2012, Vilamoura (Portugal), 2012 [2] M Munaro and E Menegatti “Fast RGB-D people tracking for service ro ots” In utonomous Ro ots, Volume 37 Issue 3, pp 7-242, Springer, 2014 [3] Radu Bogdan Rusu and Steve Cousins “3D is here: Point Cloud Library (PCL)”, Proceedings of the IEEE International Conference on Robotics and utomation (ICR ’11), Shanghai, China, May 11 [4] Andreas Richtsfeld, Thomas Morwald, Johann Prankl, Michael Zillich and Markus Vincze, Segmentation of Unknown Objects in Indoor Environments, IEEE/RSJ International Conference on Intelligent Robots and Systems 2012 [5] Dustin Boswell, Introduction to Support Véc tơ Machines, www.dustwell.com/PastWork/IntroToSVM.pdf, August 2002 [6] K.G.Derpanis, Overview of the RANSAC Algorithm,2010 [7] Radu Bogdan Rusu, Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments, PhD Thesis, Institure of Informatic, Technical University of Munich [8] H Dalal and B Triggs, “Histograms of oriented gradients for human detection”, in Computer Vision and Pattern Recongnition, [9] L Spinello, K O Arras People Detection in RGB-D Data IEEE Int Conf on Intelligent Robots and Systems (IROS), 2011 [10] M Luber and L Spinello and K O Arras People Tracking in RGB-D Data With On-line Boosted Target Models IEEE Int Conf on Intelligent Robots and Systems (IROS), 2011 [11] www.pointclouds.org [12] http://en.wikipedia.org/wiki/RANSAC [13] https://www.vtk.org/ 62 ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LÊ THỊ MAI NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN NGƯỜI TRONG KHÔNG GIAN 3D THEO THỜI GIAN THỰC SỬ DỤNG DỮ LIỆU RGB-D... thƣ viện VTK Trong luận văn này, t i xây dựng phần mềm với ý tƣởng phát triển từ nghiên cứu M Munaro E Menegatti để giải toán phát ngƣời không gian 3D theo thời gian thực sử dụng liệu RGB_D [1],... ngƣời nói riêng sử dụng camera RGB-D ƣớc khởi đầu cho việc nghiên cứu th giác máy tính theo xu hƣớng Trong khn khổ đề tài, t i hƣớng đến giải ài to n ph t ngƣời theo thời gian thực thông qua camera