Khai thác dữ liệu ảnh độ sâu từ cảm biến Kinect: Sửa lỗi và ứng dụng

Kỷ yếu Hội nghị Quốc gia lần thứ VII Nghiên cứu ứng dụng Công Nghệ thông tin (FAIR); Thái Nguyên, ngày 20 – 21/6/2014 KHAI THÁC DỮ LIỆU ẢNH ĐỘ SÂU TỪ CẢM BIẾN KINECT: SỬA LỖI VÀ ỨNG DỤNG Đoàn Thị Hương Giang 1,2, Vũ Hải1, Trần Thị Thanh Hải1 Viện Nghiên cứu Quốc Tế MICA, HUST CNRS/UMI 2954 - Grenoble INP, Đại học Bách Khoa Hà Nội Trường Cao đẳng nghề công nghiệp Hà Nội huong-giang.doan@mica.edu.vn, hai.vu@mica.edu.vn , thanh-hai.tran@mica.edu.vn TÓM TẮT— Thiết bị Microsoft (MS) Kinect ngày sử dụng rộng rãi ứng dụng thị giác máy, tương tác người máy, robot dẫn đường… Khác với thiết bị Time-of-flight camera đắt tiền trước đây, Kinect có ưu điểm giá rẻ cung cấp liệu độ sâu đồng thời với ảnh RGB độ phân giải chấp nhận Tuy nhiên Kinect thiết kế đóng kín phần cứng phần mềm, phát triển ứng dụng Kinect thường gặp số vấn đề khó khăn như: khơng tương ứng tọa độ hình ảnh độ sâu, nhiễu lỗi đo ảnh độ sâu… Bài báo trình bày số hướng giải vấn đề này, tạo tảng phát triển ứng dụng thiết bị Kinect Đầu tiên, giới thiệu phần cứng Kinect thư viện mở hỗ trợ Kinect, đặc biệt thư viện mở OpenKinect Tiếp theo, chúng tơi trình bày phương pháp chỉnh, sửa méo, làm khớp (Kinect Calibration) liệu hình ảnh độ sâu Khai thác thông tin độ sâu điểm mạnh Kinect, chúng tơi trình bày phương pháp sử dụng ảnh độ sâu để tách nền, ứng dụng toán phát cử tay nhằm hỗ trợ việc nhận dạng toán Kết tách so sánh đánh giá với phương pháp sử dụng liệu ảnh RGB truyền thống, cho thấy ưu việt vượt trội thiết bị Kinect giải vấn đề tách đối tượng khỏi ứng dụng thị giác máy tính Từ khóa— Kinect, Computer Vision, Detect hand, Gesture Recognition, ROC curve, histogram I GIỚI THIỆU CHUNG Cảm biến Kinect đời mở lĩnh vực ngành khoa học thị giác máy tính, lĩnh vực mà nội dung nghiên cứu từ trước đến tập trung ảnh đơn sắc (Gray scale) ảnh màu (RGB) Microsoft Kinect (MS Kinect1) ngồi khả cung cấp ảnh màu cịn cung cấp ảnh độ sâu Ứng với pixel ảnh màu RGB, ảnh độ sâu cho khoảng cách từ đối tượng đến thiết bị Các ứng dụng khoa học thị giác máy tính gần dựa phân tích liệu ảnh độ sâu cảm hứng để phát triển nhiều lĩnh vực như: nhận dạng hoạt động cử người [11], phát kiện bất thường [13], hỗ trợ robot di chuyển [14], nhận dạng đối tượng không gian 3-D … Hiện nay, Việt nam có số nhóm nghiên cứu sử dụng Kinect như: phát kiện ngã [12], nhận dạng hoạt động người [15]… Trong nghiên cứu chúng tơi tập trung phân tích số vấn đề thường gặp khai thác liệu ảnh độ sâu làm khớp (joint) liệu độ sâu ảnh màu; sửa nhiễu ảnh độ sâu Chúng đồng thời trình bày phương pháp hiệu toán trừ sử dụng ảnh độ sâu, ứng dụng toán nhận dạng phát cử tay A Các thành phần phần cứng Microsoft Kinect Hình giới thiệu thành phần cảm biến Kinect ví dụ liệu hình ảnh, độ sâu thu từ cảm biến Hình Camera Kinect Các thành phần bao gồm: Đèn báo trạng thái: đèn LED nhỏ, thiết bị hoạt động có màu xanh Bộ phận xoay: giúp cho cảm biến quay ngang 75 0, dọc 430 nghiêng ± 270 Máy ảnh màu (RGB): cho ảnh màu bit có hai chế độ thu nhận ảnh có độ phân giải tương ứng với tốc độ thu nhận sau: Microsoft Kinect – MS Kinect : Trong báo gọi tắt cảm biến Kinect Mặc dù thực tế không Microsoft phát triển Kinect; Một số sản phẩm Kinect khác Asus, Primsense, SoftKinect Đoàn Thị Hương Giang, TS.Vũ Hải, TS.Trần Thị Thanh Hải  Tốc độ thu nhận 30 ảnh/giây cho ảnh có độ phân giải 640 x 480 điểm ảnh  Tốc độ thu nhận 10 ảnh/giây cho ảnh có độ phân giải 1280 x 1024 điểm ảnh Cảm biến độ sâu 3D: gồm máy chiếu hồng ngoại máy ảnh hồng ngoại kết hợp cho ảnh độ sâu 11bit 3bit đầu định địa có bit sau liệu ảnh Khoảng cách cho phép 0.8-3.5m Cũng máy ảnh màu, thiết bị kinect thu ảnh độ sâu hai chế độ có độ phân giải tương ứng với tốc độ thu nhận sau:  Tốc độ thu nhận 30 ảnh/giây cho ảnh có độ phân giải 640 x 480 điểm ảnh  Tốc độ thu nhận 10 ảnh/giây cho ảnh có độ phân giải 1280 x 1024 điểm ảnh Dãy microphone: gồm microphone bố trí dọc thiết bị MS kinect Mỗi thiết bị có thu âm xử lý âm 16bit cho kênh, với tốc độ lấy mẫu 16kHz Dãy microphone sử dụng cho ứng dụng âm giọng nói B Các thư viện làm việc với Kinect Thiết bị Kinect thiết kế sản phẩm trò chơi Microsoft, đóng gói kín sản phẩm phần cứng phần mềm Tuy nhiên tính ưu việt thu hút quan tâm đông đảo nhà khoa học nhà phát triển phần mềm lĩnh vực xử lý ảnh Cho đến có số thư viện bật hỗ trợ phát triển ứng dụng Kinect:    Microsoft Kinect SDK: Đây công cụ phát triển phần mềm Kinect cung cấp hãng Microsoft, cộng đồng sử dụng thiết bị kinect sử dụng hiều nhất, phát hành phiên đầu vào 16/6/2011 sử dụng windows cung cấp cho mục đích phi thương mại, với mục đích thương mại phải sử dụng phiên Kinect for Windows (K4W) Hơn nữa, mã nguồn mở hỗ trợ việc theo dõi toàn đối tượng mà lại thiếu nhiều tính hỗ trợ xử lý ảnh theo dõi phận nhận dạng cử chỉ, phát tay, … Bộ công cụ cho phép truy xuất nhiều Kinect lúc Địa web truy cập để tham khảo thông tin thư viện http://www.microsoft.com/enus/kinectforwindows/ Phiên công cụ 2/2014 v1.8 với cơng cụ gồm KinectSDK-v1.8-Setup KinectDeveloperToolkit-v1.8.0-Setup Đến 10/2014 có phiên 2.x OpenNI (Open Natural Interaction): OpenNI thư viện hỗ trợ đa ngôn ngữ nhiều platform khác nhau, cho phép chạy nhiều hệ điều hành, giúp cho việc viết ứng dụng Kinect thuận tiện Cho phép truy xuất nhiều kinect lúc Đây coi công cụ trung gian để giao tiếp với Kinect cung cấp tổ chức làm việc với mục đích phi lợi nhuận, cho phép xây dựng ứng dụng thương mại hóa Bộ cơng cụ hỗ trợ theo cho việc dõi người việc theo dõi cử bàn tay nhận dạng cử bàn tay, hỗ trợ bám thể người Tuy nhiên, mã nguồn mở Địa web truy cập để tham khảo thông tin thư viện http://www.openni.org/ Phiên cho thư viện đến tháng 2/2014 2.2.0.11 Đến tháng 4/2014 thuộc sở hữu hãng Apple LibFreeNect: thư viện tạo trì cộng đồng mở người dùng thiết bị Kinect (OpenKinect) để sử dụng cho ứng dụng sử dụng thiết bị Kinect Cộng đồng OpenKinect làm việc hồn tồn tự nguyện khơng mục đích lợi nhuận, họ phát triển Libfreenect thành thư viện mã nguồn mở cho hệ điều hành khác sử dụng cho thiết bị Kinect ứng dụng xử lý ảnh như: Windows, Linux OS X Hiện tại, Libfreenect đóng gói cho việc sử dụng Python, C, C++, C#, Java JNI, Java JNA, Javascript Hơn lập trình viên sử dụng thư viện mã nguồn mở cho dự án nào, hỗ trợ nhiều tính xử lý ảnh, cho phép truy xuất nhiều Kinect lúc Địa web truy cập để tham khảo thông tin thư viện https://github.com/OpenKinect/libfreenect/ http://developkinect.com/tags/libfreenect C Cơ chế hình thành ảnh độ sâu vấn đề với ảnh độ sâu Cơ chế hình thành ảnh độ sâu Kinect sử dụng cặp gồm camera hồng ngoại (IR camera) phát ánh sáng hồng ngoại (IR Projector) phát ánh sáng có cấu trúc (structured light) để tạo giá trị độ sâu công nghệ Light coding PrimeSense Kỹ thuật light coding dùng nguồn sáng hồng ngoại phát ánh sáng hồng ngoại chiếu liên tục vào môi trường xung quanh kết hợp với việc sử dụng máy ảnh hồng ngoại chụp lại, sau tính tốn để thu ảnh độ sâu Bằng việc so sánh mẫu quan sát mẫu tham khảo biết trước, Kinect dự đoán khoảng cách từ Kinect đến đối tượng Kinect cung cấp ảnh độ sâu điều kiện ánh sáng tối chịu ảnh hưởng chất lượng bề mặt vật thể Hơn nữa, thiết bị Kinect có giá thành rẻ, nhỏ gọn dễ sử dụng, độ phân giải tốc độ thu nhận ảnh chấp nhận (1280 x 1024 điểm ảnh 640 x 480 điểm ảnh) Tuy nhiên, thực tế, phương pháp đo độ sâu Kinect thường gặp số lỗi, sai số đo phụ thuộc khoảng cách [9] Ví dụ, Kinect đo ảnh độ sâu với đối tượng bề mặt phẳng, số lượng nhiễu đáng kể ảnh độ sâu quan sát Một vấn đề khác phối ghép kết ảnh độ sâu thu từ Kinect khác Các vấn đề sửa lỗi Calib Kinect ảnh độ sâu trình bày phần Đoàn Thị Hương Giang, Vũ Hải, Trần Thị Thanh Hải Hình Phương pháp đo giá trị độ sâu Kinect II CĂN CHỈNH DỮ LIỆU ĐỘ SÂU (DEPTH) VÀ ẢNH (RGB) A Kinect Calibration Do ảnh thu thập từ 02 cảm biến đặt góc nhìn khác làm cho liệu thu thập có lệch tọa độ ảnh màu ảnh độ sâu Calibration phương pháp tìm biến đổi gồm: dịch chuyển – translation xoay (rotation) ảnh màu độ sâu hệ tọa độ Một số phương pháp nghiên cứu Calibration để joint liệu độ sâu ảnh RGB nghiên cứu Herrera et al [7], Yamanazoe [6] Herrera et al [7] sử dụng hình ảnh độ phân giải cao thu từ camera gắn Herrera et al sau sử dụng mơ hình không tham số Trong phương pháp này, số lượng lớn tham số cần phải dự đốn trước Do đó, [7] sử dụng phương pháp tối ưu hóa để tìm tham số Hiệu phương pháp calib [7] thể Hình Nếu khơng có trình calib, tọa độ ảnh độ sâu ảnh RGB không tương ứng Điều minh họa Hình 3(c), nơi đường biên ảnh độ sâu không vẽ ảnh RGB Sau sửa liệu depth phương pháp Calib [7] (Hình 3(d)), đường biên liệu depth Calib vẽ trùng khớp ảnh RGB (Hình 3(e)) Các phương pháp calib đồng thời sử dụng phối ghép liệu thu từ nhiều cảm biến Kinect Điều đặc biệt có ý nghĩa dùng Kinect để tạo tập điểm 3-D point cloud data; thường sử dụng toán phát nhận dạng đối tượng 3-D (a) (b) (d) (c) (e) Hình Ảnh độ sâu ảnh màu sau hiệu chỉnh (a) Ảnh độ sâu, (b) Ảnh màu tương ứng, (c) Đường biên ảnh độ sâu vẽ ảnh màu, (d) Ảnh độ sâu calib, (e) Đường biên ảnh độ sâu calib vẽ ảnh màu B Khử nhiễu với KINECT Các cảm biến đo độ sâu (Time-of-flight) camera Kinect có vấn đề nhiễu liệu đo Có số nguyên nhân gây nhiễu ảnh độ sâu như: chất lượng cảm biến, phương pháp setup cách đo, thuộc tính bề mặt đối tượng đo Ngồi độ xác phương pháp đo độ sâu phụ thuộc vào khoảng cách [9] Hình (a) thể lỗi cảm biến IR, vùng đối tượng nằm vùng diện tích tâm khung ảnh bán kính xung quanh 0,005mm khơng bị méo, ngồi biên ảnh độ méo hình ảnh độ sâu tăng; Hình 4(b) thể lỗi đo phụ thuộc vào khoảng cách, khoảng cách xa lỗi đo tăng lên Đồn Thị Hương Giang, TS.Vũ Hải, TS.Trần Thị Thanh Hải Hình Một số lỗi ảnh độ sâu (a) Lỗi méo ảnh độ sâu, (b) Lỗi đo theo khoảng cách Ngồi lỗi có tính hệ thống ảnh độ sâu, liệu độ sâu đồng thời gặp số lượng lớn lỗi có tính ngẫu nhiên Đặc biệt vùng biên đối tượng Ví dụ: hình thể nhiễu lớn đo đối tượng mặt phẳng Hình 5(b) thể nhiễu với cường độ mạnh xung quanh đường biên check-board Một số phương pháp sữa nhiễu đề xuất (ví dụ [12]) Kết sửa nhiễu theo phương pháp [12] thể Hình 5(d) Hình Cơ chế giải nhiễu ảnh độ sâu (a) Ảnh độ sâu với nhiễu (b) Phóng to vùng nhiễu gần sát biên đối tượng (c) Ảnh màu RGB tương ứng (d) Ảnh độ sâu khử nhiễu III SỬ DỤNG ẢNH ĐỘ SÂU TRONG BÀI TOÁN TRỪ NỀN A Giới thiệu toán trừ Bài toán trừ nhằm mục đích tách đối tượng quan tâm khỏi ngữ cảnh toán quan trọng ứng dụng xử lý ảnh như: phát hiện, theo bám người,… Để giải tốn này, nhà khoa học sử dụng đối tượng ảnh màu, ảnh độ sâu, ảnh 3D, … Với loại ảnh có nhiều kỹ thuật khác như: dựa vào điểm ảnh tương ứng hai ảnh, dựa vào việc chia ảnh thành khối sau so sánh khối tương ứng, sử dụng đặc trưng phân bố thuộc tính đối tượng ảnh, kết hợp thuộc tính đem đến nhiều kỹ thuật khác để trừ Các toán trừ sử dụng ảnh màu gặp số vấn đề hạn chế đặc trưng nêu không bất biến với thay đổi điều kiện chiếu sáng, hay giống đối tượng nền,… Gần đây, liệu ảnh độ sâu camera TOF hay Kinect đem đến nhiều thuận lợi cho toán trừ khác đặc biệt toán trừ với ngữ cảnh nhà Ở đây, thấy rằng, ảnh độ sâu thu từ Kinect đem đến thông tin tốt khoảng cách từ đối tượng đến camera Hơn nữa, với hình ảnh mà chúng tơi nghiên cứu, thơng thường đối tượng người thường gần camera tay lại gần camera người (do tay phía trước người) Do đó, lược đồ đối tượng người đối tượng tay có đặc trưng riêng ảnh Vì vậy, chúng tơi đề xuất phương pháp sử dụng để tách sử dụng đặc trưng phân bố thuộc tính đối tượng ảnh B Phương pháp thực Chúng nghiên cứu nhiều phương pháp khác sử dụng ảnh độ sâu cho toán trừ Ở đề xuất phương pháp với bước sơ đồ khối hình đây: Hình Quá trình tách hình ảnh bàn tay từ ảnh thu thập từ cảm biến Kinect Các bước hiệu chỉnh ảnh độ sâu khử nhiễu chỉnh ảnh (calibration) mơ tả phần Đồn Thị Hương Giang, Vũ Hải, Trần Thị Thanh Hải Tách ảnh người khỏi Tách người khỏi toán phổ biến ứng dụng theo bám người hệ thống giám sát, nhận dạng hoạt động người (human activities) Mặc dù có nhiều hướng tiếp cận sử dụng phương pháp tách truyền thống so sánh khác biệt frame mơ hình nền, mơ hình sử dụng kỹ thuật GMM (Gaussian Mixture Model) Các phương pháp thường gặp phải vấn đề khó khăn phần thể người khơng phải dạng bất biến (non-rigid object) Trong nghiên cứu này, khai thác khoảng liệu hiệu ảnh độ sâu thơng thường đối tượng người thường gần camera tay lại gần camera người (do tay phía trước người) Đưa vào ảnh độ sâu D(x,y), lược đồ (histogram) ảnh độ sâu xây dựng sau: ∑ () ( ) * ( )+ (1) Trong đó:  M,N: kích thước ảnh độ sâu  L: giá trị độ sâu lớn ảnh  n: tổng số điểm ảnh ảnh độ sâu  D(x,y): ảnh độ sâu Hình minh họa trình xây dựng lược đồ từ ảnh độ sâu cho trước Hình (a) - Ảnh độ sâu thu thập từ camera kinect (b) – Lược đồ liệu ảnh độ sâu; Để xác định khoảng liệu ảnh độ sâu hiệu cho việc tách người khỏi nền, chúng tơi tìm kiếm lược đồ mức xám (hình 7(b)) ngưỡng với tiêu chuẩn lựa chọn sau: ∑ () (2) ( ) ( ) k giá trị bin bắt đầu vùng diện tích m khoảng cách từ k đến giá trị cuối vùng diện tích Với { Việc khó phải lựa chọn ngưỡng area để thu hình ảnh người tách khỏi xác Và để chọn tham số đó, chúng tơi tiến hành so sánh ảnh thực tế phần thể người mà tách với ảnh Ground True thể người dựa vào nguyên tắc đường cong ROC (receiver operating characteristic) Tách tay khỏi người Trừ cách sử dụng đặc trưng phân bố thuộc tính đối tượng ảnh dựa vào lược đồ ảnh độ sâu để thu hình ảnh có người Sau tạo lược đồ ảnh thể người trừ Hình minh họa trình xây dựng lược đồ từ ảnh tách người khỏi phần trước: Hình (a) - Ảnh tách người khỏi nền; (b) – Lược đồ liệu ảnh thể người tách Tách tay cách sử dụng đặc trưng phân bố thuộc tính đối tượng ảnh dựa vào lược đồ tìm kiếm giá trị vùng diện tích hiệu để tách hình ảnh bàn tay khỏi người tương tự phương pháp tách người khỏi Hình vẽ sau minh họa hình ảnh tách tay khỏi người: Đồn Thị Hương Giang, TS.Vũ Hải, TS.Trần Thị Thanh Hải Hình Ảnh bàn tay tách từ ảnh thể người C Đánh giá kết Chúng tiến hành thử nghiệm nhiều video khác đánh giá kết video số 5, 27, 56 58 sở liệu Chalearn2013 Trong video có khoảng 20 khung hình, chúng tơi lấy ngẫu nhiên 20% số khung hình video Đồng thời sử dụng tập giá trị ngưỡng công thức [2]: [0,004; 0,005; 0,015; 0,03; 0,035; 0,05; 0,1; 0,15] so sánh với ảnh Ground Truth cách thực việc tính giá trị bảng đây: Bảng Bảng tham số TP (True Possitive), TN (True Negative), FP (False Possitive), FN (False Negative) Vùng bàn tay Ảnh Ground True Vùng bàn tay Ảnh bàn tay tách thực tế Vùng bàn tay Vùng bàn tay TP FP FN TN Sau có tham số TP, TN, FP, FN cho khung hình, chúng tơi tiến hành tính tốn tham số sensitivity speciticity công thức sau: (3) (4) Sau đó, tính trung bình kết cặp tham số vẽ đường cong ROC giá trị trục hồnh sensitivity trục tung 1-speciticity Một phương pháp trừ tốt giá trị Sensitivity Specivity gần sát với Kết tính trung bình giá trị vẽ đường cong ROC thu sau: Hình 10 Đồ thị đường cong ROC Với tham số thực giá trị đạt kết xem tốt giá trị area = 0,035 Và với tham số này, kết tách tay thu ổn định hơn, đạt kết tách tay tốt so với phương pháp sử dụng ảnh RGB truyền thồng Với phương pháp tách tay sử dụng ảnh RGB trước gặp nhiều khó khăn với tốn điều kiện chiếu sáng thay đổi, bóng người điều kiện phức tạp thay đổi Đoàn Thị Hương Giang, Vũ Hải, Trần Thị Thanh Hải IV THẢO LUẬN VÀ KẾT LUẬN Bài báo trình bày việc khai thác liệu ảnh độ sâu từ Kinect: chúng tơi phân tích lỗi số phương pháp sửa lỗi ảnh độ sâu Kinect Chúng đề xuất phương pháp tách bàn tay khỏi sử dụng liệu ảnh độ sâu hiệu chỉnh trước Phương pháp tách mà đề xuất tương đối đơn giản, nhanh chóng hiệu tiến hành thử nghiệm số sở liệu có sẵn Trong thời gian tới, tiếp tục nghiên cứu cải tiến, kết hợp với ảnh màu để triển khai toán nhận dạng cử động tay sử dụng Kinect V TÀI LIỆU THAM KHẢO [1] [2] [3] [4] Kinect: http://www.microsoft.com/en-us/kinectforwindows/ Kinect calibration http://nicolas.burrus.name/ index.php/Research/KinectCalibration Libfreenect http://openkinect.org/wiki/Main_Page Microsoft Kinect for Windows http://www.microsoft.com/en-us/kinectforwindows [5] Fabrizio Pedersoli, Nicola Adami, Sergio Benini, Riccardo Leonardi, “XKin - eXtendable Hand Pose and Gesture Recognition Library for Kinect”, Department of Information Engineering University of Brescia Brescia, Italy, 2013 [6] Hirotake Yamazoe, Hitoshi Habe, Ikuhisa Mitsugami, and Yasushi Yagi, “Easy Depth Sensor Calibration”, In the Proceeding of the 21st International Conference on Pattern Recognition (ICPR 2012) [7] D Herrera C., J Kannala, and J Heikkila Joint depth and color camera calibration with distortion correction IEEE Trans Pattern Analysis and Machine Intelligence, [8] Ahmed Elgammal, “Figure-ground segmentation - pixel-based”, Visual Analysis of Humans, Springer, 2011, pp 31-51 [9] K Koshelham, S.O Elberink, “Accuracy and resolution of Kinect depth data for indoor mapping applications”, Sensors 2012 [10] J Kramer et al “Hacking the Kinect”, Apress 2012 [11] Mao Ye et al., “A Survey on Human Motion Analysis from Depth Data”, Time-of-Flight and Depth Imaging Sensors, Algorithms, and Applications, LNCS 8200, pp 149-187, 2013 [12] NGUYEN Van Toi et al “Background Subtraction with KINECT data: An Efficient Combination RGB and Depth”, The first NAFOSTED Conference on Information and Computer Science (NICS 2014), pp 160 169, Hanoi, March 2014, [13] Caroline Rougier et al., “Fall Detection from Depth Map Video Sequences”, ICOST 2011, LNCS 6719, pp 121– 128, 2011 [14] R Mojtahedzaded, “Robot Obstacle Avoidance using the Kinect”, Master of Science Thesis, ETH, Sweden, 2011 [15] TRAN Thi Thanh Hai, LE Thi Lan, MOREL Jérémy , "An analysis on human fall detection using skeleton from Microsoft Kinect", ICCE 2014 ULTILIZING DEPTH IMAGE FROM KINECT SENSOR: ERROR ANALYSIS AND ITS APPLICATIONS Doan Thi Huong Giang 1,2, Vu Hai1, Tran Thi Thanh Hai1 International Research Institute MICA, HUST CNRS/UMI 2954 - Grenoble INP, Hanoi University of Science and Technology Industrial Vocational College Hanoi huong-giang.doan@mica.edu.vn, hai.vu@mica.edu.vn , thanh-hai.tran@mica.edu.vn ABSTRACT— Microsoft (MS) Kinect widely used in machine vision applications: interactive robotics, navigation robot Kinect device, which is different from the expensive time-of-flight camera, is low cost and the ability of both depth and RGB data acquisition However, Kinect is designed closedly in both hardware and software, thereby developing Kinect applications still has some troubles such as: no correspondence between depth and RGB image coordinates, noise and measurement errors in depth image In this paper, we propose some solutions for these and create a platform to develop applications on Kinect First, the Kinect hardware and the Kinect support libraries, especially OpenKinect are introduced Next, we present the calibration, distortion correction, fitting methods for color and depth image Exploiting depth information is one of the strength of Kinect sensors, we will present a background substraction method for depth image, applied to detect hand gestures and support for later identification problem The experimental results shows that it overcomes to other traditional methods in background substraction  ... thước ảnh độ sâu  L: giá trị độ sâu lớn ảnh  n: tổng số điểm ảnh ảnh độ sâu  D(x,y): ảnh độ sâu Hình minh họa trình xây dựng lược đồ từ ảnh độ sâu cho trước Hình (a) - Ảnh độ sâu thu thập từ. .. (c) (e) Hình Ảnh độ sâu ảnh màu sau hiệu chỉnh (a) Ảnh độ sâu, (b) Ảnh màu tương ứng, (c) Đường biên ảnh độ sâu vẽ ảnh màu, (d) Ảnh độ sâu calib, (e) Đường biên ảnh độ sâu calib vẽ ảnh màu B Khử... LUẬN VÀ KẾT LUẬN Bài báo trình bày việc khai thác liệu ảnh độ sâu từ Kinect: phân tích lỗi số phương pháp sửa lỗi ảnh độ sâu Kinect Chúng đề xuất phương pháp tách bàn tay khỏi sử dụng liệu ảnh độ