BÁO cáo tìm HIỂU cảm BIẾN KINECT

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CƠ HỌC KỸ THUẬT VÀ TỰ ĐỘNG HĨA BÁO CÁO TÌM HIỂU CẢM BIẾN KINECT GV : ThS.ĐỒN THỊ HƯƠNG GIANG NHĨM 11 LỚP K55 M LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Thành viên nhóm 11 Nguyễn Tiến San Nguyễn Thái Bảo Hùng Nguyễn Văn Linh Phạm Vũ Cường Lê Sơn Hải Trần Văn Kiên Bùi Hồng Hà Mục lục : I Giới thiệu cảm biến Kinect II Cấu tạo Hệ thống cảm biến chiều sâu Camera RGB-D Động cơ, máy đo gia tốc, micro III Cảm biến đo chiều sâu (depth sensor) IV Cảm biến hình ảnh RGB-D V Một vài ứng dụng quan trọng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com I Giới thiệu chung Sử dụng video : 1_Microsoft Kinect for Xbox 360 Kinect gì? Kinect thiết bị đầu vào,là cảm biến chuyển động hãng Microsoft sản xuất dành cho Xbox 360 máy tính Windows Dựa webcam kiểu add-on ngoại vi cho Xbox 360, cho phép người dùng điều khiển tương tác với Xbox 360 mà không cần phải dùng đến điều khiển tay cầm, thông qua giao diện người dùng tự nhiên cử lệnh nói Thiết bị giới thiệu vào tháng 11 năm 2010 phụ kiện Xbox 360 Cảm biến chiều sâu (depth sensor) sử dụng Kinect phát triển Zeev Zalevsky, Alexander Shpunt, Aviad Maizels Javier Garcia, năm 2005 Kinect thức cơng bố vào ngày 01 Tháng Sáu Năm 2009, tên "Project Natal" ( Natal tên thành phố Brazil, nơi sinh giám đốc dự án này) Chức Kinect công cụ để người dùng tương tác với Xbox 360 cử lệnh nói Vì lý này, cảm biến có khả thu thập liệu độ phân giải 640x480 điểm ảnh Với liệu chiều sâu, lấy khung xương người đứng phía trước cảm biến Và với xương đó, nhận biết cử người sử dụng Một số hình ảnh Kinect Xbox 360 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com II Cấu tạo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Sơ đồ khối Hệ thống cảm biến chiều sâu Bao gồm phát hồng ngoại (Infrared light) camera hồng ngoại (depth image CMOS) Kích cỡ ảnh 640x480 pixel,tốc độ chụp 30 khung hình giây Có phạm vi độ sâu: + Phạm vi mặc định có sẵn hai cảm biến Kinect cho Windows cảm biến Kinect cho Xbox 360 + Phạm vi gần có cảm biến Kinect cho Windows Để cảm biến hoạt động tốt nên sử dụng khoảng cách từ 1,2m  3,5m LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hoạt động : Các tia hồng ngoại chiếu qua phát hồng ngoại đến đối tượng, sau camera hồng ngoại thu thập liệu bị phản chiếu Camera RGB-D Chức camera nhận biết màu đỏ, xanh xanh da trời (Red-Green-Blue) Quá trình chụp bao gồm việc chụp ảnh màu (RGB) thực phép đo độ sâu (D) Cảm biến hình ảnh kết hợp với cảm biến chiều sâu nằm gần nhau, cho phép sáp nhập đồ, cho hình ảnh 3D Thơng tin ảnh RGB-D lưu trữ Với kích cỡ 1280x960 pixel, tốc độ 12 khung hình/giây Với kích cỡ 640x480 pixel, tốc độ chụp 30 khung hình/giây Từ cho thấy,khi thiết lập độ phân giải thấp tốc độ chụp truyền hình ảnh cao Với liệu sâu thu được, tạo đồ xương người đứng trước cảm biến Và với xương đó, xác định cử chỉ,hành động người sử dụng động cơ, máy đo gia tốc, micro - Động : nằm đế cảm biến Kinect Nó có khả làm cho cảm biến hướng đầu lên cao hạ xuống thấp Với khả giúp cho cảm biến thu hình ảnh cao nhiều so với khơng có động - Máy đo gia tốc : Kinect sử dụng để xác định người đứng trước, đứng sau đo - Micro : bao gồm micro nhỏ, hoạt động 16 bit với tốc độ lấy mẫu 16kHz (số mẫu/giây) Sử dụng chip PrimeSensor Microsoft sản xuất Phần mềm hỗ trợ : + OpenNI : sử dụng phổ biến + OpenKinect : hãng Microsoft sản xuất + Microsoft Kinect dành cho hệ điều hành Windows LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com III Cảm biến đo chiều sâu (depth sensor) Video2 : 2_depth sensor work Vùng hoạt động hệ thống 43 độ dọc, 57 độ theo chiều ngang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cơ chế hoạt động : Ban đầu,máy phát tia hồng ngoại phát tia hồng ngoại vùng hoạt động nó, tạo cấu trúc điểm sáng vật thể, thơng qua phản chiếu hình ảnh, camera hồng ngoại thu thập cấu trúc này, cho kết hình ảnh vật thể với chiều sâu khác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com IV Cảm biến hình ảnh (RGB-D) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Bao gồm việc chụp xử lý ảnh + Chụp ảnh : bao gồm việc chụp ảnh RGB quét 3D Camera chụp cho ảnh RGB có kích cỡ mặc định 640x480 pixel,tốc độ chụp 30fps Nhưng camera màu chụp với định dạng cao 1280x960 pixel,tốc độ chụp 12fps Khi chụp, kết hợp với camera đo độ sâu để tạo ảnh có độ sâu (3D) Đo độ sâu thực cách sử dụng kỹ thuật ánh sáng có cấu trúc Ánh sáng có cấu trúc thực cách chiếu mơ hình điểm ảnh lên vùng hoạt động, điểm ảnh gặp bề mặt khác vật thể cho phép hệ thống quan sát tính toán độ sâu đối tượng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Con đường tạo ảnh 3D: Thứ : Phác thảo đồ  định hướng bề mặt Thứ hai : camera theo dõi Camera tính tốn tổng qt (vị trí hướng đối tượng)  kết hợp kiểm tra hướng kiểm tra đỉnh Tính tốn liên tục, xếp lặp lặp lại ảnh tốt Thứ ba : hội nhập Kết hợp liệu sâu từ cảm biến biết đưa biểu diễn diện tích không gian xung quanh máy ảnh Một cảm biến chuyển động quan sát bề mặt từ điểm khác nhau, nhiều khoảng trống hay lỗ, nơi liệu độ sâu khơng có hình ảnh Kinect ban đầu lấp đầy (ví dụ bạn di chuyển cảm biến xung quanh đối tượng để điền vào điểm trước chưa xác định phía sau đối tượng ) bề mặt liên tục cải tiến với liệu độ phân giải cao Thứ tư : dựng hình 3D Khối lượng tái tạo dò tia (Raycast) từ cảm biến, điều cho kết đám mây điểm tơ bóng hơn, kết hợp lại thành hình ảnh chiều LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ghi chú: Dò tia kỹ thuật tạo hình ảnh cách dị đường ánh sáng thông qua điểm ảnh kính ảnh Kỹ thuật có khả đạt tới mức độ cao ảnh thật thường thật phương pháp kết xuất dạng qt dịng thơng thường (Theo http://vi.wikipedia.org) + Xử lý ảnh : hình ảnh RGB liệu độ sâu có số vấn đề nhiễu lỗ (do độ phân giải máy ảnh nên tạo điểm ảnh chưa xử lý) Có nhiều giải pháp để xử lý chúng Tôi đưa giải phát đơn giản mà hiệu Đó lấy giá trị trung bình điểm ảnh xung quanh lỗ V.Một vài ứng dụng quan trọng Tương tác : suy luận vị trí thể q trình giai đoạn + tính tốn đồ độ sâu (sử dụng ánh sáng có cấu trúc) + sau suy vị trí thể (sử dụng học máy) Học máy (learning machine) : Học máy, có tài liệu gọi Máy học lĩnh vực trí tuệ nhân tạo liên quan đến việc phát triển kĩ thuật cho phép máy tính "học" Cụ thể hơn, học máy phương pháp để tạo chương trình máy tính việc phân tích tập liệu Học máy có liên quan lớn đến thống kê, hai lĩnh vực nghiên cứu việc phân tích liệu, khác với thống kê, học máy tập trung vào phức tạp giải thuật việc thực thi tính tốn Nhiều toán suy luận xếp vào loại LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com tốn NP-khó, phần học máy nghiên cứu phát triển giải thuật suy luận xấp xỉ mà xử lí Học máy có tính ứng dụng cao bao gồm máy truy tìm liệu, chẩn đốn y khoa, phát thẻ tín dụng giả, phân tích thị trường chứng khốn, phân loại chuỗi DNA, nhận dạng tiếng nóivà chữ viết, dịch tự động, chơi trị chơi cử động rơ-bốt (robot locomotion) (Theo http://vi.wikipedia.org) Giai đoạn 1: trình bày chế hoạt động Máy chiếu chiếu điểm ảnh lên vật thể để đo độ sâu Giai đoạn 2: phận thể tính tốn độ sâu,chiều cao so sánh với mẫu người tương ứng nhớ, cho mẫu thể ảo xác với thể thật Các mẫu tổng hợp từ triệu mẫu lưu trước Các thuật tốn chuyển đổi trung bình sử dụng để tính tốn mạnh mẽ phương thức phân bố xác suất điểm thể, nhằm mục đích tìm thấy khu vực dày đặc Mơ tả trực quan LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Sau có đồ bắt điểm thể người, ứng dụng phong phú Có thể nhập vai vào nhân vật game để chơi game, hướng dẫn tập thể dục tăng sức khỏe,… có Xbox 360 Ứng dụng tạo đồ 3D Sử dụng hệ thống Kinect Fusion để tạo đồ 3d Nó sử dụng camera để ghi lại hình ảnh liệu chiều sâu,dữ liệu lưu trữ, tạo đồ 3d Ứng dụng hữu ích bạn cần ghi lại đồ nhà bạn.nó sinh động Video: depth camera_1, depth camera_2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ứng dụng vào robot nghiên cứu khoa học Kinect ghép với máy tính cộng với việc viết code cho nó, có nhiều ứng dụng xác định vật cản di chuyển, xác định màu sắc, khoảng cách với vật thể … Nó có nhiều ứng dụng quan trọng nghiên cứu khoa học Khi kết nối với Xbox 360, bắt wifi, kết nối liệu thông qua cổng usb Xbox Việc kết nối bạn bè trở nên dễ dàng Tài liệu tham khảo http://msdn.microsoft.com/en-us/library/dn188670.aspx http://blogs.howstuffworks.com/2010/11/05/how-microsoft-kinect-works-anamazing-use-of-infrared-light/ http://www.aurelien.plyer.fr/the-kinect/how-the-kinect-work/ http://www.youtube.com/ http://www.wikipedia.org/ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... vi độ sâu: + Phạm vi mặc định có sẵn hai cảm biến Kinect cho Windows cảm biến Kinect cho Xbox 360 + Phạm vi gần có cảm biến Kinect cho Windows Để cảm biến hoạt động tốt nên sử dụng khoảng cách... Mục lục : I Giới thiệu cảm biến Kinect II Cấu tạo Hệ thống cảm biến chiều sâu Camera RGB-D Động cơ, máy đo gia tốc, micro III Cảm biến đo chiều sâu (depth sensor) IV Cảm biến hình ảnh RGB-D V... xương người đứng trước cảm biến Và với xương đó, xác định cử chỉ,hành động người sử dụng động cơ, máy đo gia tốc, micro - Động : nằm đế cảm biến Kinect Nó có khả làm cho cảm biến hướng đầu lên cao