Nhận dạng cử chỉ của bàn tay để điều khiển robot báo cáo nghiên cứu khoa học sinh viên

MỤC LỤC PHẦN MỞ ĐẦU 1 Tính cấp thiết đề tài Ý nghĩa khoa học thực tiễn [1] .1 Lịch sử nghiên cứu 3.1 Trên giới [3] 3.2 Trong nƣớc Mục tiêu nghiên cứu Đối tƣợng phạm vi nghiên cứu .4 Sơ lƣợc nội dung luận văn .4 Giới hạn đề tài .4 CHƢƠNG GIỚI THIỆU TỔNG QUAN 1.1 Giới thiệu thiết bị Camera Kinect 1.2 Các giai đoạn xử lý ảnh .11 1.3 Giới thiệu SVM (Support Vector Machine) 12 1.4 Các công thức liên quan 13 1.5 Giới thiệu mô-men bất biến 17 1.6 Giới thiệu phép toán hình thái học 17 1.7 Kết luận 18 CHƢƠNG NỘI DUNG NGHIÊN CỨU 19 2.1 Phát da thông qua màu sắc [2] 19 2.2 Thuật toán SVM 20 2.2.1 Huấn luyện SVM 21 2.2.2 Các ƣu SVM phân lớp bàn tay [5] 22 2.3 Phát da 22 2.4 Mục tiêu ứng dụng hình thái học 24 2.5 Các phép tốn hình thái học [7] 25 2.6 Các thao tác với hình thái học nhị phân [9] 26 2.6.1 Phép Dilation (dãn nhị phân) [8] 27 2.6.2 Phép Erosion (bào mòn ảnh) [8] 29 2.6.3 Phép Opening Closing (đóng mở ảnh) [8] 31 2.6.4 Thuật toán tách thành phần liên thông 32 2.6.5 Mô men bất biến [6] .34 2.7 Kết luận 39 CHƢƠNG KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ 41 3.1 Quá trình thử nghiệm 41 3.2 Kết thử nghiệm 41 3.3 Đánh giá 44 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 45 PHỤ LỤC 46 TÀI LIỆU THAM KHẢO 46 DANH MỤC CÁC HÌNH VẼ Hình 1.1 : Camera Kinect hàng Microsoft Hình 1.2: Nhận diện hành động game thủ điều khiển nhân vật game Hình 1.3: Những thành phần Kinect Hình 1.4: Chiếc xe có khả giúp nhận biết hàng bạn mua Hình 1.5: Chiếc xe thử nghiệm hệ thống siêu thị Whole Foods 10 Hình 1.6: Điều khiển máy tính Kinect 11 Hình 1.7: Điều khiển máy tính cử 11 Hình 1.8: Các giai đoạn xử lý ảnh .12 Hình 1.9: Quan hệ láng giềng 14 Hình 1.10: Quan hệ lân cận 14 Hình 1.11: Khoảng cách City-Block 15 Hình 1.12: Khoảng cách ChessBoard 15 Hình 2.1: Phần tử cấu trúc chuyển đổi thành mảng vng 24 Hình 2.2: Kết xử lý phần tử cấu trúc 25 Hình 2.3: Phép phản xạ tịnh tiến B 26 Hình 2.4: Phép Dilation 27 Hình 2.5: Ví dụ phép Dilation (dãn nhị phân) 28 Hình 2.6: Bàn tay xòe sử dụng Dilation 28 Hình 2.7: Các bàn tay sau phân ngưỡng bị nhiễu .29 Hình 2.8: Các bàn tay sau sử dụng Erosion 30 Hình 2.9: Phép Opening 31 Hình 2.10: Phép Closing 32 Hình 2.11: Bàn tay xịe sử dụng Opening Closing 32 Hình 2.12: Tách thành phần liên thơng .33 Hình 2.13: Bằng cách sử dụng thành phần liên thông để phát đối tượng khác thực phẩm đóng gói .34 Hình 2.14: Các biến đổi hình dáng đối tượng 35 Hình 2.15: Ví dụ mô men bất biến .36 Hình 2.16: Quá trình truyền tín hiệu xuống Robot 38 Hình 2.17: Lưu đồ xử lý ảnh 39 Hình 3.1: Robot nhận tín hiệu mở kết nối 41 Hình 3.2: Robot nhận tín hiệu qua phải 41 Hình 3.3: Robot nhận tín hiệu tiến .42 Hình 3.4: Robot nhận tín hiệu lùi 42 Hình 3.5: Robot nhận tín hiệu qua trái 42 Hình 3.6: Robot nhận tín hiệu tắt kết nối 43 DANH MỤC BẢNG BIỂU Bảng 2.1: Bảng đánh giá thuật toán SVM 22 Bảng 2.2: Giá trị mô men bất biến 37 Bảng 3.1: Kết độ xác chương trình sau kiểm nghiệm 43 -1- PHẦN MỞ ĐẦU Tính cấp thiết đề tài Trong năm gần đây, ứng dụng trí tuệ nhân tạo ngày phát triển đánh giá cao Một lĩnh vực quan tâm trí tuệ nhân tạo nhằm tạo ứng dụng thơng minh, mang tính tri thức người nhận dạng Với phát triển mạnh mẽ công nghệ nhu cầu người ngày cao Một toán đặt là: Làm điều khiển máy tính, thiết bị giải trí, robot…bằng cử chỉ, hành động lời nói người ? Nhận dạng hình ảnh âm giải pháp để giải toán này, phần nhỏ lĩnh vực nhận dạng cử bàn tay Lý chủ quan chọn đề tài: Những năm gần robot mạnh Trường Đại Học Lạc Hồng Và em muốn làm cho Đại Học Lạc Hồng trở nên mạnh công nghệ chế tạo robot thông minh Để lại q báu cho sinh viên khóa sau trường phát triển tốt công nghệ cao ngành khác liên quan Ý nghĩa khoa học thực tiễn [1] Đưa lý thuyết với nội dung tìm hiểu, phân tích phương pháp phát da người, phép tốn hình thái xử lý ảnh nhận dạng cử bàn tay người Nhằm mục đích góp phần vào lĩnh vực ứng dụng nhận dạng, cụ thể ứng dụng vào việc điều khiển di chuyển robot… Ứng với cử bàn tay robot xử lý tiến, lùi, qua phải hay qua trái Lịch sử nghiên cứu 3.1 Trên giới [3] a) Phân vùng bàn tay: Bàn tay bắt buộc phải có hình ảnh Màu sắc tín hiệu dễ dàng nhận biết để tính tốn, thuộc tính không thay đổi liên quan đến bàn tay kết cấu hình dáng nét đặc trưng màu da Hình 1: Nơi làm việc tương tác ứng dụng -2- Hình 2: Giao diện ứng dụng màu da học hình vng Hình 3: Cơng thức tính màu da Ngồi ra, từ đường viền bàn tay bao lồi tay tính tốn chuỗi đường viền hai đỉnh lồi liên tiếp Trình tự gọi góc lồi Từ độ sâu này, số đặc điểm hình dạng bàn tay nhận chiều sâu trung bình Hình 4: Hình ảnh nhận dạng bao lồi bàn tay Hình 5: Cơng thức tính chiều sâu bàn tay b) Nhận dạng cử chỉ: Cử gồm cử theo hướng để thực yêu cầu ứng dụng Những cử định nghĩa với thứ tự Start, Move, Stop, No-Hand -3Bước nhận dạng xử lí cử mơ hình cử Start Chiều dài trung bình góc lồi bàn tay mở với ngón tay tách rời rộng ngón tay khơng tách rời Đặc điểm khác cử từ Stop sang Start, từ Start sang Move; từ không bàn tay sang Start 3.2 Trong nƣớc Hiện nước có số chương trình “Nhận dạng cử bàn tay” đa phần độ xác chương trình chưa cao Một số công cụ hỗ trợ cho nhận dạng bàn tay webcame, camera thường… chưa hỗ trợ nhiều chức thường khó thao tác Mục tiêu nghiên cứu - Nhận dạng cử bàn tay người để xây dựng chương trình điều khiển robot cử sau: - No Hand: Không có bàn tay hình ảnh (robot khơng di chuyển) - Start: Là bàn tay xòe (robot bắt đầu) - Move: Là bàn tay khép (robot chuẩn bị di chuyển) - Stop: Là bàn tay nắm (robot dừng lại) - Front: Là bàn tay tiến gần Camera Kinect (robot tiến phía trước) - Left: Là bàn tay nghiêng sang trái (robot di chuyển qua trái) - Right: Là bàn tay nghiêng phải (robot di chuyển qua phải) - Back: Là bàn tay lùi xa Camera Kinect (robot lùi phía sau) Hình 6: Mơ hình điều khiển trình bàn tay chuyển đổi hợp lệ -4- Kết nối Kinect - Lập trình với Kinect để lấy hình ảnh cần lấy - Phân ngưỡng ảnh, xóa nhiễu với Opening Closing - Dùng phân lớp SVM để xác định bàn tay khép, xòe, nắm - Dùng mô men bất biến để xác định cử bàn tay (khép trái, khép phải) - Kết nối Robocon - Viết báo cáo tổng kết đề tài Đối tƣợng phạm vi nghiên cứu a) Đối tƣợng nghiên cứu: - Các lý thuyết ảnh số - Hình thái học b) Phạm vi nghiên cứu: - Về lý thuyết: Dựa sở lý thuyết để tìm hiểu sử dụng phương pháp, thuật tốn phù hợp để xử lý - Về ứng dụng: Xây dựng ứng dụng phần mềm máy tính “Nhận dạng cử bàn tay để điều khiển robot” - Điều kiện thực hiện: Nhận dạng để phát bàn tay ảnh, ảnh lấy mơi trường bình thường (khơng tối q sáng q) - Đối tượng nghiên cứu: Robot người LHU Sơ lƣợc nội dung luận văn Luận văn gồm chương: Chương 1: Giới thiệu tổng quan - Về thành phần cấu tạo thiết bị cảm biến kinect, thư viện hỗ trợ - Giới thiệu ứng dụng hỗ trợ nhận bàn tay Chương 2: Nội dung nghiên cứu - Phát da thông qua màu sắc - Các thao tác với hình thái học nhị phân - Trích đặc điểm bàn tay - Kết nối robot Chương 3: Kết hướng phát triển -Kết nghiên cứu -Hướng phát triển tương lai Giới hạn đề tài Đề tài tập trung vào tìm hiểu phương pháp xử lý ảnh nhận dạng cử bàn tay -5Giới hạn luận văn: Vì thời gian có hạn nên Luận văn dừng lại việc tìm hiểu lý thuyết xử lý ảnh, nhận dạng demo nhận dạng cử bàn tay Trong phần trình bày lý thuyết, em khơng tập trung vào vấn đề chứng minh, tối ưu thuật tốn mà trình bày vấn đề, phương pháp thuật toán xử lý ảnh nhận dạng sử dụng chương trình demo -6- Chƣơng Giới thiệu tổng quan 1.1 Giới thiệu thiết bị Camera Kinect a) Sự đời phát triển Kinect (hay biết với mã Project Natal) thiết bị thu nhận cảm biến chuyển động, phát triển Microsoft Thời gian đầu, Kinect thiết bị chuyên dụng hệ máy Xbox 360, phục vụ cho việc chơi game (Hình 1.2) Hình 1.1 : Camera Kinect hàng Microsoft Các mốc thời gian đời, phát triển kinect thành phần liên quan:  5/30/2007: Microsoft nung nấu ý tưởng thiết bị dùng camera ghi nhận cử động điều khiển thay cho thiết bị truyền thống  6/1/2009: Microsoft công bố “Project Natal” hội nghị thường niên E3  6/13/2010: Trong suốt hội nghị E3, đổi tên “Project Natal” thành Kinect, thức thiết bị hỗ trợ cho Xbox 360  11/4/2010: Microsoft thức tung thị trường Kinect; từ đây, kế hoạch phát triển driver nguồn mở cho Kinect tổ chức/hacker bắt đầu thực  11/10/2010: hacker trẻ tuổi Hector phát triển thành công driver cho Kinect  2/21/2011: Microsoft lên kế hoạch cho việc phát triển SDK hỗ trợ cho Kinect Kinect sử dụng webcam, thiết bị thu phát sóng hồng ngoại, thiết bị thu nhận âm để ghi nhận tín hiệu chuyển động game thủ nhận dạng lệnh điều khiển thơng qua giọng nói, giúp cho game thủ tương tác với Xbox 360 mà không cần chạm vào thiết bị điều khiển Trong đó, game thủ thao tác thật -7- Hình 1.2: Nhận diện hành động game thủ điều khiển nhân vật game Kinect, hỗ trợ chức tương tác sau:  Ghi nhận chuyển động tay (hand gesture), bao gồm hành động xoay vòng (circle), di chuyển tay (wave gesture), push,  Ghi nhận chuyển động toàn thể (full body skeleton), xác định vị trí thể đầu, vai, cẳng tay, chân,…  Điều khiển giọng nói  Nhận dạng số người chơi b) Nh ng thành phần Kinect Hình 1.3: Những thành phần Kinect Các thành phần bên Kinect gồm có: nhớ RAM, cảm ứng Prime Sense PS1080-A2, quạt tản nhiệt, động điều khiển góc ngẩng (Motorized Tilt), gia tốc trục, microphone (Multi – Array Mic) camera: RGB camera, cảm biến độ sâu (3D Depth Sensors) Các thông số kỹ thuật: - Khoảng cách hiệu quả: 0.83.5m - RGB camera: độ phân giải 640 x 480, 30 frame/s, 32 bit màu ... điểm hình dạng bàn tay nhận chiều sâu trung bình Hình 4: Hình ảnh nhận dạng bao lồi bàn tay Hình 5: Cơng thức tính chiều sâu bàn tay b) Nhận dạng cử chỉ: Cử gồm cử theo hướng để thực yêu cầu... trợ cho nhận dạng bàn tay webcame, camera thường… chưa hỗ trợ nhiều chức thường khó thao tác Mục tiêu nghiên cứu - Nhận dạng cử bàn tay người để xây dựng chương trình điều khiển robot cử sau:... hình thái xử lý ảnh nhận dạng cử bàn tay người Nhằm mục đích góp phần vào lĩnh vực ứng dụng nhận dạng, cụ thể ứng dụng vào việc điều khiển di chuyển robot? ?? Ứng với cử bàn tay robot xử lý tiến,