Phát hiện cử chỉ bàn tay ứng dụng trong điều khiển thiết bị từ xa

MỤC LỤC LỜI CAM ĐOAN LỜI NÓI ĐẦU CHƯƠNG I : GIỚI THIỆU VẤN ĐỀ VÀ XÁC ĐỊNH NHIỆM VỤ Tổng quan đề tài Đặt vấn đề Xác định nhiệm vụ định hướng nghiên cứu CHƯƠNG II : PHÂN TÍCH HỆ THỐNG Mô tả hệ thống điều khiển máy tính theo cử bàn tay Bài toán đặt Bài toán phát bàn tay Bài toán theo dõi chuyển động bàn tay 10 Sơ đồ khối khối hệ thống 11 Các thành phần hệ thống 12 Module tiền xử lý 12 Module phát bàn tay 12 Module theo dõi chuyển động bàn tay 13 Module điều khiển thiết bị máy tính 14 CHƯƠNG III: CÁC KỸ THUẬT PHÁT HIỆN CỬ CHỈ BÀN TAY 15 Các kỹ thuật phát bàn tay 15 Phát bàn tay sử dụng đặc trưng Haar-like 15 Phát bàn tay sử dụng trích trọn đặc trưng PCA 18 Phát bàn tay cách sử dụng găng tay nhiều màu 19 Các kỹ thuật có theo dõi chuyển động 20 Theo dõi bàn tay sử dụng kỹ thuật phát luồng quang học chuyển động (Optical Flow) 20 Theo dõi bàn tay sử dụng lọc hạt (Particle Filter) 21 Các kỹ thuật phụ trợ 22 Kỹ thuật biến đổi ảnh thông thường dạng ảnh xám 22 Kỹ thuật cắt ảnh 22 Kỹ thuật trừ 23 Kỹ thuật phát phân tách màu da 24 Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT Một số kết tồn 26 Một số đề xuất kỹ thuật 28 Phát màu da kết hợp khoanh vùng chuyển động (trừ nền) 28 Kỹ thuật loại bỏ vùng khả chứa bàn tay 30 Kỹ thuật tìm điểm lồi lõm vùng bàn tay ước lượng vị trí khả nghi có chứa bàn tay 31 Ước lượng vùng chứa bàn tay ảnh màu da 32 CHƯƠNG IV: XÂY DỰNG ỨNG DỤNG 33 Môi trường, thiết bị công cụ sử dụng 33 Hệ thống phần cứng 33 Nền tảng phần mềm 33 Cài đặt chương trình 33 Khối thu nhận liệu từ camera 33 Khối xử lý hình ảnh 34 Khối nhận dạng bàn tay 36 Khối theo dõi chuyển động bàn tay 37 Khối cấp lệnh điều khiển 37 Thử nghiệm chương trình 38 Kiểm tra hoạt động module 38 Kiểm tra hoạt động toàn chương trình 39 Thử nghiệm chương trình với kịch thực tế 40 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 Kết luận 43 Hướng phát triển 43 TÀI LIỆU THAM KHẢO 44 Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT DANH MỤC BẢNG, HÌNH VẼ Hình 1: Điều khiển máy tính cử bàn tay Hình 2: Hệ thống điều khiển máy tính cử bàn tay Hình 3: Bài toán phát bàn tay Hình 4: Bài toán theo dõi chuyển động 10 Hình 5: Sơ đồ khối hệ thống 11 Hình 6: Module phát bàn tay 12 Hình 7: Module theo dõi chuyển động bàn tay 13 Hình : Module điều khiển thiết bị máy tính 14 Hình 9: Các đặc trưng Haar-like 15 Hình 10 : Quá trình phát đối tượng sử dụng đặc trưng haar-like 16 Hình 11 : Phát bàn tay sử dụng găng tay nhiều màu 19 Hình 12: Theo dõi bàn tay sử dụng thuật toán Optical Flow 20 Hình 13 : Theo dõi bàn tay sử dụng lọc hạt (Particle Filter) 21 Hình 14 : Mô tả tả thuật toán cắt ảnh 22 Hình 15 : Kỹ thuật trừ 24 Hình 16 :Phát bàn tay sử dụng phân tách màu da 24 Hình 17 : Màu da không gian YCrCb 25 Hình 18 : Ảnh màu da bị nhiễu yếu tố môi trường 28 Hình 19: Mô hình phát màu da kết hợp phát sai biệt 29 Hình 20: Tách màu da kết hợp phát chuyển động 29 Hình 21 : Khoanh vùng màu da chứa bàn tay 30 Hình 22: Thuật toán loại bỏ vùng khả chứa bàn tay 31 Hình 23: Phát vùng cực tiểu/cực đại địa phương 31 Hình 24: Ước đoán vị trí bàn tay 32 Hình 25 : Cài đặt khối nhận liệu từ camera EmguCV 34 Hình 26 : Ảnh xử lý 34 Hình 27: Cài đặt khối xử lý hình ảnh 35 Hình 28: Các ảnh mẫu bàn tay 36 Hình 29 : Phát bàn tay 36 Hình 30 : Theo dõi chuyển động bàn tay 37 Hình 31: Theo dõi chuyển động bàn tay 39 Hình 32 :Thử nghiệm chương trình với trình duyệt ảnh 39 Hình 33 :Kịch điều khiển slide thuyết trình 40 Hình 34: Kịch sử dụng máy tính nơi có ánh sáng mạnh 41 Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu hoàn toàn tự làm dưới sự hướng dẫn của cô giáo PGS.TS Nguyễn Thị Hoàng Lan Những kế t quả tìm hiểu nghiên cứu trình bày luận văn là hoàn toàn trung thực và chưa đươ ̣c công bố bấ t cứ công triǹ h nào Nếu xảy điều không lời cam đoan trên, xin chịu hoàn toàn trách nhiệm trước Viện Nhà trường Ngày tháng 10 năm 2015 Tác giả luận văn Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT LỜI NÓI ĐẦU Tương tác người-máy hay giao tiếp người-máy phân ngành công nghệ thông tin nghiên cứu tương tác người sử dụng máy tính Đây môn liên ngành khoa học máy tính lĩnh vực khác Lĩnh vực tương tác máy tính phát triển từ lâu có công trình nghiên cứu công phu, kết thể giao diện người dùng hệ điều hành Mac OSX, giao diện điều hành Windows 10 minh chứng rõ ràng Tuy nhiên, tương tác dựa thiết bị nhập xuất chuẩn chuột bàn phím Điều khiển máy tính theo cử lĩnh vực tương đối mới, nghiên cứu tương tác người-máy theo cách thú vị – điều khiển theo cử thể Microsoft thành công với thiết bị Kinect giới thiệu từ năm 2009, cho phép người dùng chơi game thông qua việc đứng trước thiết bị Kinect điều khiển cách cử động thể đầu, tay, chân… Điều tạo nên thành công bật Microsoft: 10 triệu thiết bị Kinect bán sau gần tháng Thiết bị Kinect giới thiệu vào năm 2012 Samsung số hãng sản xuất TV nghiên cứu cho đời hàng loạt thiết bị smartTV sử dụng điều khiển theo cử Măc dù chưa thật thành công mở hướng nghiên cứu làm thay đổi tư thói quen người dùng Tuy nhiên, tương tác người-máy theo cử ứng dụng thiết bị robot, smartTV, máy tính cá nhân lĩnh vực chưa thực hoàn thiện cần nhiều nghiên cứu khác để làm phong phú lĩnh vực Xuất phát từ điều này, định lựa chọn đề tài “Phát cử bàn tay ứng dụng điều khiển thiết bị từ xa” nhằm tham gia vào lĩnh vực Mong muốn nghiên cứu kỹ thuật tiên tiến, phát triển mở rộng sáng tạo kỹ thuật khác nhằm đóng góp phần làm cho lĩnh vực trở nên phong phú phát triển hiệu với ứng dụng thực tiễn Đề tài luận văn phần dự án RemoteHand công ty cổ phần công nghệ FUT Hanoi Kết nghiên cứu luận văn đóng góp quan trọng cho dự án Tôi xin chân thành cảm ơn cô Nguyễn Thị Hoàng Lan, … nhiệt tình hướng dẫn hỗ trợ thực đề tài Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT CHƯƠNG I : GIỚI THIỆU VẤN ĐỀ VÀ XÁC ĐỊNH NHIỆM VỤ Tổng quan đề tài Tương tác người dùng máy tính ngày trở nên đơn giản phức tạp Đơn giản với người dùng phức tạp máy tính Hiện người máy tính không tương tác với qua giao tiếp chuột bàn phím với hình Trên giới công ty, tổ chức công nghệ nghiên cứu đưa vào thực tế sử dụng phương pháp giao tiếp người với máy khác phím bấm cảm ứng, giao tiếp thoại, cử chỉ,… Điều khiển máy tính theo cử lĩnh vực tương đối mới, nghiên cứu tương tác người-máy theo cách thú vị – Theo cử thể Các công ty lớn giới thành công với thiết bị Kinect Microsoft, Xtion Asus, The Leap Leap Motion,… Tuy nhiên, tương tác người-máy theo cử ứng dụng thiết bị Tivi thông minh, robot thông minh, máy tính cá nhân lĩnh vực chưa thực hoàn thiện cần nhiều nghiên cứu khác để làm phong phú lĩnh vực [1] [2] Xuất phát từ đó, định lựa chọn đề tài “Phát cử bàn tay ứng dụng điều khiển thiết bị từ xa” Mong muốn nghiên cứu kỹ thuật tiên tiến lĩnh vực cảm quan máy tính – ứng dụng tương tác người-máy phát triển số kỹ thuật khác nhằm đóng góp phần làm cho lĩnh vực trở nên phong phú phát triển hiệu với ứng dụng thực tiễn Đặt vấn đề Việc điều khiển máy tính bàn phím tiện dụng để thao tác người dùng phải sử dụng bàn phím có kích thước tương đối lớn thừa thãi ứng dụng cần thao tác đơn giản thuyết trình, xem phim, nghe nhạc, giải trí Đôi ứng dụng cần tương tác trực quan việc bấm nút Ví dụ trường hợp đứng thuyết trình trước đám đông sử dụng máy chiếu thường Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT diễn giả phải đứng trung tâm sân khấu, việc điều khiển máy tính bàn phím chí việc sử dụng thiết bị cầm tay để điều khiển máy tính khó khăn thao tác sử dụng bàn phím diễn giả lại vô đơn giản thao tác để chuyển trang trình chiếu Hay trường hợp khác, sử dụng máy tính để xem phim hình lớn, thao tác điều khiển chương trình Play, Pause, Stop, Rewind, Forward Trong trường hợp việc cầm theo bàn phím 102 nút thừa thãi thao tác người dùng cần tương tác trực quan giống việc thao tác với hình cảm ứng khoảng cách xa Điều khiển máy tính theo cử vấn đề mới, từ năm 90 kỷ 20, phim khoa học viễn tưởng người tưởng tượng đến việc thao tác với máy tính mà không cần thiết bị bàn phím hay chuột mà đơn giản cử đơn giản vẩy tay, nháy mắt… Với phát triển công nghệ, ngày câu chuyện viễn tưởng trở nên hoàn toàn khả thi Máy tính nhận dạng theo dõi hầu hết đối tượng xuất khung hình camera Các thuật toán, thư viện thị giác máy tính tương đối hoàn thiện đảm bảo máy tính làm Xác định nhiệm vụ định hướng nghiên cứu - Nghiên cứu xây dựng giải pháp điều khiển máy tính cử bàn tay với số chức điều khiển - thao tác lên, xuống, sang trái, sang phải - Tìm hiểu chế phát nhận dạng đối tượng máy tính - Tìm hiểu mô hình hệ thống phát hiện, theo dõi đối tượng, thuật toán thư viện hỗ trợ - Phân tích xây dựng hệ thống điều khiển máy tính theo cử bàn tay - Thử nghiệm kỹ thuật phát cử bàn tay - Cài đặt chương trình điều khiển máy tính trực tiếp với cử Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT CHƯƠNG II : PHÂN TÍCH HỆ THỐNG Mô tả hệ thống điều khiển máy tính theo cử bàn tay Hình 1: Điều khiển máy tính cử bàn tay Điều khiển máy tính theo cử bàn tay cách tương tác với máy tính mà người dùng thực hành vi điều khiển máy tính cách sử dụng cử bàn tay từ xa để lệnh cho máy tính Máy tính theo dõi hành vi người điều khiển thông qua hình ảnh từ camera, phát theo dõi hành vi cử điều khiển để đưa hành động tương ứng Hệ thống điều khiển máy tính theo cử bàn tay hệ thống xử lý thu nhận hình ảnh từ camera qua máy tính xử lý đưa tác vụ tương ứng Hệ thống điều khiển máy tính theo cử bàn tay Đầu vào Đầu Hình 2: Hệ thống điều khiển máy tính cử bàn tay Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT Bài toán đặt Đề tài nghiên cứu kết hợp toán:  Bài toán 1: Phát bàn tay  Bài toán 2: Theo dõi chuyển động bàn tay Bài toán phát bàn tay Hình ảnh không chứa bàn tay Tọa độ tâm Kích thước Trạng thái bàn tay Hình ảnh chứa bàn tay Hình 3: Bài toán phát bàn tay  Đầu vào: Chuỗi khung hình (frame) thu nhận từ thiết bị ghi Camera, Webcam Video  Đầu ra: Xác định khung hình thu từ thiết bị ghi hình có xuất bàn tay hay không?  Nếu có:  Kích thước bàn tay bao nhiêu?  Vị trí hình chữ nhật chứa bàn tay  Trạng thái bàn tay (nắm/xoè/…) Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT Bài toán theo dõi chuyển động bàn tay Vết chuyển động Chuỗi hình ảnh từ camera Hình 4: Bài toán theo dõi chuyển động  Đầu vào: Chuỗi khung hình (frame) thu nhận từ thiết bị ghi Camera, Webcam Video  Đầu ra: Chuỗi hình chữ nhật bao quanh bàn tay xác định từ chuỗi hình ảnh đầu vào  Mỗi hình chữ nhật xác định thông số:  Kích thước hình chữ nhật  Toạ độ tâm Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 10 Kỹ thuật loại bỏ vùng khả chứa bàn tay Sau trình phân tách màu da kết hợp với phát chuyển động Ta thu ảnh chứa số vùng chứa bàn tay, sau: Hình 21 : Khoanh vùng màu da chứa bàn tay Sử dụng thuật toán loang để xác định diện tích vùng liên thông độc lập Từ ước đoán vùng có khả bàn tay dựa vào diện tích vùng Ngưỡng thường chọn thường tuỳ thuộc vào kinh nghiệm thực nghiệm Ví dụ: Nếu vùng có diện tích lớn 5% so với diện tích toàn khung hình nhỏ 25% diện tích khung ta giữ lại, lại vùng khác ta loại bỏ… Nếu lựa chọn ngưỡng = 5% max = 25% ví dụ nói trên, ta thấy vùng màu vàng (nhỏ) bị loại bỏ, vùng màu xanh (vùng lớn) giữ lại đưa vào bước xử lý Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 30 Hình 22: Thuật toán loại bỏ vùng khả chứa bàn tay Kỹ thuật tìm điểm lồi lõm vùng bàn tay ước lượng vị trí khả nghi có chứa bàn tay  Tìm vùng lồi lõm Tư tưởng chính: Bản chất kỹ thuật tìm vùng cực tiểu/cực đại địa phương biên ảnh màu da bàn tay Vì vậy, bước thuật toán là: ▪ Phát biên vùng ảnh màu da bàn tay ▪ Sử dụng thuật toán Graham để xác định bao lồi bao quanh bàn tay, từ tìm vùng cực đại địa phương – vùng lồi ▪ Sử dụng giải thuật tìm vùng cực tiểu địa phương biên ảnh vừa xác định – vùng lõm Hình 23: Phát vùng cực tiểu/cực đại địa phương Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 31 Dựa vào đặc trưng vùng bàn tay, ta nhận thấy có điểm lồi (là đỉnh đa giác bao bọc lấy vùng bàn tay) – có đỉnh đầu ngón tay Và có điểm lõm xuống – đáy khe nằm ngón tay Ước lượng vùng chứa bàn tay ảnh màu da Hình 24: Ước đoán vị trí bàn tay Với ảnh màu da bàn tay phân tách lọc nhiễu Ta xác định vùng lồi lõm (chúng em gọi vùng cực đại cực tiểu địa phương) Tư tưởng thuật toán: Tư tưởng thuật toán dựa việc phân tách bàn tay khỏi cánh tay Ta thấy có điểm lõm song song với mắt cá tay (khi giơ cánh tay lên) - Xác định vị trí tìm kiếm điểm lõm điểm lõm vùng mắt cá tay Đặt cửa sổ tìm kiếm với đỉnh cửa sổ điểm có toạ độ y = width vùng chứa bàn tay ▪ Đáy điểm có toạ độ = 1.7*width vùng chứa bàn tay ▪ Cắt ảnh vùng chứa bàn tay hình chữ nhật với: - Đỉnh toạ độ y = - Đáy toạ độ điểm lõm tìm thấy khoảng khả nghi có mắt cá tay - Bên trái toạ độ x = - Bên phải toạ độ x = width vùng bàn tay Với tư tưởng đưa ra, xác định vùng có khả chứa bàn tay.Từ kết thúc trình tiền xử lý, tiến hành trình nhận dạng đối tượng Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 32 CHƯƠNG IV: XÂY DỰNG ỨNG DỤNG Môi trường, thiết bị công cụ sử dụng Hệ thống phần cứng Phần cứng sử dụng máy tính có khả kết nối với thiết bị camera hình Máy tính sử dụng phải có khả xử lý hình ảnh tối thiểu 24fps với ảnh định dạng RGB có kích thước VGA(640x480) Cấu hình máy tính sử dụng để nghiên cứu CPU : Intel Corei5-3317U – 2.66 GHz Bộ nhớ RAM : 4GB Camera sử dụng phải có khả kết nối với máy tính, cung cấp hình ảnh tối thiểu VGA 24fps Nền tảng phần mềm Hệ điều hành Để sử dụng thiết bị ngoại vi hình camera máy tính cần cài đặt hệ điều hành phát triển hoàn chỉnh với thư viện hệ thống cho phép truy cập vào thiết bị camera gửi thông tin dạng hình ảnh hình Hiện có họ hệ điều hành Windows, Mac Linux phát triển đến giai đoạn này, MS Windows phổ biến Vì lựa chọn tảng hệ điều hành MS Windows (phiên 10 64bit) Thư viện xử lý ảnh công cụ sử dụng lập trình Thư viện thị giác máy tính nguồn mở OpenCV EmguCV (OpenCV on Net) thư viện hỗ trợ hầu hết công cụ cần thiết để giải toán xử lý ảnh từ đơn giản đến phức tạp Công cụ lập trình tốt hệ điều hành Windows Visual Studio Ngôn ngữ lập trình sử dụng C# Cài đặt chương trình Trong chương trình khối tiền xử lý chia thành khối làm nhiệm vụ riêng biệt thực chức chung khối tiền xử lý Khối thu nhận liệu từ camera Đầu vào thông tin thiết bị ngoại vi camera Đầu hình ảnh lấy từ thiết bị camera Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 33 Khối làm nhiệm vụ khởi tạo hoạt động camera, điều chỉnh chế độ hoạt động, thu liệu hình ảnh truyền đến khối xử lý hình ảnh Hình 25 : Cài đặt khối nhận liệu từ camera EmguCV Khối xử lý hình ảnh Hình ảnh ban đầu từ camera có nhiễu kích thước lớn, đem trực tiếp vào xử lý hệ thống chạy chậm Để đảm bảo khả xử lý nhận dạng hình ảnh đưa vào khối nhận dạng bàn tay phải có kích thước hợp lý, độ nhiễu kiểu liệu thích hợp với khối nhận dạng Sử dụng hàm xử lý ảnh có sẵn thư viện OpenCV thay đổi kích thước (resize), biến đổi dạng ảnh đen trắng, ảnh xám, ảnh tách màu da,… Tùy theo tốc độ xử lý hình ảnh chương trình mà khối lựa chọn dạng ảnh nêu làm ảnh đầu Ảnh thu từ camera Ảnh thu nhỏ kích thước Ảnh đen trắng Ảnh xám Ảnh tách màu da Hình 26 : Ảnh xử lý Ảnh thu từ camera ảnh RGB có kích thước cỡ VGA (640x480) sử dụng 24bit màu chia làm kênh tương ứng mức độ màu R,G,B Ảnh thu nhỏ kích thước ảnh RGB có kích thước nhỏ (320x240) sử dụng 24bit màu Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 34 Ảnh xám ảnh sử dụng bit màu tương ứng 255 mức xám có công thức biến đổi từ ảnh RGB Gray = 0.299 × R + 0.587 × G + 0.114 × B Ảnh đen trắng ma trận bit biến đổi từ ảnh đa mức xám với ngưỡng phân biệt 128 Ảnh tách màu da ma trận bit 0,1 biến đổi từ RGB qua YUV sử dụng ngưỡng phân biệt màu da để phân tách dạng giống ảnh đen trắng Biến đổi RGB sang YUV có công thức Y = 0.299R + 0.587G + 0.114B U = − 0.147R − 0.289G + 0.436B V = 0.615R − 0.515G − 0.100B Ngưỡng tách màu da [12] Y  35   133  C R  173  77  C  127 B  Ảnh RGB chứa thông tin đầy đủ nặng khó xử lý, ảnh đen trắng ảnh tách màu da chứa thông tin nhẹ dễ xử lý, ảnh xám mức trung bình Việc chọn lựa chọn ảnh đưa vào xử lý việc cân yếu tố nhanh xác, để cần cần nhiều thử nghiệm trước đưa lựa chọn tối ưu Hình 27: Cài đặt khối xử lý hình ảnh Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 35 Khối nhận dạng bàn tay Khối sử dụng thuật toán tìm kiếm đối tượng sở liệu bàn tay để tìm kiếm vị trí bàn tay khung hình Đầu vào khối ảnh từ khối xử lý hình ảnh Đầu kích thước vị trí trung tâm bàn tay Để chương trình nhận bàn tay cần tập hợp mẫu bàn tay với đầy đủ hình dạng tư thông dụng [13] Hình 28: Các ảnh mẫu bàn tay Từ mẫu bàn tay ta sử dụng phương pháp trích trọn đặc trưng PCA huấn luyện đặc trưng Haar-like để tạo sở liệu nhận dạng Hình 29 : Phát bàn tay Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 36 Khối theo dõi chuyển động bàn tay Khối ghi lại vị trí, kích thước tương ứng bàn tay từ vị trí, kích thước ban đầu tay Dữ liệu đầu vào vị trí, kích thước ban đầu bàn tay Dữ liệu đầu vị trí, kích thước bàn tay thời điểm sau X=279 X=313 X=399 X=426 Y= 340 Y= 328 Y= 344 Y= 343 H = 165 H = 195 H = 186 H = 200 W = 106 W = 122 W = 129 W = 126 Hình 30 : Theo dõi chuyển động bàn tay Khối cấp lệnh điều khiển Với đầu vào chuỗi giá trị tọa độ kích thước bàn tay Dựa theo quy luật thay đổi giá trị tọa độ kích thước đưa lệnh điều khiển tương ứng Qua tham khảo số tài liệu [1] [2] [4] đưa định nghĩa cử sau : Tên hành động Vuốt tay sang trái Vuốt tay sang phải Vuốt tay lên Vuốt tay xuống Thông số biến đổi Giá trị tọa độ X biến đổi giảm dần Y,H,W biến đổi Giá trị tọa độ X biến đổi tăng dần Y,H,W biến đổi Giá trị tọa độ Y biến đổi giảm dần X,H,W biến đổi Giá trị tọa độ Y biến đổi tăng dần X,H,W biến đổi Bảng : Các định nghĩa cử Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 37 Lệnh tương ứng Gửi mã bàn phím E06B () lên hệ thống Gửi mã bàn phím E074 () lên hệ thống Gửi mã bàn phím E075 () lên hệ thống Gửi mã bàn phím E075 () lên hệ thống Thử nghiệm chương trình Kiểm tra hoạt động module Khối thu nhận liệu từ camera Tốc độ xử lý hiển thị hình ảnh từ camera 18 – 22fps Kích thước ảnh thu từ camera VGA (640x480) Hình ảnh không bị giật, tương đối sắc nét Khối xử lý hình ảnh Với đầu ảnh xám : Tốc độ xử lý hiển thị 14 – 18 fps Kích thước ảnh hiển thị từ camera QVGA (320x240) Hình ảnh không bị giật, tương đối rõ nét Với đầu ảnh đen trắng : Tốc độ xử lý hiển thị 14 – 16 fps Kích thước ảnh hiển thị từ camera QVGA (320x240) Hình ảnh không bị giật bị nhiều chi tiết quan trọng đường biên khuôn mặt, bàn tay Ngưỡng đen trắng bị ảnh hưởng nhiều ánh sáng góc nhìn camera Khá khó khăn sử dụng ảnh đen trắng để tìm kiếm vị trí bàn tay Với đầu ảnh tách màu da, chương trình xử lý ảnh nhanh 16-19fps Kích thước ảnh hiển thị từ camera QVGA (320x240) hình ảnh giữ chi tiết quan trọng vùng bàn tay, nhiên hình ảnh có nhiều nhiễu gây số trở ngại cho thuật toán tìm kiếm Khối phát bàn tay Chương trình lấy đầu vào 200 ảnh màu, kích thước 640x480 có 145 ảnh có bàn tay, 55 ảnh bàn tay Thử nghiệm chương trình phát bàn tay khoanh vùng hình chữ nhật vào vị trí bàn tay hình Kết kiểm tra Ảnh biến đổi qua khối xử lý Xám Ảnh tách màu da Haar-like PCA 98%(4 ảnh sai, ảnh không phát bàn tay, ảnh phát sai bàn tay) 80% (40 ảnh sai, 27 ảnh không phát bàn tay, 13 ảnh khoanh vùng bàn tay sai vị trí) 70% (60 ảnh sai, số ảnh cho vùng bàn tay sai) Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 38 62% (76 ảnh sai, phát khoang vùng không vị trí bàn tay Khối theo dõi chuyển động bàn tay Hình 31: Theo dõi chuyển động bàn tay Dùng Optical Flow : Bàn tay bị dấu di chuyển nhanh Dùng Particle Filter : bàn tay bị dấu thay đổi trạng thái ( lật lòng mu bàn tay) Kiểm tra hoạt động toàn chương trình Thử nghiệm chương trình với trình duyệt ảnh Windows Hình 32 :Thử nghiệm chương trình với trình duyệt ảnh Trong điều kiện thí nghiệm phòng ánh sáng đèn huỳnh quang, khoảng cách từ tay đến camera khoảng 40-50cm, sử dụng máy tính dùng để nghiên cứu cài đặt hệ điều hành Windows 10 x64, cấu hình CPU CoreI5-3317U, RAM 4GB chương trình hoạt động tốt với cử điều khiển chậm (mỗi cử 2s) Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 39 Thử nghiệm chương trình với kịch thực tế Kịch điều khiển slide thuyết trình Mô tả : Diễn giả đứng phòng họp có máy chiếu sử dụng máy tính cá nhân đặt bàn, diễn giả đứng cách camera máy tính khoảng 50 cm – 1m Điều kiện ánh sáng : Trong phòng, ánh sáng văn phòng bình thường, ổn định Nền : Tĩnh, đôi tượng chuyển động, thường đơn giản màu sắc Hình 33 :Kịch điều khiển slide thuyết trình Nhận xét : Chương trình hoạt động tương đối tốt, cử điều khiển chậm tương đối mượt Chương trình chạy ổn định với tốc độ xử lý nhanh 13-15fps Chương trình gặp chút khó khăn với phông gần với màu da Kịch xem ảnh hình lớn Mô tả : Người dùng sử dụng hình TV lớn kết nối với máy tính để xem hình ảnh với kích thước lớn Vị trí từ người dùng đến camera khoảng 2-3m Người dùng sử dụng cử bàn tay để chọn thay đổi hình ảnh Điều kiện ánh sáng : Trong nhà, sử dụng ánh sáng đèn huỳnh quang ánh sáng tự nhiên có cường độ tương đối nhẹ Nền : Tĩnh, phức tạp, nhiều màu sắc Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 40 Nhận xét : Chương trình gặp khó khăn việc phát bàn tay khoảng cách xa, nhiên phần theo dõi chuyển động tốt, chương trình hoạt động với vùng có kết cấu phức tạp, bị ảnh hưởng đối tượng di chuyển qua vùng quan sát camera Kịch sử dụng máy tính cá nhân làm việc nơi có ánh sáng mạnh Mô tả : Người dùng ngồi làm việc quán café trời văn phòng có cửa sổ lớn sử dụng máy tính cá nhân để xem slide ảnh khoảng cách gần Điều kiện ánh sáng : Tương đối mạnh, hình ảnh thu từ camera có nhiều điểm cháy sáng Nền : Phức tạp với nhiều vùng cháy sáng Hình 34: Kịch sử dụng máy tính nơi có ánh sáng mạnh Nhận xét : Trong điều kiện ánh sáng mạnh chương trình gặp khó khăn việc phát vị trí bàn tay vùng có cấu tạo phức tạp cường độ ánh sáng bị Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 41 thay đổi bàn tay qua vùng cháy sáng Việc theo dõi bị gián đoạn bàn tay qua vùng có điểm cháy sáng  Đánh giá chung : Chương trình hoạt động tốt điều kiện ánh sáng nhà với vùng màu sắc, vùng trùng với màu da Hình ảnh thu từ camera điểm cháy sáng Khoảng cách từ bàn tay tới camera từ 30 cm đến 3m Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 42 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Với kết trình bày chương trên, qua thời gian thực hiện, luận văn đạt số kết sau: Về mặt lý thuyết : Luận văn nghiên cứu mô hình hệ thống điều khiển máy tính theo cử bàn tay với kỹ thuật sử dụng để xây dựng hệ thống, ưu nhược điểm kỹ thuật Về mặt thực nghiệm : Đã xây dựng tương đối hoàn chỉnh hệ thống chương trình điều khiển máy tính theo cử bàn tay mức độ sở kết hợp module chương trình xây dựng dự án RemoteHand Chương trình hoạt động tiếp tục thử nghiệm phát triển Tuy đạt số kết định luận văn số tồn như:  Quá trình đánh giá kiểm tra chương trình mang tính chất chủ quan, cảm tính, chưa đưa số liệu xác cụ thể  Chương trình bị ảnh hưởng lớn điểu kiện ánh sáng môi trường  Tốc độ xử lý chậm, chưa bắt kịp chuyển động thông thường (24fps) Hướng phát triển Tích hợp thêm kỹ thuật nhận dạng theo dõi chuyển động khác vào hệ thống để xây dựng, kiểm tra,đánh giá hoàn thiện chương trình Xây dựng thêm cử điều khiển với động tác xoay, giữ kéo thả, phóng to thu nhỏ Nghiên cứu phương pháp sử dụng cảm biến siêu âm camera hồng ngoại để chương trình chạy điều kiện ánh sáng Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 43 TÀI LIỆU THAM KHẢO [1] G S Murthy R S Jadon, A REVIEW OF VISION BASED HAND GESTURES RECOGNITION, 2009 [2] X Zabulisy, H Baltzakisy A Argyros, Vision-based Hand Gesture Recognition for Human-Computer Interaction, Institute of Computer Science – Hellas(FORTH), 2009 [3] R Cipolla, Detecting and tracking faces and hands, Department of Engineering ICT, 2003 [4] W T Freeman C D Weissman, Hand gesture machine control system, 1997 [5] P Viola M Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Mitsubishi Electric Research Laboratories, Inc, 2004 [6] J Matas J ^ Sochman, AdaBoost, Prague: Centre for Machine Perception - Czech Technical University, 2004 [7] A L Barczak F Dadgostar, “Real-time hand tracking using a set of cooperative classifiers based on - Haar-like features,” Res Lett Inf Math Sci., 2005 [8] B Fernandes J Fernández, Using Haar-like Feature Classifiers for Hand Tracking in Tabletop Augmented Reality, Natal, RN, Brazil: Univesitat Politècnica de Catalunya, 2010 [9] A Thangali S Sclarof, An alignment based similarity measure for hand detection in cluttered sign language video, Department of Coumputer Science - Boston Universrty, 2009 [10] “PREDATOR - A smart camera that learns from its errors,” UK ICT Pioneers, 2011 [11] T Heyman, G U G B IBBT, V Spruyt, S Grunwedel, A Ledda W Philips, A Canonical Correlation Analysis based motion model for probabilistic visual tracking, San Diego, CA: IEEE, 2012 [12] T M Mahmoud, “A New Fast Skin Color Detection Technique,” Proceedings of World Academy of Science: Engineering & Technolog, tâ ̣p 45, p 518, 2008 [13] F Dadgostar, A L Barczak A Sarrafzadeh, A Color Hand Gesture Database for Evaluating and Improving Algorithms on Hand Gesture and Posture Recognition, Auckland: Lett Inf Math Sci., 2005 Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT 44 ... cử bàn tay Hình 1: Điều khiển máy tính cử bàn tay Điều khiển máy tính theo cử bàn tay cách tương tác với máy tính mà người dùng thực hành vi điều khiển máy tính cách sử dụng cử bàn tay từ xa để... Lớp: 13BMTTT 14 Lệnh điều khiển máy tính CHƯƠNG III: CÁC KỸ THUẬT PHÁT HIỆN CỬ CHỈ BÀN TAY Các kỹ thuật phát bàn tay Phát bàn tay sử dụng đặc trưng Haar-like - Phát đối tượng sử dụng đặc trưng Haar-like... tay ứng dụng điều khiển thiết bị từ xa gồm thành phần sau: ▪ Module tiền xử lý ▪ Module phát bàn tay ▪ Module theo dõi chuyển động bàn tay ▪ Module điều khiển thiết bị Các khối chia tương ứng với