Nhận dạng cử chỉ bàn tay ứng dụng trong điều khiển thiết bị điện gia dụng

Đại học Thái Nguyên Trƣờng Đại học Công nghệ Thông tin Truyền thông LÊ MẠNH LINH NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - năm 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Đại học Thái Nguyên Trƣờng đại học Công nghệ Thông tin Truyền thông LÊ MẠNH LINH [ NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 Ngƣời hƣớng dẫn khoa học: TS PHẠM ĐỨC LONG Thái Nguyên - năm 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Em xin chân thành cảm ơn Trƣờng Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên tạo điều kiện cho em thực luận văn Em xin gửi lời cảm ơn sâu sắc tới thầy giáo TS Phạm Đức Long, trƣởng khoa Tự động hóa – Trƣờng Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên trực tiếp hƣớng dẫn em suốt trình thực luận văn Em xin gửi lời cảm ơn tới thầy, cô, có ý kiến đóng góp bổ ích tạo điều kiện tốt cho em suốt thời gian thực tập thực luận văn Xin cảm ơn bạn học đồng khóa thƣờng xuyên động viên, giúp đỡ trình học tập Cuối cùng, em xin gửi lời cảm ơn đến gia đình bạn bè tình cảm, ủng hộ động viên dành cho em suốt trình học tập nhƣ thực luận văn Thái Nguyên, tháng 09 năm 2015 Học viên Lê Mạnh Linh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Em xin cam đoan nội dung đồ án tốt nghiệp với tên đề tài “Nhận dạng cử bàn tay ứng dụng điều khiển thiết bị điện gia dụng” không chép nội dung từ luận văn khác, hay sản phẩm tƣơng tự mà em làm Sản phẩm luận văn thân em nghiên cứu xây dựng nên Nếu có sai em xin chịu hình thức kỷ luật Trƣờng Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên Thái Nguyên, tháng 09 năm 2015 Học viên Lê Mạnh Linh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỤC LỤC DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU CHƢƠNG I: TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ 1.1 Khái niệm nhận dạng cử 10 1.2 Phân loại cử chỉ: 10 1.3 Mô hình toán nhận dạng cử chỉ: 11 1.4 Một số đặc trƣng sử dụng biểu diễn cử bàn tay: 13 1.4.1 Đặc trƣng thành phần PCA: 13 1.4.2 Đặc trƣng HOG 15 1.4.3 Đặc trƣng SIFT 15 1.4.4 Đặc trƣng Haar like 19 CHƢƠNG II: CÁC KỸ THUẬT NHẬN DẠNG CỬ CHỈ BÀN TAY TRONG VIDEO 23 2.1 Kỹ thuật sử dụng mạng nơron 23 2.2 Kỹ thuật SVM (Suport Vector Machine) 25 2.3 Kỹ thuật sử dụng Boosting mô hình Cascade 31 2.3.1 Tiếp cận Boosting 31 2.3.2 AdaBoost 32 2.3.3 Thuật toán AdaBoost mô hình Cascade sử dụng Boosting cho nhận dạng cử chỉ: 35 2.3.4 Mô hình Cascade 39 CHƢƠNG III: NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG 48 3.1 Bài toán nhận dạng cử bàn tay ứng dụng điều khiển thiết bị điện gia dụng: 48 Một số tập cử tay tồn 54 Tập cử đề xuất: 57 Xây dựng sở liệu thử nghiệm 59 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Xây dựng tập ảnh positive 60 Xây dựng tập liệu ảnh negative 63 Xây dựng tập liệu ảnh thử nghiệm 63 Xây dựng chƣơng trình ứng dụng 64 3.2 Cài đặt hệ thống điều khiển thiết bị điện gia dụng cử bàn tay thông qua camera kỹ thuật số 65 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 67 TÀI LIỆU THAM KHẢO 69 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH VẼ Hình 1 - Sơ đồ tổng quát toán nhận dạng cử 11 Hình - 10 vector đặc trƣng có ý nghĩa vector không mang thông tin 14 Hình - Ảnh sau tính gradient chia thành cell 15 Hình - Đặc trƣng SIFT biểu diễn điểm đặc biệt ảnh 16 Hình - Xác định điểm cực trị không gian tỉ lệ 17 Hình 6a,b,c - Các đặc trƣng đƣờng 20 Hình Đặc trƣng Haar cho bàn tay 21 Hình - Cách tính tổng điểm ảnh hình chữ nhật 21 Hình - Mô hình mạng nơron theo Rowley 24 Hình 2 - Ánh xạ liệu từ không gian gốc sang không gian đặc trƣng cho phép phân chia liệu siêu phẳng 26 Hình - Siêu phẳng tách với khoảng cách lề cực đại 27 Hình - Support Vectors 30 Hình - Minh họa Support Vectors 30 Hình - Minh họa Boosting 32 Hình - Minh họa thuật toán AdaBoost 33 Hình - Bộ phân loại mạnh H(x) xây dựng AdaBoost 34 Hình - Bộ phân lớp CBC 35 Hình 10 - Cách chọn phân loại yếu AdaBoost 37 Hình 11 - Các ngƣỡng θ 38 Hình 12 - Mô hình Cascade 39 Hình 13 - Các vùng không liên quan bị loại từ tầng 46 Hình 14 - Khắc phục trƣờng hợp nhiều vùng ảnh kế cận cách lấy vùng ảnh trung bình 46 Hình 15 - Vùng ảnh lồng 47 Hình - Sơ đồ khối hệ thống 48 Hình - Khối nhận dạng cử 49 Hình 3 - Sơ đồ nguyên lý hoạt động khối điều khiển thiết bị 50 Hình - Sơ đồ thiết kế phần nhận tín hiệu điều khiển từ cổng COM máy tính phát sóng RF 51 Hình - Sơ đồ thiết kế thu tín hiệu điều khiển thiết bị 52 Hình - Quy trình thiết kế cử 53 Hình - Ảnh chụp webcam cho cử 60 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ Hình - Ảnh chụp cử “Sang trái” 61 Hình - Tiêu điểm cử “Sang trái” 61 Hình 10 - Vùng ảnh hình chữ nhật chứa cử “sang trái” 62 Hình 11 - Các mẫu cử “sang trái” sau cắt 62 DANH MỤC CÁC BẢNG BIỂU Bảng - Một số tập sở liệu cử tồn : 54 Bảng - Ƣu nhƣợc điểm số tập cử tồn : 55 Bảng 3 - Tập cử đề xuất: 58 Bảng - Tập sở liệu ảnh positive: 63 Bảng - Tâp sở liệu ảnh thử nghiệm: 64 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ CHƢƠNG I TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ Nhận dạng ngành thuộc lĩnh vực học máy có lịch sử lâu, thập kỷ 60 kỷ XX, hầu hết vấn đề nhận dạng dừng lại việc nghiên cứu lí thuyết thống kê Về sau với phát triển mạnh mẽ máy tính phần thực nghiệm trở nên đơn giản Trong bối cảnh xã hội phát triển từ thời kỳ công nghiệp sang hậu công nghiệp, vấn đề tự động hóa việc thông tin đƣợc nhận xử lý cách tự động cần thiết Khuynh hƣớng làm cho vấn đề nhận dạng mẫu trở nên quan trọng ứng dụng kỹ thuật nghiên cứu ngày Nhận dạng mẫu tích hợp hầu hết vào hệ thống máy móc thông minh, có khả tự đƣa định để giải vấn đề Nhận dạngnhằm mục đích phân loại liệu dựa thông tin thống kê đƣợc trích rút từ mẫu có sẵn Các mẫu cần phân loại thƣờng đƣợc biểu diễn thành nhóm liệu đo đạc hay quan sát đƣợc, nhóm điểm không gian đa chiều phù hợp Không gian đa chiều không gian đặc tính để dựa vào ta phân loại Một hệ thống nhận dạng hoàn thiện gồm thiết bị cảm nhận (sensor) để thu thập quan sát cần cho việc phân loại hay miêu tả; chế trích rút đặc trƣng (feature extraction) để tính toán thông tin dƣới dạng số hay dạng tƣợng trƣng (symbolic) từ liệu quan sát đƣợc; phân loại nhằm thực công việc phân loại dựa vào đặc tính đƣợc trích rút Việc phân loại thƣờng dựa vào có sẵn tập mẫu mà đƣợc phân loại sẵn Tập mẫu đƣợc gọi tập huấn luyện chiến lƣợc học nhằm phân loại mẫu vào lớp có sẵn đƣợc gọi học có giám sát Việc học giám sát, theo nghĩa hệ thống không đƣợc cung cấp mẫu đƣợc đánh nhãn (phân loại) trước, mà phải tự đƣa lớp để phân loại dựa vào tính ổn định thống kê mẫu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 10 Việc phân loại thƣờng dùng hai hƣớng tiếp cận sau thống kê (hay gọi lí thuyết định) cú pháp Nhận dạng mẫu dùng thống kê dựa vào đặc tính thống kê mẫu, chẳng hạn mẫu đƣợc tạo hệ thống xác suất Nhận dạng dùng cấu trúc dựa vào tƣơng quan cấu trúc mẫu Các ứng dụng phổ biến nhận dạng tiếng nói tự động, phân loại văn thành nhiều loại khác (ví dụ : thƣ điện tử thƣ rác thƣ rác), nhận dạng tự động mã bƣu điện viết tay bao thƣ, hay hệ thống nhận dạng danh tính dựa vào mặt ngƣời v.v Trong khuôn khổ luận văn này, lý thuyết nhận dạng đƣợc áp dụng vào việc nhận dạng cử video ứng dụng điều khiển thiết bị điện gia dụng 1.1 Khái niệm nhận dạng cử Cử tất cử động thể nhằm - Thể hiện, truyền đạt thông tin - Tƣơng tác với môi trƣờng Cử phƣơng thức giao tiếp hữu hiệu ngƣời - ngƣời Ngay giao tiếp qua giọng nói, ngƣời ta sử dụng cử để tăng khả truyền thụ Trong tƣơng tác ngƣời - máy, cách thức hiệu mà máy thực yêu cầu ngƣời đƣa đáp ứng với môi trƣờng xung quanh nhận cử ngƣời 1.2 Phân loại cử chỉ: Cử đƣợc chia thành hai loai : cử tĩnh cử động Một cử tĩnh đƣợc mô tả hình trạng thể phận thể Một cử động chuỗi hình trạng liên quỹ đạo định Dựa vào phận thể, ngƣời ta phân lớp cử sau : Cử tay cánh tay : Trợ giúp nói tay, ứng dụng giải trí (trò chơi tƣơng tác), điều khiển máy móc thông qua cử Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 56 trắng) đƣợc dùng làm tập học Các ảnh chụp phức tạp đƣợc dùng làm tập thử Sự thu nhận ảnh tay phông phức tạp cho phép thử nghiệm tính hiệu thuật toán nhận dạng điều kiện thu nhận khác hƣớng quay, v.v so với ảnh Christoph von der mẫu Vì không thử Malsburg[Triesch96] nghiệm đƣợc hiệu bất biến thuật toán góc quay (rotation), thay đổi thang đo (scale change) nhƣ điều kiện ánh sáng khác (illumination change) (5) Thomas Moeslund - Một tập đầy đủ cử - Ảnh đen trắng, không cho Mục đích CSDL tƣơng ứng với bảng phép sử dụng giải thuật dùng để nhận dạng cử chữ dựa tính chất màu sắc ứng dụng giao tiếp tay - Có thể tải để thử [Birk97] nghiệm (6) Holte - Kịch thu nhận - Các tập cử đƣợc thu PETs2003 đƣợc mô tả chi tiết, nhận tƣơng đối đơn rõ ràng giản - Ảnh mầu, có giá trị - Trong mặt phẳng giải thuật sử - Góc quay, ánh sáng, thay dụng màu đổi kích thƣớc - Tập cử tƣơng đối đa dạng (7) Letessier - Ảnh mầu, có thông - Chỉ sử dụng để thử PETs2004 tin grountruth nghiệm loại cử - Sử dụng "Pointing" toán nhận dạng cử "Pointing" (8) - Ảnh đen trắng Nguyễn et al - Dữ liệu không mở (9) - Cử động Axenbeck et al - Dữ liệu không mở, không Tƣơng tác ngƣời Robot [Axenbeck08] tải đƣợc để thử nghiệm - Phông phức tạp - Không có mô tả CSDL Số hóa Trung tâm Học liệu - ĐHTN Sử dụng để nhận dạng cử ngôn ngƣ (ASL) [Nguyen05] http://www.lrc-tnu.edu.vn/ 57 Qua bảng tổng kết, ta có số nhận xét nhƣ sau : Một CSDL đƣợc xây dựng thƣờng để thử nghiệm loại thuật toán ứng dụng cụ thể Mỗi CSDL không thỏa mãn tất tính chất sau : - Ảnh ảnh màu để sử dụng thuật toán dựa việc phát màu da, giảm thời gian tính toán tất vùng ảnh - Nền ảnh bàn tay thƣờng đơn giản (nền đen trắng phân bố màu đồng đều) - Thông thƣờng điều kiện thu nhận ảnh có thay đổi ánh sáng, nhiên góc quay khoảng cách chụp không thay đổi (camera tĩnh) Vì việc học hình trạng với tập mẫu học không bao quát hết khả xảy thực tế, nhận dạng tốt điều kiện chụp ảnh thay đổi - Tập cử tƣơng đối đơn giản : đại đa số cử sử dụng giao tiếp tay thao tác đối tƣợng Vì khó áp dụng cách trực tiếp vào toán điều khiển robot nhƣ điểu khiển máy tính Ứng dụng toán cụ thể, tập cử phải đƣợc định nghĩa riêng biệt Để học thử nghiệm thuật toán nhận dạng, sử dụng số CSDL tồn Tuy nhiên để gắn với ứng dụng cụ thể đề tài thiết phải định nghĩa tập cử riêng biệt xây dựng CSDL cử Tập cử đề xuất: Để xây dựng tập cử tay sử dụng nhiều ứng dụng tƣơng tác khác nhau, cần phải xác định xem cử thƣờng đƣợc sử dụng nhiều tƣơng tác ngƣời - máy Tập cử sau tác giả Đồng Văn Thái đề xuất đề tài nghiên cứu nhận dạng cử bàn tay Do thời gian không nhiều để xây dựng đủ tập cử đề xuất nên khuôn khổ đề tài tác giả xây dựng tập liệu cử Cụ thể cử “Bắt đầu”, “Dừng lại”, “Sang trái”, “Sang phải” cử “Lên trên” Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 58 Bảng 3 - Tập cử đề xuất:[2] Tên cử Ảnh minh họa Mô tả “Bắt đầu” Cử “bắt đầu” đƣợc thực ngƣời sử dụng muốn bắt đầu cho công việc đấy: bật điện, bật điều hòa… “Kết thúc” Cử “kết thúc” đƣợc thực ngƣời sử dụng muốn thiết bị dừng thực thi: tắt điện, tắt điều hòa… “Đồng ý” Cử “đồng ý” đƣợc thực đồng ý việc nhƣ xác nhận kết nốt thiết bị “yes” hay “ok” “Dừng lại” Cử “Dừng lại” đƣợc thực muốn tạm dừng thiết bi, nhƣ tạm dừng quay đổi hƣớng quạt… “Sang trái” Cử “sang trái” đƣợc sử dụng với chức tƣơng ứng nhƣ đổi hƣớng quạt sang trái “Sang phải” Cử “sang phải” đƣợc sử dụng với chức tƣơng ứng nhƣ đổi hƣớng quạt sang phải “Lên trên” Cử “lên trên” đƣợc sử dụng với chức tƣơng ứng nhƣ mở cửa lên trên… Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 59 “Xuống dƣới” Cử “xuống dƣới” đƣợc sử dụng với chức tƣơng ứng nhƣ đóng cửa xuống… Xây dựng sở liệu thử nghiệm Cơ sở liệu huấn luyện gồm hai phần chính: liệu huấn luyện liệu thử nghiệm Dữ liệu huấn luyện : Là liệu dùng cho việc học hệ nhận dạng Trong trình huấn luyện, nhận dạng học từ liệu thông qua đặc trƣng để nhận đối tƣợng cần nhận dạng Dữ liệu huấn luyện gồm tập : o Các ảnh chứa đối tƣợng cần nhận dạng (positive samples) o Các ảnh không chứa đối tƣợng cần nhận dạng (negative samples) Trong trình học, nhận dạng cố gắng tìm đặc trƣng mẫu positive mà mẫu negative không có, từ rút đƣợc đặc trƣng đối tƣợng cần nhận dạng Khi đƣa mẫu vào nhận dạng, nhận dạng áp đặc trƣng lên mẫu, thỏa mãn mẫu đối tƣợng cần nhận dạng, ngƣợc lại Trong hệ thống nhận dạng, số lƣợng ảnh positive lớn đƣợc chuẩn hóa tốt mô hình nhận dạng thu đƣợc cho kết nhận dạng xác Tức chất lƣợng số lƣợng tập liệu huấn luyện có ảnh hƣởng trực tiếp đến kết nhận dạng Qua thực nghiệm cho thấy, sở liệu huấn luyện lớn mẫu đối tƣợng đa dạng góc quay, điều kiện chiếu sáng đối tƣợng đƣợc thu thập từ nhiều chủ thể khác huấn luyện ta thu đƣợc mô hình nhận dạng mang tính tổng quát cao Khi tiến hành nhận dạng, mô hình nhận dạng đủ tính tổng quát hệ thống nhận dạng cho kết tốt với tập đối tƣợng đa dạng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 60 Dữ liệu thử nghiệm : Là liệu dùng cho việc kiểm tra tỉ lệ nhận dạng hệ nhận dạng Tập liệu phải không trùng với tập liệu huấn luyện Tỉ lệ nhận dạng mẫu tập thử nghiệm nói lên tính hiệu hệ nhận dạng, liệu không tham gia trình huấn luyện hệ nhận dạng, hệ nhận dạng nhận dạng chứng tỏ đặc trƣng mà đƣợc trích rút thật đặc trƣng đối tƣợng Xây dựng tập ảnh positive Hệ thống cần xây dựng để nhận dạng đƣợc cử nên sở liệu huấn luyện phải gồm tập ảnh positive tƣơng ứng với cử đƣợc định nghĩa Với cử chỉ, chụp 1000 ảnh ngƣời khác webcam với độ phân giải 640x480 pixel nhiều điều kiện ánh sáng phông khác nhau: dƣới ánh sáng đèn neon, ánh sáng tự nhiên vào thời điểm khác v.v… sau loại trừ mẫu không đạt chất lƣợng để lại 1000 mẫu Hình - Ảnh chụp webcam cho cử Sau ảnh chụp đƣợc đƣợc cắt tiện ích ImageCliper đƣợc xây dựng C++ cho mẫu bàn tay nằm hình chữ nhật dựa tiêu điểm cử để đảm bảo tiêu điểm giúp phân biệt cử với cử lại Các mẫu bàn tay loại cử đƣợc chuẩn hóa kích thƣớc Ví dụ với cử “Sang trái” ta làm nhƣ sau : Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 61 Hình - Ảnh chụp cử “Sang trái” Chú ý rằng, chỗ ngón gập vào bàn tay tiêu điểm Chúng ta phân biệt đƣợc cử ”sang trái” so với cử lại nhờ vào vị trí Do tiến hành chọn vị trí làm vị trí chuẩn để cắt ảnh Hình - Tiêu điểm cử “Sang trái” Khi xác định đƣợc tiêu điểm, cắt vùng ảnh bàn tay cho bàn tay nằm hình chữ nhật, làm tƣơng tự với ảnh mẫu khác cho vị trí tiêu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 62 điểm hình cử phải có vị trí tƣơng đối giống hình chữ nhật cần cắt Hình 10 - Vùng ảnh hình chữ nhật chứa cử “sang trái” Hình 11 - Các mẫu cử “sang trái” sau cắt Tiếp đến, tất mẫu cắt đƣợc tính tỉ lệ chiều rộng chiều cao trung bình tất mẫu, sau chuẩn hóa tất mẫu theo tỉ lệ trung bình Cuối cùng, chuyển tất mẫu kích thƣớc để tiến hành huấn luyện Bảng sau mô tả chi tiết tập cử đƣợc xây dựng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 63 Bảng - Tập sở liệu ảnh positive: Tên cử Số lƣợng Điều kiện chiếu sáng Phông Kích thƣớc Đồng ý 1000 đa dạng phức tạp 24x32 Kết thúc 1000 đa dạng phức tạp 18x36 Bắt đầu 1000 đa dạng phức tạp 24x24 Dừng lại 1000 đa dạng phức tạp 24x32 Sang phải 1000 đa dạng phức tạp 32x24 Sang trái 1000 đa dạng phức tạp 32x24 Lên 1000 đa dạng phức tạp 26x32 Xuống dƣới 1000 đa dạng phức tạp 24x32 Xây dựng tập liệu ảnh negative Với cử ta phải xây dựng liệu negative khác nhau, liệu gồm 1.500 ảnh đa mức xám kích thƣớc 640x480 định dạng JPG Trong 1.000 ảnh đƣợc lấy từ tập liệu ảnh negative tải từ địa sau: http://tutorial-haartraining.googlecode.com/svn/trunk/data/negatives/ Đây tập sở liệu negative với 3024 ảnh đa mức xám định dạng JPG với kích thƣớc 640x480 đƣợc nhà nghiên cứu sử dụng để huấn luyện cho hệ thống nhận dạng mặt ngƣời Còn lại 500 ảnh ảnh chụp cử lại ngƣời khác Các ảnh ảnh đa mức xám định dạng JPG kích thƣớc 640x480 Qua thực nghiệm cho thấy tập negative chứa thêm ảnh cử lại làm giảm tỉ lệ nhận dạng nhầm sang cử khác Xây dựng tập liệu ảnh thử nghiệm Cơ sở liệu thử nghiệm cho cử tƣớng ứng có tập ảnh, tập dùng thử nghiệm cho cử Các tập ảnh đƣợc thực theo quy trình nhƣ nhau: chụp webcam độ phân giải 640x480 từ ngƣời, ngƣời 100 ảnh cho cử Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 64 điều kiện chiếu sáng khác phông phức tạp, tập liệu thử nghiệm đƣợc mô tả bảng sau : Bảng - Tâp sở liệu ảnh thử nghiệm: Tên cử Số lƣợng Điều kiện chiếu sáng Phông Kích thƣớc Bắt đầu 500 đa dạng phức tạp 640x480 Kết thúc 500 đa dạng phức tạp 640x480 Đồng ý 500 đa dạng phức tạp 640x480 Dừng lại 500 đa dạng phức tạp 640x480 Sang phải 500 đa dạng phức tạp 640x480 Sang trái 500 đa dạng phức tạp 640x480 Lên 500 đa dạng phức tạp 640x480 Xuống dƣới 500 đa dạng phức tạp 640x480 Xây dựng chƣơng trình ứng dụng Thƣ viện OpenCV có xây dựng module huấn luyện sử dụng mô hình Casecade Module đƣợc tác giả sử dụng để huấn luyện tập cử Trƣớc tiến hành huấn luyện, cần phải chuẩn bị tập ảnh đối tƣợng (ảnh positive) tập ảnh đối tƣợng (ảnh negative) để làm đầu vào cho chƣơng trình huấn luyện Ảnh gốc ban đầu đƣợc chụp cần qua trình chỉnh sửa, cắt xén cho phù hợp với đối tƣợng cần huấn luyện nhằm mục đích giúp cho việc huấn luyện thuận lợi, dễ dàng, nhanh xác Có số tham số quan trọng cần truyền vào cho chƣơng trình huấn luyện trƣớc tiến hành : int npos : Số ảnh Positive int nneg : Số ảnh Negative int nstages : Số tầng huấn luyện int mem : Dung lƣợng nhớ sử dụng (MB) int nsplits : Số đặc trƣng đƣờng chéo Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 65 float minhitrate : Tỉ lệ nhận dạng thấp chấp nhận đƣợc float maxfalsealarm : Tỉ lệ nhận dạng sai cao chấp nhận đƣợc int mode : Chế độ huấn luyện (Số đặc trƣng Haar sử dụng tùy vào giá trị mode, mode = tất đặc trƣng Haar đƣợc sử dụng) int width : Chiều rộng mẫu Positive int height : Chiều cao mẫu Positive Thủ tục cvCreateTreeCascadeClassifier đƣợc gọi để bắt đầu trình huấn luyện, thủ tục thủ tục xây dựng phân loại Cascade Việc tìm hiểu hoạt động training diễn module HaarTraining OpenCV tƣơng đối phức tạp code đƣợc viết tổng quát Do thời gian có hạn nên tác giả tìm hiểu đƣợc số phần module Một phần quan trọng thiếu module tính toán đặc trƣng Haar Các đặc trƣng Haar ảnh đối tƣợng đƣợc tính toán vòng lặp For lồng (4 vòng lặp “quét” hết toàn ảnh) Các đặc trƣng Haar đƣợc tính toán hàm cvHaarFeature trả cấu trúc đặc trƣng Haar, lƣu lại thủ tục CV_WRITE_SEQ_ELEM Giá trị đặc trƣng Haar đƣợc tính nhƣ đề xuất Viola Jones Đầu trình Training liệu huấn luyện (data training) Kết qủa cuối đƣợc lƣu file xml 3.2 Cài đặt hệ thống điều khiển thiết bị điện gia dụng cử bàn tay thông qua camera kỹ thuật số Hệ thống đƣợc xây dựng với mục đích điều khiển thiết bị điện gia dụng thông qua nhận dạng cử bàn tay camera kỹ thuật số Do để cài đặt hệ thống ta cần phải chuẩn bị: Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 66 - Camera kỹ thuật số - Máy vi tính cài hệ điều hành Windows XP trở lên - Hệ thống phần cứng ghép nối ngoại vi Các bƣớc thực hiện: - Đặt camera vị trí thích hợp thuận tiện cho việc điều khiển thiết bị - Kết nối camera với máy tính Ngày camera đại kết nối qua sóng wifi thuận tiện cho việc triển khai cài đặt - Ghép nối thiết bị điện với máy tính thông qua hệ thống phần cứng ghép nối thiết bị ngoại vi nhƣ cổng giao tiếp qua USB, LPT, COM, bluetooth hay wifi v.v… - Cài đặt chƣơng trình điều khiển máy tính - Thiết lập giao tiếp phần cứng tƣơng ứng với lệnh điều khiển Phần tùy vào thực tế sử dụng mà có thiết lập khác tƣơng ứng với tín hiệu điều khiển gửi đến thiết bị ngoại vi Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Những kết đạt đƣợc : Trong trình thực đồ án, tác giả đạt đƣợc kết sau : - Tìm hiểu đƣợc vấn đề lý thuyết nhận dạng, từ xác định đuợc hai vấn đề quan trọng cần nghiên cứu để áp dụng vào toán nhận dạng cử biểu diễn cử bàn tay thuật toán học phân lớp - Hiểu sử dụng đƣợc tập sở liệu nhận dạng có sẵn để viết ứng dụng sử dụng chúng điều khiển số chƣơng trình máy tính, thiết bị điện gia dụng - Tự xây dựng đƣợc sở liệu sử dụng huấn luyện Haar Training thƣ viện OpenCV - Tìm hiểu đƣợc số bƣớc trình training thƣ viện OpenCV - Xây dựng đƣợc hệ thống thử nghiệm liên kết phần mềm máy tính thiết bị ngoại vi phục vụ cho điều khiển thiết bị dân dụng Huớng phát triển : Trong phần thực nghiệm tính thích nghi cho thấy hệ thống hoạt động chƣa tốt điều kiện thiếu ánh sáng; bên cạnh đó, hệ thống hoạt động tốt với cử tƣ diện, nhạy cảm với góc quay bàn tay Trong nghiên cứu tiếp theo, tác giả tiếp tục nghiên cứu phƣơng pháp chuẩn hóa ánh sáng trƣớc đƣa vào nhận dạng để hệ thống thích nghi tốt với điều kiện ánh sáng thay đổi Ngoài ra, để rút ngắn thời gian nhận dạng, tác giả nghiên cứu phƣơng pháp phát điểm ảnh màu da để khoanh vùng ảnh chứa cử bàn tay Khi Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 68 hệ thống nhận dạng vùng ảnh có phân bố màu da lớn, điều làm giảm đáng kể thời gian nhận dạng nhƣ loại bỏ đƣợc trƣờng hợp nhận dạng nhầm vùng thành cử Một hạn chế hệ thống dừng lại toán nhận dạng cử tĩnh mà chƣa xét đến cử động bàn tay Do toán nhận dạng cử động vấn đề cần đƣợc quan tâm Trên kết đạt đƣợc nhƣ hƣớng nghiên cứu luận văn Tuy luận văn đạt đƣợc kết định nhƣng không tránh khỏi thiếu sót Tác giả mong nhận đƣợc ý kiến đóng góp từ thầy cô bạn để tác giả tiếp tục hoàn thiện nghiên cứu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 69 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] [2] Đỗ Năng Toàn, Phạm Việt Bình, Giáo trình xử lý ảnh, Khoa công nghệthông tin Đại học Thái Nguyên, 2007 Đồng Văn Thái, Nhận dạng cử bàn tay ứng dụng điều khiển chương trình máy tính SoICT 2010 Tiếng Anh: [3] Freeman, W.T and M Roth, Orientation Histograms for Hand Gesture Recognition IEEE Intl Wkshp on Automatic Face and Gesture Recognition, Zurich, June, 1995, 1994 [4] Viola, P and M.J Jones, Robust Real-Time Face Detection International Journal of Computer Vision, 2004: p 137–154 [5] Rowley, H.A., S Baluja, and T Kanade, Neural Network-Based Face Detection IEEE Patt Anal Mach Intell., 1998: p 22–38 [6] Vapnik, V., Support-Vector Networks Machine Learning, 1995: p 273297 [7] Osuna, E.E and F Girosi, Reducing the run-time complexity in support vector machines ICPR, 1998 [8] Sung, K.-K and T Poggio, Example-Based Learning for View-Based Human Face Detection TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 1998 20: p 39-51 [9] Llorca, D.F., et al A multi-class svm classifier for automatic hand washing quality assessment in of the British Machine Vision Conference 2007 [10] Freund, Y and R.E Schapire, A Short Introduction to Boosting Journal of Japanese Society for Artificial Intelligence, 1999 14: p 771-780 [11] Ong, E.-J and R Bowden A Boosted Classifier Tree for Hand Shape Detection in IEEE Intl Conference on Automatic Face and Gesture Recognition 2004 [12] Nolker, C and H Ritter, Illumination Independent Recognition on Deictic Arm Postures, in 24th Annual Conf of the IEEE Industrial Electronics Society 1998: Germany p 2006- 2011 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 70 [13] Kolsch, M and M Turk Robust Hand Detection in Conference on Automatic Face and Gesture Recognition 2004: IEEE Intl [14] Kolsch, M and M Turk Analysis of Rotational Robustness of Hand Detection with a Viola-Jones Detector in Conference on Pattern Recognition 2004: IEEE Intl [15] Lienhart, R and J Maydt, An Extended Set of Haarlike Features for Rapid Object Detection 2002 1: p 900-903 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ [...]... công trong các bài toán nhận dạng mẫu nhƣ: nhận dạng ký tự, nhận dạng vân tay, nhận dạng khuôn mặt ngƣời v.v Nhận dạng cử chỉ tay có thể xem là bài toán nhận dạng hai loại mẫu mẫu có cử chỉ tay và mẫu không phải đối tƣợng Một thuận lợi khi dùng mạng nơron để nhận dạng cử chỉ tay là tính khả thi của hệ thống khi có sự phức tạp trong lớp của các mẫu cử chỉ tay Tuy nhiên, một điều trở ngại là các kiến... nhận dạng Bộ nhận dạng sẽ phân loại các đặc trƣng vào các lớp đã đƣợc định nghĩa trong mô hình huấn luyện trƣớc đó Việc nhận dạng ở khâu này đƣợc áp dụng thêm một số kỹ thuật nhằm tăng độ chính xác cho hệ thống Sau đó cử chỉ đƣợc phân loại nhờ vào việc kết hợp các bộ nhận dạng cử chỉ Mỗi bộ nhận dạng cử chỉ có chức năng nhận dạng một cử chỉ ứng với các đặc trƣng đã đƣợc huấn luyện Bộ phân loại sẽ nhận. ..11 Cử chỉ của đầu và gƣơng mặt : Hƣớng nghiêng của đầu, hƣớng nhìn của mắt, hƣớng của lông mày, độ mở của miệng đƣợc sử dụng trong các bài toán nhận dạng cảm xúc của con ngƣời (ứng dụng trong các hệ thống giao tiếp thông minh) Cử chỉ của cơ thể : Theo dõi toàn bộ chuyển động của ngƣời, phân tích chuyển động của ngƣời nhảy để sinh ra nhạc và chiếu sáng tƣơng ứng, nhận dạng phân tích dáng đi trong. .. điền kinh, v.v Nhƣ vậy, cử chỉ của một con ngƣời rất phong phú và đa dạng Có nhiều cách thức để thể hiện một cử chỉ, và một cử chỉ có thể truyền đạt nhiều thông tin khác nhau, đƣa ra các đáp ứng khác nhau với môi trƣờng 1.3 Mô hình bài toán nhận dạng cử chỉ: Positive Negative Dữ liệu huấn luyện Huấn luyện Tiền xử lý Mô hình huấn luyện Trích trọn đặc trưng Dữ liệu nhận dạng Nhận dạng và phân loại Kế quả... dạng và phân loại Kế quả Phân loại Hình 1 1 - Sơ đồ tổng quát của bài toán nhận dạng cử chỉ Bài toán nhận dạng cử chỉ đƣợc chia làm các giai đoạn chính sau: Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 12 Giai đoạn xây dựng mô hình huấn luyện Giai đoạn này thực hiện việc xây dựng bộ nhận dạng cho từng cử chỉ Dữ liệu đƣợc lấy từ dữ liệu huấn luyện, qua quá trình tiền xử lý sau đó... khi áp dụng thì phải xác định rõ ràng số lƣợng tầng, số lƣợng node, tỷ lệ học v.v cho từng trƣờng hợp cụ thể Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 24 Bài toán nhận dạng một cử chỉ của bàn tay cũng tƣơng tự nhƣ bài toán nhận dạng khuôn mặt, bài toán nhằm giải quyết mục tiêu là phân loại ra lớp là cử chỉ và không phải là cử chỉ Vì vậy có thể tham khảo một số mô hình nhận dạng. .. càng tốt Điều này dẫn đến việc phải tìm ra các đặc trƣng khác nhau và chúng không phụ thuộc vào hoàn cảnh thu nhận tín hiệu về đối tƣợng Đầu ra của công đoạn này đƣợc gọi là vector đặc trƣng của đối tƣợng, thông thƣờng đây là một vector số thực Giai đoạn nhận dạng cử chỉ và phân loại cử chỉ Giai đoạn này thực hiện việc phân tích từ dữ liệu đầu vào để kiểm tra trong dữ liệu đầu vào có chứa cử chỉ đang... làm đầu vào cho thuật toán phân lớp Kết quả trả về của giai đoạn này là các tập tin mô hình huấn luyện để phục vụ cho quá trình nhận dạng Thu nhận tín hiệu, tiền xử lý Nếu là hệ nhận dạng đối tƣợng vật lý, ở đầu vào của hệ thống thƣờng là một loại thiết bị chuyển đổi nhƣ máy ghi hình hay ghi âm… Thiết bị này thu nhận tín hiệu về đối tƣợng để nhận dạng Các tín hiệu này thông thƣờng sẽ đƣợc số hóa, sau... các đặc trƣng đã đƣợc huấn luyện Bộ phân loại sẽ nhận vào một ảnh và cho biết trong ảnh đó có chứa những cử chỉ nào (cho biết vị trí của vùng ảnh tƣơng ứng với các cử chỉ) 1.4 Một số đặc trƣng sử dụng biểu diễn cử chỉ bàn tay: 1.4.1 Đặc trưng các thành phần chính PCA: Phƣơng pháp đơn giản nhất để phát hiện đối tƣợng là sử dụng cƣờng độ xám hoặc màu của điểm ảnh để biểu diễn đối tƣợng Phƣơng pháp này... nó : Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 23 CHƢƠNG II CÁC KỸ THUẬT NHẬN DẠNG CỬ CHỈ BÀN TAY TRONG VIDEO 2.1 Kỹ thuật sử dụng mạng nơron Mạng nơron nhân tạo đƣợc thiết kế để mô hình một số tính chất của mạng nơron sinh học Tuy nhiên, khác với các mô hình nhận thức, phần lớn các ứng dụng lại có bản chất kỹ thuật Mạng nơron nhân tạo (ANN) là máy mô phỏng cách bộ não hoạt động ... http://www.lrc-tnu.edu.vn/ 48 CHƢƠNG III NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG 3.1 Bài toán nhận dạng cử bàn tay ứng dụng điều khiển thiết bị điện gia dụng: Sơ đồ khối hệ thống... hình Cascade sử dụng Boosting cho nhận dạng cử chỉ: 35 2.3.4 Mô hình Cascade 39 CHƢƠNG III: NHẬN DẠNG CỬ CHỈ BÀN TAY ỨNG DỤNG TRONG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN GIA DỤNG ... việc nhận dạng cử video ứng dụng điều khiển thiết bị điện gia dụng 1.1 Khái niệm nhận dạng cử Cử tất cử động thể nhằm - Thể hiện, truyền đạt thông tin - Tƣơng tác với môi trƣờng Cử phƣơng thức giao