Nhận dạng cử chỉ bàn tay dùng nhân cụm Kmeans và mạng Nerual

Đề tài “ Nhận dạng cử chỉ bàn taydùng phân cụm Kmeans và mạng Nơron” của nhóm xây dựng với mong muốn góp một phần thúc đẩy sự phát triển trong nhận dạng cử chỉ, thông qua việc tìm hiểu các thành tựu của các nước khác.Sau khi thực hiện đề tài này, nhóm thực hiện đề tài mong muốn đây sẽ là tài liệu hữu ích cho các ứng dụng trong nhận dạng cử chỉ bàn tay. Vì hiện nay, các công trình nghiên cứu về nhận dạng cử chỉ bàn tay đã thu được nhiều kết quả tốt và có ý nghĩa quan trọng trong một số lĩnh vực như:Về mặt kỹ thuật, công nghệ nhận dạng cử chỉ đã thay đổi cách con người tương tác với hệ thống thiết bị, không còn bó buộc trong những cách tương tác truyền thống (như thông qua bàn phím máy tính hoặc điện thoại…) mà chuyển sang tương tác trực tiếp bằng cử chỉ. Ngoài ra có thể giúp người khiếm thính nhận biết ngôn ngữ qua cử chỉ bàn tay.Về mặt nghiên cứu khoa học, các hệ thống nhận dạng cử chỉ hiện tại đều dựa trên phương pháp thống kê và so khớp mẫu. Phương pháp này đòi hỏi các tri thức về nhận dạng và một lượng lớn dữ liệu huấn luyện, bao gồm các dạng cử chỉ, để huấn luyện bộ nhận dạng. Lượng dữ liệu huấn luyện càng lớn, bộ nhận dạng càng có nhiều khả năng đưa ra kết quả chính xác hơn.

BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ VIỄN THƠNG - ĐỒ ÁN TỐT NGHIỆP NGÀNH: ĐIỆN TỬ VIỄN THƠNG Đề tài: NHẬN DẠNG CỬ CHỈ BÀN TAY DÙNG PHÂN CỤM K-MEANS VÀ MẠNG NƠ-RON GVHD : TS NGƠ QUỐC CƯỜNG SVTH : VÕ ĐẮC THỌ- 09652365 TRẦN QUANG TRÁNG- 09786372 TPHCM, 10/2014 TP HỒ CHÍ MINH – 06/2014 LỜI CẢM ƠN Trước tiên nhóm thực đề tài xin gửi lời cảm ơn chân thành đến q thầy trường Đại Học Sư Phạm Thành Phố Hồ Chí Minh nói chung thầy mơn Điện Tử - Viễn Thơng nói riêng tận tình giảng dạy, truyền đạt cho chúng em kiến thức, kinh nghiệm q báu suốt thời gian qua Đặc biệt em xin gửi lời cảm ơn đến thầy NGƠ QUỐC CƯỜNG Thầy tận tình bảo, hướng dẫn chúng em suốt q trình thực đồ án Trong thời gian làm việc với Thầy, chúng em khơng ngừng tiếp thu thêm nhiều kiến thức bổ ích mà học tập tinh thần làm việc, thái độ nghiên cứu khoa học nghiêm túc, hiệu quả, điều cần thiết cho chúng em suốt q trình học tập cơng tác sau Cuối nhóm thực hện đồ án xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè động viên, đóng góp ý kiến giúp đỡ q trình học tập, nghiên cứu hồn thành đồ án tốt nghiệp Do kiến thức hạn hẹp thời gian thực khơng nhiều, nên nhóm cố gắng nhiều sai sót hạn chế Nhóm mong nhận sữa chữa, góp ý q báu q thầy bạn bè TP.HCM, ngày tháng năm 2015 Nhóm thực Võ Đắc Thọ Trần Quang Tráng PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thơng tin sinh viên Họ tên: Võ Đắc Thọ MSSV: 09917423 Tel: 0968233145 Mail: dacthodtvt@gmail.com Họ tên: Trần Quang Tráng MSSV: 09917433 Tel: 01272908637 Thơng tin đề tài Mail: sopun.ld1@gmail.com Tên đề tài: NHẬN DẠNG CỬ CHỈ BÀN TAY DÙNG PHÂN CỤM KMEANS VÀ MẠNG NƠ-RON Mục đích đề tài: Phát bàn tay nhận dạng năm cử bàn tay bản: ngón, hai ngón, ba ngón, bốn ngón năm ngón tay Đồ án tốt nghiệp thực tại: Bộ mơn Điện Tử Viễn Thơng, Khoa Điện Điện Tử, Trường Đại học Sư Phạm Kỹ Thập Thành Phố Hồ Chí Minh Thời gian thực hiện: Từ ngày 01/10/2014 đến 31/12/2014 Các nhiệm vụ cụ thể đề tài - Tìm hiểu phương pháp nhận dạng cử bàn tay qua báo - Định hướng phương pháp nghiên cứu thuật tốn nhận dạng cử bàn tay - Nghiên cứu thuật tốn phân cụm K-means phát màu da - Thực phân cụm K-means màu da matlab - Nghiên cứu huấn luyện ảnh dùng mạng Nơ-ron - Thu thập 100 mẫu ảnh tiến hành huấn luyện - Nhận dạng năm cử bàn tay thiết kế giao diện chương trình Lời cam đoan sinh viên Chúng tơi – Võ Đắc Thọ Trần Quang Tráng cam đoan ĐATN cơng trình nghiên cứu chúng tơi hướng dẫn thạc sỹ Ngơ Quốc Cường Các kết cơng bố ĐATN trung thực khơng chép từ cơng trình khác Tp.HCM, ngày 05 tháng 01 năm 2015 SV thực đồ án Võ Đắc Thọ - Trần Quang Tráng Giáo viên hướng dẫn xác nhận mức độ hồn thành cho phép bảo vệ: …………………………………………………………………………………… Tp.HCM, ngày tháng năm 2015 Xác nhận Bộ Mơn Giáo viên hướng dẫn (Ký ghi rõ họ tên học hàm học vị) MỤC LỤC LIỆT KÊ HÌNH Hình 2.8: Di chuyển tay phát hướng16 Hình 3.5: Khơng gian màu RGB30 Hình 4.9: Sơ đồ hệ thống huấn luyện46 Hình 4.10: Bộ huấn luyện ảnh47 Hình 4.11: Mơ hình huấn luyện mạng Nơ-ron47 Hình 4.12: Kết huấn luyện mạng Nơ-ron48 Hình 4.13: Sơ đồ nhận dạng cử bàn tay49 Hình 4.14: Kết nhận dạng từ máy tính50 Hình 4.15: Kết nhận dạng từ Webcam50 Hình B1: Giao diện nhận dạng55 Hình B2: Giao diện nhận dạng hình 2D từ máy tính55 Hình B3: Giao diện nhận dạng trực tiếp từ Webcam 56 LIỆT KÊ BẢNG Bảng 2.1: Thơng số quy định cho cử bàn tay17 Bảng 4.1: Thơng số thiết kế mạng Nơ-ron48 Bảng 4.2: Kết nhận dạng cử bàn tay50 LIỆT KÊ TỪ VIẾT TẮT CCD – Change Coupled Device CCIR – Consultative Committee International Radio CMOS – Complementary Metal Oxide Semiconductor CGA – Color Graphic Device CLARA – Clustering LARge Application HSV – Hue Saturation Value MLP – MultiLayer Perceptron MEMS –Microelectromechanical Systems NTSC – National Television System Committee PAL– Phase Alternating Line PAM – Partitioning Around Medoids ROI – Region Of Interest RGB – Red Greed Blue SVM – Support Vector Machine 10 xj ngõ vào thứ j mạng Nơ-ron, đánh dấu ngõ thứ yk: (4.17) F hàm phi tuyến Và thay (4.18) phương trình (4.16): (4.19) p biểu thị lớp ra, phương trình (4.18) trở thành: (4.20) Xác định: (4.21) sau tiến hành phương trình (4.9) (4.22) Và phương trình (4.16) (4.22) ta có: (4.23) Ngõ vào j biểu thị đầu vào thứ j tới mạng Nơ-ron thứ k lớp ngõ (p), ngồi từ phương trình (4.10) ta có: (4.24) Nhưng phương trình (4.13) (4.25) đó, phi tuyến sigmoid: (4.26) ta có: (4.27) Do đó, từ phương trình (4.25), (4.26) (4.27) ta có: 54 (4.28) vậy, ngõ từ phương trình (4.16), (4.19) ta được: (4.29) đó, phương trình (4.19) (4.24) nên: (4.30) tìm phương trình (4.28), để thiết lập trọng số ngõ ta lấy đạo hàm Dùng thuật tốn lan truyền ngược cuả lớp ẩn thứ r, ta có: (4.31) Từ thứ i tách thứ j lớp ẩn Nơ-ron thứ r,vì từ phương trình (4.18) ta có: (4.32) Từ phương trình (4.19) định nghĩa phương trình (4.24) ta được: (4.33) Như vậy, từ phương trình (4.24) ta được: (3.34) Trong đó: khó tính tốn Tuy nhiên, bị ảnh hưởng Nơ-ron có tượng lan truyền ngược lớp Khơng có thơng tin khác có sẵn giai đoạn Vì vậy: (4.35) Trong tổng theo k biểu diễn qua mạng Nơ-ron lớp (r + 1)kết nối với yj(r), tổng theo m qua tất đầu vào cho mạng Nơ-ron thứ k lớp (r + 1) Do đó, xác nhận giá trị biểu thức (4.35): (4.36) Bởi có kết nối với yj(r) Kết luận,từ cơng thức (4.24),( 4.27) (4.36): 55 (4.37) thơng qua cơng thức (4.30): (4.38) để có thơng qua hàm trọng số lớp (r+1), ý cơng thức 4.37 Lưu ý khơng thể đạo hàm riêng lớp ẩn cần xem xét Vì phải có đạo hàm riêng biến ngược đầu ra, ảnh hưởng Quan sát sở cho thủ tục lan truyền ngược, để tạo điều kiệnkhắc phục việc thiếu liệu lỗi truy cập lớp ẩn Các thuật tốn lan truyền ngược truyền trở lại tất đường r = (lớp đầu tiên), để hồn thành phép lấy đạo hàm Việc tính tốn tóm tắt sau: Cấp vector huấn luyện Tính theo cơng thức (4.28) (4.30) cho lớp sau tiến hành việc tính tốn từ cơng thức (4.38) cho r=p-1, p-2, …., 2, 1; sử dụng cơng thức (4.37) để cập nhật giá trị sở (gọi lan truyền ngược từ lớp r+1 lớp r) Kế tiếp, cập nhật giá trị w(m+1) từ w(m) vàw(m) cho việc lặp lại m+1 cho lần huấn luyện sau Lặp lại tồn tiến trình khí cấp vector huấn luyện xem xét hết L vector huấn luyện, sau lặp lại với( m+2), (m+3) đạt hội tụ Tốc độ huấn luyện cần điều chỉnh bước Tuy nhiên hội tụ nhanh thiết kế Adaline/Madaline, lỉ lệ lỗi nhỏ nên lấy lại giá trị N trước tiếp tục Việc đặt giá trị ban đầu đạt cách cài đặt trọng số cho giá trị ngẫu nhiên chọn từ dãy số tự nhiên, dãy từ -5 đến Trong trường hợp mạng Madaline, số lượng tế bào lớp ẩn nên lấy cao tốt Tuy nhiên, hay hai lớp ẩn đáp ứng 4.6 HỆ THỐNG NHẬN DẠNG CỬ CHỈ BÀN TAY 4.6.1 Huấn luyện ảnh mạng Nơ-ron 56 Hình 4.9: Sơ đồ khối hệ thống huận luyện  Khối ảnh mẫu: Những ảnh chọn làm mẫu  Phân tách vùng bàn tay: Dùng phương pháp K-means kết hợp phát màu da  Khối chuẩn hóa ảnh vào: tạo tập ảnh huấn luyện theo u cầu Hình 4.10: Bộ ảnh huấn luyện  Huấn luyện mạng Nơ-ron: Xử lý nhận dạng cử bàn tay mạng Nơ-ron 57 Hình 4.11: Mơ hình huấn luyện mạng Nơ-ron Mơ hình nhận dạng cử bàn tay mạng Nơ-ron với kiến trúc mạng đa tầng truyền thẳng matlab với hàm newff Mạng gồm tầng ngỏ vào với 3000 ngỏ vào chuyển từ hình bàn tay nhị phân kích thước 60x50 Một tầng ẩn với 2000 nút mạng Tầng ngõ có ngõ ứng với cử bàn tay từ ngón đến năm ngón Việc thực tính tốn Nơ-ron lớp ẩn lớp ngõ nhóm sử dụng hàm sigmod để đơn giản cho việc tính mạng Sử dụng hàm huấn luyện traingdx để xây dựng thuật tốn Gardient descent với Momentum Adaptive learning rate Chỉ số hiệu mạng xác định hàm trung bình bình phương sai số (mse – mean square erros) đầu so với giá trị đích Bảng 4.1:Các thơng số thiết kế mạng Nơ-ron net.trainParam.epochs net.trainParam.goal net.trainParam.show net.trainParam.mc net.performFcn Nhóm xây dựng mạng huấn luyện với mẫu ứng với cử bàn tay (mỗi mẫu huấn luyện 20 lần) 58 Best Training Performance is 0.00099838 at epoch 108 10 Mean Squared Error (mse) Train Best Goal -1 10 -2 10 -3 10 -4 10 10 20 30 40 50 60 70 80 90 100 108 Epochs Hình 4.12: Kết huấn luyện mạng Nơ-ron Mạng huấn luyện: sau chuẩn hóa hình bàn tay nhị phân với kich thước 60x50, biến đổi ma trận ảnh thành cột gồm 3000 phần tử Mỗi ảnh mẫu huấn luyện lưu lại vào cột file exel Thực thao tác với 100 ảnh mẫu nhóm thu file exel kích thước 3000x100 dùng làm liệu huấn luyện Việc lưu liệu huấn luyện file exel giúp việc kiểm tra bổ sung thư viện huấn luyện cách dễ dàng Nhóm thiết kế mơ hình nhận dạng hình từ máy tính cho phép nhận dạng cử bàn tay từ ngón đến năm ngón cách chọn ảnh 2D ngỏ vào thơng báo kết nhận dạng Tương tự, với mơ hình nhận dạngtừ Webcam cho phép nhận dạng cử bàn tay cách chụp hình trực tiếp từ webcam máy tính xuất kết nhận dạng Tuy nhiên, mơ hình nhận dạng hình từ máy tính tỷ lệ nhận dạng thành cơng thấp nhiều so với mơ hình nhận dạng trực tiếp từ Webcam cấu trúc webcam, hình ảnh, khơng gian sáng,… 4.6.2 Hệ thống nhận dạng cử bàn tay Sơ đồ khối hệ thống nhận dạng cử bàn tay: 59 Hình 4.13: Sơ đồ nhận dạng cử bàn tay  Ảnh ngỏ vào: Ảnh màu cần nhận dạng  Xử lý ảnh: Hình ảnh RGB từ ngỏ vào xử lý, chuyển đổi sang     khơng gian màu YCbCr Phân cụm: Sử dụng thuật tốn K-means để phân cụm ảnh Phát bàn tay: Kết hợp thêm nhận dạng màu da sau phân cụm để tăng tính xác cho q trình phát vùng bàn tay Vùng bàn tay tách khỏi ảnh gốc Nhận dạng cử chỉ: Bàn tay sau tách đem nhận dạng Ở đây, đề tài sử dụng phương pháp nhận dạng thơng qua mạng Nơ-ron để huấn luyện ảnh Nếu ảnh bàn tay đáp ứng u cầu mạng xác định cử bàn tay Kết luận: Thơng báo cử bàn tay Chúng tơi thực nhận dạng cử bàn tay với cử 20 mẫu mơ hình nhận dạng từ máy tính 10 mẫu mơ hình nhận dạng trực tiếp từ Webcam kết bảng 4.2 Bảng 4.2: Kết nhận dạng cử bàn tay ngón Ba ngón % 95% % 70% 60 Hình 4.14: Kết nhận dạng từ máy tính Hình 4.15: Kết nhận dạng từ Webcam 61 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương tổng kết lại kết đạt chương, ưu điểm nhược điểm q trình thực Cũng tìm hướng nghiên cứu phát triển dựa tảng lý thuyết mơ có được, để tìm ứng dụng lĩnh vực nhận dạng cử bàn tay 5.1 KẾT LUẬN 5.1.1 Những mặt làm - Tìm hiểu phương phápnhận dạng cử bàn tay: thuật tốn phân cụm liệu K-means khơng gian màu xử lý ảnh - Tìm hiểu lý thuyết tổng quan mạng Nơ-ron nhân tạo Sử dụng thuật tốn lan truyền q trình nhận dạng huấn luyện cử bàn tay Nhóm thực mơ cho phép nhận dạng xác hình chụp bàn tay có sẵn mơ hình nhận dạng hình màu từ máy tính - Nhóm nghiên cứu đề tài sử dụng phần mềm Matlab để mơ hệ thống 5.1.2 Những mặt chưa làm - Trong q trình thực đề tài, nhóm tiến hành thu thập mẫu huấn luyện hạn chế số lượng độ phức tạp ảnh mẫu Số cử nhận dạng bị giới hạn (5 cử chỉ) đơn giản Với hình chụp có diện tích khn mặt lớn diện tích vùng bàn tay chương trình chưa xử lý - Mơ hình nhận dạng từ Webcam nhiều hạn chế việc nhận dạng thiết bị webcam, chất lượng ảnh chụp khơng gian sáng - Chưa có giá trị ứng dụng mơ hình thực tiễn 5.2 HƯỚNG PHÁT TRIỂN 62 - Phát triển mơ hình nhận dạng nhiều cử (24 chữ 10 chữ số) - Nâng cao độ tin cậy q trình nhận dạng cử bàn tay, phân tách khn mặt phát xác vùng bàn tay mơi trường phức tạp - Phát triển hệ thống nhận dạng cử liên tục - Phát triển mơ hình nhận dạng trực tiếp qua thiết bị camera, webcame qua mạng internet - Nhận dạng cử bàn tay để điều khiển robot, TV,… 63 PHỤ LỤC A MÃ NGUỒN CHƯƠNG TRÌNH MƠ PHỎNG A1 Chương trình xử lý ảnh vào file=imread(filename); a=imresize(file,0.4); rong=size(a,1); dai=size(a,2); rawImage = a; I = rawImage; cform = makecform('srgb2lab'); J = applycform(I,cform); ab = double(J(:,:,2:3)); nrows = size(ab,1); ncols = size(ab,2); ab = reshape(ab,nrows*ncols,2); nColors = 2; [cluster_idx, cluster_center] = kmeans(ab,nColors,'distance','sqEuclidean', 'Replicates',2); pixel_labels = reshape(cluster_idx,nrows,ncols); segmented_images = cell(1,2); rgb_label = repmat(pixel_labels,[1 3]); for k = 1:nColors color = I; color(rgb_label ~= k) = 0; segmented_images{k} = color; end mean_cluster_value = mean(cluster_center,2); [tmp, idx] = sort(mean_cluster_value); hand_cluster_num = idx(nColors); K = segmented_images{hand_cluster_num}; R=K(:,:,1); G=K(:,:,2); B=K(:,:,3); rule=(R>95).*(G>40).*(B>20).*(abs(RG)>15).*(R>G).*(R>B).*((max(max(R,G),B)-min(min(R,G),B))>15); bin= imfill(rule,'hole');%lap day khoang dientich=bwarea(bin); bin=bwareaopen(bin,round(dientich*0.3));% loai bo vung có dien tích nho hon 30% bantay=bin; b=bantay; ya=sum(b,1);%tong theo cot [cy y]=max(ya);% c la tong pixel lon nhat, y la tri so cot max xa=sum(b,2); [cx x]=max(xa); tong=sum(b(x:rong,:),2); for i=1:length(tong) if tong(i)< 0.5*cx break; end end 64 y1= (i+x);% vi tri hang co tong so pixel trang nho nhat tu vi tri max o giua tinh xuong duoi for i=x:-1:1 % chay tu diem x max cho den vi tri ban dau,-1 bc nhay if sum(b(i,:))==0 % xet tai vi tri hang cuoi cung break; end end y2=i; % hang tren cung for i=y:dai if sum(b(:,i))==0 break; end end x1=i; % cot phia ben phai cua ban tay for i=y:-1:1 if sum(b(:,i))==0 break end end x2=i; h=y1-y2;% chieu cao w=x1-x2;% chieu rong bantay1=imcrop(bantay,[x2 y2 w h]); d=imresize(bantay1,[60 50]); d1=bwlabel(d); b1=[]; for i=1:60 b=d1(i,:); c=b'; b1=[b1;c]; end b2=b1; A2 Chương trình nhận dạng load('dnetwork.mat'); kt=sim(net,b2); [t g]=max(kt); if t>0.6 if (g==1) set(handles.kq_t,'string',['MỘT NGÓN '],'FontName','VNIMeli'); end if (g==2) set(handles.kq_t,'string',[ 'HAI NGÓN '],'FontName','VNIMeli'); end if (g==3) set(handles.kq_t,'string','BA NGÓN','FontName','VNI-Meli'); end if (g==4) set(handles.kq_t,'string','BỐN NGÓN','FontName','VNI-Meli'); end if (g==5) set(handles.kq_t,'string','NĂM NGÓN','FontName','VNI-Meli'); end else set(handles.kq_t,'string',['không nhận dạng được'],'FontName','VNI-Meli'); end 65 PHỤ LỤC B HƯỚNG DẪN MƠ PHỎNG B1 Giao diện Hình B1: Giao diện nhận dạng Nút “Máy Tính”: Chuyển hướng đến giao diện nhận dạng cử bàn tay từ hình màu có sẵn máy tính Nút “Webcam”: Chuyển hướng đến giao diện nhận dạng cử bàn tay hình chụp trực tiếp từ Webcam Nút “Thốt”: Thốt tất giao diện B2 Giao diện nhận dạng hình 2D từ máy tính Hình B2: Giao diện nhận dạng hình 2D từ máy tính 66 Nút “Chọn Ảnh”: Lựa chọn file ảnh cần nhận dạng Hình chọn hiển thị lên axes1 (khung bên trái) Nút “Huấn Luyện”: Thực huấn luyện mạng Nơ-ron Nút “Nhận Dạng”: Tiến hành nhận dạng cử bàn tay, hiển thị vùng bàn tay tách khỏi ảnh gốc lên axes2, đồng thời thơng báo kết nhận dạng chữ lên static text Nút “Tiếp Tục”: Chuyển hướng giao diện Nút “Thốt”: Thốt chương trình nhận dạng B3 Giao diện nhận dạng trực tiếp Hình B3: Giao diện nhận dạng trực tiếp từ Webcam Nút “Huấn Luyện”: Thực huấn luyện mạng Nơ-ron Nút “Chụp Hình”: Cho phép chụp hình từ Webcam lưu hình, hiển thị hình vừa chụp lên axes Nút “TiếpTục”: Chuyển hướng đến giao diện Nút “Thốt”: Thốt chương trình nhận dạng 67 TÀI LIỆU THAM KHẢO [1] Daniel Graupe, Principles of artificial neural, Univercity of llinois(2 nd Edition), Chicago, USA [2]Chen Chiung Hsieh and Dung Hua Liou, “A Real Time Hand Gesture Recognition System Using Motion History Image”, International Conference on Signal Processing Systems (ICSPS), vol 2, pp 394-398, 2010 [3]Lingchen, Feng Wang, Hui Deng and Kaifan Ji, “A Survey on Hand Gesture Recognition”, International Conference on Computer Sciences and Applications, pp 313-316, 2013 [4]Dharani Mazumdar, Anjan Kumar Talukdar and Kandarpa Kumar Sarma, Feng Wang, Hui Deng and Kaifan Ji, “Gloved and Free Hand Tracking based Hand Gesture Recognition”, ICETACS, pp 197-202, 2013 [5]Meenakshi Panwar, Hand Gesture Recognition based on ShapeParameters, Uttar Pradesh, India [6]Jesus Suarez and Robin R.Murphy, “Hand Gesture Recognition with Depth Images: A Review”, IEEE RO-MAN, pp 411-417, 2012 [7]Chenglong Zu, Xuan Wang, Hejion Huang and Jianping Shen, “Vision-Based Hand Gesture Recognition Using Combinational Features”, International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp 543-446, 2010 [8] Ðồn Tấn Phát, Nguyễn Phan Nhật Tân, “Nhận dạng cử bàn tay để điều khiển robot”, Trường Đại học Lạc Hồng 68 [...]... nhận dạng cử chỉ sử dụng mạng Nơ-ron nhân tạo 1.4.3 Giới hạn đề tài - Nhóm thực hiên nhận dạng 5 cử chỉ bàn tay - Số mẫu để huấn luyện bằng mạng Nơ-ron trong 100 mẫu - Nhận dạng cử chỉ bàn tay thông qua hình ảnh 2D có sẳn và môi trường không phức tạp(điều kiện sáng, độ chói, ) - Nhận dạng thông qua Webcam 1.5 NỘI DUNG NGHIÊN CỨU ĐỀ TÀI Với đề tài Nhận dạng cử chỉ bàn tay dùng phân cụm K-means và mạng. .. phát hiện màu da, - nhận dạng cử chỉ Chenglong Zu, Xuan Wang, Hejion Huang và Jianping Shen nghiên cứu về nhận dạng cử chỉ bằng các tính năng tổ hợp[7] Dựa trên các tính năng phân biệt màu da, không gian màu YCbCr Nhận dạng bàn tay được nhận dạng với ba tính năng: bất biến Hu, khu vực cử chỉ bàn tay và Fourier Và dùng MLP để phân biệt các cử chỉ bàn tay Tới thời điểm này, nhận dạng cử chỉ được giả thiết... bình và bộ làm phẳng được tích hợp để loại bỏ tiếng ồn Thông số tổ hợp bất biến, khu vực cử chỉ bàn tay và Fourier mô tả được sự tạo thành các vector tính năng mới để có thể nhận dạng cử chỉ bàn tay - Tiền xử lý: Xử lý các hình ảnh bàn tay để có các tính năng bàn tay sau khi phát hiện cử chỉ bàn tay để có được những hình dạng tay 1 Phát hiện cử chỉ bàn tay là phát hiện hình dạng tay Hình dạng tay được... Ngày nay, nhận dạng nói chung và nhận dạng cử chỉ bàn tay nói riêng là một khái niệm không còn xa lạ bởi ý nghĩa ứng dụng trong thực tế, ví dụ như nhận dạng cử chỉ bàn tay để thông báo hoặc điều khiển hành vi… Đề tài thực hiện nhận dạng cử chỉ bàn tay sử dụng phương pháp phân cụm dữ liệu K-means và huấn luyện mạng Nơ-ron Hệ thống nhận dạng trên gồm hai phần: phần huấn luyện và phần nhận dạng Dữ liệu... DỰNG HỆ THỐNG NHẬN DẠNG CỬ CHỈ BÀN TAY Ở đề tài này, chúng tôi chọn kỹ thuật phân cụm dữ liệu K-means và không gian màu để xác định vùng bàn tay, đồng thời dùng huấn luyện ảnh bằng mạng Nơ-ron để nhận dạng cử chỉ bàn tay từ hình 2D Sơ đồ khối hệ thống: 31 Hình 2.10: Sơ đồ hệ thống nhận dạng cử chỉ bàn tay 32 CHƯƠNG 3 PHÂN CỤM VÀ PHÁT HIỆN MÀU DA 3.1 PHÂN CỤM DỮ LIỆU 3.1.1 Giới thiệu về phân cụm dữ liệu... tiếp bằng cử chỉ Ngoài ra có thể giúp người khiếm thính nhận biết ngôn ngữ qua cử chỉ bàn tay - Về mặt nghiên cứu khoa học, các hệ thống nhận dạng cử chỉ hiện tại đều dựa trên phương pháp thống kê và so khớp mẫu Phương pháp này đòi hỏi các tri thức về nhận dạng và một lượng lớn dữ liệu huấn luyện, bao gồm các dạng cử chỉ, để huấn luyện bộ nhận dạng Lượng dữ liệu huấn luyện càng lớn, bộ nhận dạng càng... được chuẩn hóa thành ảnh nhị phân Bằng việc so sánh ảnh cần nhận dạng với cơ sở dữ liệu ảnh mẫu thông qua mạng Nơ-ron để phát hiện và nhận dạng cử chỉ bàn tay tương ứng Nhóm thực hiện huấn luyện 100 ảnh mẫu với 5 cử chỉ bàn tay trong cùng điệu kiện sáng Kết quả nhận dạng thành công 90% 11 CHƯƠNG 1 GIỚI THIỆU 1.1 TỔNG QUAN VỀ NHẬN DẠNG CỬ CHỈ BÀN TAY Trong thời đại công nghệ thông tin hiện nay, các hệ thống... nghệ thông tin nghiên cứu dựa trên nhận dạn kiểu phân lớp SVM(Support Vector Machine)[8] Các nghiên cứu của nhóm tập trung vào nhận dạng cử chỉ, hệ thống điều khiển giữa người và máy, 1.3 Ý NGHĨA CỦA ĐỀ TÀI Đề tài “ Nhận dạng cử chỉ bàn taydùng phân cụm K-means và mạng Nơ- ron” của nhóm xây dựng với mong muốn góp một phần thúc đẩy sự phát triển trong nhận dạng cử chỉ, thông qua việc tìm hiểu các thành... (2.7) (2.8) (2.9) 2.4 NHẬN DẠNG CỬ CHỈ BÀN TAY BẰNG TÍNH NĂNG TỔ HỢP Chenglong Zu, Xuan Wang, Hejion Huang và Jianping Shen nghiên cứu về nhận dạng cử chỉ bằng các tính năng tổ hợp[7] Gồm tính năng màu da tay trong không gian màu YCbCr được sử dụng để phát hiện cử chỉ bàn tay Những hình bóng tay và các tính năng có thể được trích xuất một cách chính xác trên các phương hình ảnh tay và tăng cường độ ảnh... phát hiện các vùng da giống tay, đến phân loại các cử chỉ bàn tay động, đã phát triển một cách đơn giản và lịch sử chuyển động ảnh dựa trên phương pháp bốn nhóm Haar-like Cử chỉ bàn taytĩnh và động được thể hiện ở hình 2.4 Các hướng di chuyển bàn tay được sử dụng để phân loại các cử chỉ bàn tay động trong hình 2.4(a) tới 2.4(d) trong khi các phát hiện mặt tĩnh của bàn tay dựa vào sự cố định của khuôn ... dạng cử Chenglong Zu, Xuan Wang, Hejion Huang Jianping Shen nghiên cứu nhận dạng cử tính tổ hợp[7] Dựa tính phân biệt màu da, không gian màu YCbCr Nhận dạng bàn tay nhận dạng với ba tính năng:... NĂNG TỔ HỢP Chenglong Zu, Xuan Wang, Hejion Huang Jianping Shen nghiên cứu nhận dạng cử tính tổ hợp[7] Gồm tính màu da tay không gian màu YCbCr sử dụng để phát cử bàn tay Những hình bóng tay tính