(Luận văn) phương pháp nhận diện mẫu sử dụng mô hình túi từ và mạng neural

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG lu an n va p ie gh tn to NGUYỄN KHÁNH TÙNG oa nl w d PHƢƠNG PHÁP NHẬN DIỆN MẪU SỬ DỤNG lu ll u nf va an MƠ HÌNH TÚI TỪ VÀ MẠNG NEURAL oi m z at nh LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z m co l gm @ Thái Nguyên, tháng 06 năm 2016 an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si ii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG lu an n va NGUYỄN KHÁNH TÙNG p ie gh tn to PHƢƠNG PHÁP NHẬN DIỆN MẪU SỬ DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 d oa nl w MƠ HÌNH TÚI TỪ VÀ MẠNG NEURAL ll u nf va an lu oi m LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z at nh Ngƣời hƣớng dẫn khoa học z m co l gm @ TS Nguyễn Toàn Thắng http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN an Lu Thái Nguyên, tháng 06 năm 2016 ac th si iii LỜI CAM ĐOAN Tên Nguyễn Khánh Tùng, học viên cao học lớp 13 C niên khóa 2014- 2016, chun nghành Khoa học máy tính Tơi xin cam đoan luận văn thạc sĩ: Phƣơng pháp nhận diện mẫu sử dụng mơ hình túi từ mạng Neural tự thân tơi tìm hiểu, nghiên cứu dƣới hƣớng dẫn TS Nguyễn Toàn Thắng Các chƣơng trình thực nghiệm thân tơi lập trình, kết hoàn toàn trung thực Các tài liệu tham khảo đƣợc trích lu dẫn thích đầy đủ an TÁC GIẢ LUẬN VĂN n va p ie gh tn to d oa nl w Nguyễn Khánh Tùng ll u nf va an lu oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si iv LỜI CẢM ƠN Để hồn thành luận văn tơi đƣợc nhiều động viên giúp đỡ cá nhân tập thể Trƣớc hết, cho xin đƣợc bày tỏ lịng biết ơn sâu sắc đến TS Nguyễn Tồn Thắng hƣớng dẫn thực đề tài nghiên cứu Xin bày tỏ lịng biết ơn chân thành tới thầy, cô giáo ngƣời đem lại cho kiến thức vô quý giá, có ích năm học vừa qua lu Cảm ơn Trung tâm HN&GDTX Thị xã Đông Triều tạo điều an kiện cho suốt trình học tập va n Cùng xin gửi lời cảm ơn chân thành tới Ban giám hiệu, Phòng Đào tạo, gh tn to Khoa sau đại học, Đại học Công nghệ thông tin Truyền thông Thái Nguyên Cuối tơi xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp, tập thể p ie tạo điều kiện cho tơi q trình học tập nghiên cứu nl w lớp Khoa học máy tính K13 C Quảng Ninh, ngƣời bên tôi, động d oa viên khuyến khích tơi q trình thực đề tài nghiên cứu ll u nf va an lu HỌC VIÊN oi m z at nh Nguyễn Khánh Tùng z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si v MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iv MỤC LỤC v DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH viii MỞ ĐẦU CHƢƠNG TỔNG QUAN 1.1 Khảo sát số cơng trình đƣợc cơng bố nhận diện bàn tay lu an 1.2.Trích chọn đặc trƣng 10 va 1.2.1 Đặt vấn đề 10 n 1.2.2 Đặc trƣng màu sắc 11 to 1.2.4 Đặc trƣng hình dạng 13 p ie gh tn 1.2.3 Đặc trƣng kết cấu 12 1.2.5 Đặc trƣng cục bất biến 14 nl w 1.3 Phân lớp liệu mạng neuron 18 d oa 1.3.1 Phân lớp liệu 18 an lu 1.3.2 Các vấn đề liên quan đến phân lớp liệu 21 va 1.3.3 Mạng neuron 22 u nf CHƢƠNG TRÌNH BÀY SỬ DỤNG MƠ HÌNH TÚI TỪ ĐỂ XÂY DỰNG BỘ 29 ll MÔ TẢ CHO VẬT THỂ VÀ THUẬT TOÁN NHẬN DIỆN VẬT THỂ VỚI m oi MẠNG NEURON 29 z at nh 2.1 Mơ hình túi từ phân lớp văn 29 z 2.2 Ý tƣởng Thuật toán 31 gm @ 2.3 Diễn giải chi tiết thuật toán 35 l 2.3.1 Trích chọn mơ tả đặc trƣng với SURF 35 m co 2.3.2 Phân cụm đặc trƣng SURF sinh từ điển 37 2.3.3.Tạo loại mô tả vật thể dựa SURF từ điển để dùng cho mạng an Lu neuron 40 http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si vi 2.3.4 Huấn luyện phân lớp với mạng neuron 42 CHƢƠNG XÂY DỰNG CHƢƠNG TRÌNH THỬ NGHIỆM 44 3.1 Các lớp xây dựng chƣơng trình 44 3.2 Chƣơng trình «Hand Recognitor» 49 CHƢƠNG THỬ NGHIỆM THUẬT TỐN VÀ PHÂN TÍCH KẾT QUẢ 60 4.1 Thử nghiệm với liệu tự tạo 60 4.1.1 Giai đoạn sinh từ điển huấn luyện 60 4.1.2 Test với liệu chứa ảnh với đơn giản nhiều góc nghiêng khoảng cách khác 63 lu 4.1.3 Test với liệu chứa ảnh có nhiễu 67 an n va 4.1.4 Test với liệu chứa ảnh bị nhiễu nặng 69 4.2 Thử nghiệm với số liệu mở 71 4.2.1 Thử nghiệm với liệu Sebastien Marcel 71 ie gh tn to 4.1.5 Kết luận 70 p 4.2.2 Test với liệu Đại học Cambridge 73 nl w KẾT LUẬN 76 d oa TÀI LIỆU THAM KHẢO 77 ll u nf va an lu oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si vii DANH MỤC CÁC BẢNG Số bảng Tên bảng Trang Bảng 3.1 Mô tả lớp để xây dựng mạng neuron 45 Bảng 3.2 Mô tả lớp module SURF 46 Bảng 3.3 Mô tả số lớp thuộc module sinh từ điển 47 Bảng 4.1 Một số kết phân tích số lƣợng đặc trƣng với giá trị khác ngƣỡng Hessian 62 lu Bảng4.2 Kết test với liệu hình có kích thƣớc khác 65 an Bảng 4.3 Kết test với liệu ảnh có nhiễu nhẹ 68 va n Bảng 4.4 Kết test với liệu có nhiễu 70 gh tn to Bảng 4.5 Kết test với liệu Sebastien Marcel 72 ie Bảng 4.6 Kết thử nghiệm mơ hình CGM 73 p Bảng 4.7 Kết thử nghiệm với liệu Đại học Cambridge 75 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si viii DANH MỤC CÁC HÌNH Số hình Tên hình Trang Hình 1.1 Găng tay có gắn thiết bị HCI Hình 1.2 Mơ hình bàn tay với 27 DOF Tomasi xây dựng nguyên tắc hoạt động phƣơng pháp dựa mơ hình 3D Hình 1.3 Nhận diện bàn tay dựa đƣờng biên Hình 1.4 Đặc trƣng Haar AdaBoost lu Hình 1.5 Biểu đồ mơ việc tính tốn DoG ảnh từ ảnh kê mờ 16 an Hình 1.6 Quá trình lựa chọn điểm hấp dẫn 17 va n Hình 1.7 Biểu diễn vector đặc trƣng 18 gh tn to Hình 1.8.cấu trúc neuron 23 ie Hình 1.9 Mơ hình neuron Mc Culloch Pitts 24 p Hình 1.10 Mạng truyền thẳng ba lớp 25 nl w Hình 2.1 Mơ tả ý tƣởng thuật tốn nhận diện vật thể trình bày dựa d oa mơ hình túi từ 32 an lu Hình 2.2 Sơ đồ tổng quát thuật tốn nhận diện vật thể trình bày 33 u nf va Hình 2.3 Đặc trƣng đƣợc trích chọn SURF 37 Hình 2.4.Mơ tả trực quan q trình phân cụm sinh từ điển 39 ll oi m Hình 2.5 Vật thể mơ tả BOW tƣơng ứng 41 z at nh Hình 2.6.Mạng neuron nhiều lớp 42 Hình 3.1 Các lớp để xây dựng mạng neuron 45 z Hình 3.2 Mơ tả lớp module SURF 46 @ l gm Hình 3.3 Các lớp thuộc module sinh từ điển 48 m co Hình 3.4 Giao diện chƣơng trình Hand Recognitor 49 Hình 3.5 Giao diện module tạo liệu test thuật toán 50 an Lu Hình 3.6 Tab «Real-time» để tạo liệu 51 http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si ix Hình 3.7 Ví dụ ảnh thu đƣợc thuộc lớp «Fist», «OK», «Palm», «Point» 52 Hình 3.8 Giao diện module tạo liệu test thuật toán 53 Hình 3.9 Ứng dụng «BOW params» để lựa chọn tham số 54 Hình 3.10 Kết phân tích ảnh thuộc lớp 55 Hình 3.11 Giao diện để tạo huấn luyện mạng neuron 56 Hình 3.12 Tự động test độ xác thuật tốn 58 Hình 3.13 Kiểm tra hoạt động thuật toán 59 lu Hình 3.14 Thử nghiệm nhận diện thời gian thực 59 an Hình 4.1 Các lớp vật thể liệu 60 va n Hình 4.2 Một phần liệu dùng để sinh từ điển 61 gh tn to Hình 4.3 Bộ liệu huấn luyện 63 ie Hình 4.4 Một số hình liệu test 64 p Hình 4.5 Một phần liệu test với nhiễu nhẹ 68 nl w Hình 4.6 Một phần liệu thử nghiệm 69 d oa Hình 4.7 Các lớp liê ̣u Sebastien Marcel 71 an lu Hình 4.8 Một số hình thuộc lớp A chia làm hai nhóm: nhóm “đơn giản” u nf va (hàng trên), nhóm “phức tạp” (hàng dƣới) 72 Hình 4.9 Một phần liệu Đại học Cambridge 74 ll oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si MỞ ĐẦU Ngày dƣới phát triển rộng rãi ứng dụng công nghệ thông tin vào sống, việc tƣơng tác ngƣời thiết bị ngày trở nên quan trọng Trƣớc đây, bàn phím chuột giao diện để giao tiếp ngƣời máy tính Trong lĩnh vực khác cần tới thơng tin 3D, chẳng hạn nhƣ trị chơi máy tính, robot lĩnh vực thiết kế… thiết bị khí khác nhƣ bóng lăn, cần điều khiển hay găng tay liệu đƣợc sử dụng Tuy nhiên, ngƣời giao tiếp chủ yếu “nghe” “nhìn”, lu giao diện ngƣời – máy trực quan ngƣời điều khiển an máy tính giọng nói hay cử giống nhƣ tƣơng tác ngƣời với va n ngƣời giới thực mà không cần thông qua thiết bị điều khiển khác gh tn to nhƣ chuột hay bàn phím Một ƣu điểm khác ngƣời dùng giao tiếp từ ie xa mà khơng cần phải có tiếp xúc vật lý với máy tính So với hệ thống p điều khiển lệnh âm thanh, hệ thống thị giác thích hợp nl w môi trƣờng ồn trƣờng hợp âm bị nhiễu d oa Nhận dạng cử động tay ngƣời cách tự nhiên tƣơng tác an lu ngƣời – máy ngày nhiều nhà nghiên cứu học viện ngành u nf va công nghiệp quan tâm đến hƣớng Nó cho phép ngƣời tƣơng tác với máy dễ dàng thuận tiện mà không cần phải mang thêm thiết ll oi m bị ngoại vi Với mục đích nghiên cứu kỹ thuật nhận dạng cử bàn tay z at nh ngƣời, luận văn tập trung trình bày số nội dung nhƣ sau: GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI z Tƣơng tác ngƣời - máy (Human - Computer Interaction, HCI) @ l gm lĩnh vực thu hút nhiều nghiên cứu đạt đƣợc nhiều kết ấn tƣợng m co thời gian gần Một toán quan trọng lĩnh vực cung cấp khả điều khiển máy tính (hoặc thiết bị) từ xa thơng qua an Lu camera kết nối với máy Bài toán thƣờng bao gồm bƣớc: phát đối http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 64  Bộ liệu gốc kích thƣớc 120x120, lớp chứa 500 hình;  Bộ liệu kích thƣớc 100x100, lớp chứa 500 hình (là hình liệu đƣợc thu nhỏ kích thƣớc);  Bộ liệu kích thƣớc 80x80, lớp chứa 500 hình (là hình liệu đƣợc thu nhỏ kích thƣớc);  Bộ liệu kích thƣớc 50x50, lớp chứa 500 hình (là hình liệu đƣợc thu nhỏ kích thƣớc) lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z Hình 4.4 Một số hình liệu test m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 65 Kết test đƣợc thể bảng 4.2 Bảng 4.2 Kết test với liệu hình có kích thƣớc khác Kích thƣớc 120x120 Lớp Open Fist Fist Palm Palm V-Shape lu 0 Nhận diện Open Palm 499 0 thành Palm 0 494 V-Shape 0 490 10 39 42 39 40 98,6 99,8 98,8 98,0 an 493 n va tn to Không nhận diện Kết gh p ie Thời gian xử lý trung bình (ms)1 w Độ xác (%) Độ xác trung bình oa nl 98,8 % d Kích thƣớc 100x100 lu u nf va an Lớp Open Fist ll Palm 499 0 0 493 0 490 10 m co l gm Không nhận diện @ V-Shape z Palm z at nh thành V-Shape 492 oi Nhận diện Open Palm m Fist Palm an Lu n va Thời gian xử lý bao gồm thời gian trích đặc trƣng SURF, thời gian tính vector BOW, thời gian xử lý mạng neuron Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ac th si 66 Kết Thời gian xử lý trung bình (ms) Độ xác (%) 28 31 29 30 98,4 99,8 98,6 98,0 Palm V-Shape Độ xác trung bình 98,7 % Kích thƣớc 80x80 Lớp Open Fist 490 0 Nhận diện Open Palm 499 0 thành Palm 0 491 V-Shape 0 489 10 11 Thời gian xử lý trung bình (ms) 14 16 15 15 oa 98,0 99,8 98,2 97,8 Palm V-Shape 22 23 470 11 12 443 13 11 441 13 11 lu Fist Palm an n va gh tn to p ie Không nhận diện nl w Kết d Độ xác (%) lu Độ xác trung bình u nf Kích thƣớc 50х50 va an 98,5 % ll Lớp oi m z at nh 444 V-Shape 14 23 http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN an Lu Không nhận diện m co Palm l thành gm 10 @ Nhận diện Open Palm Palm z Fist Open Fist ac th si 67 Kết Thời gian xử lý trung bình (ms) Độ xác (%) 14 16 15 15 88,8 94,0 88,6 88,2 Độ xác trung bình 89,9 % Kết thực nghiệm cho thấy chênh lệch nhỏ độ xác trung bình (trừ hình kích thƣớc 50x50) Tuy nhiên thời gian xử lý trung bình chênh lệch lớn (15 ms hình kích thƣớc 80x80, 40 ms với hình lu kích thƣớc 120x120) Tốc độ xử lý chấp nhận đƣợc để sử dụng thời an va gian thực (với camera có tốc độ thu 15 frame/giây thời gian xử lý frame n không đƣợc vƣợt 40 ms, khơng tạo tình trạng giật hình) to gh tn Thuật tốn trình bày đạt đƣợc kết nhận diện cao tình p ie lý tƣởng (một vật thể trơn) không phụ thuộc vào khoảng cách chụp hình nhƣ góc nghiêng vật thể hình oa nl w Đối với liệu hình kích thƣớc 50x50, độ xác giảm mạnh d số lƣợng nhận diện nhầm tăng lên đáng kể (trừ lớp Open Palm) Khi phân tích an lu cho thấy, số lƣợng đặc trƣng SURF thu đƣợc từ hình khoảng 7-10 (trừ u nf va Open Palm) Nhƣ vậy, thuật toán hoạt động thiếu hiệu số lƣợng đặc ll trƣng SURF thu đƣợc q ảnh có kích thƣớc nhỏ Điều oi m giúp đƣa đến kết luận rằng, vật thể có bề mặt đơn giản (vd, hình z at nh bóng trịn đồng màu), thuật tốn khơng hoạt động hiệu có q đặc trƣng trích đƣợc từ hình vật thể Thuật toán hoạt động tốt với z gm @ vật thể có hình dạng bề mặt phức tạp 4.1.3 Test với liệu chứa ảnh có nhiễu l m co Bộ liệu chứa ảnh có nhiễu nhẹ (hình 4.5) bao gồm 1000 ảnh cho lớp Mỗi ảnh đƣợc chụp với độ sáng thấp đơn giản có số an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 68 vật thể nhỏ khác Kích thƣớc ảnh liệu 100x100 pixel Kết test đƣợc trình bày bảng 4.3 lu an va n Hình 4.5 Một phần liệu test với nhiễu nhẹ gh tn to Bảng 4.3 Kết test với liệu ảnh có nhiễu nhẹ Lớp ie p Fist Open Palm V-Shape nl w Palm 947 0 0 983 0 951 0 935 17 49 64 34 30 32 95,1 93,5 d oa Fist Palm V-Shape ll u nf va thành an lu Nhận diện Open Palm 52 oi m Không nhận diện đƣợc Thời gian xử lý trung 94,7 gm @ Độ xác (%) z bình 31 z at nh Kết 98,3 l 95,8 % m co Độ xác trung bình Trong thử nghiệm quan sát thấy độ xác trung bình giảm an Lu nhẹ (so với thử nghiệm phần trƣớc), đồng thời tăng thời gian xử lý http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 69 trung bình hình Điều đƣợc giải thích nhƣ sau: xuất vật thể khác hình nền, số lƣợng đặc trƣng SURF tìm thấy tăng lên, làm tăng thời gian xử lý xây dựng mô tả BOW; đặc trƣng SURF thu đƣợc từ đối tƣợng “lạ” (khơng phải từ vật thể) có ảnh hƣởng xấu tới độ xác thuật tốn nhận diện Kết thử nghiệm đƣa đến kết luận quan trọng: phƣơng pháp biểu diễn đặc trƣng BOW hoạt động mà không cần thực phân tách riêng vật thể khỏi hình lu 4.1.4 Test với liệu chứa ảnh bị nhiễu nặng an Đây liệu đƣợc chụp điều kiện thật văn phịng với độ va n sáng khơng cố định, có lẫn vật thể lớn khác, với nhiều góc nghiêng gh tn to kích thƣớc khác (từ 80x80 tới 120x120) Một phần liệu p ie đƣợc trình bày hình 4.6 Kết test trình bày bảng 4.4 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ Hình 4.6 Một phần liệu thử nghiệm an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 70 Bảng 4.4 Kết test với liệu có nhiễu Lớp Fist Open Palm Palm V-Shape 918 Nhận diện Open Palm 965 thành Palm 903 V-Shape 1 918 Không nhận diện đƣợc 80 35 95 79 34 37 34 35 91,8 96,5 90,3 91,8 Fist lu Kết an n va Thời gian xử lý trung bình (ms) Độ xác trung bình 92,6 % Trong thử nghiệm này, độ xác giảm đáng kể thời gian xử lý p ie gh tn to Độ xác (%) w tăng lên so với thử nghiệm nhƣng nhìn chung, độ xác oa nl chấp nhận đƣợc Nếu thuật toán nhận diện đƣợc sử dụng với d giải pháp theo dõi vật thể (object tracking) đạt đƣợc kết tƣơng tự lu an nhƣ thử nghiệm thứ hai (do phƣơng pháp theo dõi vật thể thƣờng ll 4.1.5 Kết luận u nf va khoanh vùng đƣợc khu vực chứa vật thể) m oi Thuật tốn trình bày đạt đƣợc kết nhận diện cao tình z at nh lý tƣởng (một vật thể trơn) không phụ thuộc vào khoảng cách chụp hình nhƣ góc nghiêng vật thể hình z gm @ Thuật tốn hoạt động thiếu hiệu số lƣợng đặc trƣng SURF thu l đƣợc q ảnh có kích thƣớc nhỏ Điều giúp đƣa đến kết m co luận rằng, vật thể có bề mặt đơn giản, thuật tốn khơng hoạt động hiệu có q đặc trƣng trích đƣợc từ hình vật thể Thuật toán an Lu hoạt động tốt với vật thể có hình dạng bề mặt phức tạp http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 71 Phƣơng pháp biểu diễn đặc trƣng BOW hoạt động mà khơng cần thực phân tách riêng vật thể khỏi hình Vâ ̣y môi trƣờng làm viê ̣c là mô ̣t yế u tố ảnh hƣởng tới hiê ̣u quả của công viê ̣c thƣ̉ nghiê ̣m thuâ ̣t toán 4.2 Thử nghiệm với số liệu mở Trong phần trình bày kết thử nghiệm với hai liệu: liệu Sebastien Marcel liệu Đại học Cambridge 4.2.1 Thử nghiệm với liệu Sebastien Marcel lu Bộ liệu đƣợc xây dựng công bố với lớp (A, B, C, Five, an Point, V) phần ký hiệu ngôn ngữ cử Hoa Kỳ va n (ASL – American Sign Language) (Hình 4.7) p ie gh tn to C V ll u nf va an lu B z at nh d oa nl w A oi m Five Point z gm @ Hình 4.7 Các lớp liệu Sebastien Marcel l m co Bộ liệu huấn luyện chứa 1329 hình thuộc lớp A, 487 hình lớp B, 572 hình lớp C, 645 lớp Five, 1395 hình lớp Point, 435 hình lớp V Để sinh an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 72 từ điển, cơng trình tự xây dựng liệu gồm 200 hình kích thƣớc 100x100 cho lớp Bộ liệu test chứa 97 hình lớp A, 102 hình lớp B, 112 hình lớp C, 112 hình lớp Five, 138 hình lớp Point 119 hình lớp V (hình 4.8) Kết thử nghiệm trình bày bảng 4.5 lu an n va tn to gh Hình 4.8 Một số hình thuộc lớp A chia làm hai nhóm: p ie nhóm “đơn giản” (hàng trên), nhóm “phức tạp” (hàng dưới) Số hình (2) 35 oi 58 39 57 B 61 41 59 C 65 47 60 V 57 38 54 Five 76 58 75 Point 65 54 63 Thời gian xử lý trung bình (ms) m (2) 98,3% 89,7% 27 28 40 96,7% 97,6% 27 27 40 92,3% 85,1% 27 27 30 94,7% 78,9% 27 27 56 98,7% 96,6% 28 29 96,9% 92,6% 27 27 z at nh (1) 50 (2) Kết 96,3% 90,1% 93,2% m co Độ xác trung bình l gm @ A (1) z (1) u nf (2) ll va an (1) an Lu Độ xác Nhận diện lu Lớp d oa nl w Bảng 4.5 Kết test với liệu Sebastien Marcel2 Cột (1), (2) – Kết test với liệu đơn giản (1), liệu phức tạp (2) http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 73 Trong cơng trình [8], Sebastien Marcel xây dựng mơ hình CGM (Constrained Generative Model) để nhận diện hình bàn tay Kết đƣợc tác giả công bố tổng kết bảng 4.6 Bảng 4.6 Kết thử nghiệm mơ hình CGM Trên đơn giản Độ xác Số hình Lớp trung bình lu A,B,C,V 241 93,8% A-V 382 93,4% an Độ xác n va Trên phức tạp Số hình trung bình A,B,C,V 165 74,8% p 277 76,1% ie gh tn to Lớp oa nl w A-V d Nhìn qua kết bảng test CGM so với kết test u nf va thời gian xƣ̉ lí an lu thƣ̉ nghiê ̣m.Về mă ̣t chỉ số hiê ̣u quả của chúng hẳ n đô ̣ chiń h xác lẫn ll 4.2.2 Test với liệu Đại học Cambridge m oi Bộ liệu Đại học Cambridge chứa 900 chuỗi hình với lớp, z at nh tƣơng ứng với hình dạng bàn tay hƣớng nghiêng bàn tay (hình 4.9), đƣợc chụp với hƣớng chiếu sáng khác Mỗi lớp chứa 100 chuỗi hình z gm @ (5 hƣớng chiếu sáng x 20 chuỗi hình cho hƣớng) Mỗi chuỗi hình chứa 70 hình m co l an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 74 Trái Phải Nắm Phẳng Mở lu Chữ V an va n a) p ie gh tn to Phẳng/ Trái Phẳng/ Nắm Mở/ Phải Mở/ Khép V / Phải V / Khép oa nl w Phẳng/ Phải d Mở/ Trái ll u nf va an lu V / Trái oi m b) z at nh z c) @ gm Hình 4.9 Một phần liệu Đại học Cambridge m co l a) lớp, bao gồm hình dạng hướng nghiêng; b) Ví dụ hình lớp; c) hướng chiếu sáng an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 75 Bảng 4.7 Kết thử nghiệm với liệu Đại học Cambridge Hƣớng chiếu Lớp sáng Độ xác Độ xác trung (%) bình (%) lu an n va gh tn to Phẳng 95,2 Mở 98,1 V 94,5 Phẳng 93,4 Mở 97,7 V 93,1 Phẳng 93,6 Mở 97,9 V 93,1 94,7 94,9 94 97,5 V 92,9 Phẳng 94,2 Mở 98,1 V 93,9 94,8 d oa nl w Mở lu p ie Phẳng 95,9 u nf va an Độ xác trung bình 95,4 95,1% ll oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 76 KẾT LUẬN Trong thời gian vừa qua, nhƣ trình bày nội dung nghiên cứu đề tài bao gồm phần sau: - Giới thiệu chung nhận diện mẫu - Những vấn đề cần giải tốn nhận diện mẫu - Các phƣơng pháp trích chọn đặc trƣng ảnh số - Các phƣơng pháp biểu diễn đặc trƣng - Các phƣơng pháp phân lớp liệu - Một số phƣơng pháp nhận diện mẫu đƣợc cơng bố (phân tích, so lu an sánh ƣu/nhƣợc điểm, phạm vi ứng dụng) n va - Trình bày thuật tốn xây dựng vector đặc trƣng dựa mơ hình túi từ song SURF SIFT) gh tn to + Lựa chọn phƣơng pháp trích chọn đặc trƣng (Trình bày sử dụng song p ie + Lựa chọn phƣơng pháp phân cụm liệu (Trình bày sử dụng thuật tốn K- means) nl w + Trình bày thuật tốn xây dựng kho từ vựng cho mơ hình túi từ an lu ảnh số d oa + Trình bày thuật toán xây dựng vector đặc trƣng cho đối tƣợng va + Xây dựng chƣơng trình thử nghiệm u nf + Thực huấn luyện test số kho liệu cử ll + Phân tích, đánh giá kết thu đƣợc; so sánh kết thu đƣợc với m oi kết số phƣơng pháp nhận diện đƣợc công bố z at nh + Thuật toán đạt đƣợc kết nhận diện cao tình lý z tƣởng (một vật thể trơn) không phụ thuộc vào khoảng cách chụp gm @ hình nhƣ góc nghiêng vật thể hình l + Thuật tốn hoạt động thiếu hiệu số lƣợng đặc trƣng SURF m co thu đƣợc q ảnh có kích thƣớc nhỏ Điều giúp đƣa đến kết luận rằng, vật thể có bề mặt đơn giản, thuật tốn khơng hoạt an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si 77 động hiệu có đặc trƣng trích đƣợc từ hình vật thể Thuật toán hoạt động tốt với vật thể có hình dạng bề mặt phức tạp TÀI LIỆU THAM KHẢO [1] A Argyros and M Lourakis, “Vision-based interpretation of hand gestures for remote control of a computer mouse,” in Proc Workshop Comput.HumanInteract.,2006,pp.40–51 [2] A Barczak and F Dadgostar, “Real-time hand tracking using a set of co- lu operative classifiers based on Haar-like features,” Res Lett Inf Math an Sci.,vol.7,pp.29–42,2005 va n [3] L Bretzner, I Laptev, and T Lindeberg, “Hand gesture recognition us- gh tn to ing multiscale color features, hieracrchichal models and particle filter-ing,” in Proc Int Conf Autom Face Gesture Recog., Washington, DC,May 2002 ie p [4] Q Chen, N Georganas, and E Petriu, “Real-time vision-based hand d oa pp.1–6 nl w gesture recognition using Haar-like features,” in Proc IEEE IMTC, 2007, an lu [5] A El-Sawah, N Georganas, and E Petriu, “A prototype for 3-D hand u nf va tracking and gesture estimation,” IEEE Trans Instrum Meas., vol 57,no.8, pp 1627–1636, Aug 2008 ll oi m [6] A J Heap and D C Hogg, “Towards 3-D hand tracking using a de- VT, Oct 1996, pp 140–145 z at nh formable model,” in Proc 2nd Int Face Gesture Recog Conf., Killington, z [7] M Kolsch and M Turk, “Analysis of rotational robustness of hand detection @ l gm with a Viola-Jones detector,” in Proc 17th ICPR, 2004, pp 107–110 [8] Maral S.Haud posture recognion in a body-face centered space // Extened m co Abstract on Human Factors in computer System (CHI'99) - NewYork: ACM, http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN an Lu 1999 - P.340-347 ac th si 78 [9] J M Rehg and T Kanade, “Visual tracking of high DOF articulated structures: An application to human hand tracking,” in Proc Eur Conf Comput.Vis.,1994,pp.35–46 [10] B Stenger, “Template based hand pose recognition using multiple cues,” in Proc 7th ACCV, 2006, pp 551560 [11] B Stenger, P R S Mendonỗa, and R Cipolla, “Model-based 3D tracking of an articulated hand,” in Proc Brit Mach Vis Conf., Manchester, U.K.,Sep 2001, vol I, pp 63–72 lu [12] P Viola and M Jones, “Robust real-time object detection,” Int J an Comput.Vis.,vol.2,no.57,pp.137–154,2004 va n [13] C Wang and K Wang, Hand Gesture Recognition Using Adaboost gh tn to With SIFT for Human Robot Interaction, vol.370.Berlin, Germany: Springer- ie Verlag, 2008 p [14] S.Wagner,B.Alefs, and C Picus,“Framework for a portable gesture nl w interface,” in Proc Int Conf Autom Face Gesture Recog., 2006,pp 275–280 d oa [15] H Zhou and T Huang, “Tracking articulated hand motion with Eigen ll u nf va an lu dynamics analysis,” in Proc Int Conf Comput Vis., 2003, vol 2,pp.1102–1109 oi m z at nh z m co l gm @ an Lu http://www.lrc.tnu.edu.vn n va Số hóa Trung tâm Học liệu – ĐHTN ac th si