(Đồ án hcmute) ứng dụng kỹ thuật pca trong nhận dạng cử chỉ bàn tay

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO NGÀNH CNKT ĐIỆN TỬ TRUYỀN THÔNG ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: ỨNG DỤNG KỸ THUẬT PCA TRONG NHẬN DẠNG CỬ CHỈ BÀN TAY GVHD SVTH MSSV SVTH MSSV Khoá : ThS Trƣơng Ngọc Hà : PHÙNG THỊ DIỄM TRINH : 13141563 : ĐÀO THÚY DUY : 13141471 : 2013-2017 SKL 0 Tp Hồ Chí Minh, tháng 07/2017 an BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬTTHÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀ O TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP TÊN ĐỀ TÀI: ỨNG DỤNG KỸ THUẬT PCA TRONG NHẬN DẠNG CỬ CHỈ BÀN TAY SVTH: PHÙNG THỊ DIỄM TRINH MSSV: 13141563 ĐÀO THÚY DUY KHÓA: 13141471 2013 NGÀNH: CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ,TRUYỀN THÔNG GVHD: THS TRƯƠNG NGỌC HÀ Tp Hồ Chí Minh, tháng năm 2017 an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, ngày 11 tháng năm 2017 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Phùng Thị Diễm Trinh MSSV : 13141563 Đào Thúy Duy 13141471 Ngành: Công nghệ kỹ thuật điện tử,truyền thông Lớp : 13141CLVT Giảng viên hƣớng dẫn: ThS Trƣơng Ngọc Hà ĐT : 0909 698 741 Ngày nhâ ̣n đề tài: 10/03/2017 Ngày nộp đề tài:11/07/2017 Tên đề tài : Các số liệu, tài liệu ban đầu: Nội dung thƣ̣c hiê ̣n đề tài: Sản phẩm: GIẢNG VIÊN HƢỚNG DẪN TRƢỞNG NGÀNH i an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN Họ tên Sinh viên: Phùng Thị Diễm Trinh MSSV : 13141563 Đào Thúy DuyMSSV: 13141471 Ngành: Công nghệ kỹ thuật điện tử,truyền thông Tên đề tài: “Ứng dụng kỹ thuật PCA nhận dạng cử bàn tay” Họ tên Giáo viên hƣớng dẫn: ThS Trƣơng Ngọc Hà NHẬN XÉT Về nội dung đề tài & khối lƣợng thực hiện: Ƣu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: ii an Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày …tháng năm 2017 Giáo viên hƣớng dẫn (Ký & ghi rõ họ tên) iii an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Phùng Thị Diễm Trinh Đào Thúy Duy MSSV : 13141563 MSSV : 13141471 Ngành: Công nghệ kỹ thuật điện tử,truyền thông Tên đề tài: “Ứng dụng kỹ thuật PCA nhận dạng cử bàn tay” Họ tên Giáo viên hƣớng dẫn: ThS Trƣơng Ngọc Hà NHẬN XÉT Về nội dung đề tài & khối lƣợng thực hiện: Ƣu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: iv an Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày… tháng năm 2017 Giáo viên phản biện (Ký & ghi rõ họ tên) v an LỜI CẢM ƠN Trong thời gian thực đồ án tốt nghiệp, nhóm thực nhận đƣợc nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy bạn bè Nhóm thực xin gửi lời cảm ơn chân thành đến Thầy Trƣơng Ngọc Hà, thầy tận tình hƣớng dẫn, bảo suốt trình thực đồ án Nhóm thực xin chân thành cảm ơn thầy cô giáo, giảng viên trƣờng ĐH Sƣ Phạm Kỹ Thuật TP.HCM nói chung, thầy Bộ mơn Kỹ thuật Máy Tính-Viễn Thơng giúp đỡ phần kiến thức liên quan để ngƣời thực hồn thành đồ án Cuối cùng, ngƣời thực xin chân thành cảm ơn gia đình bạn bè, ln tạo điều kiện, quan tâm, giúp đỡ, động viên ngƣời thực suốt q trình học tập hồn thành đồ án tốt nghiệp Nhóm thực đề tài xin chân thành cảm ơn ! TPHCM, ngày 11 tháng năm 2017 Sinh viên thực Phùng Thị Diễm Trinh Đào Thúy Duy vi an TÓM TẮT Trong sống tại, cơng nghệ kỹ thuật dần chiếm vai trị không nhỏ sống cá nhân, gia đình, tập thể tồn xã hội Cơng nghệ kỹ thuật giúp ngƣời giải nhiều vấn đề tiết kiệm nhiều thời gian Song với phát triển xử lí ảnh đạt đƣợc nhiều thành tựu tiến vƣợt bậc Trong đó, việc nhận dạng phân loại ảnh hƣớng nghiên cứu đƣợc theo đuổi cách tích cực… Nhờ hệ thống xử lí ảnh,con ngƣời giảm đƣợc khối lƣợng công việc nhƣ tăng xác việc đƣa định liên quan đến xử lí hình ảnh nhiều lĩnh vực: quân quốc phòng, kinh tế, xã hội, hệ thống an ninh, Đƣợc phân công môn với hƣớng dẫn thầy Trương Ngọc Hà, nhóm thực tiến hành thực đề tài: Ứng dụng kỹ thuật PCA nhận dạng cử bàn tay Đề tài thực nhận dạng cử bàn tay sử dụng phƣơng pháp trích rút đặc trƣng PCA huấn luyện mạng Nơ-ron Hệ thống nhận dạng gồm hai phần: phần huấn luyện phần nhận dạng Dữ liệu ảnh mẫu đƣợc chuẩn hóa thành ảnh nhị phân Bằng việc so sánh ảnh cần nhận dạng với sở liệu ảnh mẫu thông qua mạng Nơ-ron để phát nhận dạng cử bàn tay tƣơng ứng Đề tài đƣợc thực kiến thức học, số sách tham khảo số nguồn tài liệu khác Tuy nhiên thời gian trình độ có hạn nên ngƣời thực tránh khỏi thiếu sót Vì vậy, mong đƣợc giúp đỡ, đóng góp ý kiến thầy để ngƣời thực đề tài hồn thành đồ án cách tốt vii an MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN ii PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN iv LỜI CẢM ƠN vi TÓM TẮT vii MỤC LỤC viii DANH MỤC CÁC TƢ̀ VIẾT TẮT xi DANH MỤC CÁC BẢNG BIỂU xii DANH SÁCH CÁC HÌNH ẢNH, BIỂU ĐỒ xiii Chƣơng 1: TỔNG QUAN 1.1 Giới thiệu tình hình nghiên cứu 1.2 Một số ứng dụng thực tế dựa cử bàn tay 1.3 Tính cấp thiết đề tài 1.4 Mục tiêu nghiên cứu 1.5 Nhiệm vụ nghiên cứu 1.6 Đối tƣợng, phạm vi nghiên cứu giới hạn đề tài 1.7 Phƣơng pháp nghiên cứu 1.8 Bố cục đồ án Chƣơng 2: CƠ SỞ LÝ THUYẾT 2.1 Các khái niệm lý thuyết liên quan xử lí ảnh 2.1.1 Xử lí ảnh 2.1.2 Ảnh số 2.1.3 Điểm ảnh 2.1.4 Độ phân giải 2.1.5 Mức xám 2.1.6 Lƣợc đồ ảnh xám 2.1.7 Phân loại ảnh 2.2 Phƣơng pháp Phân tích thành phần (PCA) viii an CHƢƠNG 4: KẾT QUẢ MÔ PHỎNG Xây dựng đƣợc sở liệu gồm 300 ảnh, chụp ảnh khoản cách 0.5 m camera máy tính Trích đặc trƣng phƣơng pháp PCA sau cho học mạng nơ-ron Nhóm thực nhận dạng cử bàn tay với cử 20 mẫu (có sẵn) mơ hình nhận dạng từ máy tính 10 mẫu mơ hình nhận dạng trực tiếp từ Webcam Ảnh thử nghiệm điều kiện: Hình 4.1: Một phần ảnh thử nghiệm 4.1 Kết mô Sau hồn thiện mơ phỏng, nhóm thực thu đƣợc giao diện nhƣ Hình 4.2 34 an Hình 4.2 : Giao diện chƣơng trình - Giao diện chƣơng trình gồm ba nút nhấn : Máy Tính, Webcam Thốt + Khi nhấn vào nút Máy Tính giao diện nhận dạng bàn tay offline + Khi nhấn vào nút Webcam giao diện nhận dạng bàn tay online +Khi nhấn vào nút Thốt khỏi giao diện - Giao diện offline nhƣ Hình 4.3: 35 an Hình 4.3 : Giao diện nhận dạng offline Giao diện offline chƣơng trình gồm năm nút nhấn : Chọn Ảnh, Huấn Luyện, Nhận Dạng, Tiếp Tục Thoát + Khi nhấn vào nút Chọn Ảnh xuất hộp thoại, chọn nơi lƣu trữ ảnh cần nhận dạng Ảnh cần nhận dạng xuất khung ảnh cần nhận dạng + Khi nhấn vào nút Huấn Luyện thực huấn luyện tạo sở liệu ban đầu để nhận dạng + Khi nhấn vào nút Nhận Dạng chƣơng trình thực nhận dạng đƣa kết nhận dạng + Khi nhấn vào nút Tiếp Tục quay lại giao diện chƣơng trình + Khi nhấn vào nút Thốt khỏi chƣơng trình nhận dạng - Giao diện online nhƣ Hình 4.4: 36 an Hình 4.4 : Giao diện nhận dạng online Giao diện online chƣơng trình gồm năm nút nhấn : Huấn Luyện, Chụp Hình, Nhận Dạng, Tiếp Tục Thốt Khi chọn giao diện online webcam tự động mở theo chƣơng trình + Khi nhấn vào nút Huấn Luyện thực huấn luyện tạo sở liệu ban đầu để nhận dạng + Khi nhấn vào nút Chụp Hình chụp ảnh cần đƣợc nhận dạng xuất hình giao diện + Khi nhấn vào nút Nhận Dạng chƣơng trình thực nhận dạng đƣa kết nhận dạng + Khi nhấn vào nút Tiếp Tục quay lại giao diện chƣơng trình + Khi nhấn vào nút Thốt khỏi chƣơng trình nhận dạng Nhóm thực hiện, thực nhận dạng cử kết thu đƣợc nhƣ sau: - Kết nhận dạng từ giao diện offline đƣợc thể qua Hình 4.5 đếnHình 4.9: 37 an Hình 4.5.Kết nhận dạng cử ngón từ máy tính Qua kết Hình 4.5cho thấy kết nhận dạng xác cử ngón Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 18 ảnh tƣơng đƣơng 90% 38 an Hình 4.6.Kết nhận dạng cử ngón từ máy tính Qua kết Hình 4.6 cho thấy kết nhận dạng xác cử ngón Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 16 ảnh tƣơng đƣơng 80% 39 an Hình 4.7.Kết nhận dạng cử ngón từ máy tính Qua kết Hình 4.7 cho thấy kết nhận dạng xác cử ngón Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 16 ảnh tƣơng đƣơng 80% 40 an Hình 4.8.Kết nhận dạng cử ngón từ máy tính Qua kết Hình 4.8 cho thấy kết nhận dạng không xác cử ngón Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 16 ảnh tƣơng đƣơng 80% 41 an Hình 4.9.Kết nhận dạng cử ngón từ máy tính Qua kết Hình 4.9 cho thấy kết nhận dạng xác cử ngón Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 16 ảnh tƣơng đƣơng 80% 42 an -Kết nhận dạng từ giao diện online đƣợc thể qua Hình 4.10 Hình 4.11: - Hình 4.10.Kết nhận dạng cử ngón từ webcam Qua kết Hình 4.10 cho thấy kết nhận dạng xác cử ngón từ webcam máy tính Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 14 ảnh tƣơng đƣơng 70% 43 an Hình 4.11.Kết nhận dạng cử ngón từ webcam Qua kết Hình 4.11 cho thấy kết nhận dạng khơng xác cử ngón Ngun nhân nhận diện khơng xác ánh sáng q chóa webcam máy tính độ phân giải thấp nên việc phân biệt màu da tách bàn tay khó khăn Tuy nhiên tập ảnh thực nghiệm điều kiện 20 mẫu cho cử ngón nhận dạng đƣợc 12 ảnh tƣơng đƣơng 60% 4.2 Nhận xét kết Kết thực nghiệm đƣợc thể qua Bảng 4.1, cử đƣợc nhận dạng từ máy tính có kết nhận dạng xác tƣơng đối cao so với cử đƣợc nhận dạng từ webcam Cử năm ngón có xác xuất nhận dạng xác cao cử lại Bảng 4.1: Kết nhận dạng cử bàn tay Cử Một ngón Hai ngón Ba ngón Bốn ngón Năm ngón Hình từ máy tính 80% 80% 80% 80% 90% Hình từ Webcam 70% 60% 60% 60% 70% 44 an CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Tổng kết lại kết đạt đƣợc trình thực đề tài, ƣu điểm nhƣợc điểm trình thực Cũng nhƣ tìm hƣớng nghiên cứu phát triển dựa tảng lý thuyết mơ có đƣợc, để tìm ứng dụng lĩnh vực nhận dạng cử bàn tay 5.1 Kết luận Trong q trình thực đề tài,nhóm thực tìm hiểu đƣợc phƣơng pháp huấn luyện nhận dạng cử bàn tay: - Phân biệt màu da vùng diện tích để xác định bàn tay - Trích đặc trƣng PCA để giảm số chiều ảnh tìm đặc trƣng riêng hình dạng bàn tay - Lý thuyết mạng nơ-ron nhân tạo,thuật toán mạng lan truyền ngƣợc để huấn luyện ảnh mẫu làm liệu suốt trình nhận dạng - Biết sử dụng phần mềm Matlab để mô hệ thống,hiểu thêm chức phần mềm Matlab Tuy nhiên,do bƣớc đầu tìm hiểu thực mô nên không tránh khỏi mặt hạn chế đề tài mà nhóm chƣa khắc phục đƣợc nhƣ: - Vị trí đặt bàn tay chụp ảnh cần đƣợc cố định khoảng cách diện tích định khung hình - Nhóm chƣa thể tách đƣợc xác bàn tay khung ảnh có thêm phần mặt ngƣời phần lớn diện tích có màu da tƣơng tự màu da tay 5.2 Hƣớng phát triển - Phát triển đề tài nhận dạng cử đa dạng hơn,có thể 26 cử biểu diễn cho 26 chữ bảng chữ ngơn ngữ kí hiệu dành cho ngƣời học thủ ngữ - Nâng cao độ xác trình nhận dạng,phân tách đƣợc vùng tay vùng mặt khung hình,hoặc bàn tay mơi trƣờng phức tạp hơn,có màu sắc cảnh vật Hƣớng giải tạo găng tay có màu sắc định thiết lập ngƣỡng màu riêng tƣơng tự màu găng tay, ngƣời thực nhận dạng đeo găng tay ấy, nhƣ độ xác cao tất ngƣời có màu da thuộc châu lục khác 45 an - Xây dựng đƣợc hệ thống nhận dạng đƣợc cử liên tục bàn tay với độ xác cao,tƣơng lai tạo sản phẩm kết hợp có tính chuyển ngơn ngữ giúp ích cho việc cho ngƣời khuyết tật việc giao tiếp với ngƣời thủ ngữ 46 an TÀI LIỆU THAM KHẢO Tiếng Việt [1] TS.Nguyễn Thanh Hải (2014), “Giáo trình Xử Lí Ảnh”, Nhà xuất ĐHQG, Tp HCM, Viê ̣t Nam [2] Vũ Mạnh Hùng, “Tóm tắt luận văn Thạc Sĩ:Nhận dạng mặt ngƣời sử dụng đặc trƣng PCA”, Học Viện Cơng Nghệ Bƣu Chính Viễn Thơng Link web: http://dlib.ptit.edu.vn/bitstream/123456789/1069/1/TTLV%20Vu%20Manh%2 0Hung.pdf [3] PGS.TS.Đỗ Năng Tồn (2013), “Bài giảng mơn học Xử lí ảnh”,Học Viện Cơng Nghệ Bƣu Chính Viễn Thơng Link web: http://dlib.ptit.edu.vn/bitstream/123456789/1245/1/BG_Xulyanh.pdf Tiếng Anh [4] Chenglong Zu, Xuan Wang, Hejion Huang and Jianping Shen, “Vision-Based Hand Gesture Recognition Using Combinational Features”, International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp 543-446, 2010 [5] Daniel Graupe, Principles of artificial neural, Univercity of llinois(2nd Edition), Chicago, USA 47 an S an K L 0 ... việc nhận dạng cử bàn tay ngƣời làm cho nhóm thêm phần mong muốn tìm hiểu Vì thế, nhóm xây dựng đề tài ? ?Ứng dụng kỹ thuật PCA nhận dạng cử bàn tay? ?? với mong muốn tìm hiểu việcnhận dạng cử bàn tay, ... hành thực đề tài: Ứng dụng kỹ thuật PCA nhận dạng cử bàn tay Đề tài thực nhận dạng cử bàn tay sử dụng phƣơng pháp trích rút đặc trƣng PCA huấn luyện mạng Nơ-ron Hệ thống nhận dạng gồm hai phần:... thiết bị khác cách sử dụng cử tay, … Hình 1.1 : Vịng cảm biến nhận dạng cử Digits Microsoft an 1.2 Một số ứng dụng thực tế dựa cử bàn tay Nhận dạng cử bàn tay có nhiều ứng dụng thực tế: - Thiết