XÂY DỰNG HỆ THỐNG NHẬN DIỆN THỦ NGỮ ĐỂ GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT.pdf

ĐẠI HỌC KỸ THUẬT-CÔNG NGHỆ CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN - TIỂU LUẬN TỐT NGHIỆP Đề tài: XÂY DỰNG HỆ THỐNG NHẬN DIỆN THỦ NGỮ ĐỂ GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT GIẢNG VIÊN HƯỚNG DẪN SINH VIÊN THỰC HIỆN: -ThS.NGUYỄN NHỰT QUỲNH VŨ VĂN TIẾN DŨNG -ThS.HÀ LÊ NGỌC DUNG MSSV:1800704 NGÀNH:KHOA HỌC MÁY TÍNH Cần Thơ, 2022 NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… Cần Thơ, ngày …tháng…năm 2022 Ký tên NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… Cần Thơ, ngày …tháng…năm 2022 Ký tên LỜI CAM ĐOAN Tôi xin cam đoan tiểu luận tốt nghiệp: “XÂY DỰNG HỆ THỐNG NHẬN DIỆN THỦ NGỮ ĐỂ GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT” cơng trình nghiên cứu thân Những phần sử dụng tài liệu tham khảo luận văn nêu rõ phần tài liệu tham khảo Các số liệu, kết trình bày luận văn hồn tồn trung thực, sai tơi xin chịu hồn tồn trách nhiệm chịu kỷ luật môn nhà trường đề Cần Thơ, ngày …tháng…năm 2022 Sinh viên thực LỜI CẢM ƠN “Để hoàn thành tiểu luận này, em xin gửi lời cảm ơn chân thành: ban giám hiệu trường Đại Học kỹ thuật-công nghê Cần Thơ tạo điều kiện sở vật chất với hệ thống thư viện đại, đa dạng loại sách, tài liệu thuận lợi cho việc tìm kiếm, nghiên cứu thông tin Xin cảm ơn giảng viên môn – Cô Nguyễn Nhựt Quỳnh Cô Hà Lê Ngọc Dung giảng dạy tận tình, chi tiết để tơi có đủ kiến thức vận dụng vào tiểu luận Do chưa có nhiều kinh nghiệm làm để tài hạn chế kiến thức, tiểu luận chắn không tránh khỏi thiếu sót Rất mong nhận nhận xét, ý kiến đóng góp từ phía Thầy,cơ để tiểu luận hồn thiện Lời cuối cùng, tơi xin kính chúc thầy nhiều sức khỏe, thành cơng hạnh phúc.” Cần Thơ, ngày …tháng…năm 2022 Sinh viên thực Mục lục: PHẦN : MỞ ĐẦU 1.1 Lý chọn đề tài 1.2 Mục tiêu nghiên cứu .8 1.3 Phương pháp nghiên cứu 1.4 Kết dự kiến đạt .8 PHẦN 2: NỘI DUNG CHƯƠNG 1: CƠ SỞ LÝ LUẬN .9 1.1 TỔNG QUAN THỦ NGỮ ( CỬ CHỈ TAY) CỦA NGƯỜI KHUYẾT TẬT 1.2 CÁC NGHIÊN CỨU VÀ ĐỀ TÀI LIÊN QUAN 10 1.3 CƠ SỞ DỮ LIỆU 10 1.4 LÝ THUYẾT VỀ NHẬN DIỆN ẢNH 11 a Neural network gì? 11 Biểu diễn dạng ma trận 16 a Convolutional neural network 18 Convolutional layer 18 Pooling layer 22 Fully connected layer .24 Visualise convolutional neural network 24 b Mạng VGG 16 25 1.5 THUẬT TOÁN TỐI ƯU .26 a Định nghĩa 26 b Thuật toán Adam - Adaptive Moment Estimation 26 CHƯƠNG :THỰC NGHIỆM 28 a.Đường liệu dự đoán 29 b.Thiết kế hệ thống 29 2.1 Xử lý liệu 30 a) Hàm xử lý ảnh resize 224x224 chuyển numpy array .30 b) Xử lý liệu đầu vào 31 c) Hàm duyệt thư mục để train .31 d) Load liệu vào X,Y qua hàm duyệt 32 2.2 Xây dựng mơ hình training 32 a) Chia liệu: .32 b) Đặt checkpoint .32 c) Khởi tạo model 32 d) Thêm lớp bên .33 e) Tiến hành training .33 f) Kiểm tra độ xác phần mơ hình sau train .34 2.3 Tạo giao diện phần mềm .35 CHƯƠNG : KẾT LUẬN 40 Tài Liệu tham khảo 41 Hình Bảng thủ ngữ người khuyết tật……………………………… Hình 2: liệu thu thập…………………………………………… 11 Hình 3: Hoạt động nơ-ron……………………………………… 12 Hình Mơ hình logistic regression……………………………………… 13 Hình Mơ hình neural network………………………………………… 14 Hình Mơ hình neural network………………………………………… 15 Hình Mơ hình neural network………………………………………… 18 Hình nput layer hidden layer……………………………………… 18 Hình Phép tính convolution thực ảnh xám với biểu diễn ảnh dạng ma trận………………………………………………………………… 19 Hình 10.Phép tính convolution ảnh màu với k=3……………………… 20 Hình 11.Tensor X, W chiều viết dạng matrix…………… 20 Hình 12.Thực phép tính convolution ảnh màu…………………… 21 Hình 13.Convolutional layer đầu tiên…………………………………… 21 Hình 14.max pooling layer với size=(3,3), stride=1, padding=0………… 23 Hình 15.Sau pooling layer (2*2)…………………………………………… 23 Hình 16.Ví dụ pooling layer…………………………………………… 25 Hình 17.Sau pooling layer (2*2)…………………………………… …… 25 Hình 18.Kiến trúc vgg16…………………………………………………… 25 Hình 19 Đường liệu ………………………………………………… 29 Hình 20 Sơ đồ mơ hình hệ thống từ train đến test………………….……… 29 Hình 21 Hình vẽ đường liệu train………………………………… 39 Hình 22 Giao diện phần mềm sau hồn thành………………………… 39 Hình 23 Kết đạt được…………………………………………… …… 39 PHẦN : MỞ ĐẦU 1.1 Lý chọn đề tài -Phương diện lý thuyết: Giúp cho người khuyết tật giao tiếp, sử dụng máy tính cơng cụ công nghệ cao cách thuận tiện dễ dàng mà không cần thông qua người phiên dịch, thuận tiện cho người khuyết tật đặc biệt người khiếm thính -Phương diện thực tiễn: Người dùng cần sử dụng động tác tay bảng chữ thủ ngữ chương trình nhận diện xác định thủ ngữ người dùng muốn đưa chữ dạng bảng chữ lating hình cho người khác hiểu Người dùng tự học tập sử dụng thiết bị điện tử giao tiếp với người khác thông qua phần mềm mà không tốn nhiều công sức 1.2 Mục tiêu nghiên cứu -Mục tiêu tổng quát: Xây dựng ứng dụng nhận diện cử tay người dùng, sau từ cử nhận dạng xuất hình chữ nhận diện -Mục tiêu cụ thể: Học hiểu bảng chữ thủ ngữ, phương diện chuyên môn cần phải nắm rõ kiến thức máy học nắm rõ cấu trúc thuật tốn sử dụng, tìm kiếm thơng tin bảng chữ thủ ngữ dạng hình ảnh Thiết lập cấu hình giao diện máy tính để máy nhận diện qua camera thiết bị Thể rõ ràng hình ảnh, nhận diện xác từ sử dụng người dùng 1.3 Phương pháp nghiên cứu - Tìm hiểu bảng chữ thủ ngữ cho người khuyết tật dùng bảng chữ American Sign Laguage(ASL) -Tìm kiếm CSDL Kaggle ảnh thủ ngữ American Sign Laguage”ASL” -Nghiên cứu đề tài tốn tương tự internet -Chọn mơ hình thực hiện: CNN, VGG, … Ở chọn VGG16 -Nghiên cứu sử dụng pycharm bắt đầu thiết kế giao diện người dùng 1.4 Kết dự kiến đạt - Phầm mềm xây dựng đạt hiểu lên đến 90% độ xác, sau hồn thành phần mềm nhận diện ký hiệu thủ ngữ đưa kết hình PHẦN 2: NỘI DUNG CHƯƠNG 1: CƠ SỞ LÝ LUẬN 1.1 TỔNG QUAN THỦ NGỮ ( CỬ CHỈ TAY) CỦA NGƯỜI KHUYẾT TẬT -Thủ ngữ gì? Là ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ dùng biểu bàn tay thay cho âm tiếng nói Ngơn ngữ ký hiệu người khiếm thính tạo nhằm giúp họ giao tiếp với cộng đồng tiếp thu tri thức xã hội.(wikipedia.org) -Bảng chữ thủ ngữ: Hình Bảng thủ ngữ người khuyết tật 1.2 CÁC NGHIÊN CỨU VÀ ĐỀ TÀI LIÊN QUAN -Đề tài nhận dạng ngôn ngữ dấu hiệu với camera Kinect đặc trưng gist ( Theo tạp chí Khoa học Trường Đại học kỹ thuật công nghệ Cần Thơ ): Trong báo này, họ đề xuất phương pháp cho việc nhận dạng ngôn ngữ dấu hiệu Với liệu thu nhận từ camera Kinect, họ trích đặc trưng chuyển động bàn tay Họ đề xuất phương pháp biểu diễn quỹ đạo chuyển động bàn tay cách chia quỹ đạo thành k (e.g k = 4) đoạn sau tính tổ chức đồ (orientation histogram) hướng di chuyển cho đoạn Với phương pháp này, đặc trưng chuyển động khơng phụ thuộc vào độ dài quỹ đạo Ngồi ra, để tăng cường khả phân biệt, thông tin trực quan (visual) hình dạng bàn tay trích xuất với đặt trưng GIST Tất đặc trưng sử dụng để huấn luyện nhận dạng huấn luyện mơ hình máy học véc-tơ hỗ trợ Họ thu thập liệu từ bạn học viên trường dạy trẻ khuyết tật thành phố Cần Thơ Bộ liệu gồm 14 từ, người thực lần Tổng cộng 280 phần tử Thực nghiệm cho thấy kết nhận dạng đạt 90% -Thiết bị giao tiếp thông minh giành cho người khiếm thanh, khiếm thính (speak your mind - sym) nhóm tác nhả trường ĐH Bách Khoa ĐHQG-HCM (theo iptc.vn):Thiết bị SYM họ sử dụng công nghệ AI để chuyển thủ ngữ người sang dạng văn giọng nói phát từ thiết bị điện thoại thông minh thời đại công nghiệp 4.0  Ý tưởng: dự án “Thiết bị giao tiếp thông minh dành cho người khiếm thanh, khiếm thính – Speak your mind” (thiết bị SYM) thiết bị giao tiếp chuyển ngơn ngữ ký hiệu sang văn giọng nói để người khiếm thanh, khiếm thính dễ dàng trao đổi thông tin với người 1.3 CƠ SỞ DỮ LIỆU -Tạo liệu: Có cách để tạo sở liệu training  Tìm mạng: Kaggle.com tìm từ khóa Hand Gesture Recognition, lựa chọn liệu cần thiết set up CSDL cho mơ hình train  Dùng photoshop phương pháp quen thuộc với sử dụng Photoshop bạn chụp ảnh bàn tay bạn đưa vào photoshop, loại trừ khỏi hình ảnh mình, sau sử dụng ngưỡng nhị phân để làm cho cử tay hoàn toàn trắng hoàn toàn đen -Bộ liệu data bao gồm: 2000 ảnh train gần 300 ảnh test 10 ... …tháng…năm 2022 Ký tên LỜI CAM ĐOAN Tôi xin cam đoan tiểu luận tốt nghiệp: “XÂY DỰNG HỆ THỐNG NHẬN DIỆN THỦ NGỮ ĐỂ GIAO TIẾP VỚI NGƯỜI KHUYẾT TẬT” cơng trình nghiên cứu thân Những phần sử dụng tài liệu... TỔNG QUAN THỦ NGỮ ( CỬ CHỈ TAY) CỦA NGƯỜI KHUYẾT TẬT -Thủ ngữ gì? Là ngơn ngữ ký hiệu hay ngôn ngữ dấu hiệu,? ?thủ ngữ? ?là ngôn ngữ dùng biểu bàn tay thay cho âm tiếng nói Ngơn ngữ ký hiệu người khiếm... giúp họ giao tiếp với cộng đồng tiếp thu tri thức xã hội.(wikipedia.org) -Bảng chữ thủ ngữ: Hình Bảng thủ ngữ người khuyết tật 1.2 CÁC NGHIÊN CỨU VÀ ĐỀ TÀI LIÊN QUAN -Đề tài nhận dạng ngôn ngữ dấu