Nhận diện ngôn ngữ bằng ký hiệu

CHƯƠNG 1: TỔNG QUAN 1.1.Giới thiệu tình hình nghiên cứu hiện nay Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ chủ yếu được cộng đồng người câm điếc sử dụng nhằm chuyển tải thông tin qua cử chỉ, điệu bộ của cơ thể và nét mặt thay cho lời nói. Cũng như ngôn ngữ nói, ngôn ngữ ký hiệu của từng quốc gia, thậm chí là từng khu vực trong một quốc gia rất khác nhau. Điều đó là do mỗi quốc gia, khu vực có lịch sử, văn hóa, tập quán khác nhau nên ký hiệu để biểu thị sự vật hiện tượng cũng khác nhau. Chẳng hạn, cùng chỉ tính từ màu hồng thì ở Hà Nội người ta xoa vào má (má hồng), còn tại Thành phố Hồ Chí Minh lại chỉ vào môi (môi hồng). Điều tương tự cũng diễn ra khi có sự khác biệt lớn hơn trên tầm quốc gia, dẫn tới sự khác biệt của hệ thống từ vựng và ngữ pháp ngôn ngữ ký hiệu giữa các nước. 1 Tuy nhiên, ký hiệu tất cả mọi nơi trên thế giới đều có những điểm tương đồng nhất định. Ví dụ: ký hiệu đồng ý bằng những hình ảnh “1 ngón tay cái” hoặc những cuộc gặp gỡ bắt ngờ thường sử dụng các giao tiếp với nhau thông qua hành động chào bằng hình ảnh “2 ngón tay, cái và trỏ” để thể hiện thay cho lời nói. Do ngôn ngữ ký hiệu phát triển hơn trong cộng đồng người khiếm thính, nên những người thuộc cộng đồng này của hai nước khác nhau có thể giao tiếp với nhau tốt hơn hai người bình thường nhưng mà không biết ngoại ngữ. 1 Từ những năm 2000, Việt Nam bắt đầu triển khai những nỗ lực của mình nhằm hoàn thiện và hệ thống hóa Ngôn ngữ Ký hiệu Việt Nam. Các câu lạc bộ, nhóm dạy, sinh hoạt ngôn ngữ kí hiệu bắt đầu hình thành và nở rộ. Một số tài liệu khá công phu xuất hiện như: bộ 3 tập Ký hiệu cho người điếc Việt Nam, từ điểm ngôn ngữ ký hiệu Việt Nam,.... Ưu điểm Giúp cải thiện ngôn ngữ thông qua những cử chỉ giữa các môi trường giao tiếp Tạo môi trường giao tiếp, học tập cho những người khiếm thính Nhược điểm Còn hạn chế về kí hiệu giao tiếp Môi trường tiếp xúc chưa được rộng rãi Tính độc lập thấp, phụ thuộc vào vị trí và môi trường

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHÂT LƯƠNG CAO BÁO CÁO CUỐI KÌ NHẬN DIỆN NGƠN NGỮ BẰNG KÝ HIỆU LỜI NÓI ĐẦU Cùng với phát triển mạnh mẽ khoa học cơng nghệ, việc ứng dụng trí tuệ nhân tạo dần trở thành xu Việc sử dụng trí tuệ nhân tạo hỗ trợ đời sống người ngày phát triển xác nhận chỗ đứng riêng cho ngành nghề độc lập Một công cụ hổ trợ đắc lực AI không kể đến máy học (Machine Learning) Con người đặc biệt khả khả giao tiếp khác Trong kinh tế thị trường, việc tìm hiểu xem xét ngơn ngữ khách hàng công cụ hỗ trợ đắc lực cho nhà phát triển hoạch định chiến lược cụ thể Những cảm nhận sản phẩm dịch vụ biểu thơng qua lời nói cử khách hàng ln phản hồi chân thật Tuy nhiên, ngôn ngữ giao tiếp người mn hình vạn trạng Đơi lúc, việc đánh giá ngơn ngữ hình thể giao tiếp người hỗ trợ đắc lực với cơng nghệ trí tuệ nhân tạo Với ứng dụng rộng rãi thế, nhóm chúng tơi tìm hiểu mạng Nơ-ron tính chập (Convolutional Neural Network: CNN) để nhận diện kí hiệu thông qua ngôn ngữ người Dữ liệu thu từ webcam, video hay hình ảnh định vị vùng tay phương pháp từ thư viện xây dựng sẵn OpenCV Kết lưu lại để kiểm tra đánh giá ngơn ngữ hình thể nhất, với kết mong muốn người dùng LỜI CẢM ƠN Trong thời gian thực báo cáo mơn học, nhóm thực nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình từ thầy bạn Nhóm thực xin gửi lời cảm ơn chân thành đến TS Trần Vũ Hồng, người tận tình hướng dẫn, bảo nhóm q trình làm báo cáo mơn học Trong q trình nghiên cứu, tìm hiểu thực đề tài khơng tránh khỏi sai sót Nhóm thực mong nhận góp ý từ Thầy để đề tài hồn thiện ứng dụng Cuối cùng, nhóm thực xin chân thành cảm ơn thầy bạn bè, quan tâm, giúp đỡ, động viên suốt q trình học tập hồn thành báo cáo môn học MỤC LỤC DANH MỤC HÌNH i DANH MỤC BẢNG ii CÁC TỪ VIẾT TẮT iii CHƯƠNG 1: TỔNG QUAN 1.1.Giới thiệu tình hình nghiên cứu 1.2.Mục tiêu đề tài 1.3.Đối tượng nghiên cứu 1.4.Phương pháp nghiên cứu .2 1.5.Bố cục báo cáo .2 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan phần mềm 2.1.1 Tổng quan trí tuệ nhân tạo, machine learning 2.1.2 Neural Network - Mạng neural 2.2 Mơ hình CNN 10 2.2.1 Cấu trúc mạng Convolutional Neural Network 11 2.3 Tổng quan phần cứng 12 2.3.1 GPU 12 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 15 3.1 Yêu cầu toán 15 3.2 Tổng quan 15 3.2.1 Hệ thống phần mềm 15 3.3 Xây dựng mơ hình CNN 17 3.3.1 Mơ hình ConvNet V2 17 3.3.2 So sánh lựa chọn thông số 19 CHƯƠNG 4: KẾT QUẢ 21 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 24 5.1 Kết luận .24 5.1.1 Ưu điểm 24 5.1.2 Nhược điểm 24 5.2 Hướng phát triển đề tài .24 TÀI LIỆU THAM KHẢO 29 DANH MỤC HÌNH Hình 1: Phạm vi ứng cụng AI Hình 2: Quá trình phát triển AI Hình 3: Neural sinh học Hình 4: Perceptron [4] .6 Hình 6: Mơ hình tổng qt mạng neural Hình 7: Mạng neural truyền thẳng nhiều lớp Hình 8: Mạng neural hồi quy 10 Hình 9: Mơ hình học có giám sát 10 Hình 10: Minh họa tích chập 11 Hình 11: Hiệu suất GPU CPU 13 Hình 12: Cấu trúc CPU GPU 14 Hình 1: Lưu đồ phần mềm 16 Hình 2: Cấu trúc mạng CNN 17 Hình 3: Kết độ xác optimizer 19 Hình 4: Độ xác model thay đổi theo Learning rate .20 Hình 1: Kết sau train validation 21 Hình 2: Tập liệu 21 Hình 3: Kết khơng có ký hiệu 22 Hình 4: Kết số 22 Hình Kết số 23 i DANH MỤC BẢNG Bảng 1: Các hàm truyền đồ thị tương ứng Bảng 1: Kích thước ngõ tham số lớp mạng CNN 17 ii CÁC TỪ VIẾT TẮT Từ viết tắt Cụm từ đầy đủ CNN Convolutional Neural Network AI Artificial Intelligence DL Deep Learning NN Neural Network GPU Graphics Processing Unit VPU Visual Processing Unit iii CHƯƠNG 1: TỔNG QUAN 1.1.Giới thiệu tình hình nghiên cứu Ngơn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ ngôn ngữ chủ yếu cộng đồng người câm điếc sử dụng nhằm chuyển tải thông tin qua cử chỉ, điệu thể nét mặt thay cho lời nói Cũng ngơn ngữ nói, ngơn ngữ ký hiệu quốc gia, chí khu vực quốc gia khác Điều quốc gia, khu vực có lịch sử, văn hóa, tập quán khác nên ký hiệu để biểu thị vật tượng khác Chẳng hạn, tính từ màu hồng Hà Nội người ta xoa vào má (má hồng), Thành phố Hồ Chí Minh lại vào mơi (mơi hồng) Điều tương tự diễn có khác biệt lớn tầm quốc gia, dẫn tới khác biệt hệ thống từ vựng ngữ pháp ngôn ngữ ký hiệu nước [1] Tuy nhiên, ký hiệu tất nơi giới có điểm tương đồng định Ví dụ: ký hiệu đồng ý hình ảnh “1 ngón tay cái” gặp gỡ bắt ngờ thường sử dụng giao tiếp với thông qua hành động chào hình ảnh “2 ngón tay, trỏ” để thể thay cho lời nói Do ngơn ngữ ký hiệu phát triển cộng đồng người khiếm thính, nên người thuộc cộng đồng hai nước khác giao tiếp với tốt hai người bình thường mà khơng biết ngoại ngữ [1] Từ năm 2000, Việt Nam bắt đầu triển khai nỗ lực nhằm hồn thiện hệ thống hóa Ngơn ngữ Ký hiệu Việt Nam Các câu lạc bộ, nhóm dạy, sinh hoạt ngơn ngữ kí hiệu bắt đầu hình thành nở rộ Một số tài liệu công phu xuất như: tập Ký hiệu cho người điếc Việt Nam, từ điểm ngôn ngữ ký hiệu Việt Nam, Ưu điểm Giúp cải thiện ngôn ngữ thông qua cử môi trường giao tiếp Tạo môi trường giao tiếp, học tập cho người khiếm thính Nhược điểm Cịn hạn chế kí hiệu giao tiếp Mơi trường tiếp xúc chưa rộng rãi Tính độc lập thấp, phụ thuộc vào vị trí mơi trường 1.2.Mục tiêu đề tài Nghiên cứu phát triển mơ hình nhận có khả nhận diện 10 loại kí hiệu tay cách biểu diễn từ ngón tay đến 10 ngón tay người Model xây dựng đạt độ xác cao (trên 65% cho trình phát nhận dạng ký hiệu ) Tối ưu liệu để cải thiện tốc độ nhớ hoàn thiện Xây dựng giao diện trực quan thân thiện với người dùng 1.3.Đối tượng nghiên cứu Ngơn ngữ ký hiệu sống, bắt nguồn từ sống Dù có hay khơng nhận thức ra, sử dụng ngơn ngữ kí hiệu nhiều sống hàng ngày Khoa học chứng minh truyền tải ngôn ngữ 70% thông qua biện pháp không lời, tức cử chỉ, điệu bộ, nét mặt… Như thế, ngơn ngữ kí hiệu tràn ngập sống chúng ta, khơng nhận thức, tồn tại, phát triển giúp cho sống tiện lợi, thoải mái Nói cách khác, người bình thường “phát minh” ngơn ngữ kí hiệu, người câm điếc làm việc mơ hệ thống hóa tất lại thành thứ ngôn ngữ riêng họ 1.4.Phương pháp nghiên cứu Nghiên cứu sở lý thuyết thuật toán nhận diện ký hiệu sử dụng CNN Mục đích đề tài lựa chọn thuật tốn, phương pháp có độ xác tương đối để nhận diện ký hiệu tăng độ xác cho mơ hình Tìm hiểu lý thuyết có liên quan ngơn ngữ Python, thư viện OpenCV… Nghiêm cứu tập liệu, thuật toán sử dụng để xử lý liệu, loại bỏ liệu dư thừa (hình ảnh nhiễu đèn…) Thực phương pháp đánh giá để lựa chọn thông số dataset_path, test_size, train_size, validation_split, batch_size, epochs, để tăng độ xác cho mơ hình 1.5.Bố cục báo cáo Nơi dung báo cáo gồm có phần chính: Chương 1: Tổng quan thông tin nhiễu) Trong trình huấn luyện mạng (traning) CNN tự động học giá trị qua lớp filter dựa vào cách thức thực Trong mơ hình CNN có khía cạnh cần quan tâm tính bất biến (Location Invariance) tính kết hợp (Compositionality) Với đối tượng, đối tượng chiếu theo gốc độ khác (translation, rotation, scaling) độ xác thuật toán bị ảnh hưởng đáng kể Pooling layer cho bạn tính bất biến phép dịch chuyển (translation), phép quay (rotation) phép co giãn (scaling) Tính kết hợp cục cho ta cấp độ biểu diễn thông tin từ mức độ thấp đến mức độ cao trừu tượng thông qua convolution từ filter Đó lý CNNs cho mơ hình với độ xác cao 2.3 Tổng quan phần cứng 2.3.1 GPU Bộ xử lý đồ họa (GPU, graphics processing unit), gọi xử lý hình ảnh (VPU, visual processing unit), mạch điện tử tích hợp chuyên dụng thiết kế để thao tác truy cập nhớ đồ họa cách nhanh chóng, để tăng tốc việc tạo hình ảnh đệm khung hình dành cho ngõ tới hình hiển thị Ngồi GPU cịn dùng để xử lý liệu khác ngồi hình ảnh mà CPU u cầu xử lý [10] GPU sử dụng hệ thống nhúng, điện thoại di động, máy tính cá nhân, máy trạm, máy chơi game console hệ thống cần xử lý tệp lệnh lớn GPU đại hiệu việc thao tác đồ họa máy tính xử lý hình ảnh, cấu trúc song song mức cao làm cho hiệu so với CPU đa dụng, mà việc xử lý khối lượng lớn liệu thực song song Trong máy tính cá nhân GPU có mặt card video, nhúng bo mạch chủ, tích hợp số CPU [10] Vai trị GPU máy tính: Trước có xuất GPU, CPU vừa phải xử lý chương trình vi tính, kiện vừa kiêm ln cơng việc xử lý đồ họa, hình ảnh Lượng công việc nhiều nên CPU hoạt động theo xu hướng ban phát đồng mức tài nguyên Cơng 12 việc đồ họa cơng việc văn phịng nhận lượng tài ngun Chính vậy, sản phẩm đồ họa đời đạt chất lượng không cao Nhưng từ GPU đời thứ hồn tồn thay đổi, GPU giúp giảm bớt khối lượng công việc cho CPU, CPU nhiệm vụ kéo hệ thống chạy theo hoạt động GPU dành xung cho nhiệm vụ khác hệ thống, tiết kiệm thời gian đáng kể, giải áp lực việc cung cấp sản phẩm chất lượng cao cho thị trường,… Khơng dừng lại việc xuất tín hiệu hình hay hỗ trợ chơi game 3D mà việc tận dụng nhân đồ hoạ GPU tham gia hỗ trợ xử lý nhân CPU [10] GPU xử lý thông tin đa luồng, song song nhớ tốc độ cao Kỹ thuật GPU dần trở nên dễ lập trình, cung cấp nhiều tiềm cho việc tăng tốc xử lí cho nhiều chương trình với nhiều mục đích khác nhau, chíp xử lí thơng thường (CPUs) Hình 11: Hiệu suất GPU CPU Sự khác biệt khả xử lí liệu (floating-point) loại chíp là: GPU thiết kế riêng để tính tốn, mà cịn tính tốn, xử lí thơng tin luồng song song - kỹ thuật làm sắc nét hình ảnh cần Đến 80% transistors chíp sử dụng để chun tính tốn liệu khơng phải để nhận liệu điều khiển luồng thông tin Vì chức thực thuộc tính liệu với thuật tốn cao cấp dội 13 Hình 12: Cấu trúc CPU GPU 14 CHƯƠNG THIẾT KẾ HỆ THỐNG 3.1 Yêu cầu toán Bài toán nhận diện ký hiệu toán đặt cho máy tính cho máy tính có khả tự động nhận dạng phân loại ký hiệu ngôn ngữ người với đầu vào ảnh ( dạng ảnh kỹ thuật số) video (webcam theo thời gian thực) Bài toán đặt yêu cầu cần phải nhận biết đặc trưng ký hiệu, bỏ qua môi trường xung quanh đèn, quần áo, , sau phân tích ký hiệu đối tượng Một cách để thực điều so sánh đặc tính ký hiệu với hình ảnh sở liệu tạo có sẵn (trong sở liệu có chứa hình ảnh phân loại theo nhãn ký hiệu riêng biệt) trả kết Để thực hệ thống, nhóm tác giả sử dụng nhận dạng ký hiệu tay trích xuất đặc trưng, sau phân tích ký hiệu đối tượng dựa kiến trúc mơ hình CNN Mơ hình sau huấn luyện tiến hành lựa chọn mơ hình tối ưu cho hệ thống, mơ hình phải đạt độ xác 70% Cuối nhận dạng ký hiệu tay dùng thơng qua hình ảnh video trực tiếp từ webcam Hiển thị kết có lên giao diện thiết kế Kết hiển thị giao diện cần đạt độ trễ phù hợp với phần cứng Khung hình giây cần đạt 20fps để đạt hiệu ổn định 3.2 Tổng quan 3.2.1 Hệ thống phần mềm Hệ thống chia làm trình: Phần thu thập liệu hình ảnh và: tập liệu thu thập hình ảnh chứa khn mặt có biểu khác nhau, sau tiền xử lý hình ảnh Hệ thống sử dụng sở liệu gồm 2400 ảnh nhóm tự thu thập Hình ảnh chuyển sang ảnh xám với kích thước 200x200 pixel lọc trước vùng chứa tay phân loại thành lớp ký hiệu từ số đến số tập ký hiệu Phần tiền xử lý: Thay đổi kích thước ảnh sang 180x180 pixel chia tập liệu gồm 20% test 20% validation 60% lại để train Phần trích xuất đặc trưng dựa vào tập liệu, cho hình ảnh qua lớp mơ hình Conv V2 15 Tiến hành đánh giá mơ hình lưu lại sau epoch, tiến hành phân tích ký hiệu: kiểm tra kết hình ảnh video theo thời gian thực giao diện Lưu đồ phần mềm: Hình 1: Lưu đồ phần mềm 16 3.3 Xây dựng mơ hình CNN 3.3.1 Mơ hình ConvNet V2 Hình 2: Cấu trúc mạng CNN Bảng 1: Kích thước ngõ tham số lớp mạng CNN Layer (type) Output Shape Param # conv2d_1 (Conv2D) 46x46x32 320 conv2d_2 (Conv2D) 46x46x32 9248 batch_normalization 46x46x32 128 MaxPooling1 23x23x32 dropout 23x23x32 conv2d_3 (Conv2D) 23x23x64 18496 conv2d_4 (Conv2D) 23x23x64 36928 batch_normalization 23x23x64 256 MaxPooling2 12x12x64 dropout 12x12x64 conv2d_5 (Conv2D) 12x12x128 73856 conv2d_6 (Conv2D) 12x12x128 147584 batch_normalization 12x12x128 512 MaxPooling2 6x6x128 dropout 6x6x128 flatten_1 (Flatten) 4608 17 Dense 2048 9439232 Dropout 2048 Dense 14343 Total params: 9,740,903 Trainable params: 9,740,455 Lớp MaxPolling lớp Dropout lớp khơng có tham số (Parameters) Đa phần Parameters tập trung lớp Các lớp chia thành Stages có cấu trúc giống gồm lớp conv2D, lớp Batch_norm, lớp MaxPolling lớp DropOut Sử dụng BatchNormalization sau lớp Conv2D Sep-Conv2D để cân trọng số, chuẩn hóa đầu lớp thành lô nhỏ (mini-batchs), giúp tăng tốc độ huấn luyện mơ hình giảm số lượng chu kỳ huấn luyện (epoch) Ở tầng sử dụng lớp MaxPooling nhắm mục đích giảm bớt đặc trưng giữ lại chi tiết quan trọng Lớp tích chập Conv2D_1 Conv2D_2: Hình ảnh đầu vào có kích thước 48x48x1 qua lớp tính chập Conv2D_1 Conv2D_2 Cả lớp tích chập có kích thước kernel 3x3 với 32 fearture maps Stride Kích thước ảnh từ 48x48x1 sau qua lớp tích chập thành 46x46x32 Qua lớp tích chập Conv2D_1 Conv2D_2, mơ hình áp dụng hàm kích hoạt ReLu chuyển đổi giá trị sang miền giá trị khác Đầu ReLU có kích thước giống với đầu vào, ngoại trừ tất giá trị âm loại bỏ Batch_Norm Batch Normalization phương pháp hiệu training mơ hình mạng nơ ron Mục tiêu phương pháp việc muốn chuẩn hóa feature (đầu layer sau qua activation) trạng thái zero-mean với độ lệch chuẩn Batch normalization giúp tránh tượng giá trị rơi vào khoảng bão hịa sau qua hàm kích hoạt phi tuyển Vậy nên đảm bảo khơng có kích hoạt bị vượt q cao thấp [9] Max Pooling: Lớp Max PSooling sử dụng sau lớp tích chập Batch_Norm để giảm bớt số lượng số lượng nơ rơn, đơn giản hóa thơng tin đầu Ở lớp Max Pooling có 18 Stride nhằm mục đích cải thiện khả tính tốn so với Stride tránh việc lượt bỏ đặc trưng Stride lớn Drop Out: Ở cấu trúc mạng CNN này, stage có số lượng tham số lớn có khả dẫn đến tưởng Over-fitting Để tránh trường hợp Over-fitting, cuối stage, lớp Drop Out thêm vào Với hidden layer, với trainning sample, với lần lặp, chọn ngẫu nhiên phần trăm số node bỏ qua (bỏ qua ln hàm kích hoạt cho node bị bỏ qua) Lớp tích chập Conv2D_3 Conv2D_4: Kích thước ngõ lớp tích chập 23x23x64 với kích thước lọc 3x3 Cả lớp tích chập dùng kích hoạt RELU có feature map 64 Lớp tích chập Conv2D_5 Conv2D_6 Kích thước ngõ lớp tích chập 12x12x128 với kích thước lọc 3x3 Cả lớp tích chập dùng kích hoạt RELU có feature map 128 3.3.2 So sánh lựa chọn thơng số Sau có kiến trúc mạng CNN việc quan trọng cần làm lựa chọn thơng số phù hợp để đạt hiệu tốt Bộ Optimizer: Hình 3: Kết độ xác optimizer Với kết dựa đồ thị, ta thấy với Optimizer khác cho kết khác Với Optimizer SGD, kết cho hiệu suất tệ sau 40 epoch đạt ngưỡng bão hòa chứng tỏ với Sgd đạt vùng 19 cực tiểu cục Với kết ADAM cho thấy kết tốt với độ xác 69% tập test Validation Learning rate: Learning rate – Tốc độ học siêu tham số sử dụng việc huấn luyện mạng nơ ron Giá trị số dương, thường nằm khoảng Tốc độ học kiểm soát tốc độ mơ hình thay đổi trọng số để phù hợp với toán Tốc độ học lớn giúp mạng nơ ron huấn luyện nhanh làm giảm độ xác Hình 4: Độ xác model thay đổi theo Learning rate Với tốc độ Learning Rate lớn tốc độ cao độ xác bị giảm đáng kể Chính ngun nhân vậy, Learning rate 0.01 cho hiệu suất tệ Ngược lại, với learning 0.0001 cho kết tương đối tốt lại đạt ngưỡng bão hòa qua 100 epoch khiển thời gian huấn luyện model kéo dài Batch Size: Do số lượng tập liệu để huấn luyện lớn nên liệu cần chia thành phần Các phần chia có kích thước Batch Size Tùy vào tốc độ xử lý mà kích thước Batch size khác ảnh hưởng tới kết huấn luyện model 20 CHƯƠNG KẾT QUẢ Hình 1: Kết sau train validation Kết train với epoch = 60 với class class 320 ảnh train 40 ảnh validation, 40 ảnh test Hình 2: Tập liệu Bộ liệu thu thập từ webcam với 400 ảnh cho class 21 Hình 3: Kết khơng có ký hiệu Khi khơng có ký hiệu đầu vào phần mềm không đưa kết mong muốn Hình 4: Kết số Khi ký hiệu ngón tay phần mềm trả kết nhận diện với độ xác 97% 22 Hình Kết số Khi ký hiệu ngón tay phần mềm trả kết nhận diện với độ xác 99% 23 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Với hỗ trợ nhiệt tình từ giáo viên hướng dẫn nhóm thực báo cáo mơn học, hoàn thành mục tiêu đề thiết kế mơ hình nhận diện ký hiệu Mơ hình đạt độ xác 70% Nhận diện ký hiệu đối tượng điều kiện vùng ký hiệu tối, ký hiệu không bị che khuất, hướng bàn tay thẳng Thực mục tiêu đề ra: nhận diện ký hiệu nét rõ ràng, nhận diện nhanh Phần mềm nhận diện kí hiệu với khoảng cách có độ xác từ 30cm- 1m 5.1.1 Ưu điểm Giảm liệu tốc độ xử lý nhanh xác đáng kể Mơ hình xử lý ảnh giao diện hoạt động tốt Mơ hình sử dụng mạng Nơ-ron tích chập CNN, với mơ hình kiến trúc Convnet V2 đạt độ xác 70% validation đạt độ xác 90% tập test 5.1.2 Nhược điểm Ảnh sáng, độ phân giải thấp, đối tượng ảnh rõ ký hiệu Vùng ký hiệu q nhịe, khoảng cách 1m nhận diện độ xác thấp Khơng thể nhận diện lúc nhiều ký hiệu 5.2 Hướng phát triển đề tài Từ hạn chế trên, nhóm tập trung vào việc nâng cao chất lượng hình ảnh bổ sung thêm liệu Cải thiện hệ thống để hoạt động môi trường thực tế Xây dựng hệ thống đầy đủ có tính ứng dụng cao sống Phát triển thêm số tính nhận diện thêm người ký hiệu lúc… Tối ưu phần cứng, quan tâm đến phản hồi khác hàng người sử dụng Cải thiện thuật toán để tăng tốc độ xử lý 24 TÀI LIỆU THAM KHẢO [1] "internet," [Online] Available: https://pro.edu.vn/thu-ngu-ngon-ngu-kyhieu-tay/ [2] H Nhân, "icst.org," Viện Khoa học cơng nghệ tính tốn, 2017 [Online] Available: https://icst.org.vn/vi/news/detail/tong-quat-ve-ai-machine-learning- deep-learning-244 [3] N Q Hoan, "giáo trình Xử Lý Ảnh," HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG, Hà Nội, 2006 [4] Hai, "Mạng nơ-ron nhân tạo - Neural Networks," 23 April 2018 [Online] Available: https://dominhhai.github.io/vi/2018/04/nn-intro/ [Accessed 2020 06 14] [5] N V Chức, "Tổng quan mạng neuron (Neural Network)," 12 May 2018 [Online] Available: Available: http://bis.net.vn/forums/p/482/1455.aspx [Accessed 2020 06 14] [6] L T T HẰNG, "NGHIÊN CỨU VỀ MẠNG NEURAL TÍCH CHẬP VÀ ỨNG DỤNG CHO BÀI TỐN NHẬN DẠNG BIỂN SỐ XE," Đại học quốc gia Hà Nội, Hà Nội, 2016 [7] N T Tuan, "Neural network Deep learning bản," March 2019 [Online] Available: https://nttuan8.com/bai-3-neural-network/ [8] T Kiên, "Những loại Neural bật," 08 10 2018 [Online] Available: “” [online] Available : https://trungkien45.wordpress.com/2018/10/08/nhung-loaimang-neural-noi-bat-2/ [Accessed 2020 06 14] [9] "Bộ xử lý đồ họa," [Online] Available: [https://vi.wikipedia.org/wiki/Bộ_xử_lý_đồ_họa#Xem_thêm] [Accessed 2020 06 14] [10] P V Toàn, "Deep Learning," 2019 Sep 15 [Online] Available: 29 https://viblo.asia/p/ai-interview-12-cau-hoi-phong-van-deep-learning-sieu-haykhong-the-bo-qua-LzD5djvEZjY link tai file: https://drive.google.com/file/d/1vo4Yp1a3V3qcQoLUeuOmaoVfEgT-EsCl/view?usp=sharing 30 ... mơ hình nhận diện ký hiệu Mơ hình đạt độ xác 70% Nhận diện ký hiệu đối tượng điều kiện vùng ký hiệu tối, ký hiệu không bị che khuất, hướng bàn tay thẳng Thực mục tiêu đề ra: nhận diện ký hiệu nét... Ngơn ngữ Ký hiệu Việt Nam Các câu lạc bộ, nhóm dạy, sinh hoạt ngơn ngữ kí hiệu bắt đầu hình thành nở rộ Một số tài liệu công phu xuất như: tập Ký hiệu cho người điếc Việt Nam, từ điểm ngôn ngữ ký. .. Thiết kế giao diện từ thư viện python Chương 4: Kết Trình bày kết nhận diện ký hiệu giao diện xây dựng từ hình ảnh hoặc, từ camera thông qua camera Đưa trường hợp nhận diện đúng, nhận diện sai từ