Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN VĂN HIẾU ỨNG DỤNG MÁY HỌC NHẬN DẠNG THÔNG TIN CỜ HIỆU PHẤT TAY Chuyên ngành: Mã số: KỸ THUẬT VIỄN THÔNG 8.52.02.08 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 01 năm 2023 CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS TS Hà Hoàng Kha Cán chấm nhận xét : TS Võ Tuấn Kiệt Cán chấm nhận xét : TS Huỳnh Thế Thiện Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 10 tháng 01 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: GS TS Lê Tiến Thường Ủy viên: PGS TS Đỗ Hồng Tuấn Thư ký: PGS TS Võ Nguyễn Quốc Bảo Phản biện 1: TS Võ Tuấn Kiệt Phản biện 2: TS Huỳnh Thế Thiện Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa CHỦ TỊCH HỘI ĐỒNG GS TS Lê Tiến Thường TRƯỞNG KHOA ĐIỆN –ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Văn Hiếu MSHV:1970278 Ngày, tháng, năm sinh: 02/03/1992 Nơi sinh: Hà Tĩnh Chuyên ngành: Kỹ thuật Viễn thông Mã số : 8520208 TÊN ĐỀ TÀI  Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay  Signal recognition of hand waving flags by machine learning NHIỆM VỤ VÀ NỘI DUNG:  Nghiên cứu mơ hình truyền tin sử dụng cờ hiệu phất tay  Nghiên cứu giải pháp máy học thị giác máy tính cho thuật tốn nhận dạng thông tin cờ hiệu phất tay  Xây dựng chương trình nhận dạng thơng tin từ cờ hiệu phất tay đánh giá kết mô hình NGÀY GIAO NHIỆM VỤ : 05/09/2022 NGÀY HOÀN THÀNH NHIỆM VỤ : 25/12/2022 CÁN BỘ HƯỚNG DẪN : PGS.TS Hà Hoàng Kha PHẦN HƯỚNG DẪN : Toàn nội dung yêu LVTN thông qua môn Tp HCM, ngày tháng … năm 2023 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MƠN VIỄN THƠNG PGS TS Hà Hồng Kha TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ i LỜI CẢM ƠN Với tất lòng biết ơn, trước tiên em xin gửi lời cảm ơn chân thành tới thầy giáo PGS TS Hà Hồng Kha, người thầy tận tình hướng dẫn giúp đỡ em q trình hồn thành luận văn thạc sĩ Em xin gửi lời cảm ơn quý thầy, cô giáo khoa Điện - Điện tử, trường Đại học Bách khoa Thành phố Hồ Chí Minh hướng dẫn cho em kiến thức chun ngành phong phú có tính ứng dụng cao, làm tảng kiến thức cho em thực luận văn Em xin gửi lời cảm ơn sâu sắc đến quý thầy, cô giáo trường Đại học Bách khoa Thành phố Hồ Chí Minh giúp đỡ, tọa điều kiện cho em trình học tập nghiên cứu trường Em xin cảm ơn Ban lãnh đạo Trường Đại học Đại học Bách khoa Thành phố Hồ Chí Minh, phịng ban nhà trường tạo điều kiện, sở vật chất để em có hội mơi trường tốt học tập nghiên cứu Về kiến thức khả lý luận, thân nỗ lực cố gắng hoàn thiện, nhiên trình thực luận văn cịn thiếu sót định Em mong nhận đóng góp q thầy giáo, giáo, bạn bè để luận văn thạc sĩ em hoàn thiện Em xin chân thành cảm ơn gia đình ln bên cạnh động viên suốt q trình thực luận văn, bạn học khóa 2019, 2020 khoa Điện – Điện tử trao đổi hỗ trợ em suốt trình học tập nghiên cứu Cuối cùng, em xin kính chúc quý thầy giáo, Ban lãnh đạo phịng ban trường Đại học Bách khoa Thành phố Hồ Chí Minh dồi sức khỏe, hạnh phúc thành công nghiệp Em xin chân thành cảm ơn! Thành phố Hồ Chí Minh, tháng 01 năm 2023 Nguyễn Văn Hiếu ii Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hồng Kha TĨM TẮT LUẬN VĂN Thơng tin liên lạc có vai trị quan trọng đời sống hàng ngày, có nhiều phương thức truyền thông tin thông tin bản, thông tin hữu tuyến, thông tin vô tuyến Trong phương thức truyền thơng tin đó, có phương pháp truyền thơng tin cờ hiệu phất tay, phương pháp truyền thông tin bản, ngày phương pháp sử dụng để truyền thông tin tàu biển, tàu cảng biển Tuy nhiên tốc độ khoảng cách truyền thông tin phương pháp không cao Khoa học công nghệ ngày phát triển mạnh mẽ, với cách mạng công nghệ lần thứ 4, trí tuệ nhân tạo ứng dụng mạnh mẽ vào nhiều lĩnh vực Máy học sử dụng để giải toán trước khó để giải Từ thực tiễn trên, luận văn thực nghiên cứu phương pháp ứng dụng máy học, nhận dạng thông tin truyền thông tin cờ hiệu vẫy tay Trong trình nghiên cứu luận văn khảo sát mơ hình máy học được cơng bố, cơng trình nghiên cứu giới Resnet, Mobilenet Sau khảo sát, đánh giá luận văn thực xây dựng mơ hình máy học phù hợp với yêu cầu nhận dạng ký tự bảng chữ cái, đoạn văn truyền phương pháp cờ hiệu phất tay Thực nghiệm sản phẩm luận văn xây dựng ngôn ngữ lập trình python, chạy máy tính Sau đánh giá kết thực nghiệm làm sở cho đánh gía tính hiệu thiết kế iii Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha ABSTRACT Communication plays an important role in daily life There are various methods of transmitting information such as basic communication, wired communication, wireless communication Among those communication methods, there is a method of transmitting information by waving flags, which is a traditional method of information transmission, and today this method is still used to transmit information between ships on sea, between ships and seaports However, the speed and distance of this method is not high Science and technology is developing rapidly, along with the 4th technological revolution, artificial intelligence is applied in many fields Machine learning is used to solve problems that were previously difficult to solve In this situation, the thesis conducts research on methods of a machine learning application and information recognition in hand-waving flags During the research process, the thesis has surveyed the published machine learning models of research works in the world such as Resnet, Mobilenet After surveying and evaluating the system performance, the thesis will build a machine learning model suitable for the requirements of recognizing characters in the alphabet, the text in which it is transmitted by the method of waving flags Experimental product of the thesis is built in python programming language, running on computer Then thesis analyzes the experimental results as the basis for evaluating the effectiveness of the design iv Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hồng Kha LỜI CAM ĐOAN CỦA TÁC GIẢ Tơi xin cam đoan cơng trình nghiên cứu khoa học độc lập riêng Thống kê, số liệu sử dụng luận văn công bố theo quy định, có nguồn gốc rõ ràng Những kết nghiên cứu luận văn tự tìm hiểu, phân tích, thực nghiệm, khách quan, phù hợp với thực tiễn Việt Nam Kết nghiên cứu chưa công bố nghiên cứu Học viên Nguyễn Văn Hiếu v Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hồng Kha MỤC LỤC TĨM TẮT LUẬN VĂN iii ABSTRACT iv LỜI CAM ĐOAN CỦA TÁC GIẢ v MỤC LỤC vi DANH MỤC CÁC TỪ VIẾT TẮT xiii DANH MỤC HÌNH ẢNH ix DANH MỤC BẢNG BIỂU xii CHƯƠNG MỞ ĐẦU 1.1 Tính cấp thiết 1.1.1 Xu hướng ứng dụng trí tuệ nhân tạo lĩnh vực 1.1.2 Thực trạng sử dụng cờ hiệu phất tay 1.2 Lý chọn đề tài 1.3 Mục tiêu nhiệm vụ nghiên cứu 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu 1.4.2 Phạm vi nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn đề tài 1.5.1 Ý nghĩa khoa học 1.5.2 Ý nghĩa thực tiễn 1.6 Phương pháp nghiên cứu 1.7 Cấu trúc luận văn 10 CHƯƠNG THÔNG TIN CỜ HIỆU PHẤT TAY VÀ LÝ THUYẾT MÁY HỌC 11 2.1 Thông tin cờ hiệu phất tay 11 2.1.1 Tư người phát 11 2.1.2 Phương pháp truyền tin tức 16 vi Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha 2.2 Lý thuyết xử lý ảnh 18 2.3 Lý thuyết máy học 22 2.3.1 Một số khái niệm 22 2.3.2 Một số thuật toán 26 2.3.3 Học sâu 32 2.3.4 Support Vector Machine (SVM) 39 2.4 Kết luận chương 51 CHƯƠNG NHẬN DẠNG KÝ TỰ ALPHABET TRONG THÔNG TIN CỜ HIỆU PHẤT TAY 52 3.1 Khảo sát mô hình CNN 52 3.1.1 Mục tiêu khảo sát 52 3.1.2 Tập liệu sử dụng 53 3.1.3 Restnet 54 3.1.4 Mobilenet 58 3.2 Mô hình Neural Network và SVM 62 3.2.1 Mô hình hệ thống 62 3.2.2 Xác định tọa độ điểm mang thông tin 63 3.2.3 Xây dựng model neural network 71 3.2.4 Xây dựng model SVM nhận dạng ký tự 81 3.2.5 Tổng hợp kết đánh giá hệ thống 85 3.3 Kết luận chương 87 CHƯƠNG HỆ THỐNG NHẬN DẠNG ĐOẠN VĂN BẢN TRONG THÔNG TIN CỜ HIỆU PHẤT TAY 88 4.1 Cấu trúc hệ thống 88 4.2 Phần mềm xử lý liệu 91 4.2.1 Lưu đồ giải thuật 91 4.2.2 Một số thư viện hỗ trợ lập trình 92 4.2.3 Giao diện hoạt động 94 vii Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha 4.3 Kết luận chương 95 CHƯƠNG KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN 96 5.1 Kết luận chung 96 5.2 Hướng phát triển 97 TÀI LIỆU THAM KHẢO 98 viii Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha - Với ký tự phát liên tục giống người phát phải chuyển tư nghỉ ký tự ví dụ AA-> người phát ‘A’ ‘Nghỉ’ ‘A’ Dựa điểm đề cập xây dựng lưu đồ hệ thống cho trình xử lý tin tức sau: Hình 4.1 Lưu đồ hệ thống nhận dạng bảng điện thơng tin cờ hiệu phất tay Từ Hình 4.1 thấy liệu đầu vào video ghi nhận hình ảnh người phát tin tức Trước phát từ người phát tư nghỉ - Camera: Có chức thu nhận hình ảnh người phát tin tức, trình thực nghiệm có sử dụng loại camera khác để thu nhận hình ảnh, liệu đầu khối video chứa hình ảnh người phát tin - Capture: Có chức phân tích video thu nhận từ khối camera thành frame hình ảnh Hiện giây có 30 frame tạo thành Dữ liệu đầu khối list danh sách hình ảnh capture từ video đầu vào - Detect keypoint: Sau nhận frame hình ảnh từ khối Capture, với hình ảnh chứa thơng tin hành động Khối có chức thực phát điểm thể người, làm liệu đầu vào cho khối Dữ liệu đầu khối tọa độ điểm thể - Module: Đây module máy học huấn luyện dựa tập liệu thực nghiệm, đề tài module xây dựng dựa thuật tốn Neural Network Support Vector Machine, giải thuật máy học theo dạng học có giám sát (supper version) Có chức xác định xem frame xử lý frame tương ứng với ký tự nào, sau frame qua khối Detect Keypoint Cụ thể khối module dựa vào list tọa độ 89 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha keypoint chọn từ khối Detect Keypoint đưa vào, dự đốn liệu thuộc lớp liệu(class) - Process: Đây khối lập trình xử lý trường hợp đặc biệt, thu nhận frame mang thông tin ký tự chuyển số bắt đầu trình ghi nhận số, sau kết thúc trình nhận số phải chuyển qua trình nhận ký tự Trong trường hợp nhận ký tự giống có ký tự nghỉ thực hay phiên âm tiếng việt - Word kết cuối hệ thống, hiển thị chữ bên phát muốn phát cho bên thu nhận 90 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha 4.2 Phần mềm xử lý liệu 4.2.1 Lưu đồ giải thuật Khi truyền liệu đoạn văn bản(bảng điện), hệ thống nhận dạng chia video nhận thành frame, frame mang tư người phát tin tức Như frame liên tiếp trùng lặp ký tự giống nhau, điều làm cho hệ thống xử lý bị chậm dễ tạo sai sót phát ký tự Do cần có loại bỏ frame có tư giống nhau, Phương pháp để xử lý yêu cầu dựa vào cách tính khoảng cách điểm Trong truyền thông tin cờ tay, để truyền đạt ký tự, người phát cần dừng lại tư mang ý nghĩa ký tự cần truyền khoảng thời gian Từ tính khoảng cách Euclid điểm mang thông tin frame (norm2) gần nhỏ Hình 4.2 Lưu đồ xử lý hệ thống nhận dạng đoạn văn mức ngưỡng t thực nghiệm cho thấy giá trị t nằm khoảng (0.009 - 0.014) Trong trường hợp frame có khoảng cách nhỏ mức ngưỡng, đưa vào hệ thống nhận dạng ký tự bảng chữ cái, mơ hình trình bày 91 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha chương luận văn Giá trị nhận sau nhận dạng ký tự, ký tự kiểm tra xem có bị trùng với ký tự trước hay không Thực bước kiểm tra theo quy định truyền thơng tin cờ tay tóm tắt phần đầu Chương này, ký tự giống liên tiếp, người phát phải thực trở tư nghỉ trước phát ký tự giống thứ Trong bảng chữ tư nghỉ tương đương với ký tự bảng chữ cái, ký tự giống nhau, lấy giá trị trước đó, cịn trường hợp sau bỏ qua Những ký tự không giống đưa vào kết tạm hàng đợi nhớ, sau kiểm tra tiếp video hết frame, mơ hình thực chuẩn hóa ký tự hàng đợi, thành đoạn văn theo quy tắc thông tin cờ hiệu phất tay Xét ví dụ sau: Đoạn văn cần truyền đi: “ ĐẠI HỌC BÁCH KHOA ” Sau trình nhận dạng chuỗi ký tự nhận được: “DngDAIJngHOCJngBACHSngKHOA” Chuẩn hóa liệu thay ký tự “ng” khoảng trắng, ký tự phiên âm tiếng việt thay theo quy tắc phiên âm tiếng việt, ký tự phiên âm thực thay thành dấu tương ứng 4.2.2 Một số thư viện hỗ trợ lập trình Thư viện lập trình giao diện Python ngơn ngữ lập trình hướng đối tượng, bậc cao, cấu trúc rõ ràng, dễ đọc cho người Đặc biệt python đánh giá ngôn ngữ hỗ trợ mạnh lĩnh vực khoa học máy tính trí tuệ nhân tạo Trong thời gian đầu ngơn ngữ python thiết kế để sử dụng hệ điều hành Unix, sau mở rộng hệ điều hành khác OS, Window…tác giả ngơn ngữ Guido Van Rossu, tác giả python phát triển nhờ đóng góp cộng đồng nhiều người khác [28] 92 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hồng Kha Lập trình giao diện (GUI) sử dụng ngơn ngữ python có nhiều thư viện hỗ trợ Tkinter, wxPython, JPython… Trong đề tài tác giả sử dụng thư viện Tkinter lập trình GUI cho phần mềm Các công cụ Tkinter cung cấp theo hướng đối tượng, hỗ trợ bảng điều khiển khác như, nút nhấn, Label, textbox… bảng điều khiển gọi widget Bố cục giao diện Tkinter cung cấp gồm có pack(), grid(), place() [39] Numpy Một gói giao thức hỗ trợ tính tốn nhanh chóng, Trong đối tượng numpy mảng nhiều chiều, có matrix sử dụng nhiều phép tính cộng, nhân ma trận… Numpy hỗ trợ mạnh thực phép tính cách nhanh chóng cho phép tính mảng, tốn logic, xếp, thống kê, mô ngẫu nhiên, truy xuất, xóa, thêm liệu mảng nhiều chiều [40] Trong luận văn sử dụng numpy để lưu liệu huấn luyện, tập con, thực phép tính norm2 điểm lưu dạng mảng Tensorflow Tensorflow framework phát triển đội ngũ công ty google, hỗ trợ mạnh mẽ nhiều công cụ mạng nơ ron học sâu, sử dụng để lập trình cho nhiều ngơn ngữ khác nhau, có python Lần giới thiệu cuối năm 2015, hoạt động ổn định năm 2017, dạng mã nguồn mở Trong Tensorflow model máy học xây dựng theo phần chính, tiền xử lý liệu, xây dựng model, huấn luyện ước tính Framework hỗ trợ nhiều công cụ cho tiền xử lý liệu như, mô tập liệu Graph, phác thảo biểu đồ, hiển thị kết cho tập liệu, tính tốn số lượng params model… Một số thuật toán sử dụng rộng rãi framework hỗ trợ xây dựng model Linear regression, Deep learning classification, Classification, Deep learning wipe and deep, Booster tree regression… [41] [42] [43] [44] Các thư viện khác Luận văn sử dụng số thư viện hỗ trợ việc lập trình phần mềm nhận 93 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha dạng mediapipe thư viện trình bày Chương luận văn Thư viện os dùng để tạo đường dẫn URL, linalg dùng để tính norm2 Thư viện opencv gồm hàm giúp cho việc capture video thành frame, hiển thị, lưu, thay đổi kích thước hình ảnh Thư viện threading sử dụng cho việc tạo luồng xử lý phụ, time… 4.2.3 Giao diện hoạt động Hình 4.3 Giao diện phần mềm nhận dạng đoạn văn thông tin cờ phất tay Giao diện phần mềm thể Hình 4.3, phần mềm có phân vùng chính, phân vùng bao gồm giá trị nhập vào, textbox (Choose File Model) chứa đường dẫn đến file model xây dựng chương 3, không chọn file model, phần mềm tự động lấy file model mặc định thư mục chứa phần mềm Tiếp đến textbox (Choose File Video) chứa đường dẫn đến file chứa video ghi lại hình ảnh, người phát thông tin cờ hiệu phất tay, trường hợp sử dụng để nhận dạng trực tiếp thiết bị ghi hình có kết nối tới máy tính, textbox bỏ trống, khơng sử dụng Phân vùng thứ gồm tùy chọn Rotation: quay hình ảnh 180 độ để dễ quan sát, hình ảnh bị lật ngược, Using Webcam dùng trường hợp lấy liệu hình ảnh trực tiếp từ thiết bị ghi hình có kết nối, Show image and predict tùy chọn hiển thị hình ảnh kết nhận dạng hình ảnh đó, với chức hình ảnh lên giữ chậm giây, hệ thống bị chậm so với không 94 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha sử dụng tùy chọn Phân vùng thứ thể kết nhận dạng textbox Predict hiển thị liệu nhận dạng chưa xử lý ký tự dấu, hay phiên âm, Result kết cuối dùng sau xử lý đoạn văn tiếng việt Phần lại nút nhấn Start bắt đầu nhận dạng, Stop: dừng trình đọc liệu nhận dạng, CheckImage: kiểm tra số khung hình video đọc vào hệ thống hay chưa 4.3 Kết luận chương Chương kết hợp quy tắc truyền thông tin cờ hiệu phất tay model xây dựng Chương 3, để xây dựng nên hệ thống nhận dạng bảng điện Trong trình bày cấu trúc hệ thống mà thành phần phần xử lý nhận dạng ký tự Tiếp theo giới thiệu phần mềm nhận dạng đoạn văn lập trình ngôn ngữ python, thư viện hỗ trợ sử dụng để lập trình giao diện phần mềm phần xử lý máy học phía sau Cuối chương này, tác giả giới thiệu giao diện phần mềm lập trình ngơn ngữ python, phân vùng phần mềm chức bảng điều khiển phần mềm 95 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha CHƯƠNG KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận chung Tác giả trình bày việc ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay, máy học xây dựng dựa vào thuật toán Neural Network Support Vector Machine Luận văn xây dựng dựa phần chính: Một sở lý thuyết, tác giả thực khảo sát, đánh giá tình hình chung phát triển cơng nghệ trí tuệ nhân tạo, thực trạng truyền thơng tin cờ hiệu phất tay, tham khảo cơng trình nghiên cứu khoa học liên quan Trong phần chủ yếu trình bày tổng quát lý thuyết chung, tổng hợp công trình nghiên cứu khoa học có liên quan đến nội dung mà luận văn thực Trong có phần lý thuyết quan trọng phần sở tốn học, xử lý hình ảnh, máy học, trình bày chi tiết phần kiến thức liên quan đến máy học thuật toán linear regression, neural network, support vector machine… Hai phần ứng dụng lý thuyết trình bày vào xây dựng hệ thống nhận dạng thông tin cờ hiệu phất tay Luận văn trình bày hệ thống nhận dạng ký tự bảng chữ cái, làm sở cho việc nhận dạng đoạn văn truyền thông tin cờ hiệu phất tay Trước vào xây dựng model cho hệ thống, tác giả thực khảo sát số mơ hình máy học cơng bố trước mơ hình Resnet, Mobilenet Tác giả trình bày hướng tiếp cận từ phương pháp, nhận dạng khung xương người kết hợp với mơ hình máy học Luận văn sử dụng thư viện mediapipe để phát điểm khung xương người, mang thông tin ký tự tương ứng với tư khung xương, liệu chuẩn hóa đưa vào model máy học Mơ hình máy học xây dựng dựa thuật toán neural network SVM Trên tập liệu kiểm thử, hình ảnh tư bảng chữ cái, hệ thống nhận dạng với độ 96 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha xác cao, đạt mục tiêu ban đầu luận văn Từ hệ thống nhận dạng bảng chữ cái, luận văn xây dựng hệ thống nhận dạng đoạn văn truyền thông tin cờ hiệu phất tay Hệ thống xây dựng dựa quy định truyền thông tin cờ tay, liệu hình ảnh tư đưa vào hệ thống nhận dạng với bước kiểm tra hình ảnh, chuỗi ký tự nhận sau trình xử lý hệ thống nhận dạng chuẩn hóa theo phiên âm tiếng việt Sau hoàn thiện phần mềm luận văn thực kiểm nghiệm hệ thống nhận dạng số video ghi hình cự ly khác nhau, kết cho thấy độ xác hệ thống với người truyền tin cự ly 100m cao, đạt khoảng 98% Tuy nhiên số ký tự bảng điện bị nhận dạng sai, làm cho nội dung bảng điện bị sai lệch Nhìn chung luận văn thực thành công việc nhận dạng thông tin cờ hiệu phất tay, kiểm nghiệm sản phẩm khoảng cự ly truyền thông tin đặt từ ban đầu, thời gian xử lý cho khung hình 0.03 giây, thời gian nhận dạng đảm bảo hệ thống không bị chậm so với người phát tin 5.2 Hướng phát triển Luận văn thực nghiên cứu sở lý thuyết phát triển hệ thống nhận dạng thông tin từ người phát tin tức Tuy nhiên q trình truyền thơng tin cờ hiệu phất tay bao gồm phát tin tức thu tin tức, hệ thống thu phát có độ phức tạp cao hệ thống nhận dạng mà luận văn thực nghiên cứu Hệ thống ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay sở quan trọng, việc xây dựng hệ thống tự động phát thu thông tin cờ hiệu phất tay tự động hóa nguồn phát tin tức Theo hướng phát triển đề tài mở rộng thành hệ thống, hệ thống phát tin tức hệ thống thu tin tức Hệ thống nhận dạng thông tin cờ hiệu phất tay luận văn nghiên cứu, thực hệ thống máy tính có cấu hình tương đối cao Ứng dụng phát triển thiết bị có cấu hình thấp bo mạch nhúng, kết hợp với thiết bị ghi hình ảnh, nhằm nhận dạng trực tiếp thiết bị ghi hình 97 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha TÀI LIỆU THAM KHẢO [1] I Wikimedia Foundation, "Wikipedia," [Online] Available: https://vi wikipedia.org/wiki/Trí tuệ nhân tạo [Accessed 10 2022] [2] I Goodfellow, Y Bengjio and A Courville, Deep learning, London, England: Massachusetts Institute of Technology, 2017 [3] PwC, "PwC’s Global Artificial Intelligence Study," [Online] Available: https://www.pwc.com/gx/en/issues/data-andanalytics/publications/artificia l-intelligence-study.html [Accessed 05 10 2022] [4] VnExpress, "VnExpress," [Online] Available: https://vnexpress.net/fptvan-hanh-so/ai-xuat-hien-ra-sao-trong-cac-linh-vuc-kinh-te-4117532.html [Accessed 11 2022] [5] N M Vũ and N H Hn (2021) Ứng dụng cơng nghệ trí tuệ nhân tạo dịch vụ tài thị trường tài Việt Nam [Online] Available: https://digital.lib.ueh.edu.vn/viewer/simple_document.php?sub folder=11/64/14/&doc=116414449950277929563061058606065856537& bitsid=71837da1-095b-4934-b981-7929db0efbaf&uid= [6] H Nguyên, "Báo Quân đội nhân dân," [Online] Available: https://www qdnd.vn/quan-su-the-gioi/khoa-hoc-quan-su/nato-can-nhac-chien-luoc-tritue-nhan-tao-quan-su-662724 [Accessed 10 2022] [7] H M Chiến, "Tạp chí Quốc phịng tồn dân," [Online] Available: http:// tapchiqptd.vn/vi/nghien-cuu-trao-doi/chien-tranh-tri-tue-nhan-tao-nhungvan-de-can-quan-tam-nghien-cuu/18244.html [Accessed 02 12 2022] [8] P Satam, "Youtube," [Online] Available: https://www.youtube.com/ watch ?v=cy3K6oARafg [Accessed 12 2022] [9] S Paul, P M Bruntha, A Raj, S Saurabh and S Masih, "Anti-Spoofing Face-Recognition Technique for eKYC Application," in 2021 3rd 98 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha International Conference on Signal Processing and Communication (ICPSC), 10.1109/ICSPC51351.2021.9451703, 2021 [10] Y Du, Y Fu and L Wang, "Skeleton based action recognition with convolutional neural network," in 3rd IAPR Asian Conference on Pattern Recognition (ACPR), 10.1109/ACPR.2015.7486569, 2015 [11] R Abiyev, J B Idoko and M Arslan, "Reconstruction of Convolutional Neural Network for Sign Language Recognition," in International Conference on Electrical, Communication, and Computer Engineering (ICECCE), 10.1109/ICECCE49384.2020.9179356, 2020 [12] X Hua, X Wang, D Wang and J Huang, "Military Object Real-Time Detection Technology Combined with Visual Salience and Psychology," MDPI AG, vol 7, no 216, 2018 [13] W Foundation, "Wikimedia," [Online] Available: https://vi.wikipedia.org /wiki/Semaphore [Accessed 10 2022] [14] D Khánh, "Báo Thanh Niên," [Online] Available: https://thanhnien.vn/ hai-quan-viet-nam-thai-lan-to-chuc-tuan-tra-chung-lan-thu-37-post751473 html [Accessed 11 2022] [15] V Hưởng, "Báo Hải quân Việt Nam," [Online] Available: https:// baohaiquanvietnam.vn/tin-tuc/quan-chung-hai-quan-be-mac-hoi-thi-thongtin-tau-gioi-lan-thu-6-3985-3985-3985-3985-3985 [Accessed 10 2022] [16] L S A Putra, L Sumarno and V A Gunawan, "The recognition of semaphore letter code using haar wavelet and euclidean function," in 5th International Conference on Electrical Engineering Computer Science and Informatics, EECSI , Malang, Indonesia, 2018 [17] "Đoàn Thanh Niên Cộng Sản Hồ Chí Minh Tỉnh Bạc Liêu," 11 2011 [Online] Available: https://td.baclieu.gov.vn/-/truyen-tin-semaphore-3117 [Accessed 10 01 2022] [18] D Ankur, A Alaknanda, V Parag and V Poonam, Advanced Digital Image 99 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha Processing and Its Applications in Big Data, ISBN 9780367637750: CRC Press, 2021 [19] N C Hoan, Giáo trình xử lý ảnh, Trường HV cơng nghệ bưu viễn thơng, 2006 [20] V H Tiệp, Machine Learning bản, Nhà xuất Khoa học kỹ thuật, 2018 [21] N T Tuấn, "Deep Leaning bản," 2020 [Online] Available: https:// nttuan8.com/gioi-thieu-ve-deep-learning/ [Accessed 01 10 2022] [22] L Long and X Zeng, Beginning Deep Learning with TensorFlow, Shenzhen, Guangdong: Apress, 2022 [23] "W3Schools," [Online] Available: https://www.w3schools.com/python/ python_ml_linear_regression.asp [Accessed 10 2022] [24] V H Tiệp, "machinelearningcoban.com," [Online] Available: https:// machinelearningcoban.com/2017/03/19/convexopt/#-gioi-thieu-thu-viencvxopt [Accessed 10 2022] [25] V H Tiệp, "machinelearningcoban" [Online] Available: https://machine learningcoban.com/2017/03/04/overfitting/#-cross-validation [Accessed 10 2022] [26] H K Lam, S H Ling and H T Nguyen, Computational Intelligence and Its Applications, Singapore: Imperial College Press, 2012 [27] V H Tiệp, "machinelearningcoban," [Online] Available: https://machine learningcoban.com/2017/04/22/kernelsmv/ [Accessed 10 2022] [28] Wikipedia [Online] Available: https://en.wikipedia.org/wiki/Mercer%27 s_theorem#Mercer.27s_condition [Accessed 10 2022] [29] A Gholamy, V Kreinovich and O Kosheleva, "Why 70/30 or 80/20 Relation Between Training," Departmental Technical Reports (CS), vol 1209, 2018 [30] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image 100 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha Recognition," arXiv, vol 1512.03385, 2015 [31] "Github.io," [Online] Available: https://ethereon.github.io/netscope/#/gist/ db945b393d40bfa26006 [Accessed 11 2022] [32] A G Howard, M Zhu, B Chen, D Kalenichenko, W Wang, T Weyand, M Andreetto and H Adam, "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," arXiv, vol 1704.04861, 2017 [33] M Sandler, A Howard, M Zhu, A Zhmoginov and L.-C Chen, "MobileNetV2: Inverted Residuals and Linear Bottlenecks," arXiv, vol 1801.04381, 2019 [34] S Jiang, B Sun, Y B Lichen Wang, K Li and Y Fu, "Skeleton Aware Multi-modal Sign Language Recognition," arXiv, vol 2103.08833 [35] S K Yadav, K Tiwar, H M Pandey and S A Akbar, "Skeleton-based human activity recognition using ConvLSTM and guided feature learning," Soft Computing, vol 26, 2021 [36] V Bazarevsky, I Grishchenko, K Raveendran, T Zhu, F Zhang and M Grundmann, "BlazePose: On-device Real-time Body Pose tracking," arXiv, no 10204, 2020 [37] Google, "Mediapipe," [Online] Available: https://google.github.io/ mediapipe/ [Accessed 10 2022] [38] M Timothy, Practical Neural Network Recipes in C++, London: Academic Press Limited, 1993 [39] P S Foundation, "Graphical User Interfaces with Tk," [Online] Available: https://docs.python.org/3/library/tk.html [Accessed 10 11 2022] [40] N Developers., "NumPy documentation," [Online] Available: https:// numpy.org/doc/stable/ [Accessed 11 2022] [41] Tensorflow, "Tensorflow," [Online] Available: https://blog.tensorflow.org/ [Accessed 11 2022] [42] P Singh, Learn TensorFlow 2.0: Implement Machine Learning and Deep 101 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hoàng Kha Learning Models with Python, Apress, 2020, pp 60-150 [43] R Atienza, Advanced Deep Learning with TensorFlow and Keras: Apply DL, GANs, VAEs, deep RL, unsupervised learning, object detection and segmentation, and more, Packt Publishing, February 28, 2020, pp 40-120 [44] B Planche, Hands-On Computer Vision with TensorFlow 2: Leverage deep learning to create powerful image processing apps with TensorFlow 2.0 and Keras, Packt Publishing, May 30, 2019, pp 50-80 102 Ứng dụng máy học nhận dạng thông tin cờ hiệu phất tay GVHD: PGS.TS Hà Hồng Kha LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Văn Hiếu Ngày, tháng, năm sinh: 02/03/1992 ; Nơi sinh: Mai Phụ, Lộc Hà, Hà Tĩnh Địa liên lạc: Thôn Đông Thắng, X Mai Phụ, H Lộc Hà, T Hà Tĩnh QUÁ TRÌNH ĐÀO TẠO Từ 9/2011 đến 6/2016: Học viên Học Viện Hải Quân (Địa chỉ: 30 Trần Phú, Vĩnh Nguyên, Nha Trang, Khánh Hịa.) Q TRÌNH CƠNG TÁC Từ 7/2016 đến nay: Giảng viên Trường Cao đẳng Kỹ thuật Hải Quân (Địa chỉ: 1295A Nguyễn Thị Định, P Cát Lái, TP Thủ Đức, TP Hồ Chí Minh) 103