(Tiểu luận) tiểu luận môn học trí tuệ nhân tạo đề tài tìm hiểu công nghệ nhận diện giọng nói

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT - CƠNG NGHỆ *********** TIỂU LUẬN MƠN HỌC TRÍ TUỆ NHÂN TẠO Sinh viên thực hiện: : 1924801030117 Phạm Phương Tây Nguyễn Huỳnh Minh Quân Đâng Hoàng Minh : 1924801030102 Lớp : D19PM01 Khoá : 2019-2024 Ngành : Kỹ thuật phần mềm Giảng viên hướng dẫn : ThS.Nguyễn Hải Vĩnh Cường Bình Dương, tháng 10/2022 h TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT CÔNG NGHỆ *********** TIỂU LUẬN MÔN HỌC TRÍ TUỆ NHÂN TẠO Sinh viên thực hiện: : 1924801030022 Phạm Phương Tây Nguyễn Huỳnh Minh Quân Đâng Hoàng Minh : 1924801030102 Lớp : D19PM01 Khoá : 2019-2024 Ngành : Kỹ thuật phần mềm Giảng viên hướng dẫn : ThS.Nguyễn Hải Vĩnh Cường Bình Dương, tháng 10/2022 i h TĨM TẮT Trong bối cảnh cơng nghệ số, liệu lớn, đòi hỏi người phải xử lý nhiều thơng tin lúc Bài tốn đặt công ty cần phân loại, đánh giá phản hồi khách hàng qua đoạn tin nhắn thoại, nhận diện cảm xúc qua giọng nói cho chatbot để có hướng xử lý tiếp theo, nhận diện cảm xúc qua giọng nói cho robot người, nhằm xử lý hướng phản hồi tiếp Bài báo đưa phương án tạo model để xác định, phân loại liệu Dựa nền tảng máy học song song là ngôn ngữ Python cùng với công cụ lưu trữ sở dữ liệu Excel thuộc Microsoft công cụ Visual Studio Code trình soạn thảo mã nguồn phát triển Microsoft dành cho Windows, Linux macOS Nó hỗ trợ chức debug, kèm với Git, có chức bật cú pháp, tự hồn thành mã thông minh, snippets, cải tiến mã nguồn Để xây dựng mơ hình dự đốn mức lương ứng cử viên công nghệ thông tin Cấu trúc báo cáo chia thành phần: Chương 1: Tổng quan Chương 2: Thu thập xử lý liệu Chương 3: Thiết kế mơ hình Chương 4: Đánh giá thực nghiệm ii h SUMMARY In the context of digital technology, big data requires people to process a lot of information at the same time The problem is that companies need to classify and evaluate customer responses through voice messages, identify emotions via voice for chatbots to have the next processing direction, identify emotions through voice speak to human robots, in order to process further feedback directions The article gives a plan to create a model to identify and classify this data Based on the parallel machine learning platform Python language along with Microsoft's Excel database storage engine and Visual Studio Code engine is a source code editor developed by Microsoft for Windows, Linux and macOS It supports debugging, comes with Git, has syntax highlighting, smart code autocomplete, snippets, and code enhancements To be able to build a model to predict the salary of information technology candidates The structure of the report is divided into four parts: Chapter 1: Overview Chapter 2: Data collection and processing Chapter 3: Model Design Chapter 4: Empirical Evaluation iii h MỞ ĐẦU Ngày công nghệ thông tin ngày phát triển với tiến vượt bậc khoa học kỹ thuật nói chung, có nhiều công nghệ cho mắt Hơn thập kỷ qua , với phát triển mạnh mẽ cơng nghệ thơng tin,cơng nghệ tiếng nói mã hóa, nhận diện giọng nói, chuyển lời nói thành văn trở thành vấn đề nghiên cứu trọng điểm nhiều nhà khoa học quan tâm nhiều lĩnh vực khác như: tin học, toán học,điện tử, sinh học, Trong thời gian gần đây, nhà nghiên cứu tập trung vào cơng nghệ nhận dạng giọng nói có số hành cơng việc nhận dạng tiếng anh số ngôn ngữ khác Đã có nhiều cơng trình nghiên cứu lĩnh vực nhận dạng giọng nói (Speech recognition) sở lý thuyết hệ thống thông minh nhân tạo, nhiều kết trở thành sản phẩm Via Voice old hãng IBM, Dragon Natural Speaking Dragon System, Speech SDK Microsoft, Triển khai cơng trình nghiên cứu đưa vào thực tế ứng dụng vấn đề việc làm ý nghĩa giai đoạn cơng nghiệp hóa, đại hóa nước nhà Vì thế, nhóm em chọn đề tài” Tìm hiểu Cơng nghệ nhận diện giọng nói” để tìm hiểu trình bày nội dung tổng quan công nghệ Tuy cố gắng học hỏi tìm tài liệu từ nhiều nguồn thơng tin điều kiện thời gian khả có hạn nên khơng tránh thiếu sót Kính mong đóng góp ý kiến từ bạn để nhóm em hồn thiện báo cáo cơng nghệ Nhóm em xin chân thành cảm ơn h MỤC LỤC TÓM TẮT ii MỞ ĐẦU MỤC LỤC DANH MỤC HÌNH DANH MỤC BẢNG DANH SÁCH CÁC KÝ TỰ, CHỮ VIẾT TẮT .5 CHƯƠNG TỔNG QUAN .10 1.1 Giới thiệu đề tài 10 1.2 Công nghệ sử dụng .10 1.2.1 Ví dụ : Giới thiệu PHP 10 1.2.2 _ 11 1.2.3 11 CHƯƠNG TIỀN XỬ LÝ DỮ LIỆU 12 2.1 THU THẬP DỮ LIỆU 12 2.2 Mô tả liệu 12 2.2.1 Ví dụ: Trường (Cột ID) 12 2.2.2 12 2.2.3 12 2.2.4 12 2.3 TRỰC QUAN HÓA DỮ LIỆU 12 14 CHƯƠNG THIẾT KẾ MƠ HÌNH .14 3.1 giới thiệu mơ hình 14 3.2 GIAI ĐOẠN HUẤN LUYỆN (training) 14 3.2.1 Phân chia tập huấn luyện 14 3.2.2 Huấn luyện mơ hình 15 3.3 giai đoạn đánh giá (testing) 15 3.4 Lan truyền ngược (Backpropagation) 16 CHƯƠNG ĐÁNH GIÁ THỰC NGHIỆM 17 kết thực nghiệm 17 Đánh giá mơ hình .17 TÀI LIỆU THAM KHẢO .19 h DANH MỤC HÌNH Hình 1.1 - Mơ hình Client-Server .10 Hình 2.1 - 12 h DANH MỤC BẢNG No table of contents entries found Danh mục bảng báo cáo có sử dụng bảng biểu Tạo tự động tab “references –.Insert Table of Figures” Danh mục Từ viết tắt ý nghĩa chúng Chỉ viết tắt từ lặp lại nhiều DANH SÁCH CÁC KÝ TỰ, CHỮ VIẾT TẮT Từ viết tắt Giải thích PHP Hypertext Preprocessor MVC Model – View – Controller CSDL Cơ sở liệu CLB Câu lạc HLV Huấn luyện viên ND Nội dung h XÂY DỰNG MÔ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THÔNG TIN CHƯƠNG TỔNG QUAN 1.1 GIỚI THIỆU ĐỀ TÀI Đề tài “Xây dựng mơ hình AI nhận diện giọng nói” Mơ hình xây dựng với mục đích tiết kiệm thời gian tăng hiệu suất cơng việc cho phép người dùng làm việc rảnh tay Cơng nghệ nhận dạng giọng nói xu tất yếu tương lai, mang lại lợi ích khơng cho cá nhân mà cịn cho doanh nghiệp 1.2 CÔNG NGHỆ SỬ DỤNG 1.2.1 Giới thiệu Python Python ngơn ngữ lập trình sử dụng rộng rãi ứng dụng web, phát triển phần mềm, khoa học liệu máy học (ML) Các nhà phát triển sử dụng Python hiệu quả, dễ học chạy nhiều tảng khác Phần mềm Python tải xuống miễn phí, tích hợp tốt với tất loại hệ thống tăng tốc độ phát triển Ngôn ngữ Python sử dụng nhiều lĩnh vực phát triển ứng dụng, bao gồm ví dụ sau: Phát triển web phía máy chủ Python hữu ích việc lập trình mã phía máy chủ ngơn ngữ cung cấp nhiều thư viện bao gồm mã viết sẵn cho hàm backend phức tạp Các nhà phát triển sử dụng loạt khung Python cung cấp tất công cụ cần thiết để xây dựng ứng dụng web cách nhanh chóng dễ dàng Ví dụ: nhà phát triển tạo ứng dụng web khung nháy mắt họ khơng cần phải lập trình từ đầu Sau đó, họ kiểm tra ứng dụng web cách sử dụng công cụ kiểm thử khung, mà không cần phụ thuộc vào công cụ kiểm thử bên Khoa học liệu máy học Khoa học liệu trích xuất thơng tin q giá từ liệu máy học (ML) dạy máy tính tự động học hỏi từ liệu đưa dự đốn xác Các nhà khoa học liệu sử dụng Python cho tác vụ khoa học liệu sau: Sửa loại bỏ liệu không xác, hay cịn gọi làm liệu Trích xuất chọn lọc đặc điểm đa dạng liệu Ghi nhãn liệu gán tên có ý nghĩa cho liệu Tìm số liệu thống kê khác từ liệu Trực quan hóa liệu cách sử dụng biểu đồ đồ thị, chẳng hạn biểu đồ đường, biểu đồ cột, biểu đồ tần suất biểu đồ tròn 10 h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN Các nhà khoa học liệu sử dụng thư viện ML Python để đào tạo mơ hình ML xây dựng công cụ phân loại giúp phân loại liệu cách xác Các chuyên gia từ nhiều lĩnh vực sử dụng công cụ phân loại dựa Python để thực tác vụ phân loại, chẳng hạn phân loại hình ảnh, văn lưu lượng truy cập mạng, nhận dạng giọng nói nhận diện khuôn mặt Các nhà khoa học liệu sử dụng Python cho deep learning, kỹ thuật ML nâng cao 1.2.2 Giới thiệu PyCharm Pycharm tảng kết kết hợp JetBrains phát triển IDE (Mơi trường phát triển tích hợp) để phát triển ứng dụng cho lập trình trong Python Các tính pycharm Pycharm chạy Windows, Linux, Mac OS Ngồi ra, chứa Mơ đun gói giúp lập trình viên phát triển phần mềm Python thời gian ngắn với cơng sức Hơn nữa, có khả tùy chỉnh theo yêu cầu nhà phát triển Khi cài đặt Pycharm, LTV sử dụng số tính sau: Trình chỉnh sửa mã thơng minh: - Giúp lập trình viên viết mã chất lượng cao - Bao gồm lược đồ màu cho từ khóa, lớp hàm Điều giúp tăng khả đọc hiểu mã - Xác định lỗi cách dễ dàng - Cung cấp tính tự động hoàn thiện hướng dẫn hoàn thiện mã Điều hướng mã - Giúp nhà phát triển việc chỉnh sửa nâng cao mã với nỗ lực thời gian - Với việc điều hướng mã, nhà phát triển dễ dàng điều hướng lớp,hàm tệp - LTV xác định vị trí phần tử, ký hiệu biến mã nguồn thời gian ngắn khi sử dụng Pycharm - Bằng việc sử dụng chế độ thấu kính, nhà phát triển kiểm tra gỡ lỗi tồn mã nguồn Tái cấu trúc - Sử dụng Pycharm có lợi thực thay đổi hiệu nhanh chóng biến cục biến toàn cục - Tái cấu trúc Pycharm cho phép nhà phát triển cải thiện cấu trúc bên mà khơng thay đổi hiệu suất bên ngồi mã - Nó cho phép phân chia lớp với chức mở rộng hơn  11 h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Hình 2.2 - Hình ảnh thống kê số lượng người theo thang điểm technical h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Hình 2.3 - Hình ảnh thống kê số lượng người theo thang điểm technical Hình 2.4 - Hình ảnh thống kê số lượng người dựa theo số năm kinh nghiệm tích lũy Hình 2.5 - Bảng tổng quan dự liệu h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN CHƯƠNG THIẾT KẾ MƠ HÌNH 3.1 GIỚI THIỆU MƠ HÌNH 3.1.1 Khi sử dụng Multiple Linear Regression Hồi quy tuyến tính bội phần mở rộng hồi quy tuyến tính đơn.Nó sử dụng muốn dự đoán giá trị biến phản hồi dựa giá trị hai nhiều biến giải thích khác.Biến muốn dự đoán gọi biến phản hồi (hoặc biến phụ thuộc).Các biến mà sử dụng để dự đoán giá trị biến phản hồi gọi biến giải thích (hoặc đơi biến dự báo, biến phụ thuộc) Ví dụ, sử dụng hồi quy bội số để hiểu liệu dự đốn kết kỳ thi Tốn giải thích dựa thời gian ơn tập, giới tính sinh viên hay không 3.1.2 Giả thuyết vô hiệu suy luận thống kê Khi có nhiều biến độc lập, mơ hình phù hợp tổng thể đánh giá thống kê F (F statistic) Giả thuyết vô hiệu thử nghiệm liên quan đến tất tham số hồi quy ngoại trừ điểm chặn Ví dụ, có ba biến giải thích mơ hình giả thuyết vơ hiệu là: H0: β1 = β2 = β3 = Thống kê F đánh giá tỷ lệ bình phương trung bình mơ hình so với bình phương trung bình sai số 3.1.3 Các giả định thống kê Khi phân tích liệu cách sử dụng hồi quy tuyến tính, phần quy trình bao gồm việc kiểm tra để đảm bảo liệu muốn phân tích thực phân tích hồi quy tuyến tính.Tập liệu cần vượt qua giả định cần thiết cho hồi quy tuyến tính để cung cấp kết hợp lệ Việc đo lường biến phản hồi Y phải liên tục mặt lý thuyết (Ví dụ: sử dụng điểm thang đánh giá; 0, 1, 2, n) hồi quy bội, nhiều biến giải thích nhị phân (ví dụ: hồi quy, chúng gọi biến giả dummy variables, giới tính biến nhị phân mã hóa = nam, = nữ).Mối quan hệ biến phản hồi giải thích phải gần tuyến tính Xác minh cách vẽ biểu đồ biến phản hồi so với biến độc lập mơ hình Mối tương quan mạnh mẽ biểu thị xu hướng đường thẳng rõ ràng phân tán điểm.Sai số (error) mơ hình hồi quy, ε, nên có phân phối xác suất chuẩn Các phần dư (residuals) phân tích hồi quy đại diện cho ước lượng mẫu sai số Chúng phải có giá trị trung bình phương sai không đổi (điều gọi đồng homoscedasticity) Lưu ý biến phản hồi biến giải thích khơng bắt buộc phải có phân phối chuẩn, phần dư phù hợp chuẩn Xác minh giả định tính chuẩn cách thực vẽ biểu đồ xác suất chuẩn phần dư Phân phối phần dư cung cấp dấu hiệu phân bố sai số h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN (underlying error distribution) dân số khơng đáng tin cậy với cỡ mẫu nhỏ Cách diễn giải đồ thị xác suất chuẩn theo cách tương tự mô tả Kiểm tra phân phối chuẩn Xác minh giả định phương sai không đổi (hoặc xác minh đồng nhất) cách vẽ biểu đồ phần dư so với giá trị dự đoán Sự phân tán ngẫu nhiên điểm giá trị trung bình phương sai không đổi thỏa mãn giả định Tức phương sai dọc theo đường phù hợp tương tự bạn di chuyển dọc theo đường Một mơ hình hình phễu cho biết phương sai không số Những quan sát bên ngồi kì dị dễ dàng phát biểu đồ Dữ liệu không xuất đa cộng tuyến (multicollinearity), xảy có hai nhiều biến độc lập có tương quan cao với Điều dẫn đến vấn đề việc hiểu biến độc lập góp phần vào phương sai giải thích biến phụ thuộc, vấn đề kỹ thuật việc tính tốn mơ hình hồi quy bội số Tất giả định quan trọng số giả định giả định khác Kinh nghiệm cho phép nhà nghiên cứu đánh giá xem giả định nới lỏng đến mức trước suy luận bị vô hiệu nghệ thuật giống mơn khoa học Ví dụ, việc thiếu tính chuẩn phần dư điều quan trọng, sai số chuẩn (standard errors) bị thổi phồng Tương tự, việc thiếu phương sai không đổi khả làm sai lệch nghiêm trọng hệ số hồi quy giá trị p liên quan cần diễn giải cách thận trọng Vi phạm nghiêm trọng đáng kể so với tuyến tính Trong tình này, việc chuyển đổi liệu phương pháp phân tích thay nên xem xét 3.2 GIAI ĐOẠN HUẤN LUYỆN (TRAINING) 3.2.1 Phân chia tập huấn luyện - Đầu tiên, mơ hình cần import số thư viện để thao tác dễ dàng như: speech_recognition, os,playsound, wikipedia,webbrowser, datetime từ thư viện datetime gTTS thư viện gtts h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN - Tệp muốn mở - Sau có đọc liệu từ file dataset thành công, thấy file dataset gồm có 1251 dịng liệu Bây tiến hành lọc lại liệu bỏ dịng liệu bị thiếu thơng tin: - Tiến hành khai báo biến x y để lấy cột giá trị cần lấy: h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN 3.2.2 Huấn luyện mơ hình h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN - Tập liệu ban đầu chia thành phần, với tỉ lệ 7:3 Trong 70% liệu ban đầu dùng để huấn luyện 30% lại dùng để kiểm thử đánh giá mơ hình Sử dụng hàm train_test_split thư viện sklearn để thuận tiên cho thao tác chia liệu: - Tiến hành khai báo hàm LinearRegression() import từ trước bắt đầu cho training liệu thông qua hàm fix() với tham số truyền vào biến x_train, y_train: - Bây tiến hành sử dụng hàm predict đưa kết liệu test hình sau: h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN 3.3 GIAI ĐOẠN ĐÁNH GIÁ (TESTING) Phương thức r2_score sử dụng để tính tốn độ xác mơ hình hồi quy tuyến tính Đó số lượng biến thiên thuộc tính phụ thuộc đầu dự đốn từ (các) biến độc lập đầu vào Nó sử dụng để kiểm tra xem mơ hình tái tạo kết quan sát nào, tùy thuộc vào tỷ lệ tổng độ lệch kết mơ tả mơ hình Cơng thức tốn học: R2= 1- SSres / SStot Trong đó: + SSres tổng bình phương sai số cịn lại + SStot tổng lỗi h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Ở đây, tính tốn độ xác mơ hình với trợ giúp r2_score Một function tích hợp sẵn thư viện sklearn.metrics: r2_score(y_test, y_pred) Trong đó: + y_test nhãn/đầu liệu dùng để test + y_pred nhãn/đầu từ kết dự đốn h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN CHƯƠNG ĐÁNH GIÁ THỰC NGHIỆM KẾT QUẢ THỰC NGHIỆM Dữ liệu đầu vào mơ hình Dữ liệu sau dọn h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Bảng phân tích liệu Kết dự đốn mơ hình tập test h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Độ xác mơ hình Biểu diễn mơ hình biểu đồ tuyến tính h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN Độ chênh lệch giá trị thực giá trị dự đoán ĐÁNH GIÁ MƠ HÌNH Đưa nhận xét mơ hình xây dựng, yếu điểm nào, liệu đủ chưa, có cách cải thiện khơng Ví dụ: Đề tài xây dựng thành công mô hình multiple linear regression ứng dụng vào bai tốn thực tế “Dự đoán mức lương ứng cử viên công nghệ thông tin thông qua số kinh nghiệm,…” Mơ hình có sử dụng độ đo tổng bình phương sai số để đánh giá sai số mơ hình Trong q trình huấn luyện mơ hình đạt sai số nhỏ 15% sau đưa liệu kiểm thử độ sai số mơ hình giảm xuống cịn gần 8% Để nâng cao chất lượng mơ hình, thời gian tới nhóm tiến hành thu thập liệu lớn Ngồi nhóm cần có thời gian để kiểm nghiệm tỉ lệ phân chia tập liệu lựa chọn hàm kích hoạt để giảm sai số mức thấp h XÂY DỰNG MÔ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN h XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN TÀI LIỆU THAM KHẢO Không để đường dẫn, website vào danh mục tài liệu tham khảo, để sách, tạp chí, Tiếng Việt (1) Nhất Nghệ, Giáo trình ASP.NET (2005), NXB Giáo dục, Hà Nội (2) _ Tiếng Anh (3) _ h