Tiểu luận môn học trí tuệ nhân tạo đề tài tìm hiểu công nghệ nhận diện giọng nói

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT - CƠNG NGHỆ *********** TIỂU LUẬN MƠN HỌC TRÍ TUỆ NHÂN TẠO Sinh viên thực hiện: : 1924801030117 Phạm Phương Tây Nguyễn Huỳnh Minh Quân Đâng Hoàng Minh : 1924801030102 Lớp : D19PM01 Khoá : 2019-2024 Ngành : Kỹ thuật phần mềm Giảng viên hướng dẫn : ThS.Nguyễn Hải Vĩnh Cường Bình Dương, tháng 10/2022 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT CÔNG NGHỆ *********** TIỂU LUẬN MÔN HỌC TRÍ TUỆ NHÂN TẠO Sinh viên thực hiện: Phạm Phương Tây : 1924801030022 Nguyễn Huỳnh Minh Quân Đâng Hoàng Minh : 1924801030102 Lớp : D19PM01 Khoá : 2019-2024 Ngành : Kỹ thuật phần mềm Giảng viên hướng dẫn : ThS.Nguyễn Hải Vĩnh Cường Bình Dương, tháng 10/2022 i TĨM TẮT Trong bối cảnh cơng nghệ số, liệu lớn, địi hỏi người phải xử lý nhiều thông tin lúc Bài tốn đặt cơng ty cần phân loại, đánh giá phản hồi khách hàng qua đoạn tin nhắn thoại, nhận diện cảm xúc qua giọng nói cho chatbot để có hướng xử lý tiếp theo, nhận diện cảm xúc qua giọng nói cho robot người, nhằm xử lý hướng phản hồi tiếp Bài báo đưa phương án tạo model để xác định, phân loại liệu Dựa nên tang máy học song song la ngôn ngư Python cung vơi công cụ lưu trư sở dư liêu Excel thuộc Microsoft công cụ̣ Visual Studio Code trình soạn thảo mã nguồn phát triển bở̉i Microsoft dành cho Windows, Linux macOS Nó hỗ trợ chức debug, kèm với Git, có chức bật cú pháp, tự̣ hồn thành mã thông minh, snippets, cải tiến mã nguồn Để xây dự̣ng mơ hình dự̣ đốn mức lương ứng cử viên công nghệ thông tin Cấu trúc báo cáo chia thành phần: Chương 1: Tổng quan Chương 2: Thu thập xử lý liệu Chương 3: Thiết kế mơ hình Chương 4: Đánh giá thự̣c nghiệm ii SUMMARY In the context of digital technology, big data requires people to process a lot of information at the same time The problem is that companies need to classify and evaluate customer responses through voice messages, identify emotions via voice for chatbots to have the next processing direction, identify emotions through voice speak to human robots, in order to process further feedback directions The article gives a plan to create a model to identify and classify this data Based on the parallel machine learning platform Python language along with Microsoft's Excel database storage engine and Visual Studio Code engine is a source code editor developed by Microsoft for Windows, Linux and macOS It supports debugging, comes with Git, has syntax highlighting, smart code autocomplete, snippets, and code enhancements To be able to build a model to predict the salary of information technology candidates The structure of the report is divided into four parts: Chapter 1: Overview Chapter 2: Data collection and processing Chapter 3: Model Design Chapter 4: Empirical Evaluation iii MỞ ĐẦU Ngày công nghệ thông tin ngày phát triển với tiến vượt bậc khoa học kỹ thuật nói chung, có nhiều cơng nghệ cho mắt Hơn thập kỷ qua , với sự̣ phát triển mạnh mẽ công nghệ thông tin,công nghệ tiếng nói mã hóa, nhận diện giọng nói, chuyển lời nói thành văn trở̉ thành vấn đề nghiên cứu trọng điểm nhiều nhà khoa học quan tâm ở̉ nhiều lĩnh vự̣c khác như: tin học, toán học,điện tử, sinh học, Trong thời gian gần đây, nhà nghiên cứu tập trung vào cơng nghệ nhận dạng giọng nói có số hành công việc nhận dạng tiếng anh số ngơn ngữ khác Đã có nhiều cơng trình nghiên cứu lĩnh vự̣c nhận dạng giọng nói (Speech recognition) sở̉ lý thuyết hệ thống thông minh nhân tạo, nhiều kết trở̉ thành sản phẩm Via Voice old hãng IBM, Dragon Natural Speaking Dragon System, Speech SDK Microsoft, Triển khai cơng trình nghiên cứu đưa vào thự̣c tế ứng dụ̣ng vấn đề việc làm ý nghĩa giai đoạn công nghiệp hóa, đại hóa nước nhà Vì thế, nhóm em chọn đề tài” Tìm hiểu Cơng nghệ nhận diện giọng nói” để tìm hiểu trình bày nội dung tổng quan công nghệ Tuy cố gắng học hỏi tìm tài liệu từ nhiều nguồn thông tin điều kiện thời gian khả có hạn nên khơng tránh thiếu sót Kính mong sự̣ đóng góp ý kiến từ bạn để nhóm em hồn thiện báo cáo cơng nghệ Nhóm em xin chân thành cảm ơn MỤC LỤC TÓM TẮT MỞ ĐẦU MỤC LỤC DANH MỤC HÌNH ii DANH MỤC BẢNG CHƯƠNG TỔNG QUAN 1.1 Giới thiệu đề tài 1.2 Công nghệ sử dụng 10 10 10 10 11 11 12 12 12 12 12 12 12 12 14 14 14 14 14 15 15 16 17 17 17 19 DANH SÁCH CÁC KÝ TỰ, CHỮ VIẾT TẮT 1.2.1 Ví dụ̣ : Giới thiệu PHP 1.2.2 _ 1.2.3 CHƯƠNG TIỀN XỬ LÝ DỮ LIỆU 2.1 THU THẬP DỮ LIỆU 2.2 Mô tả liệu 2.2.1 Ví dụ̣: Trường (Cột ID) 2.2.2 2.2.3 2.2.4 2.3 TRỰC QUAN HÓA DỮ LIỆU CHƯƠNG THIẾT KẾ MƠ HÌNH 3.1 giới thiệu mô hình 3.2 GIAI ĐOẠN HUẤN LUYỆN (training) 3.2.1 Phân chia tập huấn luyện 3.2.2 Huấn luyện mơ hình 3.3 giai đoạn đánh giá (testing) 3.4 Lan truyền ngược (Backpropagation) CHƯƠNG ĐÁNH GIÁ THỰC NGHIỆM kết thực nghiệm Đánh giá mơ hình TÀI LIỆU THAM KHẢO DANH MỤC HÌNH Hình 1.1 - Mơ hình Client-Server Hình 2.1 - 10 12 DANH MỤC BẢNG No table of contents entries found Danh mụ̣c bảng báo cáo có sử dụ̣ng bảng biểu Tạo tự̣ động tab “references –.Insert Table of Danh mụ̣c Từ viết tắt ý nghĩa chúng Chỉ viết tắt từ lặp lại nhiều DANH SÁCH CÁC KÝ TỰ, CHỮ VIẾT TẮT Từ viết tắt Giải thích PHP Hypertext Preprocessor MVC Model – View – Controller CSDL Cơ sở̉ liệu CLB Câu lạc HLV Huấn luyện viên ND Nội dung XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN CHƯƠNG TỔNG QUAN 1.1 GIỚI THIỆU ĐỀ TÀI Đề tài “Xây dựng mơ hình AI nhận diện giọng nói” Mơ hình xây dự̣ng với mụ̣c đích tiết kiệm thời gian tăng hiệu suất công việc cho phép người dùng làm việc rảnh tay Công nghệ nhận dạng giọng nói xu tất yếu tương lai, mang lại lợi ích khơng cho cá nhân mà cịn cho doanh nghiệp 1.2 CƠNG NGHỆ SỬ DỤNG 1.2.1 Giới thiệu Python Python ngơn ngữ lập trình sử dụ̣ng rộng rãi ứng dụ̣ng web, phát triển phần mềm, khoa học liệu máy học (ML) Các nhà phát triển sử dụ̣ng Python hiệu quả, dễ học chạy nhiều tảng khác Phần mềm Python tải xuống miễn phí, tích hợp tốt với tất loại hệ thống tăng tốc độ phát triển Ngôn ngữ Python sử dụ̣ng nhiều lĩnh vự̣c phát triển ứng dụ̣ng, bao gồm ví dụ̣ sau: Phát triển web phía máy chủ Python hữu ích việc lập trình mã phía máy chủ bở̉i ngơn ngữ cung cấp nhiều thư viện bao gồm mã viết sẵn cho hàm backend phức tạp Các nhà phát triển sử dụ̣ng loạt khung Python cung cấp tất công cụ̣ cần thiết để xây dự̣ng ứng dụ̣ng web cách nhanh chóng dễ dàng Ví dụ̣: nhà phát triển tạo ứng dụ̣ng web khung nháy mắt bở̉i họ khơng cần phải lập trình từ đầu Sau đó, họ kiểm tra ứng dụ̣ng web cách sử dụ̣ng công cụ̣ kiểm thử khung, mà không cần phụ̣ thuộc vào cơng cụ̣ kiểm thử bên ngồi Khoa học liệu máy học Khoa học liệu trích xuất thông tin quý giá từ liệu máy học (ML) dạy máy tính tự̣ động học hỏi từ liệu đưa dự̣ đốn xác Các nhà khoa học liệu sử dụ̣ng Python cho tác vụ̣ khoa học liệu sau: Sửa loại bỏ liệu khơng xác, hay cịn gọi làm liệu Trích xuất chọn lọc đặc điểm đa dạng liệu Ghi nhãn liệu gán tên có ý nghĩa cho liệu Tìm số liệu thống kê khác từ liệu Trự̣c quan hóa liệu cách sử dụ̣ng biểu đồ đồ thị, chẳng hạn biểu đồ đường, biểu đồ cột, biểu đồ tần suất biểu đồ trịn 10 XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Các nhà khoa học liệu sử dụ̣ng thư viện ML Python để đào tạo mô hình ML xây dự̣ng cơng cụ̣ phân loại giúp phân loại liệu cách xác Các chuyên gia từ nhiều lĩnh vự̣c sử dụ̣ng công cụ̣ phân loại dự̣a Python để thự̣c tác vụ̣ phân loại, chẳng hạn phân loại hình ảnh, văn lưu lượng truy cập mạng, nhận dạng giọng nói nhận diện khn mặt Các nhà khoa học liệu sử dụ̣ng Python cho deep learning, kỹ thuật ML nâng cao 1.2.2 Giới thiệu PyCharm Pycharm tảng kết kết hợp JetBrains phát triển IDE (Môi trường phát triển tích hợp) để phát triển ứng dụ̣ng cho lập trình Python Các tính pycharm Pycharm chạy Windows, Linux, Mac OS Ngồi ra, chứa Mơ đun gói giúp lập trình viên phát triển phần mềm Python thời gian ngắn với cơng sức Hơn nữa, có khả tùy chỉnh theo yêu cầu nhà phát triển Khi cài đặt Pycharm, LTV sử dụ̣ng số tính sau: Trình chỉnh sửa mã thơng minh: Giúp lập trình viên viết mã chất lượng cao Bao gồm lược đồ màu cho từ khóa, lớp hàm Điều giúp tăng khả đọc hiểu mã Xác định lỗi cách dễ dàng Cung cấp tính tự̣ động hoàn thiện hướng dẫn hoàn thiện mã Điều hướng mã Giúp nhà phát triển việc chỉnh sửa nâng cao mã với nỗ lự̣c thời gian Với việc điều hướng mã, nhà phát triển dễ dàng điều hướng lớp,hàm tệp LTV xác định vị trí phần tử, ký hiệu biến mã nguồn thời gian ngắn sử dụ̣ng Pycharm Bằng việc sử dụ̣ng chế độ thấu kính, nhà phát triển kiểm tra gỡ lỗi tồn mã nguồn Tái cấu trúc Sử dụ̣ng Pycharm có lợi thự̣c thay đổi hiệu nhanh chóng biến cụ̣c biến toàn cụ̣c Tái cấu trúc Pycharm cho phép nhà phát triển cải thiện cấu trúc bên mà khơng thay đổi hiệu suất bên ngồi mã Nó cho phép phân chia lớp với chức mở̉ rộng 11 XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Hình 2.2 - Hình ảnh thống kê số lượng người theo thang điểm technical XÂY DỰNG MÔ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN Hình 2.3 - Hình ảnh thống kê số lượng người theo thang điểm technical Hình 2.4 - Hình ảnh thống kê số lượng người dựa theo số năm kinh nghiệm tích lũy Hình 2.5 - Bảng tổng quan dự liệu XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THƠNG TIN CHƯƠNG THIẾT KẾ MƠ HÌNH 3.1 GIỚI THIỆU MƠ HÌNH 3.1.1 Khi sử dụng Multiple Linear Regression Hồi quy tuyến tính bội phần mở̉ rộng hồi quy tuyến tính đơn.Nó sử dụ̣ng muốn dự̣ đoán giá trị biến phản hồi dự̣a giá trị hai nhiều biến giải thích khác.Biến muốn dự̣ đốn gọi biến phản hồi (hoặc biến phụ̣ thuộc).Các biến mà sử dụ̣ng để dự̣ đoán giá trị biến phản hồi gọi biến giải thích (hoặc đơi biến dự̣ báo, biến phụ̣ thuộc) Ví dụ̣, sử dụ̣ng hồi quy bội số để hiểu liệu dự̣ đốn kết kỳ thi Tốn giải thích dự̣a thời gian ơn tập, giới tính sinh viên hay khơng 3.1.2 Giả thuyết vơ hiệu suy luận thống kê Khi có nhiều biến độc lập, mơ hình phù hợp tổng thể đánh giá thống kê F (F statistic) Giả thuyết vô hiệu thử nghiệm liên quan đến tất tham số hồi quy ngoại trừ điểm chặn Ví dụ̣, có ba biến giải thích mơ hình giả thuyết vơ hiệu là: H0: β1 = β2 = β3 = Thống kê F đánh giá tỷ lệ bình phương trung bình mơ hình so với bình phương trung bình sai số 3.1.3 Các giả định thống kê Khi phân tích liệu cách sử dụ̣ng hồi quy tuyến tính, phần quy trình bao gồm việc kiểm tra để đảm bảo liệu muốn phân tích thự̣c sự̣ phân tích hồi quy tuyến tính.Tập liệu cần vượt qua giả định cần thiết cho hồi quy tuyến tính để cung cấp kết hợp lệ Việc đo lường biến phản hồi Y phải liên tụ̣c mặt lý thuyết (Ví dụ̣: sử dụ̣ng điểm thang đánh giá; 0, 1, 2, n) hồi quy bội, nhiều biến giải thích nhị phân (ví dụ̣: hồi quy, chúng gọi biến giả dummy variables, giới tính biến nhị phân mã hóa = nam, = nữ).Mối quan hệ biến phản hồi giải thích phải gần tuyến tính Xác minh cách vẽ biểu đồ biến phản hồi so với biến độc lập mơ hình Mối tương quan mạnh mẽ biểu thị xu hướng đường thẳng rõ ràng sự̣ phân tán điểm.Sai số (error) mơ hình hồi quy, ε, nên có phân phối xác suất chuẩn Các phần dư (residuals) phân tích hồi quy đại diện cho ước lượng mẫu sai số Chúng phải có giá trị trung bình phương sai khơng đổi (điều gọi đồng homoscedasticity) Lưu ý biến phản hồi biến giải thích khơng bắt buộc phải có phân phối chuẩn, phần dư phù hợp chuẩn Xác minh giả định tính chuẩn cách thự̣c vẽ biểu đồ xác suất chuẩn phần dư Phân phối phần dư cung cấp dấu hiệu sự̣ phân bố sai số XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN (underlying error distribution) dân số khơng đáng tin cậy với cỡ mẫu nhỏ Cách diễn giải đồ thị xác suất chuẩn theo cách tương tự̣ mô tả Kiểm tra phân phối chuẩn Xác minh giả định phương sai không đổi (hoặc xác minh sự̣ đồng nhất) cách vẽ biểu đồ phần dư so với giá trị dự̣ đoán Sự̣ phân tán ngẫu nhiên điểm giá trị trung bình phương sai khơng đổi thỏa mãn giả định Tức phương sai dọc theo đường phù hợp tương tự̣ bạn di chuyển dọc theo đường Một mô hình hình phễu cho biết phương sai khơng số Những quan sát bên ngồi kì dị dễ dàng phát biểu đồ Dữ liệu không xuất đa cộng tuyến (multicollinearity), xảy có hai nhiều biến độc lập có tương quan cao với Điều dẫn đến vấn đề việc hiểu biến độc lập góp phần vào phương sai giải thích biến phụ̣ thuộc, vấn đề kỹ thuật việc tính tốn mơ hình hồi quy bội số Tất giả định quan trọng số giả định giả định khác Kinh nghiệm cho phép nhà nghiên cứu đánh giá xem giả định nới lỏng đến mức trước suy luận bị vô hiệu nghệ thuật giống mơn khoa học Ví dụ̣, việc thiếu tính chuẩn phần dư khơng phải điều quan trọng, sai số chuẩn (standard errors) bị thổi phồng Tương tự̣, việc thiếu phương sai khơng đổi khơng có khả làm sai lệch nghiêm trọng hệ số hồi quy giá trị p liên quan cần diễn giải cách thận trọng Vi phạm nghiêm trọng sự̣ đáng kể so với tuyến tính Trong tình này, việc chuyển đổi liệu phương pháp phân tích thay nên xem xét 3.2 GIAI ĐOẠN HUẤN LUYỆN (TRAINING) 3.2.1 Phân chia tập huấn luyện - Đầu tiên, mơ hình cần import số thư viện để thao tác dễ dàng như: speech_recognition, os,playsound, wikipedia,webbrowser, datetime từ thư viện datetime gTTS thư viện gtts XÂY DỰNG MÔ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CƠNG NGHỆ THÔNG TIN - Tệp muốn mở̉ - Sau có đọc liệu từ file dataset thành cơng, thấy file dataset gồm có 1251 dịng liệu Bây tiến hành lọc lại liệu bỏ dòng liệu bị thiếu thông tin: - Tiến hành khai báo biến x y để lấy cột giá trị cần lấy: XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN 3.2.2 Huấn luyện mơ hình XÂY DỰNG MƠ HÌNH DỰ ĐỐN MỨC LƯƠNG CỦA ỨNG CỬ VIÊN CÔNG NGHỆ THÔNG TIN - Tập liệu ban đầu chia thành phần, với tỉ lệ 7:3 Trong 70% liệu ban đầu dùng để huấn luyện 30% lại dùng để kiểm thử đánh giá mơ hình Sử dụ̣ng hàm train_test_split thư viện sklearn để thuận tiên cho thao tác chia liệu: - Tiến hành khai báo hàm LinearRegression() import từ trước bắt đầu cho training liệu thông qua hàm fix() với tham số truyền vào biến x_train, y_train: - Bây tiến hành sử dụ̣ng hàm predict đưa kết liệu test hình sau: