Ứng dụng học sâu trong xây dựng chatbot thông minh

Mục tiêu đề tài

- Location Sensitive Attention để tính toán các trọng số tập trung tại thời điểm hiện tại.

CƠ SỞ LÝ THUYẾT 1.1. Học máy (Machine Learning) và Học sâu (Deep Learning)

Cơ chế tập trung (Attention Mechanism) và Mô hình Transformer 1. Cơ chế tập trung (Attention Meachinism)

Một điều mà các nhà nghiên cứu nhận định rằng con người không có khuynh hướng xử lý toàn bộ thông tin mà họ nhận được tại một thời điểm nhất định, thay vào đó, họ sẽ có xu hướng kết hợp một cách có chọn lọc trên một phần của thông tin tại thời điểm hoặc tại thông mà họ cho là quan trọng và đồng thời loại bỏ những thông tin không cần thiết khác tại cùng thời điểm đó. Trong quá trình Scaled – dot Product Attention, sau bước ma trận Q nhân với ma trận K chuyển vị và được chia cho căn của dk (với dk là số lượng của word – embedding vector sau khi được cắt), ma trận này sẽ cộng cho ma trận mặt nạ nhân có một số âm rất lớn, vậy những vị trí trong mặt nạ bằng 0 (vị trí đó trong ma trận huấn luyện là có nghĩa) thì giá trị số âm đó không ảnh hưởng và ngược lại để khi qua lớp Softmax thì những số âm rất lớn đó sẽ bằng 0.

Mô hình Whisper

Trong mô hình, tác giả sử dụng từ MLP là viết tắt của Multi – Layer Perceptron, mô tả cho một mạng fully – connected, nên về cơ bản là lớp MLP của Whisper hoàn toàn giống với thành phần Position wise Feed Forward Networks của mô hình Transformer. - Cross Attention: Lớp này giống chức năng như Global Attention của Transformer khi nhận đầu ra của khối Encoder đóng vai trò query, key còn đầu ra của Local Attention (Lớp Attention trước đó) đóng vai trò value có cơ chế tập trung.

Mô hình Tacotron2

Ý tưởng đằng sau cơ chế này là để kết hợp những căn chỉnh trong lịch sử đến việc tính toán tập trung bằng việc sử dụng những bộ lọc tích chập (convolution filter) để tạo ra những ngữ cảnh vector tập trung có thể nhận định được vị trí của từng bước thời gian hiện tại so với những bước lịch sử trước đó. Do trong quá trình huấn luyện, mô hình sẽ biết giá trị đầu ra cần dự đoán chính xác, hay nói cách khác là log – mel spectrogram, vì thế trong quá trình huấn luyện, Pre – Net Layer sẽ xử lý giá trị log – mel này và chỉ cần lấy ra giá trị vector log – mel spectrogram tại mỗi thời điểm đang xét nên sau khi qua Linear Projection, chúng ta không cần đưa cho Pre – Net mà đưa trực tiếp cho LSTM Cell thứ nhất thì lúc này, giá trị quá khứ đã sinh ra mô hình sẽ lấy trực tiếp từ đầu ra Pre – Net do lớp này đã xử lý giá trị chính xác.

Tiền xử lý dữ liệu âm thanh 1. Tín hiệu âm thanh

Âm thanh về bản chất là một dãy dữ liệu số của biên độ các phần tử dao động, mặc dù là một chuỗi tín hiệu dài nhưng hàm lượng thông tin lại không nhiều, vì thế với chuỗi tín hiệu dài như vậy, chúng ta cần một phân tích và chuyển đổi thành một dạng dữ liệu khác có thể hỗ trợ việc phân tích dữ liệu âm thanh. Mel – Spectrogram là một mảng hai chiều trong đó chiều x biểu diễn thời gian của đoạn âm thanh và chiều y biểu diễn tần số của âm thanh theo từng thời điểm của âm thanh.

THIẾT KẾ MÔ HÌNH 2.1. Mô hình GPT

Attention và Multi – Head Attention

Scaled – dot Product Attention là bước tính toán các trọng số tập trung (attention weights) giúp mô hình có thể ánh xạ được những thông tin liên quan với nhau trong. Multi – Head Attention yêu cầu đầu vào là các vector mà được tách ra từ một vector lớn ban đầu, các vector này được xem như các đầu tập trung để trích xuất các thông tin theo mỗi đầu, từ đó ghép lại để có được một trọng số tập trung của toàn bộ ngữ cảnh.

Mô hình Whisper

- Do lớp này chỉ cần học và trích xuất những đặc trưng từ cấp thấp của âm thanh sang chiều của từ nên mô hình sẽ không thay đổi các giá trị của chiều khác nên cả hai lớp Convolution này sẽ có kernel size bằng 3, stride bằng 1 và padding bằng 1. Cũng giống như các mô hình trước, sau khi qua mỗi lớp con thì sẽ có một lớp Residual Connection để tránh mô hình gặp hiện tượng quá khớp (overfitting) cũng như cộng dữ liệu của các thông tin khi đã trích xuất được trước đó và tăng tốc độ huấn luyện mô hình.

Mô hình Tacotron2

Trong mô hình Tacotron2, cụ thể là Location Sensitive Attention, Location Layer là một thành phần được sử dụng để xác định được những phần nào trong chuỗi đầu vào (đầu ra của Encoder) nên được tập trung vào khi tạo mỗi thành phần đầu ra cho Decoder. Tuy nhiên, mô hình sẽ không có quá khứ gì nếu là lần xử lý đầu tiên, vì thế nên mô hình cần khởi tạo một dữ liệu mà có thể xem nó là bắt đầu của âm thanh và dùng nó như dữ liệu quá khứ cho lần xử lý dữ liệu đầu tiên ở Decoder.

Mô hình WaveGlow

Do các tính chất yêu cầu của lớp này nên nhóm sử dụng hàm torch.qr để sinh ra một ma trận có tính khả nghịch và điều chỉnh sao cho ma trận trọng số này luôn dương. Trong quá trình dự đoán, luồng thực thi sẽ ngược lại, thể hiện việc đang xử lý phép biến đổi nghịch đảo như theo ý tưởng của mô hình Flow – based.

HUẤN LUYỆN MÔ HÌNH 3.1. Huấn luyện mô hình GPT

ỨNG DỤNG 4.1. Giới thiệu ứng dụng

• Ứng dụng chuyển giọng nói thành văn bản sử dụng mô hình Whisper

Người dùng sẽ nhập văn bản trên nền tảng web và hệ thống sẽ chuyển văn bản đó cho mô hình GPT và sinh ra câu trả lời, câu trả lời sau đó sẽ được chuyển lên và hiển thị cho phía người dùng. Hệ thống nhận file ghi âm sẵn của người dùng (hỗ trợ định dạng file: flac, wav, mp3), sau đó gửi file đó cho mô hình Whisper sinh văn bản, sau khi sinh xong văn bản thì kết quả sẽ được trả về phía người dùng.