Sử dụng mô hình ngôn ngữ lớn Để tạo ra nội dung quảng cáo bất Động sản trên các nền tảng khác nhau hiệu quả

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ——————– PHẠM VĂN TUẤN SỬ DỤNG MÔ HÌNH NGÔN NGỮ LỚN ĐỂ TẠO RA NỘI DUNG QUẢNG CÁO BẤT ĐỘNG SẢN TRÊN CÁC NỀN TẢNG KHÁC NHAU HIỆU QUẢ Ch

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

——————–

PHẠM VĂN TUẤN

SỬ DỤNG MÔ HÌNH NGÔN NGỮ LỚN ĐỂ TẠO RA NỘI DUNG QUẢNG CÁO BẤT ĐỘNG SẢN TRÊN CÁC NỀN

TẢNG KHÁC NHAU HIỆU QUẢ

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 8480101

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 6 năm 2024

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM

TS Trương Tuấn Anh

Cán bộ chấm nhận xét 2 :

TS Trần Thanh Tùng

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày

17 tháng 06 năm 2024

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

1 Chủ tịch: PGS.TS Võ Thị Ngọc Châu

2 Thư ký: TS Phan Trọng Nhân

3 Phản biện 1: TS Trương Tuấn Anh

4 Phản biện 2: TS Trần Thanh Tùng

5 Ủy viên: TS Lê Thị Thủy

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

KỸ THUẬT MÁY TÍNH

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT

NAM Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Ngày, tháng, năm sinh: 26/05/1989 Nơi sinh: Ninh Thuận

Chuyên ngành: Khoa học Máy tính Mã số : 8480101

I TÊN ĐỀ TÀI: SỬ DỤNG MÔ HÌNH NGÔN NGỮ LỚN ĐỂ TẠO RA NỘI DUNG

QUẢNG CÁO BẤT ĐỘNG SẢN TRÊN CÁC NỀN TẢNG KHÁC NHAU HIỆU QUẢ

(UTILIZING LARGE LANGUAGE MODELS TO GENERATE EFFECTIVE REAL ESTATE ADVERTISEMENTS ACROSS DIFFERENT PLATFORMS)

II NHIỆM VỤ VÀ NỘI DUNG:

- Xây dựng mô hình ngôn ngữ lớn tạo sinh để tạo ra các nội dung quảng cáo bất động sản trên các nền tảng khác nhau

- Nghiên cứu và đề xuất các phương pháp nhằm cải thiện độ chính xác của mô hình

- Thực nghiệm và đánh giá kết quả của phương pháp đề xuất

III NGÀY GIAO NHIỆM VỤ : 15/01/2024

IV NGÀY HOÀN THÀNH NHIỆM VỤ: 20/05/2024

V CÁN BỘ HƯỚNG DẪN: PGS.TS Huỳnh Tường Nguyên - PGS.TS Quản Thành Thơ

(Họ tên và chữ ký)

LỜI CẢM ƠN

Trong quá trình học tập và hoàn thành luận văn tốt nghiệp, em đã nhận được sự giúp đỡ, hỗ trợ nhiệt tình từ nhiều thầy cô giáo, mà không thể không nhắc đến hai người thầy đã có ảnh hưởng lớn đến quá trình nghiên cứu của em Em xin gửi lời cảm ơn chân thành nhất tới PGS.TS Quản Thành Thơ, người đã trực tiếp hướng dẫn và luôn sẵn lòng hỗ trợ em trong suốt quá trình nghiên cứu, từ việc cung cấp tài liệu cho đến định hướng phát triển đề tài Những kiến thức và niềm đam mê mà thầy đã truyền cảm hứng cho em trong suốt chương trình học thạc sĩ về các lĩnh vực như học máy, học sâu và xử lý ngôn ngữ tự nhiên là vô cùng quý giá

Em cũng xin được bày tỏ lòng biết ơn sâu sắc đến PGS.TS Huỳnh Tường Nguyên, người đã định hướng và hỗ trợ em từ giai đoạn đề cương luận văn Những góp ý quý báu của thầy đã giúp em hoàn thiện hơn trong quá trình thực hiện luận văn tốt nghiệp này

Cuối cùng, em xin được gửi lời cảm ơn và lời chúc tốt đẹp nhất đến toàn thể quý thầy cô trong khoa Khoa học và Kỹ thuật Máy tính, những người đã không ngừng nỗ lực, tận tâm trong việc giảng dạy và truyền đạt kiến thức cho các thế học học viên

TÓM TẮT LUẬN VĂN

Chủ đề của luận văn này tập trung vào việc ứng dụng và tinh chỉnh mô hình ngôn ngữ lớn (LLM) để tạo ra nội dung quảng cáo bất động sản hiệu quả trên nhiều nền tảng khác nhau Trong đó, việc sử dụng kỹ thuật học tăng cường từ phản hồi của AI (Reinforcement Learning with AI Feedback - RLAIF) là chìa khóa để cải thiện và tối ưu hiệu suất của mô hình ngôn ngữ trong lĩnh vực quảng cáo Luận văn đã phân tích và đánh giá cách mà việc tinh chỉnh mô hình ngôn ngữ lớn thông qua học tăng cường có thể giúp tạo ra các nội dung quảng cáo không chỉ thu hút mà còn phù hợp và cá nhân hóa cao, nhằm nâng cao hiệu quả tiếp cận và tương tác của người dùng Qua đó, luận văn không chỉ góp phần mở rộng hiểu biết về khả năng áp dụng mô hình học sâu trong marketing bất động sản mà còn có thể mở rộng ra các bài toán quảng cáo trong nhiều lĩnh vực khác nhau

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận văn tốt nghiệp: “SỬ DỤNG MÔ HÌNH NGÔN NGỮ LỚN ĐỂ TẠO RA NỘI DUNG QUẢNG CÁO BẤT ĐỘNG SẢN TRÊN CÁC NỀN TẢNG KHÁC NHAU HIỆU QUẢ” là công trình nghiên cứu của bản thân Những phần tài liệu được sử dụng trong luận văn đã được nêu rõ trong phần Tài liệu tham khảo Các số liệu, kết quả trình bày trong luận văn là hoàn toàn trung thực, nếu có sai sót tôi xin chịu hoàn toàn trách nhiệm

và chịu mọi kỷ luật của bộ môn và nhà trường đề ra

Học viên

Phạm Văn Tuấn

Mục lục

LUẬN VĂN THẠC SĨ 1

Chương 1 1

GIỚI THIỆU ĐỀ TÀI 1

1.1 Giới thiệu chung 1

1.2. Mô tả Bài toán tạo ra các nội dung quảng cáo bất động sản trên các nền tảng khác nhau 4

1.3 Mục tiêu và nhiệm vụ của luận văn 7

1.4 Giới hạn đề tài 8

1.5 Đóng góp của luận văn 8

1.6 Tóm tắt nội dung 9

Chương 2 11

CƠ SỞ LÝ THUYẾT 11

2.1 Tổng quan về Mô hình ngôn ngữ lớn 11

2.1.1 Định nghĩa về mô hình ngôn ngữ 11

2.1.2 Định nghĩa về mô hình ngôn ngữ lớn 11

2.1.3 Kiến trúc Transformer 12

2.2 Cơ sở lý thuyết về tinh chỉnh (finetune) mô hình ngôn ngữ lớn 19

2.2.1 Khái niệm về tinh chỉnh mô hình ngôn ngữ lớn (fine-tuning) 19

2.2.2 Tinh chỉnh bằng phương pháp LORA (Low Rank Adaptation): 25

Chương 3 31

CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 31

3.1 Fine-tuning 31

3.1.1 CTRL: A Conditional Transformer Language Model for Controllable Generation 32

3.1.2 Reinforcement learning Fine-tuning with Human Preferences (Học tăng cường từ phản hồi của người dùng) 33

3.2 Smart Prompt Design (thiết kế prompt thông minh) 41

3.3 Guided Fine-tuning with Steerable Layer (Tinh chỉnh có hướng với

Lớp Điều khiển) 44

3.3.1 Plug-and-play language model (PPLM) 44

Chương 4 46

MÔ HÌNH ĐỀ XUẤT 46

4.1 Mô hình đề xuất 46

4.2 Phương pháp đánh giá 48

4.2.1 Điểm BLEU (Bilingual Evaluation Understudy): 48

4.2.2 Điểm ROUGE (Recall-Oriented Understudy for Gisting Evaluation): 50

4.2.3 Điểm METEOR (Metric for Evaluation of Translation with Explicit ORdering) 52

4.3 Tập dữ liệu và phương pháp xử lý 55

4.4 Thực nghiệm mô hình 57

4.4.1 Chọn mô hình ngôn ngữ lớn cơ bản 57

4.4.2 Mô tả mô hình 58

4.4.3 Tham số cấu hình của mô hình 58

4.4.4 Kết quả thực nghiệm và thảo luận 61

Chương 5 65

KẾT LUẬN 65

5.1 Kết quả đạt được 65

5.2 Hạn chế và vấn đề tồn đọng 67

5.3 Hướng phát triển 67

Tài liệu tham khảo 69

Danh sách hình vẽ

Hình 1.1: Minh họa ứng dụng ChatGPT trong viết nội dung quảng cáo ……… 4

Hình 1.2: Minh họa đầu vào và đầu ra của bài toán……… 5

Hình 1.3: Minh họa cải thiện mô hình ngôn ngữ lớn bằng kỹ thuật finetuning……… 6

Hình 1.4: Minh họa phương pháp tiếp cận bài toán……… 6

Hình 2.1: Kiến trúc mô hình Transformer……… 13

Hình 2.2: Minh họa cơ chế Self-Attention……… 14

Hình 2.3: Minh họa các vector Query, Key, Value……… 15

Hình 2.4: Minh họa bước tính điểm……… 16

Hình 2.5: Minh họa bước chuẩn hóa điểm……… 17

Hình 2.6: Minh họa bước 4……… 18

Hình 2.7: So sánh một số mô hình ngôn ngữ lớn phổ biến……… 19

Hình 2.8: Minh họa kỹ thuật finetuning……… 20

Hình 2.9: Minh họa các nhiệm vụ mô hình có thể thực hiện sau khi finetune……… 24

Hình 2.10: Minh họa quá trình phân rã ma tận SVD……….25

Hình 2.11: Minh họa kỹ thuật phân rã ma trận ΔW……… 26

Hình 2.12: Minh họa kỹ thuật phân rã ma trận A và B……….27

Hình 2.13: Minh họa kỹ thuật LoRA và QLoRA……… 29

Hình 3.1: Tập dữ liệu được dùng để huấn luyện mô hình CTRL và các mã điều khiển tương ứng……….32

Hình 3.2: Ví dụ về những nội dung được tạo ra theo điều kiện bởi mô hình CTRL……….33

Hình 3.3: Minh họa phương pháp đánh giá các phản hồi……….35

Hình 3.4: Minh họa kỹ thuật RLHF……… 37

Hình 3.5: Minh họa phương pháp Auto Prompt Các token kích hoạt được truy xuất để tối ưu hóa cho các đầu ra mục tiêu trên tất cả các đầu vào ……… 42

Hình 3.7: Minh hoạ một số prompt được xác định bằng phương pháp Auto Prompt ứng với

các nhiệm vụ khác nhau……… 43

Hình 3.8: So sánh 2 phương pháp finetuning và prefix-tuning……… 43

Hình 3.9: Minh họa mô hình PPLM……… 45

Hình 3.10: Ví dụ minh họa của các văn bản được tạo ra từ mô hình PPLM………… 45

Hình 4.1: Minh họa quá trình xử lý của mô hình……… 46

Hình 4.2: Sơ đồ của mô hình đề xuất……… 47

Hình 4.3: Sơ đồ của mô hình đề xuất……… 58

Hình 4.4: Minh họa dữ liệu đào tạo của hàm reward model……… 60

Hình 4.5: Các thông số đánh giá mô hình theo số lượng epoch đào tạo……… 62

Hình 4.6: Minh họa dữ liệu đầu ra của mô hình đề xuất……… 63

Hình 4.7: Minh họa dữ liệu đầu ra của mô hình đề xuất……… 63

Hình 4.8: Minh họa dữ liệu đầu ra của mô hình đề xuất……… 64

Hình 4.9: Minh họa dữ liệu đầu ra của mô hình đề xuất……… 64

Hình 4.10: Minh họa dữ liệu đầu ra của mô hình đề xuất……….64

Danh sách bảng

Bảng 4.1: Số lượng content quảng cáo bất động sản được thu thập từ 2 nền tảng Facebook

và Tiktok……… 55

Bảng 4.2: Số lượng content quảng cáo bất động sản sau khi xử lý dữ liệu……… 56

Bảng 4.3: Bảng giá trị các tham số cho mô hình Đề xuất……… 59

Bảng 4.4: Cấu hình phần cứng sử dụng……….60

Bảng 4.5: Dữ liệu dùng trong huấn luyện hàm reward model và thuật toán PPO………….60

Bảng 4.6: Kết quả thực nghiệm của mô hình sau khi finetune và áp dụng kỹ thuật RLAIF so với mô hình gốc……… …….61

Chương 1

GIỚI THIỆU ĐỀ TÀI

1.1 Giới thiệu chung

Lĩnh vực quảng cáo bất động sản đang trải qua một sự biến đổi đáng kể

do tác động mạnh mẽ của công nghệ thông tin và truyền thông Trong thời đại số hóa ngày nay, sự cạnh tranh giữa các doanh nghiệp quảng cáo trực tuyến và ngoại tuyến ngày càng trở nên khốc liệt Để nổi bật trong thị trường đầy thách thức này, sự sáng tạo và hiệu quả trong chiến lược quảng cáo là chìa khóa quyết định

Một trong những yếu tố quyết định đằng sau quyết định nghiên cứu về

"Sử dụng mô hình ngôn ngữ lớn để tạo ra các nội dung quảng cáo bất động sản đa kênh hiệu quả" là nhận thức về thách thức mà những người môi giới bất động sản đang phải đối mặt trên thị trường ngày nay Hiện nay, mặc dù nhu cầu quảng cáo bất động sản qua nhiều kênh truyền thông như Facebook, TikTok, Zalo và trang web đã tăng lên, nhưng chưa có sự xuất hiện đáng kể của các ứng dụng hỗ trợ viết content tự động dựa trên thông tin cơ bản từ người dùng

Người môi giới bất động sản thường phải đầu tư nhiều thời gian và công sức vào việc tạo nội dung cho các quảng cáo của họ, phải thích ứng với đa dạng của các nền tảng quảng cáo, từ mạng xã hội phổ biến như Facebook đến các nền tảng mới nổi như TikTok và Zalo Điều này không chỉ tạo áp lực lớn về thời gian mà còn tăng nguy cơ mất cơ hội trước sự cạnh tranh khốc liệt

Đồng thời, sự thiếu hiện diện của các công cụ tự động hóa trong việc tạo nội dung rao vặt, quảng cáo bằng tiếng Việt cho lĩnh vực bất động sản là một

cơ hội rất lớn để đưa ra một giải pháp đột phá Việc xây dựng một ứng dụng

hỗ trợ viết content tự động thích ứng theo từng nền tảng quảng cáo sẽ giúp giảm gánh nặng cho người môi giới bất động sản, giúp họ tối ưu hóa chiến lược quảng cáo của mình một cách nhanh chóng và hiệu quả

Hiện nay sự phát triển đáng kể của Large Language Models (LLM) giúp người dùng có thể tạo ra những nội dung quảng cáo, rao vặt tự động với độ

chính xác và hiệu quả cao hơn, điều mà trước đây là khó khăn hoặc đòi hỏi nhiều công sức hơn từ con người

LLM, với khả năng học và hiểu ngôn ngữ tự nhiên, không chỉ có thể tạo

ra văn bản chất lượng cao mà còn đáp ứng một cách sáng tạo và linh hoạt đối với các yêu cầu cụ thể của người sử dụng Điều này mở ra một cánh cửa mới để tận dụng sức mạnh của LLM trong việc tạo nội dung quảng cáo tự động cho lĩnh vực bất động sản

Nghiên cứu trước đây đã chỉ ra rằng sự kết hợp giữa mô hình ngôn ngữ lớn và quảng cáo tự động có thể mang lại hiệu suất tốt hơn, với khả năng tạo

ra nội dung chân thực và thu hút đối tượng mục tiêu Các kỹ thuật như tuning cũng đã được áp dụng để tối ưu hóa hiệu quả của LLM trong các lĩnh vực cụ thể như bất động sản

fine-Hình 1.1: Minh họa ứng dụng ChatGPT trong viết nội dung quảng cáo

1.2 Mô tả Bài toán tạo ra các nội dung

quảng cáo bất động sản trên các nền tảng khác nhau

Đối với bài toán tạo ra các nội dung quảng cáo bất động sản hiệu quả trên

động sản như: địa chỉ, diện tích, thông tin pháp lý, mô tả bất động sản, giá bán, thông tin liên hệ, mạng xã hội được chọn,… Những thông tin này sẽ được xử lý bằng một mô hình ngôn ngữ lớn để tạo ra các nội dung quảng cáo phù hợp với từng nền tảng

Hình 1.2: Minh họa đầu vào và đầu ra của bài toán

Do yêu cầu cao về mặt tài nguyên phần cứng để tào tạo các mô hình ngôn ngữ lớn, phương pháp tiếp cận phổ biến đối với các bài toán về LLM là tinh chỉnh (finetune) các mô hình ngôn ngữ cơ sở (base model) đã được huấn luyện sẵn để đào tạo mô hình cho một tác vụ cụ thể Việc này giúp tiết kiệm thời gian và tài nguyên phần cứng so với việc huấn luyện một mô hình hoàn toàn mới từ đầu Mô hình cơ sở đã học được rất nhiều kiến thức chung và cơ bản thông qua một kho dữ liệu lớn và đa dạng Khi tinh chỉnh, ta cần thêm vào các lớp và điều chỉnh các thông số kỹ thuật để mô hình có thể thích ứng tốt hơn với các nhiệm vụ cụ thể hoặc bộ dữ liệu nhỏ hơn, điều này làm cho mô hình trở nên hiệu quả hơn trong các tình huống cụ thể đó

Hình 1.3: Minh họa cải thiện mô hình ngôn ngữ lớn bằng kỹ thuật finetuning

Mô hình ngôn ngữ lớn sau khi được finetune có thể được tiếp tục cải thiện

độ chính xác bằng các kỹ thuật học tăng cường (reinforcement learning) như học tăng cường từ phản hồi của người dùng (reinforcement learning with human feedback RLHF), học tăng cường từ phản hồi của một mô hình AI khác (reinforcement learning with AI feedback RLAIF)

Hình 1.4: Minh họa phương pháp tiếp cận bài toán

1.3 Mục tiêu và nhiệm vụ của luận văn

Mục tiêu của luận văn hướng đến việc nghiên cứu và xây dựng một mô hình ngôn ngữ lớn có khả năng tạo ra các nội dung quảng cáo bất động sản trên các nền tảng mạng xã hội khác nhau Cụ thể:

– Nắm được Lý thuyết về mô hình ngôn ngữ lớn và cách tinh chỉnh (finetune) các mô hình ngôn ngữ lớn cho những tác vụ cụ thể

– Nắm được các phương pháp cải thiện các mô hình ngôn ngữ lớn bằng các thuật toán học tăng cường (reinforcement learning)

– Đưa ra được đề xuất có thể cải thiện hiệu suất của mô hình dựa trên thực nghiệm

Từ những mục tiêu trên, học viên đề ra các nhiệm vụ cần thực hiện trong quá trình hoàn thiện luận văn:

– Tìm hiểu về mô hình ngôn ngữ lớn và các phương pháp giải quyết bài toán, ưu và nhược điểm của các phương pháp

– Nghiên cứu và đề xuất các mô hình giúp cải thiện độ chính xác cho các

mô hình ngôn ngữ lớn

– Xây dựng tập dữ liệu về lĩnh vực bất động sản và nội dung quảng cáo bất động sản trên các nền tảng mạng xã hội khác nhau để huấn luyện

mô hình

– Thực nghiệm, đánh giá hiệu quả của mô hình trong việc tạo ra các nội dung quảng cáo bất động sản đối với các nền tảng mạng xã hội khác nhau

– Chỉ ra những hạn chế của mô hình và đề xuất phương pháp cải tiến cũng như mở rộng bài toán trong tương lai

1.4 Giới hạn đề tài

Xây dựng mô hình ngôn ngữ lớn bằng tiếng Việt để tạo ra nội dung quảng cáo bất động sản trên các nền tảng mạng xã hội khác nhau là bài toán rộng, nhiều thách thức Trong phạm vi của luận văn này, học viên tập trung vào hai nền tảng mạng xã hội phổ biến trong việc quảng cáo, rao vặt bất động sản là Facebook và Tiktok

– Bài toán tập trung vào việc cải tiến mô hình ngôn ngữ lớn bằng tiếng Việt ura-hcmut/ura-llama-7b do nhóm phát triển trường đại học Bách Khoa TP Hồ Chí Minh và đại học Stanford công bố

– Dữ liệu huấn luyện mô hình được thu thập trên 2 nền tảng Facebook và Tiktok

– Độ đo được sử dụng để đánh giá mô hình là ROGUE và METEOR score

1.5 Đóng góp của luận văn

bằng tiếng Việt về lĩnh vực bất động sản Đây là bộ dữ liệu được thu thập mới trên các nền tảng mạng xã hội ở Việt Nam

Luận văn cũng xây dựng được mô hình ngôn ngữ lớn có khả năng viết các nội dung quảng cáo bất động sản bằng tiếng Việt trên các nền tảng mạng

xã hội khác nhau Đây là mô hình ngôn ngữ lớn đầu tiên tập trung trong việc quảng cáo, rao vặt trong lĩnh vực bất động sản bằng tiếng Việt

1.6 Tóm tắt nội dung

Luận văn “Sử dụng mô hình ngôn ngữ lớn để tạo ra nội dung quảng

cáo bất động sản trên các nền tảng khác nhau hiệu quả” bao gồm Năm

chương với các nội dung chính sau đây:

– Chương 1, GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, lý do

thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài Cuối cùng là nhiệm vụ và cấu trúc của luận văn

– Chương 2, CƠ SỞ LÝ THUYẾT: tổng hợp những vấn đề học thuật

liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của thuật toán Transformer, mô hình ngôn ngữ lớn, các kỹ thuật tinh chỉnh (finetune) mô hình ngôn ngữ lớn và thuật toán học tăng cường để cải thiện mô hình

– Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN:

trình bày các công trình nghiên cứu liên quan trong lĩnh vực đào tạo, tinh chỉnh và cải tiến các mô hình ngôn ngữ lớn Phần này cũng đưa ra nhận xét, đánh giá các công trình này, từ đó có cơ sở đề ra phương pháp phù hợp

– Chương 4, MÔ HÌNH ĐỀ XUẤT: giới thiệu về giải pháp thực hiện

đào tạo, tinh chỉnh và cải thiện mô hình ngôn ngữ lớn trong việc tạo ra các nội dung quảng cáo bất động sản hiệu quả trên các nền tảng mạng

xã hội khác nhau Từ đó học viên trình bày các bước thu thập, xử lý dữ liệu, huấn luyện và cải tiến và mô hình, đánh giá kết quả của mô hình trên các độ đo

– Chương 5, KẾT LUẬN: tổng hợp các kết quả đạt được của đề tài từ

quá trình thu thập và xử lý dữ liệu cho tới quá trình huấn luyện, cải tiến

mô hình Phần này cũng đề cập những hạn chế của mô hình và đề xuất phương pháp cải tiến, mở rộng bài toán trong tương lai

Mục lục, Danh sách hình vẽ, Danh sách bảng được cung cấp ở đầu luận văn Tài liệu tham khảo được trình bày ở cuối luận văn

Chương 2

CƠ SỞ LÝ THUYẾT

2.1 Tổng quan về Mô hình ngôn ngữ lớn

2.1.1 Định nghĩa về mô hình ngôn ngữ

Mô hình ngôn ngữ, thường được viết tắt là LM, là một thành phần quan trọng của xử lý ngôn ngữ tự nhiên (NLP) trong lĩnh vực trí tuệ nhân tạo Chúng

là các mô hình thống kê phân tích và dự đoán các chuỗi từ để hỗ trợ giao tiếp giữa con người và máy móc Bằng cách hiểu cấu trúc và ngữ cảnh của ngôn ngữ con người, các mô hình ngôn ngữ cho phép hệ thống AI hiểu và tạo ra văn bản giống như con người, cuối cùng nâng cao chất lượng và hiệu quả của các tương tác

LM được chia thành ba nhóm chính: Mô hình ngôn ngữ thống kê (Statistical LM - Count-based), Mô hình ngôn ngữ mạng nơ-ron (Neural Network LM - Continuous-space), và Mô hình ngôn ngữ dựa trên tri thức (Knowledge-based LM) Ngoài ra, còn có một số mô hình ngôn ngữ khác như KenLM,

2.1.2 Định nghĩa về mô hình ngôn ngữ lớn

Mô hình ngôn ngữ lớn (LLM) là một mô hình tính toán nổi bật với khả năng tạo ngôn ngữ đa mục đích và thực hiện các nhiệm vụ xử lý ngôn ngữ tự nhiên khác như phân loại Dựa trên các mô hình ngôn ngữ, LLM đạt được những khả năng này bằng cách học các mối quan hệ thống kê từ các tài liệu

văn bản trong quá trình huấn luyện tự giám sát và bán giám sát đòi hỏi nhiều tính toán

LLM có thể được sử dụng để tạo văn bản, một dạng AI tạo sinh, bằng cách nhận đầu vào văn bản và liên tục dự đoán token hoặc từ tiếp theo

LLM là các mạng nơ-ron nhân tạo Đa số các mô hình ngôn ngữ lớn hiện nay được xây dựng với kiến trúc chỉ sử dụng bộ giải mã (decoder) dựa trên kiến trúc transformer

2.1.3 Kiến trúc Transformer

Transformer [1] là một mô hình học sâu được thiết kế để phục vụ giải quyết nhiều bài toán trong xử lý ngôn ngữ và tiếng nói, ví dụ như bài toán dịch tự động, bài toán sinh ngôn ngữ, phân loại, nhận dạng thực thể, nhận dạng tiếng nói, chuyển văn bản thành tiếng nói

Tuy nhiên, khác với RNNs, Transformer không xử lý các phần tử trong một chuỗi một cách tuần tự Nếu dữ liệu đầu vào là một câu ngôn ngữ tự nhiên, Transformer không cần phải xử lý phần đầu câu trước rồi mới tới phần cuối câu Do tính năng này, Transformer có thể tận dụng khả năng tính toán song song của GPU và giảm thời gian xử lý đáng kể

Không sử dụng kiến trúc Recurrent (hồi quy) như RNNs mà Transformer

sử dụng self-attention

Trong kiến trúc của mình, Transformer chứa 6 encoder và 6 decoder Mỗi encoder chứa hai lớp: Self-attention và mạng truyền thẳng (FNN)

Hình 2.1: Kiến trúc mô hình Transformer

Self-Attention là cơ chế giúp encoder nhìn vào các từ khác trong lúc mã hóa một từ cụ thể, vì vậy,Transformers có thể hiểu được sự liên quan giữa các

từ trong một câu, kể cả khi chúng có khoảng cách xa Các decoder cũng có kiến trúc giống như vậy nhưng giữa chúng có một lớp attention để nó có thể tập trung vào các phần liên quan của đầu vào

Hình 2.2: Minh họa cơ chế Self-Attention

Cơ chế Self-Attention bao gồm 4 bước:

1 Tạo ra bộ 3 vectơ từ các vectơ đầu vào của encoder Tại encoder đầu tiên, véctơ đầu vào là word embedding của từ Như vậy với mỗi từ, ta

sẽ có 3 vectơ Query, Key và Value Các vectơ này được tạo nên bởi phép nhân ma trận giữa véctơ đầu vào và 3 ma trận trọng số tương ứng với query, key, value mà chúng ta sử dụng trong quá trình huấn luyện

3 vectơ này đóng vai trò khác nhau và đều quan trọng đối với attention

Hình 2.3: Minh họa các vector Query, Key, Value

2 Tính điểm Với mỗi từ, ta cần tính điểm của các từ khác trong câu đối với từ này Giá trị này giúp quyết định từ nào cần được chú ý và chú ý bao nhiêu khi mã hóa một từ Điểm được tính bằng tích vô hướng giữa véctơ Query của từ đang xét với lần lượt các vectơ Key của các từ trong câu Ví dụ, khi ta tính self-attention trên từ có vị trí 1, điểm của nó với chính nó là q1.k1, điểm của nó với từ thứ hai là q1.k2, v v

Hình 2.4: Minh họa bước tính điểm

3 Chuẩn hóa điểm: Trong bài báo gốc, điểm được chia cho 8 (căn bậc 2 của 64 – số chiều của vectơ Key) Điều này giúp cho độ dốc trở nên ổn định hơn Tiếp theo, giá trị này được truyền qua hàm softmax để đảm bảo các giá trị điểm đều dương và có tổng không vượt quá 1

Attention có thể được biểu diễn như sau:

Hình 2.5: Minh họa bước chuẩn hóa điểm

4 Nhân vectơ Value với mỗi giá trị điểm đã tính phía trên rồi tính tổng các giá trị này Việc này nhằm bảo toàn giá trị vectơ của các từ cần được chú ý và loại bỏ vectơ của các từ không liên quan (bằng cách nhân nó với một số rất nhỏ)

Hình 2.6: Minh họa bước 4

Hình 2.7: So sánh một số mô hình ngôn ngữ lớn phổ biến

2.2 Cơ sở lý thuyết về tinh chỉnh

(finetune) mô hình ngôn ngữ lớn

2.2.1 Khái niệm về tinh chỉnh mô hình ngôn ngữ lớn

(fine-tuning)

Tinh chỉnh mô hình ngôn ngữ lớn (LLM) là quá trình sử dụng các mô hình

đã được đào tạo trước và tiếp tục huấn luyện chúng trên các bộ dữ liệu nhỏ hơn, cụ thể hơn để nâng cao khả năng và hiệu suất trong một nhiệm vụ hoặc lĩnh vực cụ thể Tinh chỉnh là việc chuyển đổi các mô hình đa năng thành các

mô hình chuyên biệt Nó làm cầu nối giữa các mô hình đã được đào tạo trước

và các yêu cầu đặc thù của các ứng dụng cụ thể, đảm bảo rằng mô hình ngôn ngữ phù hợp với kỳ vọng của con người

Hình 2.8: Minh họa kỹ thuật finetuning

Tinh chỉnh mô hình ngôn ngữ lớn giúp nâng cao khả năng và hiệu suất của mô hình trong các nhiệm vụ cụ thể, nhưng điều này cũng đi kèm với chi

- Suy Luận Không/Một/Vài Ví Dụ (Zero/One/Few-shot Inference):

Đưa dữ liệu đầu vào vào prompt mà không cần thêm ví dụ Nếu suy luận không ví dụ không đạt kết quả mong muốn, có thể sử dụng 'one-shot' hoặc 'few-shot inference', thêm một hoặc nhiều ví dụ hoàn chỉnh vào prompt để giúp LLM nhỏ hơn thực hiện tốt hơn

Quá trình Tinh Chỉnh:

a Tinh Chỉnh Có Giám Sát (Supervised Fine-tuning):

Tinh chỉnh có giám sát là quá trình cập nhật mô hình ngôn ngữ đã được đào tạo trước bằng cách sử dụng dữ liệu có nhãn để thực hiện một nhiệm vụ

cụ thể Dữ liệu này đã được kiểm tra trước Điều này khác với các phương pháp không giám sát, nơi dữ liệu không được kiểm tra Thường thì việc huấn luyện ban đầu của mô hình ngôn ngữ là không giám sát, nhưng tinh chỉnh là

có giám sát

b Cách Thực Hiện Tinh Chỉnh:

Để chuẩn bị dữ liệu huấn luyện, ta cần thu thập tập dữ liệu huấn luyện mô hình Tập dữ liệu này có thể lấy từ các nguồn sẵn có hoặc người huấn luyện

mô hình thu thập một tập dữ liệu mới phù hợp cho mô hình cần đào tạo

Khi tập dữ liệu hướng dẫn của đã sẵn sàng, như với huấn luyện có giám sát tiêu chuẩn, ta chia tập dữ liệu thành các phần huấn luyện, kiểm tra và kiểm định Trong quá trình tinh chỉnh, có thể chọn các prompt từ tập dữ liệu huấn luyện và đưa chúng vào LLM, sau đó LLM sẽ tạo ra các hoàn thành

Trong giai đoạn tinh chỉnh, khi mô hình được tiếp xúc với một tập dữ liệu mới được gắn nhãn đặc biệt cho nhiệm vụ mục tiêu, nó sẽ tính toán lỗi hoặc

sự khác biệt giữa các dự đoán của nó và các nhãn thực tế Mô hình sau đó sử dụng lỗi này để điều chỉnh các trọng số của mình, thường thông qua một thuật toán tối ưu hóa như gradient descent Độ lớn và hướng điều chỉnh trọng số phụ thuộc vào các gradient, chỉ ra mỗi trọng số đã đóng góp bao nhiêu vào lỗi Các trọng số có trách nhiệm nhiều hơn cho lỗi sẽ được điều chỉnh nhiều

hơn, trong khi những trọng số ít có trách nhiệm hơn sẽ được điều chỉnh ít hơn

Qua nhiều lần lặp (hoặc epoch) của tập dữ liệu, mô hình tiếp tục điều chỉnh các trọng số của mình, nhắm đến một cấu hình tối ưu hóa lỗi cho nhiệm vụ cụ thể Mục tiêu là điều chỉnh kiến thức chung đã học trước đó để phù hợp với các chi tiết và mẫu cụ thể có trong tập dữ liệu mới, từ đó làm cho mô hình trở nên chuyên biệt và hiệu quả hơn cho nhiệm vụ mục tiêu

c Phương Pháp Tinh Chỉnh:

Việc finetune (tinh chỉnh) mô hình ngôn ngữ lớn có thể được phân chia thành các loại sau:

- Tinh Chỉnh Hướng Dẫn (Instruction Fine-tuning): Một chiến lược

để cải thiện hiệu suất của mô hình trên nhiều nhiệm vụ khác nhau

là tinh chỉnh hướng dẫn Đó là việc huấn luyện mô hình học máy sử dụng các ví dụ minh họa cách mô hình nên phản hồi với truy vấn Tập dữ liệu sử dụng để tinh chỉnh các mô hình ngôn ngữ lớn phải phục vụ cho mục đích hướng dẫn

- Tinh Chỉnh Toàn Bộ (Full Fine-tuning): Tinh chỉnh hướng dẫn, trong đó tất cả các trọng số của mô hình đều được cập nhật, được gọi là tinh chỉnh toàn bộ Quá trình này tạo ra một phiên bản mới của mô hình với các trọng số được cập nhật

- Tinh Chỉnh Hiệu Quả Tham Số (Parameter-efficient Fine-tuning - PEFT): Huấn luyện một mô hình ngôn ngữ là một công việc đòi hỏi nhiều tính toán Đối với tinh chỉnh LLM toàn bộ, ta cần bộ nhớ

quá trình huấn luyện PEFT chỉ cập nhật một tập nhỏ các tham số

Kỹ thuật học chuyển giao này chọn các thành phần mô hình cụ thể

và đóng băng các tham số còn lại

Một số phương pháp phổ biến trong PEFT bao gồm:

o Adapter Layers: Thêm các lớp phụ vào mô hình chính, chỉ tinh chỉnh các lớp này trong quá trình huấn luyện lại

o Low-rank Adaptation (LoRA): Sử dụng các phương pháp tiếp cận xếp hạng thấp để thêm một số ít các tham số có thể tinh chỉnh vào các lớp hiện có

o Prefix-tuning: Chèn một chuỗi các token vào đầu vào của mô hình và chỉ tinh chỉnh các token này trong quá trình huấn luyện

Các Loại Tinh Chỉnh Khác:

- Học Chuyển Giao (Transfer Learning): Học chuyển giao là quá trình sử dụng mô hình đã học trên các tập dữ liệu lớn, đa dụng và huấn luyện lại nó trên dữ liệu đặc thù, nhiệm vụ cụ thể

- Tinh Chỉnh Nhiệm Vụ Cụ Thể (Task-specific Fine-tuning): Tinh chỉnh mô hình đã được đào tạo trước trên một nhiệm vụ hoặc lĩnh vực cụ thể bằng cách sử dụng một bộ dữ liệu được thiết kế cho lĩnh vực đó

- Học Đa Nhiệm (Multi-task Learning): Tinh chỉnh mô hình trên một tập dữ liệu bao gồm các ví dụ cho nhiều nhiệm vụ, giúp mô hình cải

thiện hiệu suất trên tất cả các nhiệm vụ cùng lúc, tránh vấn đề quên lãng thảm họa (catastrophic forgetting)

- Tinh Chỉnh Tuần Tự (Sequential Fine-tuning): Thích nghi mô hình

đã được đào tạo trước trên một số nhiệm vụ liên quan theo trình tự

Hình 2.9: Minh họa các nhiệm vụ mô hình có thể thực hiện

sau khi finetune

Những phương pháp này giúp tối ưu hóa mô hình cho các ứng dụng đa dạng và chuyên biệt, nâng cao hiệu suất và khả năng của mô hình ngôn ngữ lớn trong việc thực hiện các nhiệm vụ cụ thể

2.2.2 Tinh chỉnh bằng phương pháp LORA (Low Rank

Adaptation):

Tinh chỉnh các mô hình lớn đã được huấn luyện trước là một thách thức tính toán, thường liên quan đến việc điều chỉnh hàng triệu tham số Phương

pháp tinh chỉnh truyền thống, mặc dù hiệu quả, đòi hỏi tài nguyên tính toán

và thời gian đáng kể, gây ra trở ngại cho việc thích ứng các mô hình này với

các nhiệm vụ cụ thể Là một phương pháp Tinh Chỉnh Hiệu Quả Tham Số

(Parameter-efficient Fine-tuning - PEFT) phổ biến, LoRA [13] đã trình bày một

giải pháp hiệu quả cho vấn đề này bằng cách phân rã ma trận cập nhật trong

quá trình tinh chỉnh

LoRA áp dụng khái niệm Phân rã Giá trị Đặc biệt (SVD) Về cơ bản, SVD phân tách một ma trận thành ba ma trận riêng biệt, trong đó một là ma trận

đường chéo chứa các giá trị đặc biệt Những giá trị đặc biệt này rất quan trọng

vì chúng đo lường mức độ quan trọng của các chiều khác nhau trong các ma

trận Các giá trị lớn biểu thị sự quan trọng cao hơn, trong khi các giá trị nhỏ

biểu thị sự quan trọng thấp hơn

Hình 2.10: Minh họa quá trình phân rã ma tận SVD

Phân Rã ( ΔW )

Trong tinh chỉnh truyền thống, chúng ta thay đổi các trọng số của mạng nơ-ron đã được huấn luyện trước để thích ứng với một nhiệm vụ mới Sự điều chỉnh này liên quan đến việc thay đổi ma trận trọng số gốc W của mạng Những thay đổi được thực hiện đối với W trong quá trình tinh chỉnh được đại diện bởi ΔW, sao cho trọng số được cập nhật có thể được biểu diễn dưới dạng ( W + Δ W )

Hình 2.11: Minh họa kỹ thuật phân rã ma trận ΔW

Thay vì thay đổi ma trận W trực tiếp, phương pháp LoRA tìm cách phân

rã ΔW Sự phân rã này là một bước quan trọng trong việc giảm bớt gánh nặng

Giả Thuyết Hạng Nội Tại (The Intrinsic Rank Hypothesis):

Giả thuyết hạng nội tại cho rằng các thay đổi đáng kể đối với mạng ron có thể được ghi lại bằng cách sử dụng một biểu diễn thấp chiều hơn Về

nơ-cơ bản, giả thuyết này cho rằng không phải tất cả các phần tử của ΔW đều quan trọng như nhau; thay vào đó, một tập hợp nhỏ hơn của các thay đổi này

có thể hiệu quả trong việc nắm bắt các điều chỉnh cần thiết

Trong phương trình này, W vẫn được giữ nguyên (tức là không được cập nhật trong quá trình huấn luyện) Các ma trận B và A có kích thước nhỏ hơn, với tích của chúng BA biểu diễn một xấp xỉ hạng thấp của ΔW

Ảnh Hưởng của Hạng Thấp lên Các Tham Số Có Thể Huấn Luyện

Bằng cách chọn các ma trận A và B có hạng thấp ( r ), số lượng tham số

có thể huấn luyện được giảm đáng kể Ví dụ, nếu W là một ma trận ( d x d ), việc cập nhật W truyền thống sẽ liên quan đến ( d² ) tham số Tuy nhiên, với các ma trận ( B ) và ( A ) có kích thước ( d x r ) và ( r x d ) tương ứng, tổng số tham số giảm xuống còn ( 2dr ), nhỏ hơn rất nhiều khi r << d

Lợi Ích của LoRA:

Sự giảm số lượng tham số có thể huấn luyện, như đạt được thông qua phương pháp Thích Ứng Hạng Thấp (LoRA), mang lại một số lợi ích quan trọng, đặc biệt khi tinh chỉnh các mạng nơ-ron quy mô lớn:

- Giảm Yêu Cầu Bộ Nhớ: LoRA giảm nhu cầu bộ nhớ bằng cách giảm số lượng tham số cần cập nhật, giúp quản lý các mô hình quy

mô lớn

- Tăng Tốc Độ Huấn Luyện và Thích Ứng: Bằng cách đơn giản hóa các yêu cầu tính toán, LoRA tăng tốc độ huấn luyện và tinh chỉnh các mô hình lớn cho các nhiệm vụ mới

- Khả Năng trên Phần Cứng Nhỏ Hơn: Số lượng tham số thấp hơn