Hệ thống sinh mã máy tự động dựa trên phương pháp tinh chỉnh tham số

Danh sách bảng

Điểm pass@1 của mô hình kiến thức tổng quát TypeScript Public Model 13B cho ngôn ngữ lập trình TypeScript.

Giới thiệu đề tài

Bên cạnh đó là vô vàn nghiên cứu mới về cách tối ưu tham số để tiếp tục huấn luyện những mô hình mới với hàng trăm tỉ tham số, sử dụng Deepspeed ZeRO-3 để huấn luyện song song trên nhiều GPU [9], quản lý bộ nhớ với mô hình PagedAttention giúp tốc đố suy đoán của mô hình đã tinh chỉnh (inference time) trở nên nhanh gấp 24 lần [10]. – Chương 3, CƠ SỞ LÝ THUYẾT tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào việc làm rừ sự đột phỏ cũng như ưu điểm và hạn chế của cỏc mụ hình ngôn ngữ lớn (Large Language Models), kiến trúc Transformer, đồng thời học viên cũng đề cập sự nổi lên của những phương pháp tối ưu tham số hiện đại (Parameter-Efficient Fine-Tuning).

Các công trình nghiên cứu liên quan

Các cách tiếp cận cổ điển

Vào đầu những năm 2000, một số hướng nghiên cứu cải thiện tiếp tục được triển khai với mục tiêu giúp hệ thống linh hoạt hơn và cố gắng sinh mã dựa trên truy vấn, song kết quả vẫn không quá tích cực [20]. Nhiều nghiên cứu trong những năm 2010 tiếp tục tập trung giải quyết hai vấn đề trên, có thể kể đến các phương pháp tìm kiếm mã nguồnnhư phương pháp tìm kiếm có tính xác suất (stochastic search) [23] hay phương pháp tìm kiếm suy diễn từ trên xuống (deductive top-down search) [24] [25] dựa trên truy vấn của người dùng.

Cơ sở lý thuyết

Mặc dù thiết kế cụ thể của các mô hình Transformer có thể khác nhau theo quá trình phát triển, ví dụ như kết hợp một lớp cross-attention trong mạng seq2seq hoặc sử dụng LayerNorm trước các lớp sublayers (Pre-LN), về bản chất chúng đều chỉ phụ thuộc vào cấu trúc cơ bản MHA + FFN và có thể dễ dàng thích nghi với các biến thể kiến trúc khác. Vì vậy ý tưởng của phương pháp tái tham số hóa được phát triển bằng cách đóng băng ma trận trọng số của mô hình gốc và sử dụng các phép biến đổi thấp chiều (low-rank transformation) lên ma trận trọng số, để cho ra một ma trận mới δW tối giản hơn nhiều so với ma trận ban đầu, nhưng vẫn giữ lại các tham số đã được huấn luyện trước của mạng. Vì vậy, nếu chúng ta sử dụng phương pháp này thì mô hình hệ thống sinh mã [1.5] đã đều cập ban đầu không còn phân chia thành hai bước: sinh mã và tóm tắt mã nữa, giờ đây chúng có thể được gộp chung trong đầu ra, chúng ta chỉ việc định nghĩa bộ dữ liệu hướng dẫn sao cho phù hợp, đó chính là điểm mạnh của phương pháp này.

Tập dữ liệu

Tập dữ liệu TypeScript-Instruct 20K

Bộ dữ liệu The Stack [11] chứa hơn 6TB các đoạn mã nguồn là một phần của Dự án BigCode được HuggingFace công bố công khai, bao gồm 358 ngôn ngữ lập trình. Với mục tiêu xây dựng bộ dữ liệu hướng dẫn (Instruction Dataset) cho các bước tinh chỉnh có hướng dẫn (Instruction Tuning) sau này, học viên cần xây dựng bộ các cặp câu hướng dẫn (instruction) và đoạn mã sinh ra tương ứng từ hướng dẫn ấy (output). Ý tưởng là đưa các đoạn mã này qua một hệ thống sinh câu hỏi (luận văn sử dụng GPT-3.5-turbo API của OpenAI) để ra một bộ hướng dẫn mẫu ban đầu, và tiếp tục cải thiện dựa trên bộ hướng dẫn ấy.

Tập dữ liệu cá nhân

In this case, the ‘foo‘ property is extracted from the store object and rendered inside a ‘<div>‘ element. Instruction: Create a collection that store affliate of shopee feature, that need an endpoint and expiration limit.

Mô hình sinh mã

Mô hình nền tảng

Code Llama – Python được tinh chỉnh trên 100 tỷ tokens trích xuất từ mã nguồn Python, biến nó thành một mô hình chuyên cho việc sinh mã với ngôn ngữ này. Sau đó sử dụng phương pháp tinh chỉnh có hướng dẫn như học viên đã đề cập ở mục [3.5] để tiếp tục huấn luyện mô hình và cho ra các kết quả phù hợp nhất với mong đợi của người dùng. Có thể thấy mô hìnhCode Llmama - Instruct cho kết quả tốt nhất cho ngôn ngữ TypeScript, đồng thời cũng là một trong những mô hình đạt kết quả tốt nhất (SoTA) trong việc sinh mã hiện nay [1].

Mô hình sinh mã máy tự động

Bước 2: Áp dụng các phương pháp tinh chỉnh tối ưu tham số có hướng dẫn (Instruction Tuning) trên tập dữ liệu TypeScript-Instruct 20K [4.1] tự xây dựng từ tập dữ liệu lớn The Stack. Học viên tiếp tục đánh giá mô hình này trên tập Multi-Lingual Human Eval dành cho mã nguồn với ngôn ngữ TypeScript [41], đồng thời thử nghiệm sinh mã cho những yêu cầu tổng quát. Bước 5: Tiếp tục tinh chỉnh cho tập dữ liệu cá nhân với các phương pháp tương tự ở bước 3, tuy nhiên học viên sử dụng trực tiếp mô hìnhTypeScript Public Model 13Bvừa xây dựng được với mong muốn hệ thống sinh mã tập trung vào ngôn ngữ TypeScript, cũng như có những đánh giá trực quan về mô hình tổng quan học viên vừa xây dựng.

Hiện thực và kết quả thử nghiệm

Trong phần này, học viên sẽ thực hiện đánh giáPass@1 scores, zero-shot [27] của mô hình sinh mã đề xuất kiến thức tổng quát TypeScript Public Model 13Bso sánh với mô hình nền tảng CodeLlama - Instruct 13B và một số mô hình ngôn ngữ lớn cho mã nguồn công khai khác, trên tập Multi- Lingual Human Eval dành cho mã nguồn [41] mà chính bài báo gốc của. Về tổng thể, xét khía cạnh logic sinh mã, mô hình đề xuất với kiến thức tổng quan cho kết quả tốt hơn mô hình gốc ban đầu; xét về khía cạnh ứng dụng thực tế, mô hình đề xuất thường xuyên sinh mã với ngôn ngữ Type- Script hơn nhiều so với mô hình ban đầu, đồng thời cũng đưa ra nhiều giải thớch với kiến thức bao quỏt và rừ ràng hơn; xột về khớa cạnh xõy dựng mụ hình, mô hình đề xuất có thể giữ nguyên số lượng tham số nhưng đạt được một số hiệu quả hơn cả mô hình nền tảng 34B trên phương diện sinh mã TypeScript, điều đó học viên đánh giá là kết quả thành công nhất. Như đã trình bày ở bước hai, mô hình này được học viên xây dựng áp dụng các phương pháp tinh chỉnh tối ưu tham số có hướng dẫn (Instruction Tuning) trêntập dữ liệu 40 Instruction TypeScriptđược tự thủ công xây dựng từ dự án đặc thù cá nhân [4.2].

Các đoạn mã sinh được từ mô hình đề xuất