ứng dụng học tăng cường sâu cho tối ưu phân bổ tài nguyên trong hệ thống học liên kết

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC PHENIKAA ---oOo--- ĐỒ ÁN TỐT NGHIỆP “ỨNG DỤNG HỌC TĂNG CƯỜNG SÂU CHO TỐI ƯU PHÂN BỔ TÀI NGUYÊN TRONG HỆ THỐNG HỌC LIÊN KẾT” Sinh viên: Cao Đức Vũ M

CÁC VẤN ĐỀ LÝ LUẬN CƠ BẢN VỀ HỌC SÂU

Các vấn đề lý luận cơ bản về Học sâu và Mạng Neuron

Có lẽ Học sâu đã là một thuật ngữ quá quen thuộc đối với tất cả chúng ta:

“Deep Learning (hay Học sâu) là một lĩnh vực trong Machine Learning, nơi máy tính học và cải thiện thông qua các thuật toán phức tạp hơn Nó tập trung vào việc sử dụng mạng neuron nhân tạo để mô phỏng khả năng tư duy và suy nghĩ của con người”

Mặc dù các khái niệm liên quan đến mạng neuron nhân tạo và Deep Learning đã được phát triển từ những năm 1960, nhưng sự phát triển của nó đã bị hạn chế do thiếu dữ liệu và khả năng tính toán

Trong những năm gần đây, với tiến bộ trong việc phân tích Big data, chúng ta đã có cơ hội tận dụng hết khả năng của mạng neuron nhân tạo Deep Learning dựa trên mạng neuron sâu (DNN - Deep Neural Networks), gồm nhiều lớp tế bào thần kinh khác nhau, có khả năng thực hiện các tính toán phức tạp Nó đang phát triển nhanh chóng và được coi là một trong những tiến bước đột phá quan trọng nhất trong Machine Learning

1.1.2.Cách thức hoạt động của mô hình Học sâu:

Mạng thần kinh nhân tạo trong Deep Learning được xây dựng để mô phỏng khả năng tư duy của bộ não con người Các đặc điểm cơ bản của Mạng neuron trong Deep Learning bao gồm:

1) Mạng neuron được tổ chức thành nhiều lớp, mỗi lớp bao gồm các nút (node) và các kết nối giữa các nút

2) Mỗi kết nối giữa các nút có một trọng số tương ứng, ảnh hưởng đến sự truyền thông tin và tính toán trong mạng

3) Mỗi nút trong mạng có một hàm kích hoạt, có tác dụng chuẩn hóa đầu ra từ nút đó

Copies for internal use only in Phenikaa University

4) Dữ liệu được đưa vào mạng và truyền qua các lớp, cho đến khi đạt được kết quả cuối cùng tại lớp đầu ra

5) Quá trình đào tạo Mạng neuron bao gồm việc điều chỉnh các trọng số của kết nối để tối ưu hóa kết quả dự đoán

Deep Learning đòi hỏi phần cứng mạnh để xử lý lượng lớn dữ liệu và tính toán phức tạp Các mô hình Deep Learning thường yêu cầu thời gian lâu để huấn luyện trên phần cứng tiên tiến nhất hiện nay

Hai cụm từ “Mạng neuron” và “Học sâu” luôn được đi kèm với nhau như một phần tất yếu Mạng neuron là một phương thức trong lĩnh vực Trí tuệ nhân tạo, được sử dụng để dạy máy tính xử lý dữ liệu theo cách được lấy cảm hứng từ bộ não con người Đây là một loại quy trình máy học, được gọi là Deep Learning, sử dụng các nút hoặc neuron liên kết với nhau trong một cấu trúc phân lớp tương tự như bộ não con người Phương thức này tạo ra một hệ thống thích ứng được máy tính sử dụng để học hỏi từ sai lầm của chúng và liên tục cải thiện

Bộ não con người đã trở thành nguồn cảm hứng cho kiến trúc Mạng neuron Các tế bào não, hay còn gọi là neuron, trong não con người tạo thành một mạng lưới phức tạp, với tính liên kết cao và khả năng truyền tín hiệu điện để xử lý thông tin Tương tự, mạng Neuron nhân tạo được tạo ra từ các tế bào neuron nhân tạo, hoạt động cùng nhau để giải quyết các vấn đề Các neuron nhân tạo là các thành phần phần mềm, được gọi là Node (các nút), và Mạng neuron nhân tạo là các chương trình phần mềm hoặc thuật toán, sử dụng hệ thống máy tính để thực hiện các phép toán

Hình 1.1: Mô hình mạng Neuron

Về cơ bản kiến trúc Mạng neuron gồm 3 phần, đó là: Lớp đầu vào (Input), Lớp ẩn (Hidden) và Lớp đầu ra (Output), cụ thể như sau:

1) Lớp đầu vào: Có nhiệm vụ tiếp nhận dữ liệu đầu vào, phân loại lượng dữ liệu này và chuyển tiếp tới lớp ẩn

2) Lớp ẩn: Số lượng lớp ẩn được thiết lập tùy theo độ phức tạp của dữ liệu cần xử lý Các lớp này có nhiệm vụ xử lý dữ liệu rồi chuyển tiếp qua lớp tiếp theo

3) Lớp đầu ra: Lớp này hiển thị kết quả sau quá trình tính toán Số lượng note sẽ tùy thuộc vào yêu cầu đầu ra của bài toán cần xử lý Ví dụ bài toán cần trả lời câu hỏi đúng hay sai, số lượng note sẽ là 2 trả về theo dạng nhị phân 0 hoặc 1.

Các vấn đề lý luận cơ bản về Học tăng cường sâu

“Học Tăng cường Sâu (Deep Reinforcement Learning - DRL) là một kỹ thuật học máy tiên tiến kết hợp giữa học tăng cường và mạng neuron sâu nhằm thực hiện quyết định thông minh trong môi trường phức tạp DRL cung cấp một khung thể hiện

Copies for internal use only in Phenikaa University mạnh mẽ để huấn luyện các đại lý tương tác với môi trường, học các chính sách tối ưu và đạt được mục tiêu cụ thể”

Hình 1.2: Cách thức hoạt động của Học tăng cường sâu DRL Ở cốt lõi của DRL, có một định lý đó là học thông qua thử, bằng cách thực hiện hành động trong môi trường và nhận phản hồi dưới dạng phần thưởng hoặc phạt Đại lý nhằm tối đa hóa tổng phần thưởng tích lũy qua thời gian bằng cách khám phá các chiến lược hiệu quả và điều chỉnh hành vi của mình Điểm đặc biệt của DRL là sử dụng Mạng neuron sâu để xấp xỉ hàm giá trị hoặc hàm chính sách Các Mạng neuron sâu này cung cấp khả năng xử lý không gian đầu vào có số chiều lớn, học các mô hình phức tạp và tổng quát hoá tốt cho những tình huống chưa từng gặp Chúng có thể được huấn luyện bằng các thuật toán khác nhau, trong đó Q-Learning và các biến thể của nó là các lựa chọn nổi bật

DRL đã thu hút sự quan tâm lớn và chứng tỏ khả năng ấn tượng trong nhiều lĩnh vực, bao gồm robot học, lái xe tự động, chơi game và quản lý tài nguyên Nó đã thành công trong việc huấn luyện các đại lý chơi các trò chơi phức tạp như Go và cờ vua ở mức độ siêu nhiên, điều hướng trong môi trường phức tạp và tối ưu hóa phân

Copies for internal use only in Phenikaa University bổ tài nguyên Tuy nhiên, DRL cũng đặt ra những thách thức Huấn luyện các mô hình DRL có thể đòi hỏi nhiều tài nguyên tính toán và lượng dữ liệu lớn Cân bằng giữa khám phá và khai thác để tìm ra các chính sách tối ưu có thể phức tạp Ngoài ra, đảm bảo sự ổn định trong quá tr ình huấn luyện và xử lý phần thưởng thưa thớt là các lĩnh vực nghiên cứu tiếp tục

Các tiến bộ trong DRL đã mang lại những đột phá trong nhiều lĩnh vực, với các ứng dụng từ chăm sóc sức khỏe và tài chính đến năng lượng và giao thông vận tải Khả năng học trực tiếp từ đầu vào cảm biến thô làm cho DRL đặc biệt phù hợp với các tình huống thực tế nơi dữ liệu phong phú Tóm lại, DRL kết hợp Học tăng cường và Mạng neuron sâu để cho phép các đại lý học cách đưa ra quyết định tối ưu trong môi trường phức tạp Nó có tiềm năng thay đổi nhiều ngành công nghiệp và thúc đẩy sự tiến bộ trong Trí tuệ nhân tạo Nghiên cứu và đổi mới liên tục mở ra tiềm năng toàn diện của DRL và mở đường cho các hệ thống thông minh có khả năng tự học và ra quyết định tự động Đối với hệ thống phân bổ tài nguyên trong mô hình Federated Learning, DRL là một giải pháp hoàn toàn phù hợp.

Mối quan hệ giữa Học tăng cường và Học tăng cường sâu

Học tăng cường là một phương pháp học bằng cách tương tác với môi trường, và nó xuất phát từ cách chúng ta học khi còn trẻ nhỏ Việc tương tác với môi trường cung cấp kiến thức quan trọng về môi trường và bản thân trong cuộc sống của chúng ta Học từ sự tương tác là cơ sở cho hầu hết các lý thuyết học tập và là nền tảng của học tăng cường Phương pháp Học tăng cường tập trung vào việc học từ tương tác để đạt được mục tiêu, không chỉ đơn thuần là việc thực hiện các hành động đã được cho trước Thực thể học tập phải tự khám phá ra những hành động nào mang lại phần thưởng lớn nhất thông qua quá trình thử và sai Hơn nữa, những hành động này có thể ảnh hưởng đến phần thưởng trong tương lai, gọi là phần thưởng bị trì hoãn, vì chúng quyết định tình huống trong tương lai Điều này tương tự như cách chúng ta học trong cuộc sống thực Hai đặc điểm quan trọng của Học tăng cường là quá trình tìm kiếm thông qua thử và sai và ảnh hưởng của hành động hiện tại đến phần thưởng trong

Copies for internal use only in Phenikaa University tương lai Đối với Học tăng cường sâu ta vẫn tuân theo hai điểm quan trọng kể trên, tuy nhiên Mạng neuron được áp dụng vào nhằm giải quyết vấn đề đưa ra quyết định tối ưu Điều này cải thiện cả về tốc độ lẫn kết quả đạt được Trong đề tài này em đề xuất sử dụng Học tăng cường sâu vì khả năng tự học và tự đưa ra quyết định của nó Bên cạnh đó còn là tốc độ xử lý cũng như kết quả tối ưu Trong phần tiếp theo, chúng ta tìm hiểu về thuật toán sử dụng trong học tăng cường sâu

TỔNG QUAN VỀ MÔ HÌNH HỌC LIÊN KẾT

Các vấn đề lý luận cơ bản về mô hình Học liên kết

Thuật ngữ “Federated Learning”, hay FL mang ý nghĩa “Học liên kết” được Google đặt ra vào năm 2016 trên một diễn đàn về khoa học máy tính có tiêu đề

"Communication-Efficient Learning of Deep Networks from Decentralized Data" hay

“Phương pháp học tập hiệu quả của Mạng Neuron và Học Sâu từ dữ liệu phi tập trung” Tuy nhiên, ý tưởng của việc sử dụng dữ liệu phân tán để đào tạo mô hình học máy đã được nghiên cứu từ những năm trước đó

Trước khi Federated Learning được giới thiệu, việc đào tạo mô hình học máy thường được thực hiện bằng cách tập trung dữ liệu từ nhiều nguồn vào một trung tâm dữ liệu duy nhất để đào tạo Tuy nhiên, phương pháp này gặp phải một số vấn đề về tính bảo mật và quyền riêng tư, cũng như gặp khó khăn trong xử lý dữ liệu lớn

Trong buổi tọa đàm trên, G.Anthony Reina, trưởng bộ phận AI của công ty giải thích: “Khi dữ liệu bị phân phối giữa hàng triệu khách hàng (trong trường hợp này là dữ liệu từ điện thoại di động), việc thu thập tất cả thông tin của người dùng để gửi về máy chủ là vô cùng rủi ro trong việc bảo mật, bên cạnh đó cũng phát sinh nhiều vấn đề như: Thời gian thu thập dữ liệu bị kéo dài, chi phí bỏ ra rất tốn kém, gặp khó khăn trong vấn đề lưu trữ dữ liệu,…”

Qua đó, ông đề xuất một phương án giải quyết các vấn đề trên, đó là gửi các mô hình cục bộ (Local model) tới từng điện thoại, các mô hình này tính toán tham số dựa trên mỗi dữ liệu và gửi chúng về máy chủ Từ các tham số được gửi về, máy chủ có thể tổng hợp và phân tích để cho ra một mô hình chính xác nhất Vì vậy, chỉ có các mô hình đào tạo mới được di chuyển chứ không phải dữ liệu Phương án này cho thấy tính khả thi và dần được áp dụng rộng rãi Đây chính là nguyên lí cơ bản để tạo nên các mô hình Federated Learning sau này

Hình 2.1: Tổng quan của một mô hình Học liên kết/Federated Learning

2.1.2.Khái niệm về Học liên kết:

Theo định nghĩa của IBM: “Federated learning aims at training a machine learning algorithm, for instance deep neural networks, on multiple local datasets contained in local nodes without explicitly exchanging data samples The general principle consists in training local models on local data samples and exchanging parameters between these local nodes at some frequency to generate a global model shared by all nodes.”

Như vậy, ta có thể định nghĩa cụ thể như sau: “Federated Learing, hay Học liên kết là một phương pháp học máy, đào tạo các bộ dữ liệu phân tán mà không cần

Copies for internal use only in Phenikaa University trao đổi một cách rõ ràng Nguyên tắc chung của phương pháp này là đào tạo các mô hình cục bộ thông qua các bộ dữ liệu riêng tư, sau đó gửi các tham số về máy chủ để tạo thành thành mô hình tổng hợp.”

2.1.3.Các điều kiện để tạo thành mô hình Học liên kết:

Dựa vào định nghĩa về mô hình học liên kết cũng như hoàn cảnh ra đời của mô hình FL đã trình bày như trên, chúng ta có thể chỉ ra những trường hợp, điều kiện để có thể sử dụng mô hình này một cách hiệu quả nhất, bao gồm:

1) Các bộ dữ liệu tham gia đào tạo bị phân tán, quá trình thu thập mọi dữ liệu về máy chủ trung tâm gặp các vấn đề khó khăn như chi phí, thời gian,…

2) Dữ liệu có tính bảo mật cao, không cho phép truy cập tự do, hoặc có kích thước rất lớn, không tiện đưa vào trung tâm dữ liệu chỉ vì mục đích đào tạo mô hình

2.1.4 Đối tượng tham gia đào tạo mô hình Học liên kết:

Trong FL, có 3 đối tượng chính tham gia vào quy trình đào tạo mô hình đó là: Máy chủ (Central Server), các Máy cục bộ (Users) và Dữ liệu (Data) Mỗi đối tượng có một vai trò khác nhau, chi tiết cụ thể được miêu tả trong từng phần dưới đây

Hình 2.2: Sơ đồ tổng quan của một mô hình Học liên kết

Máy chủ trung tâm, còn gọi là Central Server hoặc Base Station, đóng vị trí chủ đạo trong quá trình xây dựng mô hình FL Server chịu trách nhiệm quản lý và cập nhật mô hình toàn cầu trong khi các User thực hiện việc huấn luyện trên dữ liệu cục bộ và gửi thông tin cập nhật cho máy chủ.:

1) Quản lý mô hình: Máy chủ giữ trọng trách quản lý mô hình chung của toàn bộ hệ thống Federated Learning, đồng thời đảm bảo sự đồng bộ và hiệu quả của toàn bộ mô hình trong quá trình đào tạo

2) Điều phối quá trình đào tạo: Máy chủ điều phối mọi hoạt động trong quá trình học liên kết Server thường được cài đặt các phần mềm liên quan đến Federated Learning để thực hiện các nhiệm vụ quản lý và phân phối mô hình đến các máy cục bộ, cập nhật mô hình dựa trên thông tin đã nhận được Sau mỗi lần cập nhật, máy chủ yêu cầu lặp lại quy trình đào tạo đến các máy cục bộ

3) Thu nhận thông tin từ máy cục bộ: Thay vì yêu cầu các thiết bị gửi dữ liệu thô về máy chủ, máy chủ chỉ nhận thông tin cần thiết để cập nhật mô hình mà không tiết lộ dữ liệu cụ thể

Phân tích các ưu nhược điểm của mô hình Học liên kết

1) Giảm thiểu băng thông mạng, tiết kiệm chi phí truyền tải: Thay vì gửi một lượng lớn dữ liệu thô cần được xử lý về máy chủ, các thiết bị tham gia chỉ cần gửi các mô hình tham số với dung lượng được rút gọn đi đáng kể Điều này giúp làm giảm thiểu đáng kể tải trọng mạng, từ đó tăng hiệu suất và tốc độ truyền tải, đồng thời làm giảm chi phí liên lạc dữ liệu

2) Cải thiện tính bảo mật quyền riêng tư: Cách thức hoạt động của FL tạo ra những lợi thế riêng biệt so với những mô hình học máy khác về lĩnh vực bảo mật Theo nguyên tắc trên, dữ liệu tại các cơ sở/máy cục bộ không cần phải gửi về máy chủ, điều này giữ nguyên quyền riêng tư của người sở hữu và giới hạn khả năng bị lộ dữ liệu ở một mức nhất định Bên cạnh đó, các mô hình được gửi tới máy chủ chỉ chứa các tham số, những thông tin tối thiểu phục vụ cho việc cải thiện mô hình tổng hợp

1) Vấn đề bất đồng dữ liệu: Trong mô hình ML truyền thống, máy chủ có toàn quyền truy cập vào toàn bộ dữ liệu đào tạo Tuy nhiên, đối với FL, chỉ có các máy cục bộ mới có quyền thao tác trên tập dữ liệu của mình, còn máy chủ không thể truy cập vào các bộ dữ liệu phân tán trên Nói cách khác, máy chủ không thể giải quyết các vấn đề xảy ra với các tệp dữ liệu cục bộ Trong thực tế, các bộ dữ liệu cục bộ tại các máy tham gia có thể sẽ gặp phải những vấn đề tất yếu như:

• Chất lượng dữ liệu: Có những bộ dữ liệu có độ chính xác cao, không bị nhiễu, những cũng có thể có những bộ dữ liệu mang sai số và độ nhiễu lớn

• Phân bố dữ liệu: Các bộ dữ liệu cục bộ không có tính độc lập và bị phân bố không đồng nhất, còn gọi là Non-IID (Non Independent and Identically Distributed) Việc các bộ dữ liệu bị Non-IID khiến cho mô hình đào tạo khó đạt được độ chính xác mong muốn Nói tóm lại, việc các bộ dữ liệu phân tán trong mô hình FL vô hình chung có thể khiến mô hình đào tạo khó có thể đạt được độ chính xác cao đối với các bộ dữ liệu phức tạp

2) Vấn đề không đồng nhất các thiết bị cục bộ: Trong mô hình FL, số lượng các máy cục bộ tham gia rất nhiều, do đó một vấn đề tất yếu đó là sự không đồng bộ của các thiết bị phân tán Một số clients có khả năng tính toán hạn chế, như các thiết bị di động với tài nguyên giới hạn Việc không đồng nhất này có thể làm giảm khả năng thực hiện các phép tính phức tạp, thời gian cập nhật thông tin về máy chủ, làm ảnh hưởng đến chất lượng và tiến độ cập nhật mô hình cục bộ

3) Khả năng tính toán hạn chế của các thiết bị hoặc máy chủ: Trong mô hình FL, máy chủ chỉ được phép cập nhật các thông tin tối thiểu như tham số hoặc Gradient,… mà không có quyền truy cập vào các bộ dữ liệu tham gia, do đó khả năng tính toán trong FL tương đối hạn chế Điều này có thể ảnh hưởng đến khả năng huấn luyện và tính toán của mô hình và giới hạn độ phức tạp của mô hình có thể sử dụng.

Ứng dụng của mô hình Học liên kết trong các lĩnh vực khoa học-xã hội

Có thể nói y học là một trong những ngành được hưởng lợi nhiều nhất thông qua các ứng dụng mô hình FL Các thông số dữ liệu từ các bệnh viện và phòng nghiên cứu từ khắp nơi có thể được chia sẻ hợp pháp cho nhau Việc vận dụng mô hình học

Copies for internal use only in Phenikaa University liên kết có thể xóa bỏ rào cản về khoảng cách địa lý, hơn nữa lại tận dụng được lượng dữ liệu đa dạng từ khắp mọi nơi Trong những năm vừa qua, mô hình Học liên kết được ứng dụng mạnh mẽ vào y học, cụ thể như:

1) Xây dựng các mô hình dự đoán tình trạng dịch bệnh: Các bệnh viện, tổ chức y tế có thể sử dụng mô hình FL để đào tạo các mô hình dự đoán bệnh dựa trên dữ liệu bệnh án của các bệnh nhân từ nhiều vùng Việc này giúp cải thiện khả năng dự đoán và chẩn đoán bệnh mà không cần truyền dữ liệu bệnh nhân qua lại FL giúp bệnh viện phát triển các mô hình AI chẩn đoán sức khỏe từ những nguồn dữ liệu liên kết Vào năm 2020, một bài báo trên Nature Medicine có tiêu đề "Học liên kết để dự đoán kết quả lâm sàng ở bệnh nhân mắc COVID-

19", đã cho thấy tính chính xác và khả quan của mô hình AI để dự đoán nhu cầu oxy ở những bệnh nhân bị nhiễm COVID-19

2) Quản lý dữ liệu, đào tạo các mô hình AI trong thiết bị y tế di động: Thiết bị y tế di động như đồng hồ thông minh có thể được sử dụng để thu thập dữ liệu sức khỏe cá nhân Federated Learning cho phép đào tạo mô hình trực tiếp trên thiết bị này, giúp cải thiện các ứng dụng về theo dõi sức khỏe và dự đoán bệnh tật

Như vậy, việc áp dụng mô hình học liên kết có thể góp phần ngăn chặn và khắc phục những đại dịch bùng phát khi có thể thu thập dữ liệu thực tế từ khắp mọi nơi và nghiên cứu phương án chữa trị

2.3.2.Trong lĩnh vực kinh tế-tài chính:

Ngày nay ứng dụng thực tiễn của FL được chú trọng rất lớn trong kinh tế thị trường, thông qua nguồn thông tin khổng lồ từ khách hàng của các doanh nghiệp lớn nhỏ Từ nguồn dữ liệu này, có thể xây dựng nên các mô hình phân tích nhu cầu của người tiêu dùng, dự đoán tình hình kinh tế hoặc xây dựng các mô hình thống kê dữ liệu,… giúp giảm thiểu rủi ro và nâng cao hiệu quả đầu tư Cụ thể như:

1) Dự đoán thị trường kinh tế, phân tích nhu cầu khách hàng và Marketing: FL đặc biệt được ưa chuộng trong việc tổng hợp thông tin từ những nguồn dữ liệu bảo mật riêng tư, chẳng hạn như ngân hàng, tổ chức tài chính, công ty nghiên cứu thị trường và người tiêu dùng Thông qua đó xây dựng các mô hình dự đoán tình hình kinh tế, thị trường chứng khoán và thị trường bất động sản một cách chính xác hơn

2) Phân tích rủi ro, quản lý quỹ tiền tệ: Các công ty bảo hiểm có thể sử dụng mô hình Federated Learning để đánh giá rủi ro và định giá bảo hiểm cá nhân mà không cần tiết lộ chi tiết cá nhân Điều này giúp tạo ra chính sách bảo hiểm cá nhân hóa hơn Ngoài ra các doanh nghiệp còn có thể sử dụng mô hình Học liên kết để tối ưu hóa việc quản lý danh mục đầu tư và dự đoán xu hướng thị trường tài chính Các nguồn dữ liệu từ các tài khoản cá nhân và doanh nghiệp có thể được sử dụng để cải thiện quản lý quỹ

2.3.3.Trong lĩnh vực khoa học máy tính-điện tử:

1) Ứng dụng trong các phần mềm di động: Thông qua các tính năng hữu ích của

FL trong những năm gần đây, các tập đoàn công nghệ dần nghiên cứu và cho ra đời những tính năng tích hợp vào các phần mềm di động và ứng dụng Internet để nhận dạng giọng nói, văn bản, hình ảnh…Điển hình như ứng dụng học liên kết cho Firefox năm 2018, bàn phím Android của Google, Apple cũng sử dụng FL nhằm cải thiện tính năng tìm kiếm bằng giọng nói của Siri, 2) Ứng dụng trong bảo mật và an ninh mạng: Mô hình Học liên kết giúp hạn chế nguy cơ rò rỉ dữ liệu cá nhân trên các thiết bị cục bộ bằng cách không cần phải truyền dữ liệu đến một trung tâm tập trung Mạng lưới FL có thể được sử dụng để đào tạo mô hình phát hiện xâm nhập hoặc phát hiện các hoạt động đáng ngờ trên các thiết bị mạng khác nhau Các thiết bị này có thể ghi lại dữ liệu về lưu lượng mạng và sự kiện, và thông tin này có thể được tổng hợp để cải thiện khả năng phát hiện xâm nhập và bảo mật mạng Federated Learning có thể được áp dụng để xây dựng mô hình dự đoán sự xuất hiện của mã độc hoặc phần mềm

Copies for internal use only in Phenikaa University độc hại trên các máy tính hoặc thiết bị mạng Các thiết bị có thể chia sẻ thông tin về các dấu hiệu của mã độc để cải thiện khả năng phát hiện

Trong lĩnh vực Robotics, FL giúp cải thiện khả năng dự đoán của các robot Thông qua hệ thống học tập phân tán, robot có thể phân tích bản đồ và di chuyển nhanh chóng hơn, phát hiện các mối đe dọa an ninh, tương tác với con người,…

1) Trong xe tự lái: Một phần quan trọng của hệ thống là khả năng học từ dữ liệu thực tế trên đường Tuy nhiên, việc thu thập và truyền tải dữ liệu từ mọi xe tự lái có thể không hiệu quả và tốn kém Thay vì vậy, FL giúp các xe tự lái học từ dữ liệu cục bộ và cộng tác để cải thiện mô hình lái xe tự động toàn cầu mà không cần truyền dữ liệu hàng ngày đến một trung tâm tập trung Điều này cải thiện bảo mật và quyền riêng tư cho người dùng và giúp tạo ra mô hình lái xe tự động an toàn hơn

2) Nhận diện và theo dõi đối tượng: Trong cả hai lĩnh vực, việc nhận diện và theo dõi đối tượng (như người đi bộ, xe hơi khác, hoặc vật thể) là rất quan trọng để đảm bảo an toàn FL có thể được sử dụng để cải thiện khả năng nhận diện và theo dõi này thông qua việc học hỏi kinh nghiệm và chia sẻ thông tin về cách nhận diện đối tượng hiệu quả hơn

3) Tối ưu hóa lịch trình và điều khiển Giao thông: Trong môi trường giao thông phức tạp, như các hệ thống giao thông thông minh, FL có thể được sử dụng để tối ưu hóa lịch trình của các xe tự lái và đưa ra các quyết định về điều khiển giao thông Các thiết bị có thể học từ dữ liệu cục bộ và chia sẻ thông tin về tình trạng giao thông để cải thiện hiệu suất của toàn bộ hệ thống Tuy nhiên, việc triển khai FL trong các ứng dụng này cũng đặt ra thách thức về tính phức tạp của hệ thống và việc đảm bảo tính an toàn và ổn định

Mô hình Lượng tử hóa trong Machine Learning

“Lượng tử hóa trong học máy (Quantization in Machine Learning) là quá trình biểu diễn dữ liệu hoặc tham số mô hình bằng một tập hữu hạn các giá trị hoặc đơn vị rời rạc thay vì các giá trị liên tục Quá trình này thường được thực hiện để giảm độ phức tạp tính toán, tiết kiệm dung lượng bộ nhớ, tăng tốc độ tính toán, và cải thiện hiệu suất của các mô hình máy học trên các thiết bị có tài nguyên hạn chế hoặc trong các ứng dụng có yêu cầu về hiệu suất cao”

Quantization thực chất là quá trình ánh xạ các giá trị liên tục sang một tập các giá trị rời rạc hữu hạn nhỏ hơn bằng một số giải thuật xác định ô Xác định ô là cách nói ta gom những giá trị gần bằng nhau ở kiểu dữ liệu ban đầu sang cùng một giá trị mới ở kiểu dữ liệu mới do bị giới hạn về số lượng giá trị có thể biểu diễn Ví dụ các số ở dạng float32 có thể cùng được đưa về int8 Các số sau khi thực hiện Quantization sẽ có sai số so với số ban đầu do làm tròn (underflow, overflow), Để trực quan hơn, ta có thể lấy ví dụ cụ thể: Hai số thực float32 là 2.017432 và 3.980431 có thể đưa về số nguyên int8 là 2 và 4 vì chúng có giá trị xấp xỉ với hai số thực kể trên Hoặc số vô tỉ Pi 3.1415926535… có thể giới hạn về 3.14

Hình 2.3: Ví dụ một mô hình Lượng tử hóa

Như vậy, ta có thể hiểu đơn giản rằng, Lượng tử hóa về cơ bản gần giống như phương pháp làm tròn số, điều này thường được thực hiện tùy theo yêu cầu cụ thể của ứng dụng và tài nguyên có sẵn Lượng tử hóa có thể áp dụng cho nhiều khía cạnh khác nhau của dữ liệu số hóa, bao gồm giới hạn số thập phân, làm tròn, giới hạn dải giá trị, và chuyển đổi thành số nguyên hoặc số nguyên có dấu cố định Mục tiêu là giảm độ phức tạp tính toán và lưu trữ dữ liệu trong khi vẫn duy trì mức độ độ chính xác cần thiết cho ứng dụng cụ thể Sự lựa chọn về cách thức lượng tử hóa thường phụ thuộc vào các yếu tố như độ chính xác yêu cầu, tài nguyên có sẵn, và hiệu suất ứng dụng

Lượng tử hóa trong Machine Learning là một phần quan trọng của việc triển khai mô hình trên các thiết bị có tài nguyên hạn chế, đòi hỏi sự cân nhắc cẩn thận để đảm bảo rằng mức độ độ chính xác của mô hình không bị ảnh hưởng quá nhiều trong quá trình này

2.2.2.Ưu và Nhược điểm của Lượng tử hóa trong Machine Learning:

Lượng tử hóa có cả ưu điểm và nhược điểm, tùy thuộc vào ngữ cảnh và mục tiêu cụ thể của việc sử dụng Một số ưu điểm của lượng tử hóa có thể kể đến như:

1) Tiết kiệm tài nguyên: Lượng tử hóa giúp giảm tải tài nguyên tính toán và dung lượng bộ nhớ cần thiết cho việc lưu trữ và xử lý dữ liệu Điều này đặc biệt quan trọng trong các ứng dụng máy tính có tài nguyên hạn chế, như các thiết bị di động hoặc vi điều khiển nhúng Kích thước mô hình và băng thông có thể giảm tới 4 lần

2) Tăng hiệu suất và tốc độ: Bằng cách giảm độ phức tạp tính toán và lưu trữ, lượng tử hóa có thể tăng tốc độ tính toán và thời gian đáp ứng của các ứng dụng, đặc biệt là trong thời gian thực và các hệ thống có độ trễ thấp Nếu lượng tử hóa dữ liệu từ float32 sang int8, tốc độ xử lý có thể nhanh hơn 2 đến 4 lần

Song song với các ưu điểm trên, việc ứng dụng mô hình Lượng tử hóa có thể mắc phải một số khó khăn nhất định, có thể kể đến như:

1) Mất mát độ chính xác: Lượng tử hóa thường dẫn đến sự mất mát độ chính xác trong dữ liệu hoặc kết quả tính toán Điều này có thể ảnh hưởng đến chất lượng và độ tin cậy của ứng dụng

2) Khó khăn trong debug và phát triển: Khi dữ liệu hoặc trạng thái của mô hình được lượng tử hóa, việc debug và phát triển có thể trở nên phức tạp hơn, do khó khăn trong việc theo dõi và hiểu các giá trị lượng tử

3) Lựa chọn tham số khó khăn: Xác định cách thức lượng tử hóa (ví dụ: số lượng bit cho mỗi giá trị lượng tử) có thể là một nhiệm vụ khó khăn và yêu cầu sự cân nhắc cẩn thận

2.2.3.Lượng tử hóa trong mô hình Học liên kết:

Trong mô hình Học liên kết, Lượng tử hóa được áp dụng cho các điểm dữ liệu trong mô hình tham số cục bộ, hay còn gọi là “Lượng tử hóa trọng số” (Weight

Quantization) Sau khi các User đào tạo dữ liệu riêng tử của mình thành các mô hình tham số cục bộ, sẽ sử dụng phương pháp Lượng tử hóa để giảm thiểu dung lượng của mô hình, điều này giúp cho việc tiêu hao năng lượng và độ trễ truyền tải được giảm đi đáng kể

Hình 2.4: Mô hình tham số trước khi lượng tử hóa (Đường màu xám) và sau khi lượng tử hóa (Đường màu đỏ)

Tuy nhiên, vẫn cần phải đảm bảo rằng sai số trong mô hình Lượng tử hóa này không vượt qua ngưỡng cho phép Nếu như sai số quá lớn, sẽ giảm đi tính chính xác của mô hình, dẫn đến hiệu suất đào tạo bị giảm đi đáng kể

QUY TRÌNH VẬN HÀNH VÀ PHÂN BỔ TÀI NGUYÊN

Quy trình phân bổ tài nguyên Băng thông

Đầu tiên, cần đề cập tới một khái niệm có tên “Hệ thống học liên kết thu hoạch năng lượng” (Energy Harvesting Federated Learning-EHFL) Đây là một khái niệm kết hợp giữa hai lĩnh vực chính là "Energy Harvesting" và "Federated Learning"

1) Energy Harvesting (EH): Energy Harvesting là quá trình tự động thu thập và lưu trữ năng lượng từ các nguồn tự nhiên như ánh nắng mặt trời, sóng điện từ, hoặc nhiệt độ môi trường Năng lượng thu được từ các nguồn này sau đó được chuyển đổi và lưu trữ để cung cấp năng lượng cho các thiết bị điện tử hoặc hệ thống mà không cần sử dụng nguồn điện truyền thống

2) Federated Learning (FL): Federated Learning là một mô hình học máy phân tán trong đó việc học và cập nhật mô hình được thực hiện trên các thiết bị địa phương (như điện thoại di động hoặc cảm biến) thay vì trên một máy chủ trung tâm Các mô hình địa phương sau đó được tổng hợp lại để tạo ra một mô hình toàn cầu Federated Learning giúp bảo vệ quyền riêng tư của người dùng và giảm lưu lượng mạng cần thiết

Energy Harvesting Federated Learning (EHFL) là sự kết hợp của hai khái niệm này Trong EHFL, các thiết bị địa phương tham gia vào quá trình học máy phân tán (Federated Learning) được cung cấp năng lượng từ các nguồn thu thập năng lượng tự nhiên (Energy Harvesting) thay vì sử dụng nguồn điện truyền thống hoặc pin Điều này có thể làm giảm phụ thuộc vào nguồn năng lượng truyền thống và gia tăng tính di động của các thiết bị tham gia trong quá trình học máy phân tán EHFL có tiềm năng đặc biệt cho các ứng dụng IoT (Internet of Things) và mạng cảm biến nơi các thiết bị có thể cung cấp năng lượng từ môi trường xung quanh

Trong bài viết này, chúng ta thiết lập một hệ thống bao gồm Máy chủ (Server/BS) và hệ thống 𝑁 thiết bị IOT (User)

Chúng tôi xem xét một hệ thống học tập thu hoạch năng lượng (EHFL) như trong Hình Hệ thống bao gồm 𝑁 thiết bị IoT giao tiếp với chủ sở hữu mô hình thông qua máy chủ/trạm cơ sở di động (BS) Ở đây, chúng ta xem xét việc kết nối hệ thông Học liên kết với các Mạng chính (PNs-Primary Networks) Đây là một hệ thống các trạm phát được bố trí quanh hệ thống và cung cấp tài nguyên băng thông để phục vụ cho quá trình truyền tải Các PN này lưu trữ một số lượng các băng thông, và gửi yêu cầu đến cho Máy chủ, ta mặc định rằng PN nào có chi phí rẻ nhất sẽ được chọn lựa Giả sử một PN 𝑚 bất kì gửi yêu cầu 𝑐 𝑚 tới cho BS, khi đó BS sẽ chọn ra PN thứ 𝑗 có chi phí thấp nhất:

PN thứ 𝑗 có một số lượng 𝐵 𝑗 các khối tài nguyên băng thông (Resource Blocks- RBs) Mỗi khối block có dung lượng băng thông 𝐵 Khi đó tổng số băng thông mà

PN cung cấp cho hệ thống là:

Băng thông được chia đều cho số lượng User, tức là, đối với mỗi User 𝑖 trong hệ thống 𝑁 sẽ có được chia một lượng Băng thông tương ứng với:

3.1.2.Năng lượng thu hoạch cho các thiết bị:

Trong quá trình đào tạo dữ liệu và truyền tải tham số, hệ thống cần cung cấp một nguồn năng lượng nhất định để duy trì sự ổn định và vận hành Các máy cục bộ có thể sạc pin, tuy nhiên, để phòng trường hợp bị ngắt điện giữa chừng, Máy chủ BS sẽ truyền năng lượng cho các User, điều này đảm bảo rằng không có sự cố về năng lượng trong suốt quá trình vận hành hệ thống

Nguồn năng lượng truyền xuống từ BS cho các User có dạng sóng, được thu lại thông qua ăng-ten hoặc bất kì dụng cụ nào khác, sau khi thu được tín hiệu, các User tiến hành chuyển đối năng lượng tín hiệu trên thành nguồn năng lượng vận hành cho máy Trong quá trình chuyển đổi, ta có thể bỏ qua các nhiễu tín hiệu và các ảnh hưởng ngoại vi bên ngoài do chúng không đáng kể Công suất thu hoạch năng lượng cho User 𝑖 được tính theo công thức:

• ξ 𝜖 [0,1] là hiệu suất chuyển đổi năng lượng

• ℎ 𝑖 là giá trị của “small-scale fading”, hay “mất mát tín hiệu không dây do biến đổi tín hiệu”

• 𝑑 𝑖 là khoảng cách giữa User và BS

• α là giá trị của “Path-loss exponen“ đo lường mức độ mất mát tín hiệu (hay giảm công suất tín hiệu) khi tín hiệu di chuyển qua không gian và xa khỏi nguồn phát

Năng lượng mà User thu thập được trong quá trình này là:

Sau khi thu hoạch năng lượng 𝑒 𝑖 ℎ𝑎𝑟𝑣 , User sử dụng tổng năng lượng sẵn có để huấn luyện mô hình cục bộ và truyền mô hình lượng tử hóa đến BS Năng lượng khi đó của User 𝑖 là:

𝑒 𝑖 = min(𝑒 𝑖,0 + 𝑒 𝑖 ℎ𝑎𝑟𝑣 , 𝐸 𝑖 ) (J) trong đó e i,0 là năng lượng còn lại của người dùng i trước khi sạc và Ei là dung lượng lưu trữ năng lượng của người dùng đó

Hình 3.1: Hệ thống học liên kết thu hoạch năng lượng

Quy trình đào tạo dữ liệu trong Học liên kết

Trong bài này, chúng ta có thể chia quy trình đào tạo dữ liệu trong mô hình Học liên kết làm 5 bước Cụ thể như sau:

• Đào tạo dữ liệu cục bộ

• Lượng tử hóa tham số cục bộ

• Cập nhật tổng hợp mô hình tham số toàn cầu

Tuy nhiên, Lượng tử hóa là một quá trình tương đối phức tạp, do đó sẽ được mô tả chi tiết hơn trong phần tiếp theo, trong phần này, chúng ta đi qua 4 bước cơ bản của mô hình Học liên kết

Hình 3.2: Quy tình đào tạo dữ liệu trên Local Devices và cập nhập về Server

Sơ đồ trên đây mô tả sơ lược về quy trình hoạt động của một mô hình FL Để trực quan hơn, ta có chia quy trình hoạt động thành các bước chi tiết dưới đây Copies for internal use only in Phenikaa University

Khởi tạo tác vụ hay “Global Model Creating” là bước đầu tiên cho mô hình Học liên kết Các giá trị tham số của mô hình học máy toàn cầu (Global Model) được khởi tạo trên máy chủ trung tâm (Server), làm điểm bắt đầu cho quá trình đào tạo

Thông thường, mô hình Global ban đầu được khởi tạo là một mô hình trống, các giá trị tham số của mô hình sẽ được cập nhật sau khi trải qua một số lượng vòng lặp nhất định Tuy nhiên, Server có thể khởi tạo các giá trị cụ thể cho các tham số của mô hình, số vòng lặp toàn cầu sẽ tiếp tục tăng cho đến khi nào các tham số của mô hình đạt tới hoặc tiệm cận với các tham số khởi tạo Sau đó, máy chủ phát yêu cầu tới các máy cục bộ, bắt đầu quá trình đào tạo mô hình

Gọi mô hình toàn cầu là 𝑤(𝑡), trong đó 𝑡𝜖{0,1, … 𝑇} ứng với thứ tự của vòng lặp toàn cầu của mô hình

3.2.2 Đào tạo các mô hình cục bộ: Đào tạo dữ liệu cục bộ hay “Local Data Training” là quá trình các thiết bị địa phương đào tạo dữ liệu cục bộ của mình thành các mô hình tham số cục bộ (Local Model), sau đó truyền tải về cho Server để tổng hợp thành các mô hình toàn cầu

Hình 3.3: Quá trình Download và Upload mô hình của mỗi User

Tại mỗi vòng lặp toàn cầu 𝑡, các User sẽ tải xuống mô hình tham số toàn cầu của vòng lặp trước đó 𝑤(𝑡 − 1) từ Server để phục vụ cho quá trình đào tạo cục bộ Việc tải xuống tham số toàn cầu của vòng lặp trước đó giúp cho mô hình đạt tới sự hội tụ nhanh hơn, khi này các máy cục bộ bắt đầu với một điểm khởi đầu gần với mô hình tốt nhất đã được tìm thấy cho đến nay Qua đó giúp thời gian hội tụ tới mô hình toàn cầu tối ưu được nhanh chóng hơn

Giả sử chúng ta có một hệ thống N máy cục bộ Với mỗi User 𝑖𝜖{0,1, … 𝑁} đi kèm với một bộ dữ liệu địa phương (Local Dataset) 𝐷 𝑖 𝐿 tương ứng Trong đó 𝑥 𝑖 là các vector dữ liệu đầu vào, và 𝑦 𝑖 là các vector đầu ra Sử dụng hàm mất mát (Loss Function) để đo lường hiệu suất của mô hình đào tạo, ta có hàm mất mát cục bộ của User 𝑖 được tính theo công thức:

Trong đó 𝜙(𝑤, 𝑥 𝑖 , 𝑦 𝑖 ) sử dụng để mô tả sai số (Error) của tham số mô hình cục bộ 𝑤 𝑖

Hàm mất mát (Loss Function) là hàm số xác định mức độ sai lệch giữa kết quả dự đoán với kết quả thực tế Nói cách khác, đây là một phương pháp đo lường chất lượng của mô hình dự đoán trên tập dữ liệu quan sát Nếu giá trị của hàm mất mát càng nhỏ thì độ chênh lệch giữa kết quả dự đoán so với thực tế càng thấp, nghĩa là mô hình đào tạo càng có độ chính xác cao Ngược lại nếu giá trị hàm mất mát càng lớn thì mô hình đào tạo có độ chính xác càng thấp, đòi hỏi việc điều chỉnh mô hình hoặc tham gia nhiều thiết bị hoặc máy chủ khác để cải thiện hiệu suất

Quá trình đào tạo mô hình cục bộ của mình bằng thuật toán “SGD cục bộ” (Local Stochastic Gradient Descent) Giả sử ta có tất cả 𝜏 bước SGD, ở bước đầu tiên của SGD, ta mặc định rằng giá trị của mô hình SGD cục bộ chính là giá trị mô hình toàn cầu được tải xuống Giá trị của mô hình cục bộ SGD cuối cùng sẽ là giá trị mà

User tải lên cho Server Ở bước thứ 𝑘𝜖𝜏 bất kì của thuật toán SGD, mô hình cục bộ được cập nhật:

𝑤 𝑖 𝜏 (𝑡) = 𝑤 𝑖 (t) trong đó giá trị 𝜂(𝑡) > 0 là “Learning rate” Đây là một tham số quan trọng được sử dụng trong quá trình tối ưu hóa mô hình máy học Nó định nghĩa tốc độ cập nhật các tham số của mô hình trong thuật toán tối ưu hóa SGD Learning rate xác định khoảng cách mà các tham số sẽ được điều chỉnh trong mỗi bước cập nhật

Trên thực tế, việc truyền các bản cập nhật mô hình cục bộ sẽ hiệu quả hơn về so với việc truyển chính mô hình đó lên máy chủ Bằng cách áp dụng quy tắc này, mỗi User𝑖 gửi đến máy chủ 𝛥(𝑤 𝑖 (t)) với:

3.2.3.Cập nhật và tổng hợp mô hình tham số toàn cầu:

Tổng hợp mô hình tham số toàn cầu hay “Model Updates and Aggregation” là quá trình các máy cục bộ truyền tải tham số đào tạo của mình về máy chủ Thay vì gửi dữ liệu thô như thông thường, mô hình Học liên kết chỉ cần các bản cập nhật mô hình (chúng có thể là Gradient hoặc tham số) được gửi từ mỗi User đến máy chủ trung tâm Mục tiêu của quá trình huấn luyện là tìm ra tham số toàn cầu 𝑊, giúp giảm thiểu hàm mất mát trên toàn bộ tập dữ liệu, giá trị của hàm mất mát được tính theo công thức trung bình: min 𝐹(𝑤) = ∑ 𝑝 𝑖 (𝐹 𝑖

𝐷 , với 𝐷 𝑖 𝐿 là kích thước dữ liệu cục bộ User 𝑖, và 𝐷 là tổng kích thước của toàn bộ tập dữ liệu

Mô hình tham số toàn cầu được cập nhật:

Sau khi đào tạo mô hình tổng hợp toàn cầu, dựa vào những điều kiện khởi tạo trước đó, máy chủ sẽ quyết định xem mô hình toàn cầu này liệu đã đủ điều kiện hay chưa Nếu đã đủ điều kiện, quá trình đào tạo sẽ kết thúc và mô hình sẽ được lưu lại Nếu mô hình toàn cầu chưa đúng với điều kiện khởi tạo, máy chủ gửi tín hiệu về các máy cục bộ và lặp lại quy trình đào tạo các mô hình và cập nhật tham số

3.2.4.Lặp lại mô hình đào tạo:

Quá trình 3.2.3 và 3.2.4 sẽ được lặp đi lặp lại, cho tới khi nào mô hình tham số toàn cầu đạt đủ điều kiện quy định Về cơ bản, ta có 2 cách đánh giá xem mô hình đã đạt yêu câu hay chưa, bao gồm:

1) Dựa vào số lượng vòng lặp 𝑡 (Iterations): Người dùng có thể khởi tạo trước giá trị cụ thể cho số lượng vòng lặp đào tạo tối đa trước khi bắt đầu quá trình Khi đạt đến số lượng vòng lặp đã định, máy chủ sẽ cho dừng quy trình đào tạo

Mô hình được khởi tạo trong vòng lặp cuối cùng sẽ được lấy làm kết quả chung cuộc

Mô hình lượng tử hóa tham số cục bộ

Để phòng tránh việc sử dụng lãng phí tài nguyên bộ nhớ, chúng ra giả định rằng sau khi đào tạo cục bộ, tham số vừa đào tạo sẽ được lượng tử hóa trước khi gửi về cho máy chủ.Do đó, bản cập nhật mô hình toàn cầu tại máy chủ thực sự được đưa ra dưới dạng:

(𝑡)) với 𝑄(𝛥 𝑤 𝑖 (𝑡)) là phiên bản lượng tử hóa của bản cập nhật mô hình tham số cục bộ

Theo đó, với 𝐵 𝑖 (𝑡) bit lượng tử hóa, mỗi điểm dữ liệu 𝑗 của 𝛥 𝑤 𝑖 (𝑡) đều sẽ được lượng tử hóa vào khoảng giá trị min-max nhất định theo quy tắc lượng tử hóa ngẫu nhiên (Stochastic Quantization Method):

Qua đó, với 𝐵 𝑖 (𝑡) bit lượng tử hóa, ta sẽ tiến hành tạo ra (2 𝐵 𝑖 (𝑡) − 1) khoảng

𝑧 đều nhau và mỗi điểm dữ liệu 𝑗 sẽ được phân bố đều vào các khoảng trên, cụ thể:

Tiếp theo đó, mỗi điểm 𝛥 𝑤 𝑖,𝑗 (𝑡) có giá trị rơi vào khoảng [𝑧 𝑢 , 𝑧 𝑢+1 ], thì điểm đó sẽ được lượng tử hóa thành:

Copies for internal use only in Phenikaa University trong đó “with prob” có nghĩa là “với xác suất” Nếu xác suất của giá trị nào lớn hơn thì giá trị của điểm 𝛥 𝑤 𝑖,𝑗 (𝑡) sẽ được lượng tử hóa thành giá trị đó Đối với một bộ tham số có 𝑚 chiều (𝑚-dimensional) thì tổng dung lượng của mô hình tham số sau khi lượng tử hóa là:

𝑆 𝑖 (𝑡) = 𝑚𝐵 𝑖 (𝑡) + 𝜇 (bit) Sau đó User sẽ gửi mô hình lượng tử hóa với kích thước 𝑆 𝑖 (𝑡) này về máy chủ.

Lỗi lượng tử hóa

Thuật ngữ "Quantization Error" (Lỗi Lượng tử hóa) là một đánh giá về mức độ mất mát độ chính xác khi biểu diễn dữ liệu hoặc tham số bằng các giá trị số nguyên hoặc đơn vị rời rạc thay vì các giá trị số thực liên tục Quantization Error đo lường khoảng cách giữa giá trị thực tế và giá trị sau khi đã được lượng tử hóa Nó thể hiện mức độ sai lệch giữa giá trị ban đầu và giá trị gần đúng sau khi áp dụng quá trình lượng tử hóa Quantization Error thường được tính bằng cách lấy giá trị thực tế trừ đi giá trị sau lượng tử hóa, sau đó tính giá trị tuyệt đối của sự sai lệch này Quantization Error có thể đo lường dưới nhiều hình thức khác nhau, trong bài viết này, chúng ta tính Quantization Error theo phương pháp “Lỗi trung bình bình phương” (Mean Square Error - MSE)

Tiếp theo, cần đề cập tới một khái niệm có tên "Unbiased Estimator" (Ước lượng không thiên vị) Đây là phương pháp ước lượng tham số hoặc một đại lượng mà kỳ vọng (trung bình) của nó với một tập dữ liệu lớn sẽ xấp xỉ chính xác giá trị thực sự của tham số hoặc đại lượng mà nó cố gắng ước tính Điều này có nghĩa là không có sự thiên vị trong dự đoán hoặc ước tính của nó Bộ ước lượng không thiên vị cho giá trị trung bình của tập dữ liệu là việc tính trung bình thực sự của tất cả các giá trị trong tập dữ liệu Điều này có nghĩa là nó không thêm bất kỳ giá trị cố định nào vào kết quả và có kỳ vọng là kết quả ước tính sẽ xấp xỉ giá trị trung bình thực sự của tập dữ liệu

𝑄(𝛥 𝑤 𝑖,𝑗 (𝑡)) là tham số Lượng tử hóa của 𝛥 𝑤 𝑖,𝑗 (𝑡) và 𝔼 có nghĩa là công cụ ước tính không thiên vị Để duy trì độ chính xác của mô hình tham số hóa, các tham số lượng tử hóa cần có các giá trị gần với tham số ban đầu:

𝔼[𝑄(𝛥 𝑤 𝑖,𝑗 (𝑡))] ≜ 𝛥 𝑤 𝑖,𝑗 (𝑡) Điều này có nghĩa rằng, để đảm bảo việc lượng tử hóa không gây ra lỗi thì giá trị sau khi lượng tử hóa phải xấp xỉ với giá trị ban đầu theo tính chất của Ước lượng không thiên vị Cũng theo phương pháp “Lỗi trung bình bình phương” (Mean Square Error - MSE), ta có:

Ta có thể hiểu đơn giản rằng, bình phương sai số trong quá trình Lượng tử hóa không được vượt quá giá trị của 𝐽 𝑖 2 (𝑡) Nếu vượt quá, mô hình tham số sẽ không tránh khỏi bị lỗi, điều này dẫn đến mô hình Lượng tử hóa sẽ không còn đảm bảo độ chính xác nữa.

Thời gian tính toán-truyền tải và Năng lượng tiêu hao

Mô hình Federated Learning đòi hỏi nhiều vòng lặp đào tạo liên tục, trong mỗi vòng lặp, các thiết bị đòi hỏi một nguồn năng lượng và thời gian nhất định để tính toán tham số Vấn đề trên sẽ được cụ thể hóa trong nội dung dưới đây

Như đã nói ở trên, trong mỗi vòng lặp toàn cầu 𝑡, máy chủ chia sẻ mô hình toàn cầu ở vòng lặp trước đó cho các thiết bị địa phương, các User sẽ tải xuống mô hình 𝑤(t − 1) Về cơ bản, ta có thể bỏ qua khoảng thời gian mà Server truyền mô hình cho các User, bởi lẽ công suất phát của máy chủ lớn hơn rất nhiều cho với công

Copies for internal use only in Phenikaa University suất phát của các máy cục bộ, do đó thời gian mà máy chủ truyền về các thiết bị địa phương này sẽ rất nhanh chóng, không đáng kể, vì vậy có thể bỏ qua Để trực quan hơn, giả sử rằng quá trình giao tiếp không có lỗi, tức là không phát sinh bất kì sự cố làm tắc nghẽn đường truyền nào, thì tổng thời gian trong một vòng lặp bao gồm: Thời gian tính toán và Độ trễ truyền tải

Hình 3.4: Tổng thời gian của một vòng lặp toàn cầu

Do dữ liệu cục bộ của mỗi vòng lặp toàn cầu là không đổi, do đó thời gian tính toán của các User tại mỗi vòng lặp là như nhau Gọi thời gian tính toán cho máy cục bộ là 𝑙 𝑖 𝑐 (Computation Lantency) Thời gian tính toán (bằng giây) của một thiết bị cục bộ phụ thuộc vào các thành phần của máy tính và số lượng vòng lặp SGD cục bộ:

𝑓 𝑖 trong đó: 𝜏 là số bước SGD tính toán của User 𝑖, 𝑓 𝑖 biểu thị tần số chu kỳ CPU của User, 𝐷 𝑖 biểu thị kích thước của minibatch dữ liệu (tính bằng bit) và 𝑐 𝑖 biểu thị số chu kỳ CPU mà User yêu cầu để xử lý một mẫu dữ liệu trong quá trình đào tạo mô hình cục bộ

Trong quá trình đào tạo dữ liệu cục bộ, User 𝑖 đều tiêu hao một mức độ năng lượng nhất định Năng lượng tiêu hao của User 𝑖 (tính bằng Jun) để đào tạo dữ liệu trong mỗi vòng lặp toàn cầu 𝑡 là:

Giả sử trong quá trình truyền tải, ta áp dụng quy tắc “Đa truy cập phân chia theo tần số”, hay FDMA (Frequency Division Multiple Access) Đây là một trong các kỹ thuật sử dụng trong viễn thông và mạng di động để cho phép nhiều thiết bị hoặc người dùng truy cập và sử dụng mạng cùng một lúc bằng cách chia sẻ tần số Dải tần số được sử dụng để truyền dữ liệu chia thành các băng tần con Mỗi băng tần con được gọi là một kênh Mỗi thiết bị hoặc người dùng được gán một kênh tần số cụ thể để truyền và nhận dữ liệu Khi một User muốn gửi hoặc nhận thông tin, User đó sẽ sử dụng kênh tần số đã được gán cho mình Các kênh tần số có thể hoạt động cùng một lúc và độc lập với nhau

Theo đó, qua FDMA, mỗi kênh tần số sẽ có một “Sức chứa” hay Channel

Capacity nhất định Đây là một độ đo cho biết khả năng truyền dữ liệu tối đa qua một kênh tần số cụ thể trong điều kiện xác định Channel Capacity của User thứ 𝑖 trong mỗi vòng lặp toàn cầu 𝑡 được biểu diễn bằng đơn vị bits per second (bps) như sau:

• 𝑊 𝑖 là băng thông được cấp cho User 𝑖 như đã nói ở trên

• 𝑃 𝑖 𝑡 là công suất truyền tải của User 𝑖 ở vòng lặp toàn cầu thứ 𝑡

• ℎ 𝑖 đại diện cho hệ số kênh đường lên giữa máy chủ và User 𝑖

• 𝑁 0 biểu thị mật độ phổ công suất (PSD) của nhiễu cộng

Theo định lý mã hóa kênh, nếu tốc độ truyền cao hơn dung lượng kênh thì sẽ xảy ra tình trạng mất đường truyền và máy chủ không giải mã được dữ liệu chính xác Để tải lên thành công các tham số huấn luyện với khoảng thời gian cụ thể, hay nói cách khác, để đảm bảo truyền hết dữ liệu trong một khoảng thời gian cho trước thì User 𝑖 phải đáp ứng điều kiện:

• 𝑆 𝑖 là kích thước của tham số đã được lượng tử hóa của User 𝑖

• 𝑙 𝑖 𝑢𝑝 là thời gian truyền tải của User 𝑖

Năng lượng truyền tải của User 𝑖 được tính theo công thức:

3.6.3 Tổng thời gian và Năng lượng tiêu thụ trong mỗi vòng lặp:

Các User 𝑖 cùng truyền tải dữ liệu đồng thời, do đó, độ trễ của một vòng lặp chính bằng tổng thời gian tính toán-truyền tải của User nào có giá trị lớn nhất Như vậy, trong mỗi vòng lặp toàn cầu, ta có tổng thời gian tính toán-truyền tải của User 𝑖 là:

Trên đây là toàn bộ quá trình hoạt động của một mô hình phân bổ tài nguyên Học liên kết Sang phần tiếp theo, tôi xin được phép mô tả chi tiết hơn về quá trình chuẩn bị dữ liệu cũng như thiết lập hệ thống thực nghiệm

TIẾN HÀNH THỰC NGHIỆM

Chuẩn bị dữ liệu

Dữ liệu được dùng trong đề tài là bộ dữ liệu MNIST (Modified National Institute of Standards and Technology) MNIST là một tập dữ liệu hình ảnh chứa các chữ số viết tay từ 0 đến 9 Mỗi hình ảnh có kích thước 28x28 điểm ảnh (pixel) và đã được chuẩn hóa để có độ tương phản tốt Số lượng dữ liệu: Tập dữ liệu MNIST bao gồm 60.000 hình ảnh cho việc huấn luyện và 10.000 hình ảnh cho việc kiểm tra Mục tiêu chính của tập dữ liệu MNIST là xây dựng các mô hình máy học có khả năng nhận dạng chính xác các chữ số viết tay từ hình ảnh.

Bài toán tối ưu

Mục tiêu chính của chủ đề là xác định số lượng Bit tối ưu để lượng tử hóa mô hình Học liên kết, thông qua đó nhằm bảo tiết kiệm dung lượng của bộ nhớ, giảm thiểu tổng thời gian hội tụ của nhiệm vụ FL, đồng thời duy trì độ chính xác ở mức cao nhất có thể có của mô hình toàn cầu

Thông qua công thức số, chúng ta dễ dàng nhận ra rằng: Việc tăng số bit lượng tử hóa 𝐵 𝑖 (𝑡) sẽ khiến cho sai số lượng tử giảm đi Tuy nhiên, chiến lược này làm tăng kích thước của các tham số mô hình lượng tử hóa cục bộ 𝑆 𝑖 (𝑡), dẫn đến độ trễ truyền tải gia tăng đáng kể Khi tính đến điều này, điều quan trọng là phải cân bằng giữa độ chính xác của mô hình và khả năng hội tụ nhanh Vì vậy, tôi xây dựng bài toán tối ưu hóa sau đây Ngoài ra, lưu ý rằng các bit lượng tử hóa là số nguyên dương Hơn nữa, chúng tôi nhấn mạnh rằng việc lựa chọn số bit 𝐵 𝑖 (𝑡) tăng lên sẽ dẫn đến độ chính xác của mô hình tốt hơn min 𝛿 𝑖 2 (𝑡)

Xây dựng vấn đề

Trong phần này, tôi sẽ khái quát hóa vấn đề tổng quan dưới dạng bài toán tối ưu hóa ngẫu nhiên với 〈𝒮, 𝒜, 𝒫, ℛ〉 trong đó bao gồm: Không gian trạng thái (State Space), không gian hành động (Action Space), hàm xác suất chuyển trạng thái (State Transition Probability Function) và hàm phần thưởng (Reward Function)

Không gian trạng thái là tập hợp tất cả các trạng thái có thể có trong một mô hình học tăng cường Trạng thái thường được biểu diễn bằng một vector hoặc một tập hợp các biến Trong một tình huống cụ thể, không gian trạng thái xác định các thông tin quan trọng mà mô hình cần biết để đưa ra các quyết định và hành động thích hợp

Trong bài toán Phân bổ tài nguyên Học liên kết, không gian trạng thái là sự kết hợp giữa không gian trạng thái của 𝑁 thiết bị di động và hệ thống băng thông được chia đều cho mỗi người dùng, được biểu thị bằng 𝒮 = Π 𝑖=1 𝑁 𝒮 𝑖 Trong đó Π là tích Descartes và 𝒮 𝑖 là không gian trạng thái của thiết bị di động 𝑖 Chúng được mô tả như sau:

• Băng thông 𝑊 𝑖 : Tổng băng thông sử dụng cho FL được phân bổ đều cho tất cả

• Năng lượng thu hoạch: Năng lượng thu được tại thiết bị IoT được biểu thị bằng phép nhân của hai biến - công suất phát của BS đường xuống và thời gian thu hoạch năng lượng của người dùng 𝑖

• Hiệu suất chuyển đổi năng lượng ξ: Giá trị này quyết định có bao nhiêu phần trăm năng lượng của BS sẽ chuyển hóa thành năng lượng pin cho User

Không gian hành động là tập hợp tất cả các hành động mà một tác nhân (agent) có thể thực hiện trong một trạng thái cụ thể Điều này định nghĩa các lựa chọn và khả năng ảnh hưởng của tác nhân đối với môi trường Không gian hành động có thể là rời

Copies for internal use only in Phenikaa University rạc (có số lượng hữu hạn các hành động) hoặc liên tục (có số lượng vô hạn các hành động)

Không gian hành động của hệ thống bao gồm:

• Tần số CPU 𝑓 𝑖 : Trong mỗi lần lặp, tần số chu kỳ CPU ảnh hưởng đáng kể đến thời gian tính toán dữ liệu của nó Tần số càng cao thì thời gian tính toán càng ngắn nhưng lại tiêu tốn nhiều năng lượng hơn Giá trị của 𝑓 𝑖 được điều chỉnh theo lựa chọn của người dùng

• Tổng thời gian vòng lặp 𝑙 𝑖 (𝑡): Tổng thời gian của mỗi vòng lặp toàn cầu của User 𝑖 được tính bằng tổng của thời gian tính toán và độ trễ truyền tải Thời gian của một vòng lặp được giới hạn ở một mức độ nhất định để hạn chế việc kéo dài không mong muốn

• Số bit lượng tử 𝐵 𝑖 (𝑡): Với các bit lượng tử hóa quá nhỏ thì hiệu suất bị suy giảm do lỗi lượng tử hóa lớn, trong khi bit có quá nhiều bit lượng tử hóa thì tốc độ hội tụ chậm Do đó, tài nguyên không dây và các bit lượng tử hóa cần được phân bổ cẩn thận

• Công suất phát cục bộ 𝑃 𝑖 𝑡 : Biểu thị khả năng truyền phát tín hiệu của User lên Băng thông, trong cùng một khoảng thời gian, giá trị của công suất phát của User 𝑖 không được vượt quá công suất thu hoạch năng lượng của chính nó, bảo đảm rằng thiết bị không bị hết pin dẫn tới mất kết nối

Hàm phần thưởng đo lường giá trị tức thời của việc thực hiện một hành động cụ thể trong một trạng thái cụ thể Nó đánh giá xem hành động đó có tích cực hay không, và mức độ tích cực hoặc tiêu cực của phần thưởng thường được sử dụng để hướng dẫn tác nhân trong việc học và tối ưu hóa chiến lược

Copies for internal use only in Phenikaa University Độ chính xác của mô hình học máy tỷ lệ thuận với dữ liệu được tích lũy từ thiết bị di động qua các lần lặp Mục tiêu của Ứng dụng Học tăng cường sâu để tối ưu hóa việc phân bổ tài nguyên trong hệ thống Học liên kết là giảm thiểu độ trễ đào tạo và mức tiêu thụ năng lượng Do đó, hàm thưởng phải tỷ lệ thuận với dữ liệu tích lũy và tỷ lệ nghịch với mức tiêu thụ năng lượng và độ trễ đào tạo Do đó, như chúng tôi đã đề cập trong bài viết, chức năng chính của hàm thưởng là giảm thiểu số bit Lượng tử hóa của từng User 𝑖 trong mỗi vòng lặp toàn cầu Hàm phần thưởng của mô hình được tính theo công thức:

ℛ = 𝜔 power (𝐸 𝑖 0 − 𝐸 𝑖 𝑐 − 𝑃 𝑖 𝑡 𝑙 𝑖 up ) + 𝜔 late (𝑙 𝑖 max (𝑡) − 𝑙 𝑖 (𝑡)) − 𝜔 error ( 𝛿 𝑖 2 (𝑡)

Trong đó 𝜔 power , 𝜔 late và 𝜔 error là các trọng số đối với từng phần thưởng liên quan Điều này nhằm điều chỉnh sự ưu tiên đối với từng phần thường của người dung hệ thống này Điều này hoàn toàn hợp lý vì trên thực tế người dùng có cách đánh giá hệ thống chủ quan vì có mối quan tâm với các vấn đề kết nối, xử lý và chi phí là khác nhau

Trong hàm này, ta có (𝐸 𝑖 0 − 𝐸 𝑖 𝑐 − 𝑃 𝑖 𝑡 𝑙 𝑖 up ) + 𝜔 late là năng lượng còn lại sau khi tiêu thụ và truyền tải nên giá trị này cần phải càng lớn càng tốt.

Lựa chọn thuật toán

Thuật toán Federated Averaging (FedAvg) là một thuật toán học máy phân tán được sử dụng trong lĩnh vực học máy và trí tuệ nhân tạo Nó là một phần quan trọng của lĩnh vực học máy phân tán (Federated Learning), trong đó các mô hình học máy được huấn luyện trên các thiết bị phân tán hoặc trên các nút có dữ liệu địa phương, mà không cần truyền toàn bộ dữ liệu đến một trung tâm trung tâm Giá trị của tham số sau khi được gửi về BS sẽ được tính trung bình

Algorithm 1: Fed Avg with uplink TO and QE

1 Khởi tạo mô hình toàn cầu bởi máy chủ

3 Máy chủ kết nối với hệ thống 𝑁 User

4 Máy chủ phát sóng mô hình toàn cầu 𝑤 𝑡−1 tới các User;

5 for máy khách 𝑖𝜖𝑁 do (song song)

8 Cập nhật mô hình cục bộ bằng SGD

10 Gửi cập nhật mô hình lượng tử hóa tới máy chủ;

12 Lặp lại cho tất cả User trong;

Bảng 4.1.Thuật toán Fed avg

Deep Q-Networks (DQN) là một thuật toán học tăng cường (Reinforcement Learning) sử dụng mạng nơ-ron sâu để ước tính và cải thiện hàm giá trị hành động (action-value function) trong một môi trường tương tác

Thuật toán Deep Q-Learning (DQL) sử dụng mạng thần kinh sâu (DNN) thay vì bảng

𝒬 để xấp xỉ giá trị 𝒬 ∗ (𝑠, 𝑎) Tuy nhiên, hiệu suất của học tăng cường có thể không ổn định hoặc thậm chí khác nhau khi sử dụng xấp xỉ hàm phi tuyến Điều này bắt nguồn từ việc một thay đổi nhỏ trong giá trị 𝒬 có thể ảnh hưởng lớn đến chính sách

Do đó, việc phân phối dữ liệu và mối tương quan giữa các giá trị 𝒬 và giá trị đích

𝑅 + 𝛾 max 𝑎 𝒬(𝑠, 𝑎) rất đa dạng Để giải quyết vấn đề này, chúng tôi sử dụng hai cơ chế: trải nghiệm lặp lại và nhắm mục tiêu mạng 𝒬 như sau:

• Cơ chế lưu trữ trạng thái trải nghiệm: Thuật toán triển khai một bộ nhớ tái trải nghiệm 𝓓, còn được gọi là bể nhớ, để lưu trữ các chuyển tiếp 𝑒 (𝑠 𝑡 , 𝑎 𝑡 , 𝑟 𝑡 , 𝑠 𝑡+1 ) thay vì chạy trên các cặp trạng thái-hành động khi chúng xảy ra trong quá trình trải nghiệm Sau đó, thuật toán ngẫu nhiên chọn mẫu, còn được gọi là các mini-batch, từ 𝓓 để huấn luyện DNN Các giá trị 𝓠 thu được bởi DNN đã được huấn luyện sẽ được sử dụng để tạo ra các trải nghiệm mới, tức là các chuyển tiếp, và những trải nghiệm này sẽ được lưu trữ trong bể nhớ

𝓓 Bằng cách sử dụng cả các trải nghiệm cũ và mới, kỹ thuật này cho phép DNN được huấn luyện hiệu quả hơn Hơn nữa, bằng cách sử dụng tái trải nghiệm kinh nghiệm, các chuyển tiếp trở nên độc lập và phân phối đồng nhất hơn, từ đó các tương quan giữa các quan sát có thể được loại bỏ

• Mạng 𝓠 cố định: Giá trị 𝓠 sẽ thay đổi trong quá trình huấn luyện Kết quả là, các ước lượng giá trị có thể bất ổn nếu sử dụng một tập hợp giá trị không ngừng thay đổi để cập nhật mạng Q chính, dẫn đến sự không ổn định của thuật toán Để khắc phục vấn đề này, thuật toán học 𝓠 sâu triển khai một mạng 𝓠 mục tiêu để cập nhật thường xuyên nhưng chậm dần đến mạng 𝓠 chính Bằng cách này, sự tương quan giữa các giá trị 𝓠 mục tiêu và ước lượng được giảm đáng kể, từ đó ổn định hóa thuật toán

1 Khởi tạo khởi tạo bộ nhớ lưu trữ kinh nghiệm 𝓓

2 Khởi tạo: khởi tạo mạng 𝓠 với trọng số ngẫu nhiên 𝜃

3 for Số vòng học = 1 đến 𝑀 do

5 Xem xét trạng thái 𝑠 𝑡 , với xác suất 𝜀 chọn hành động ngẫu nhiên 𝑎 𝑡

6 Thực thi hành động 𝑎 𝑡 và quan sát phần thưởng 𝑟 𝑡 và trạng thái tiếp theo

8 Lưu trữ chuyển tiếp 𝑒 = (𝑠 𝑡 , 𝑎 𝑡 , 𝑟 𝑡 , 𝑠 𝑡+1 ) trong 𝓓

9 Chọn 𝑁 𝑏 kinh nghiệm ngẫu nhiên 𝑒 = (𝑠 𝑡 , 𝑎 𝑡 , 𝑟 𝑡 , 𝑠 𝑡+1 ) từ bộ nhớ 𝓓

12 Thực hiện bước giảm gradient trên (𝛾 − 𝒬(𝑠 𝑖 , 𝑎 𝑖 |𝜃 − )) 2 đối với các tham số mạng 𝜃

Hình 4.1: Sơ đồ khối thuật toán DQN cho Mô hình FL

Thiết lập tham số

Bảng 4.3: Thiết lập các tham số cho mô hình Học liên kết

Mô phỏng và đánh giá

Hình 4.2: So sánh độ hội tụ khi sử dụng số Bit lượng tử hóa phù hợp qua các vòng lặp

Hình 4.3: So sánh sai số lượng tử hóa khi sử dụng số Bit qua các vòng lặp

Thông qua 2 biểu đồ về quá trình hội tụ và sai số lượng tử hóa, chúng ta dễ dàng nhận ra rằng: Việc tăng số bit lượng tử hóa 𝐵 𝑖 (𝑡) sẽ khiến cho sai số lượng tử giảm đi Tuy nhiên, chiến lược này làm tăng kích thước của các tham số mô hình lượng tử hóa cục bộ 𝑆 𝑖 (𝑡), dẫn đến độ trễ truyền tải gia tăng đáng kể

Trong khi việc sử dụng số bit lượng tử hóa 𝐵 𝑖 (𝑡) nhỏ khiến cho sai số của mô hình càng lớn, dẫn đến việc mô hình không còn chính xác như ban đầu Vì vậy tùy vào giá trị của tham số để tìm ra số lượng bit lượng tử hóa 𝐵 𝑖 (𝑡) phù hợp với mô hình Khi tính đến điều này, điều quan trọng là phải cân bằng giữa độ chính xác của mô hình và khả năng hội tụ nhanh

Tiêu đề	Ứng dụng học tăng cường sâu cho tối ưu phân bổ tài nguyên trong hệ thống học liên kết
Tác giả	Cao Đức Vũ
Người hướng dẫn	TS Nguyễn Công Lượng
Trường học	Trường Đại học Phenikaa
Chuyên ngành	Công nghệ thông tin
Thể loại	Đồ án tốt nghiệp
Năm xuất bản	2023
Thành phố	Hà Nội

Định dạng
Số trang	74
Dung lượng	1,23 MB