Đề tài phân công nhiệm vụ và phân bổ tài nguyên cho vfc sử dụng thuật toán pso dựa trên reinforcement learning

Một mối quan tâm quan trọng khác trong việc phân phối nhiệm vụ tính toán trên các tài nguyên phương tiện là đảm bảo thời gian hoàn thành/dịch vụ có độ trễ giới hạn cho các ứng dụng tiên

ĐẠI HỌC BÁCH KHOA HÀ NỘI

TRƯỜNG ĐIỆN - ĐIỆN TỬ

ĐỒ ÁN THIẾT KẾ 1

Đề tài:

Phân công nhiệm vụ và phân bổ tài nguyên cho VFC sử dụng thuật toán PSO dựa trên Reinforcement Learning

Sinh viên thự hiện: Nguyễn Nam Phong – 20214038

Lớp Điện tử 02 – K66

Giảng viên hướng dẫn: TS Phùng Thị Kiều Hà

Hà Nội, 7/ 2024

MỤC LỤC

CHƯƠNG 1 TỔNG QUAN ĐỀ TÀI 5

1.1 Giới thiệu 5

1.2 Thách thức và hướng nghiên cứu 5

1.3 Mục tiêu của đồ án 6

CHƯƠNG 2 TỔNG QUAN VỀ NỀN TẢNG TÍNH TOÁN FOG 7

2.1 Tính toán FOG trên xe (VFC) 7

2.2 Tính toán biên di động (MEC) 7

2.3 Mở rộng MEC và hướng đi mới 7

CHƯƠNG 3 THUẬT TOÁN PSO TRONG PHÂN CÔNG NHIỆM VỤ VÀ PHÂN PHỐI NGUỒN LỰC CHO VFC 9

3.1 Mô hình hệ thống 9

3.2 Mô hình thời gian phản hồi dịch vụ 9

3.3 Thuật toán phân bố tài nguyên đa mục tiêu dựa trên tối ưu hóa bầy đàn 10

3.3.1 PSO (Particle Swarm Optimization) 10

3.3.2 Ứng dụng Reforcement Learning 11

CHƯƠNG 4 ỨNG DỤNG THUẬT TOÁN PSO VÀO BÀI TOÁN PHÂN CHIA CÔNG VIỆC 13

4.1 Mục đích và mô tả 13

4.2 Thuật toán PSO 13

4.2.1 Thư viện 13

4.2.2 Thiết lập các hạt 13

4.2.3 Thiết lập thuật toán PSO 14

4.2.4 Thiết lập bài toán 15

4.2.5 Kết quả chạy thử 16

LỜI CẢM ƠN

Trong thời gian làm đồ án thiết kế I, em có thêm nhiều kiến thức bổ ích, được vận dụng kiến thức trên lớp vào bài toán thực tế, tích lũy thêm nhiều kinh nghiệm Mặc

dù chưa sát với thực tế nhưng đồ án thiết kế I này đã phần nào củng cố bổ sung kiến thức

và là bước đệm giúp chúng em tự tin hơn trong hành trình học tập của mình

Em xin gửi lời cảm ơn chân thành đến cô Phùng Thị Kiều Hà - giảng viên hướng dẫn đồ án I Cô đã tận tình hướng dẫn, chỉ bảo chúng em trong suốt quá trình làm đồ án Chúng em kính chúc cô thật nhiều sức khỏe và ngày càng thành công trên con đường sự nghiệp của mình!

Em cũng xin chân thành cảm ơn các anh chị trong Lab đã tận tình hướng dẫn, giải đáp thắc mắc và chia sẻ nhiều kiến thức bổ ích cho chúng em Cuối cùng, chúng em xin chân thành cảm ơn gia đình và bạn bè, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên chúng em trong suốt quá trình học tập và hoàn thành đồ án thiết kế I

Với điều kiện thời gian cũng như kinh nghiệm, kiến thức còn hạn chế, đồ án này không thể tránh được những thiếu sót Em rất mong nhận được sự chỉ bảo, đóng góp ý kiến của các thầy cô để chúng em có thể bổ sung, hoàn thiện hơn trong tương lai

Em xin chân thành cảm ơn!

5

CHƯƠNG 1 TỔNG QUAN ĐỀ TÀI

1.1 Giới thiệu

Với sự xuất hiện của tính toán Fog/Edge trong mạng lưới phương tiện giao thông (IoV), mô hình tính toán Fog/Edge trên xe (VFC/VEC) đã ra đời VFC tận dụng các tài nguyên tính toán trong các thiết bị Fog như các máy chủ biên cố định và các nút phương tiện di động Từ góc độ đầu tư cơ sở hạ tầng, việc đảm bảo chất lượng dịch vụ (QoS) thông qua sức mạnh tính toán tại các cổng và máy chủ biên gắn tại các trạm cơ sở di động cố định (BTSs) không phải lúc nào cũng hiệu quả về chi phí do sự biến động về yêu cầu dịch

vụ theo thời gian và không gian Thay vào đó, các dịch vụ tự phục vụ do người dùng đồng thời cung cấp có thể là một giải pháp hiệu quả Trong giờ cao điểm, nhu cầu dịch vụ và khả năng cung cấp tài nguyên tính toán đều cao, trong khi vào ban đêm, cả hai đều thấp

Do đó, việc khám phá và tận dụng các đơn vị tính toán có sẵn trên các phương tiện đang di chuyển sẽ giúp cân bằng giữa chi phí triển khai và chất lượng dịch vụ

1.2 Thách thức và hướng nghiên cứu

Thách thức đặt ra là làm thế nào để tổ chức việc chia sẻ nhiệm vụ tính toán trên các tài nguyên tính toán phân tán trong các phương tiện kết nối, không chỉ đơn thuần là

chuyển giao nhiệm vụ đến các máy chủ ở biên như trong tính toán biên di động (MEC) Các phương pháp đã biết trong việc chuyển giao nhiệm vụ đến các máy chủ MEC xem xét thông tin của mạng truy cập vô tuyến (RAN) không phù hợp cho kịch bản mới này

Nghiên cứu gần đây trong VFC đã theo hai hướng chính: một hướng tập trung vào kiến trúc nền tảng VFC, điều tra và đề xuất kiến trúc và triển khai liên quan đến điều phối

hệ thống Hướng khác tập trung vào phân phối nhiệm vụ tính toán trên các phương tiện kết nối

Đặc điểm di chuyển nhanh của các phương tiện kết nối làm cho sự ổn định và độ tin cậy của thông tin liên lạc trở nên rất thách thức Các nút tính toán trên phương tiện có thể tham gia hoặc rời khỏi mạng tùy ý và có thể chịu sự thay đổi về chất lượng thông tin liên lạc về băng thông và độ tin cậy Điều này có thể tạo ra "hố đen tức thì" trong khả năng cung cấp tài nguyên, làm cho việc đảm bảo QoS trở nên khó khăn Do đó, tính linh hoạt và khả năng thích ứng trong kiến trúc nền tảng VFC và các phương án phân bổ tài nguyên là vô cùng quan trọng Một mối quan tâm quan trọng khác trong việc phân phối nhiệm vụ tính toán trên các tài nguyên phương tiện là đảm bảo thời gian hoàn thành/dịch

vụ có độ trễ giới hạn cho các ứng dụng tiên tiến hợp tác, tiêu tốn thời gian và tính toán cao, như xử lý hình ảnh/video cho lái xe tự động, tạo đoàn phương tiện, v.v Ngoài ra, cần đảm bảo tính liên tục của dịch vụ tính toán trong quá trình di chuyển của nguồn dữ liệu và/hoặc tài nguyên tính toán

1.3 Mục tiêu của đồ án

Đề xuất một phương án phân bổ tài nguyên trong VFC nhằm tối thiểu hóa thời gian phản hồi dịch vụ dưới các ràng buộc của tài nguyên phương tiện, băng thông thông tin liên lạc hạ tầng và đặc điểm di động của phương tiện Chúng tôi xây dựng mô hình và thiết kế hai thuật toán heuristic dựa trên tối ưu hóa bầy đàn hạt và học tăng cường để giải quyết bài toán tối ưu không lồi này Các thuật toán này được đánh giá qua các chương trình mô phỏng, cho thấy khả năng tối ưu hóa tài nguyên chia sẻ nhằm tối đa hóa việc sử dụng tài nguyên phương tiện đồng thời giữ cho độ trễ phản hồi dịch vụ của nhiều dịch vụ ở mức giới hạn

Mô phỏng các kịch bản triển khai mạng lưới phương tiện trong các khu vực đô thị

và đường cao tốc Kết quả cho thấy kiến trúc đề xuất kết hợp với các thuật toán phân bổ nhiệm vụ được đề xuất là những ứng viên tiềm năng Chúng có thể đảm bảo tính liên tục của dịch vụ và độ trễ giới hạn của phản hồi dịch vụ với sự hỗ trợ của các máy chủ biên khi tải lượng giao thông rất cao

7

CHƯƠNG 2 TỔNG QUAN VỀ NỀN TẢNG TÍNH TOÁN FOG

2.1 Tính toán FOG trên xe (VFC)

Tính toán biên và fog đã được nghiên cứu để giải quyết các vấn đề như độ trễ lớn, kết nối không ổn định và tắc nghẽn mạng so với các phương pháp truyền thống dựa trên tính toán đám mây Fog Computing (FC) là một nền tảng ảo hóa cao, nằm giữa các thiết bị cuối và các trung tâm dữ liệu tính toán đám mây truyền thống, thường đặt ở vị trí biên của mạng Ban đầu, Open Fog Consortium (2015) đề xuất một kiến trúc hệ thống theo chiều ngang, phân phối các chức năng tính toán, lưu trữ, kiểm soát và mạng lưới gần người dùng dọc theo một dãy từ đám mây đến các thiết bị

2.2 Tính toán biên di động (MEC)

Trong hành trình tiến hóa của mạng 5G, tính toán biên di động (MEC) nhằm tới một môi trường tính toán phân tán để lưu trữ ứng dụng và dịch vụ bằng cách kết hợp các yếu

tố công nghệ thông tin và mạng viễn thông Trong đó, máy chủ ứng dụng MEC tích hợp tại phần tử Mạng Truy cập Vô tuyến (RAN) cung cấp các tài nguyên tính toán, khả năng lưu trữ, kết nối và đặc biệt là truy cập thông tin RAN Việc chuyển giao các nhiệm vụ ứng dụng di động từ người dùng di động tới các máy chủ MEC biên sẽ cân nhắc việc sử dụng tối ưu các kênh vật lý không dây, công suất truyền dẫn và phân bổ băng thông của mạng 5G Tiếp cận thông tin RAN theo thời gian thực và khả năng lưu trữ, xử lý nội dung gần người dùng di động sẽ mang lại thời gian phản hồi nhanh hơn

2.3 Mở rộng MEC và hướng đi mới

Gần đây, MEC đã được mở rộng thành tính toán biên đa truy cập, bao gồm nhiều công nghệ vận chuyển như mạng di động 5G/6G, Giao tiếp Ngắn hạn Chuyên dụng

(DSRC), Wifi6 và LPWAN Điều này tạo thành các mạng biên bao gồm trạm cơ sở RAN LTE-5G-6G, RSU DSRC, điểm truy cập Wifi6, cổng Zigbee hoặc LoRa Sự mở rộng này của MEC cho thấy sự hội tụ với định nghĩa ban đầu của Tính toán Fog, lớp fog/biên không chỉ bao gồm các máy chủ MEC mà còn bao gồm các tài nguyên tính toán và truyền dẫn trên phương tiện Đa dạng hóa của dữ liệu và tài nguyên tính toán cũng như mạng lưới truyền thông làm cho vấn đề chuyển giao nhiệm vụ và điều phối nhiệm vụ trong Tính toán Fog/Edge Trên Xe trở nên phức tạp hơn

2.4 Ứng dụng tính toán Fog trên xe

Các nghiên cứu gần đây đã đề xuất các mô hình và giải pháp để áp dụng Tính toán Fog Trên Xe vào các lĩnh vực cụ thể như mạng thông minh, quản lý giao thông, học máy phân tán và các dịch vụ dựa trên trí tuệ nhân tạo Việc áp dụng này nhằm tối ưu hóa khả

năng tính toán và tài nguyên mạng cho các ứng dụng yêu cầu sự ổn định và tính thời gian thực cao

9

CHƯƠNG 3 THUẬT TOÁN PSO TRONG PHÂN CÔNG NHIỆM VỤ VÀ

PHÂN PHỐI NGUỒN LỰC CHO VFC

3.1 Mô hình hệ thống

Hệ thống VFC (Vehicular Fog Computing) dùng để quản lý và phân phối tài nguyên tính toán trong môi trường xe di động Khi có cuộc gọi dịch vụ, các nút quản lý sương mù

sẽ đề xuất phục vụ yêu cầu bằng cách sử dụng tài nguyên trên các nút làm việc sương mù tạm thời trước khi gọi đến các tài nguyên khác Mục tiêu chính của các ứng dụng tiên tiến

là đáp ứng thời gian phản hồi dịch vụ yêu cầu và duy trì tính liên tục của các cuộc gọi dịch

vụ

Khi tham gia dịch vụ tính toán, một nút phương tiện cam kết và dự trữ khả năng tính toán của mình theo Thỏa thuận Dịch vụ (SOA) với các nhà cung cấp dịch vụ Tuy nhiên, một nút phương tiện có thể nhận nhiều yêu cầu công việc tính toán, do đó, việc phân bổ tài nguyên để đảm bảo chất lượng dịch vụ cho nhiều yêu cầu là rất phức tạp Với tính chất thay đổi theo thời gian của các tài nguyên tính toán khả dụng, ta chia thời gian thành các khe thời gian và đưa ra quyết định phân công nhiệm vụ trong mỗi khe thời gian Quyết định này thích ứng với các yêu cầu mới đến và các tài nguyên hiện có, thông tin cập nhật

về vị trí, tốc độ và xu hướng di chuyển của phương tiện

Một số định nghĩa:

+ Data node: chứa hoặc tạo ra dữ liệu + Worker node: đóng góp bằng tài nguyên của nó + User node: dùng để gọi một dịch vụ ứng dụng cụ thể và xử lý dữ liệu trên mạng + Service call: xử lý dữ liệu cho một ứng dụng cụ thể

+ Time slot: khoảng thời gian ngắn nhất để phản hồi dịch vụ Tập hợp các nút công nhân có thể sử dụng giao diện di động để cập nhật trạng thái của mình tới nút quản lý và sử dụng giao diện DSRC hoặc D2D 5G để chuyển tiếp dữ liệu công việc yêu cầu giữa các nút công nhân Điều này giúp tránh nhiều sự chuyển tiếp dữ liệu bởi nút quản lý gây ra độ trễ truyền tải cao và tách luồng dữ liệu khỏi luồng thông tin kiểm soát

3.2 Mô hình thời gian phản hồi dịch vụ

Trong một khe thời gian, một yêu cầu dữ liệu dịch vụ từ nút dữ liệu a l_aà một nhiệm vụ tổng hợp, được định nghĩa là xử lý một gói dữ liệu, ký hiệu là Wa Gói dữ liệu này có thể được chia thành các phần nhỏ hơn, một tập hợp các nhiệm vụ con, để được xử

lý bởi một tập hợp các nút công nhân W Na Các nút công nhân này thuộc tập hợp đang được quản lý bởi nút quản lý M Các nút công nhân này sẽ gửi kết quả của các nhiệm vụ con đã được xử lý cho nút quản lý M để tổng hợp Kết quả tổng hợp được trả về cho nút

yêu cầu ban đầu a cũng như các nút khác yêu cầu cùng dịch vụ (ví dụ, nhiều nút trong một đoàn xe)

Mối quan tâm chính là thời gian phản hồi dịch vụ của yêu cầu dữ liệu từ nút dữ liệu

a, gọi là t_serv_a, sẽ nằm trong mật độ trễ giới hạn

Thời gian phản hồi dịch vụ phụ thuộc vào thời gian hoàn thành nhiệm vụ con tại mỗi nút công nhân w_ni, có công thức như sau:

+ t_serv : thời gian đáp ứng dịch vụ của yêu cầu dữ liệu từ node a

+ d_t: thời gian hoàn thành nhiệm vụ phụ tại mỗi nút

3.3 Thuật toán phân bố tài nguyên đa mục tiêu dựa trên tối ưu hóa bầy đàn

3.3.1 PSO (Particle Swarm Optimization)

Thuật toán PSO đa mục tiêu được đề xuất với sự truyền cảm từ hành vi của bầy đàn trong tự nhiên như chim và cá PSO được chọn vì tốc độ tính toán, sự linh hoạt và khả năng xử lý các biến "thực" như phân vùng khối lượng công việc trong bài toán đề xuất

Mỗi yêu cầu dữ liệu được coi là một loài trong đàn , với mỗi loài được gắn với một hàm mục tiêu cụ thể liên quan đến thời gian phản hồi dịch vụ Mỗi loài của đàn hồi có Np hạt và hàm mục tiêu tương ứng của yêu cầu xác định các hàm thích ứng cục bộ để đánh giá các hạt của loài đó

Mỗi loài của đàn hồi có Np hạt và hàm mục tiêu tương ứng của yêu cầu xác định các hàm thích ứng cục bộ để đánh giá các hạt của loài đó Mỗi loài có một hạt cục bộ tốt nhất hiện tại Hạt tốt nhất toàn cục cho toàn bộ đàn được đánh giá bằng quy tắc tính tới tất

cả các mục tiêu của tất cả các loài

Trong PSO truyền thống, mỗi hạt tìm kiếm vị trí tối ưu một cách ngẫu nhiên và độc lập Tại mỗi bước, đường tìm kiếm được định hướng bởi vị trí của hạt tốt nhất cục bộ và

vị trí của hạt tốt nhất toàn cục Vị trí của hạt tốt nhất toàn cục được chọn trong số các đường tìm kiếm của một bầy hạt Dần dần, vị trí tối ưu sẽ xuất hiện khi đường tìm kiếm của bầy hạt hội tụ Trọng số của các cập nhật dựa trên cục bộ và trọng số của các cập nhật dựa trên toàn cục được gọi là kinh nghiệm cá nhân và hệ số xã hội tương ứng

11

Ta định nghĩa băng thông tổng hợp được cung cấp bởi các tài nguyên xe cho một yêu cầu a là tỷ lệ của khối lượng công việc yêu cầu Wa trên thời gian phản hồi dịch vụ hiện tại:

Do các tài nguyên xe được chia sẻ, để đạt được hiệu quả sử dụng tài nguyên cao và chia sẻ công bằng giữa nhau, trình tối ưu hóa nhiệm vụ không nên cho phép sử dụng ưu tiên chỉ cho một yêu cầu tính toán Hàm thể lực được đề xuất là tổng băng thông tổng hợp được cung cấp bởi các tài nguyên xe cho tất cả các yêu cầu ưu tiên cao:

Trong đó A* là tập hợp các yêu cầu ưu tiên cao Tối đa hóa tài nguyên được phân

bổ để phục vụ các yêu cầu ưu tiên cao là thuận lợi do thỏa thuận đảm bảo QoS của họ Hạt tốt nhất toàn cầu là để đạt được tổng băng thông tổng hợp tối đa

Các quy tắc cập nhật truyền thống của PSO được áp dụng, trong đó vận tốc định hướng được xác định như sau:

Các bước thiết lập thuật toán PSO:

1 Khởi tạo các hạt Np cho từng loài

thức (1)

4 Chọn các hạt tốt nhất cho toàn đàn theo quy tắc trong Công thức (5)

5 Cập nhật mọi hạt theo quy tắc trong phương trình (6)

6 Lặp lại bước 2 cho đến khi hội tụ hoặc số lần lặp đạt đến giới hạn thiết lập

3.3.2 Ứng dụng Reforcement Learning

Thuật toán được đề xuất là một thuật toán dựa trên học tăng cường (RL) để giải quyết vấn đề phân bổ tài nguyên của nhiều yêu cầu Trong thuật toán, sự lựa chọn hành

động dựa trên trạng thái hiện tại và reward ngay lập tức nhận được từ hành động vừa thực

hiện Reward này được tính bằng sự thay đổi trong thời gian phản hồi dịch vụ của yêu cầu

trước và sau khi thực hiện hành động, nếu phần thưởng lớn hơn không, hành động được

coi là tốt, ngược lại là xấu Sau một hành động xấu, hành động tiếp theo sẽ là di chuyển

trở lại trạng thái trước đó

Do đó, phân bổ nhiệm vụ hoặc phân bổ tài nguyên có thể được diễn đạt trong khuôn khổ của RL như sau:

+ Một agent: một nút dữ liệu học hỏi về khả năng gửi khối lượng công việc yêu cầu sao

cho thời gian phản hồi dịch vụ được tối thiểu hóa

+ Một hành động: một động thái sử dụng các khối thời gian của nút i thay vì các khối thời

gian của nút j để xử lý nhiệm vụ được yêu cầu của nút dữ liệu a

+ Một trạng thái được định nghĩa bởi các phân vùng cụ thể pa→i xác định khối lượng

công việc dữ liệu cần xử lý bởi mỗi nút trong tập hợp các nút công nhân tiềm năng

+ Môi trường là toàn bộ các nút công nhân và sự sắp xếp của chúng cho tất cả các khối lượng

công việc dữ liệu được gửi bởi nhiều yêu cầu

Chúng tôi đề xuất thuật toán dựa trên RL được trình bày trong Bảng 2 Chính sách lựa chọn hành động ở bước 5 sẽ dựa trên trạng thái hiện tại và phần thưởng ngay lập tức

thu được từ hành động vừa thực hiện, như được trình bày trong phương trình sau:

Thuật toán được triển khai theo các bước sau:

1 Khởi tạo các tham số cho mỗi nút làm việc

2 Thực hiện một hành động, có thể là di chuyển từ một nút làm việc này sang một nút

khác

3 Tính toán thời gian phản hồi dịch vụ cho mỗi yêu cầu sau mỗi lần lặp

4 Xác định Reward nhận được từ hành động vừa thực hiện

5 Dựa trên chính sách được xác định trước, chọn hành động tiếp theo

6 Tăng số lần lặp và lặp lại quá trình cho đến khi hội tụ hoặc đạt đến giới hạn số lần lặp

đã đặt trước