Phương php đ xut Bài toán dự báo lượng tài nguyên cần cung cấp trong tương lai cho các dch vụ điện toán đám mây đã có nhiều cách giải quyết và sử dụng mạng nơ-ron là một trong số đó.
Đt vn đ
Điện toán đám mây đã trở thành giải pháp lý tưởng cho các nhu cầu tính toán hiện đại, mang lại nhiều lợi ích như khả năng cung cấp tài nguyên ảo hóa nhanh chóng và linh hoạt Tuy nhiên, các nhà cung cấp dịch vụ điện toán đám mây thường gặp phải vấn đề về tốc độ cung cấp tài nguyên, đặc biệt trong những tình huống khẩn cấp Việc xác định thời điểm cần bổ sung tài nguyên không chính xác dẫn đến lãng phí và giảm chất lượng dịch vụ, từ đó làm tăng chi phí cho cả người dùng và nhà cung cấp.
Nhiều nhà nghiên cứu và phát triển đã đầu tư vào phương pháp co giãn tài nguyên mới cho điện toán đám mây, bao gồm việc xây dựng mô hình dự đoán tài nguyên sử dụng trong tương lai để tự động điều chỉnh tài nguyên Mặc dù phương pháp này hứa hẹn nhiều tiềm năng, nhưng thực tế cho thấy ngưỡng được sử dụng rộng rãi hơn do yêu cầu độ chính xác cao trong việc dự đoán tài nguyên Yếu tố này là quan trọng nhất trong việc mở rộng tài nguyên tự động trong môi trường phân tán.
Việc tìm ra mô hình dự báo có độ chính xác cao kết hợp với hệ thống tự động mở rộng tài nguyên điện toán đám mây là rất cần thiết Nhiều mô hình dự báo điện toán đám mây đã được đề xuất, như mô hình LSTM-RNN sử dụng dữ liệu lượng yêu cầu gửi đến máy chủ NASA, hay mô hình mạng nơ-ron nhiều tầng để dự đoán năng lượng bức xạ mặt trời với bộ dữ liệu ở San Jose, California từ 2005 đến 2010.
Mục tiêu của luận văn này là so sánh và đánh giá các mô hình dự đoán cho bài toán co giãn tài nguyên, nhằm tìm ra mô hình dự báo hiệu quả nhất để áp dụng cho hệ thống co giãn tài nguyên trong môi trường phân tán.
Luận văn này so sánh và đánh giá hai loại mạng nơ-ron trong việc xử lý dữ liệu chuỗi thời gian, bao gồm mạng học sâu với mạng bộ nhớ dài ngắn (LSTM) và mạng nơ-ron bậc cao, cụ thể là mạng nơ-ron liên kết chức năng (FLNN).
Các kết quả thực nghiệm từ các tập dữ liệu tài nguyên thu thập từ Google Cluster cho thấy mô hình mạng bộ nhớ dài ngắn (LSTM) đạt hiệu quả tốt hơn.
Tuy nhiên, thời gian chạy thử nghiệm để ra kết quả lại lâu hơn so với mô hình mạng nơ-ron liên kết chức năng – FLNN.
Phương php đ xut
Bài toán dự báo lượng tài nguyên cho dịch vụ điện toán đám mây đã được giải quyết bằng nhiều phương pháp, trong đó mạng nơ-ron là một lựa chọn hiệu quả Luận văn này áp dụng mạng bộ nhớ dài ngắn (LSTM) và mạng nơ-ron liên kết chức năng, một cấu trúc đơn giản nhưng hiệu quả, đã được sử dụng rộng rãi trong các bài toán phân loại và hệ thống nhận dạng, bao gồm cả dự đoán tài nguyên.
Trong bài viết này, chúng tôi đề xuất một mô hình hệ thống cho quá trình huấn luyện và dự đoán, bao gồm bốn mô đun chính: thu thập và lưu trữ dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình, và dự đoán Ba mô đun đầu tiên hỗ trợ quá trình huấn luyện mô hình, trong khi mô đun cuối cùng sử dụng mô hình đã được huấn luyện để thực hiện các dự đoán chính xác.
Mô đun đầu tiên thu thập và lưu trữ dữ liệu là mô đun thu thập chuỗi dữ liệu lch sử cần thiết cho bài toán.
Mô đun tiền xử lý có vai trò quan trọng trong việc xử lý dữ liệu thô, chuyển đổi dữ liệu về miền [0, 1] nhằm tối ưu hóa quá trình huấn luyện Bên cạnh đó, nó còn áp dụng các kỹ thuật chuyển đổi dữ liệu chuỗi thời gian thành định dạng học có giám sát, giúp phù hợp với mô hình mạng nơ-ron.
Mô đun thứ 3 được sử dụng để huấn luyện mạng nơ-ron nhằm xác định tập trọng số tối ưu Sau khi quá trình huấn luyện hoàn tất, tập trọng số của mạng sẽ được lưu trữ để hỗ trợ cho các dự đoán trong tương lai.
Mô đun dự đoán là phần cuối cùng của hệ thống, sử dụng mô hình đã được huấn luyện kết hợp với dữ liệu hiện tại để dự đoán mức sử dụng tài nguyên trong tương lai.
Mô hình hệ thống đã được thử nghiệm để đánh giá hiệu suất dự đoán Dữ liệu được sử dụng trong thử nghiệm là thông tin thu thập từ Google vào năm 2011, nhằm so sánh hiệu năng của mô hình.
B cc lun văn
Sau đây là bố cục luận văn:
Chương 1: s giới thiệu các nghiên cứu liên quan
Chương 2: s mô tả chi tiết bài toán, xây dựng hệ thống kết hợp với các phương pháp đề xuất để giải quyết bài toán
Chương 3 trình bày quá trình thực hiện thử nghiệm mô hình hệ thống đã đề xuất Đầu tiên, chúng tôi cung cấp dữ liệu thử nghiệm, mô trường thực nghiệm, các chỉ số đánh giá và công nghệ áp dụng Tiếp theo, chúng tôi tiến hành so sánh và đánh giá kết quả giữa các mô hình khác nhau.
Kết luận: đưa ra kết luận những kết quả đạt được trong luận văn và đnh hướng phát triển cho bài toán.
TNG QUAN CÁC NGHIÊN CU
Tng quan v đin ton đm mây
Điện toán đám mây (Cloud Computing) là mô hình sử dụng công nghệ mạng máy tính dựa trên Internet, cho phép các máy tính hoạt động cùng nhau như một hệ thống thống nhất Trong những năm gần đây, nó đã cách mạng hóa ngành công nghiệp máy tính, thay đổi cách thức sử dụng tài nguyên, vận hành và lưu trữ thông tin Dịch vụ điện toán đám mây cung cấp khả năng truy cập vào công nghệ mà không cần kiến thức chuyên môn, giúp người dùng dễ dàng tiếp cận mà không lo lắng về cơ sở hạ tầng Tính linh hoạt của điện toán đám mây cho phép phân phối tài nguyên theo yêu cầu, giúp đơn giản hóa quy trình triển khai ứng dụng mà không cần đầu tư vào máy chủ Các lợi ích nổi bật bao gồm cung cấp tài nguyên tức thời, tăng tốc độ xử lý, giảm chi phí, mở rộng linh hoạt, tiếp cận từ xa, bảo mật tích hợp, và dễ dàng cài đặt cũng như bảo trì tài nguyên.
Hiện nay, Google, Amazon.com và Salesforce.com đang thống trị trong lĩnh vực điện toán doanh nghiệp Có ba loại dịch vụ điện toán đám mây chính: Hạ tầng dưới dạng dịch vụ (IaaS), Nền tảng dưới dạng dịch vụ (PaaS) và Phần mềm dưới dạng dịch vụ (SaaS).
Hạ tầng dưới dạng dịch vụ (IaaS) của Amazon đại diện cho hình thức cơ bản nhất của điện toán đám mây, trong đó nhà cung cấp dịch vụ cung cấp các giải pháp về mạng và máy tính.
Điện toán đám mây cung cấp các dịch vụ linh hoạt như IaaS, PaaS và SaaS, giúp người dùng thuê máy chủ ảo với cấu hình tùy chỉnh mà không cần lo lắng về việc bảo trì IaaS chủ yếu phục vụ cho lập trình viên và doanh nghiệp, cho phép họ triển khai phần mềm mà không cần quản lý hạ tầng PaaS nâng cao hơn, cung cấp nền tảng đã được cài đặt sẵn, giúp người dùng tiết kiệm thời gian trong việc thiết lập Tuy nhiên, việc chia sẻ máy chủ với nhiều người có thể tiềm ẩn rủi ro bảo mật SaaS là dịch vụ cao nhất, cung cấp phần mềm hoàn chỉnh do nhà cung cấp quản lý, cho phép người dùng dễ dàng sử dụng mà không cần thiết lập phức tạp Các ứng dụng như Gmail và Google Docs là ví dụ điển hình của SaaS, mang lại lợi ích lớn nhất là tiết kiệm chi phí cho người dùng.
Điện toán đám mây giúp giảm chi phí đầu tư hạ tầng ban đầu, bao gồm chi phí mua phần cứng, phần mềm, bảo trì, lắp đặt và vận hành, đồng thời mang lại sự tiện lợi khi người dùng có thể truy cập dữ liệu mọi lúc, mọi nơi mà không cần cài đặt phức tạp Một lợi ích quan trọng khác là tính an toàn và liên tục của dữ liệu; nếu ổ cứng bị hỏng, dữ liệu có thể được lưu trữ an toàn trên các dịch vụ như Dropbox hay OneDrive, nơi nhà cung cấp dịch vụ thực hiện sao lưu định kỳ và thay thế ổ cứng khi cần Tuy nhiên, việc sử dụng điện toán đám mây cũng có những hạn chế, như việc người dùng phải tin tưởng vào khả năng bảo mật của nhà cung cấp, cũng như rủi ro về thời gian chết, vì không có nhà cung cấp nào có thể đảm bảo máy chủ luôn hoạt động 100%.
Nhu cu thc t v cung cp ti nguyên đin ton đm mây
Trong lĩnh vực điện toán đám mây, nhà cung cấp thường gặp vấn đề khi máy chủ không thể đáp ứng tất cả các yêu cầu cùng một lúc, dẫn đến thời gian chết cho người sử dụng dịch vụ Nguyên nhân chủ yếu là do người dùng chia sẻ tài nguyên với nhiều người khác, trong khi nhà cung cấp phải quản lý và phân phối tài nguyên Khi có sự gia tăng đột ngột về nhu cầu, các nhà cung cấp không thể lường trước được tình huống này Do đó, việc dự đoán lượng tài nguyên cần cung cấp trong tương lai là rất quan trọng, giúp giảm thiểu thời gian chết cho người sử dụng dịch vụ.
Dự đoán nhu cầu sử dụng CPU và RAM là một bài toán phổ biến trong việc quản lý trung tâm máy chủ Chiến lược cấp phát tài nguyên phù hợp giúp tối ưu hóa hiệu suất và tiết kiệm năng lượng Mức tiêu thụ năng lượng tại trung tâm máy chủ tỷ lệ thuận với số lượng máy chủ hoạt động; do đó, việc giảm số lượng máy chủ hoạt động có thể giúp giảm thiểu chi phí năng lượng.
Do nhu cầu sử dụng tài nguyên thay đổi thất thường, số lượng máy chủ cần thiết để đáp ứng yêu cầu cũng khác nhau theo từng thời điểm Việc sử dụng ít máy chủ nhất để tối ưu hóa năng lượng tiêu thụ là mục tiêu hàng đầu Nếu có mô hình dự đoán chính xác về lượng tài nguyên sử dụng trong tương lai, trung tâm dữ liệu có thể điều chỉnh trạng thái máy chủ (ngủ hoặc hoạt động) để tối ưu hóa số lượng máy chủ cần thiết Khi nhu cầu tài nguyên tăng cao, trung tâm có thể kịp thời kích hoạt thêm máy chủ để đáp ứng Dự đoán không chỉ có ứng dụng trong điện toán đám mây mà còn trong nhiều lĩnh vực khác như dự đoán nhiệt độ hay biến động cổ phiếu Tuy nhiên, việc giải quyết bài toán dự đoán vẫn gặp nhiều khó khăn do sự biến đổi liên tục của dữ liệu.
Cc nghiên cu liên quan
Mục đích chính của kỹ thuật phân phối tài nguyên chủ động là dự đoán chính xác việc sử dụng tài nguyên Nhiều nghiên cứu đã được thực hiện về các mô hình dự toán trong điện toán đám mây, trong đó mô hình ARIMA (Autoregressive Integrated Moving Average) nổi bật như một trong những mô hình tuyến tính phổ biến Mô hình này giả định rằng chuỗi dữ liệu là tuyến tính và tuân theo một phân phối thống kê nhất định ARIMA bao gồm các lớp mô hình con như mô hình tự hồi quy (Auto regressive), giúp cải thiện độ chính xác trong dự đoán.
Mô hình ARIMA, bao gồm các thành phần như mô hình tự hồi quy (AR), mô hình trung bình trượt (MA) và mô hình kết hợp ARMA, nổi bật nhờ tính linh hoạt và dễ triển khai trong thực tế Tuy nhiên, điểm yếu lớn nhất của các mô hình này là giả định chuỗi dữ liệu là tuyến tính, điều này khiến chúng không phù hợp với nhiều tình huống thực tế, nơi chuỗi thời gian thường phi tuyến tính và phức tạp Do đó, nhiều nghiên cứu đã được thực hiện để áp dụng các mô hình phi tuyến, trong đó mạng nơ ron là một lựa chọn đáng chú ý.
Gần đây, sự phát triển của mạng nơ ron nhân tạo đã cho phép giải quyết các bài toán với dữ liệu phi tuyến Mạng nơ ron truyền thẳng (Feed-forward neural network - FFNN) là một trong những ứng dụng nổi bật, sử dụng giải thuật lan truyền ngược sai số để tối ưu hóa quá trình học tập.
Mạng nơ-ron nhân tạo (ANN), hay còn gọi là mạng nơ-ron lan truyền ngược (BPNN), có nhiều nhược điểm do sử dụng thuật toán lan truyền ngược và chỉ một tầng ẩn Trong nghiên cứu của F Jabari và các cộng sự, mạng nơ-ron nhiều tầng đã được áp dụng để dự đoán năng lượng bức xạ mặt trời tại San Jose, California từ 2005 đến 2010, cho thấy sự thành công trong nhiều lĩnh vực như dự đoán, phân loại, xử lý tín hiệu và nhận dạng hình ảnh, đặc biệt trong kinh doanh và khoa học Tuy nhiên, việc gia tăng số lượng trọng số do tăng tầng và số nơ-ron dẫn đến thời gian huấn luyện kéo dài Để khắc phục điều này, cấu trúc mạng nơ-ron Functional Linked Neural Network (FLNN) đã được giới thiệu, chỉ bao gồm hai tầng: tầng đầu vào và đầu ra, giúp giảm số lượng trọng số và thời gian huấn luyện FLNN sử dụng các tập hàm để mở rộng đầu vào, cho phép học các quan hệ phi tuyến tính giữa đầu vào và đầu ra một cách hiệu quả.
1 Jabari, Farkhondeh & Masoumi, Amin & Mohammadi-ivatloo, Behnamz (2017)
Mạng nơ-ron hồi quy (RNN) đã chứng tỏ sự hiệu quả trong việc xử lý dữ liệu chuỗi thời gian, khác biệt với mạng nơ-ron truyền thẳng nhờ khả năng ghi nhớ thông tin từ các điểm trong chuỗi Tuy nhiên, RNN gặp khó khăn trong việc nhớ thông tin khi chuỗi có độ dài lớn Để khắc phục hạn chế này, LSTM (Long Short-Term Memory) được giới thiệu bởi Hochreiter và Schmidhuber vào năm 1997, bao gồm ba cổng: cổng vào, cổng quên và cổng ra Cổng vào xác định lượng thông tin đầu vào ảnh hưởng đến trạng thái mới, cổng quên loại bỏ thông tin không cần thiết từ trạng thái trước, và cổng ra điều chỉnh thông tin được truyền đến các nút mạng tiếp theo Nhờ vào những cải tiến này, LSTM có khả năng nhận diện và học các phụ thuộc trong khoảng thời gian dài, và đã được ứng dụng trong dự đoán tài nguyên đám mây, như mô hình LSTM-RNN mà Jitendra và các cộng sự phát triển, sử dụng dữ liệu yêu cầu gửi đến máy chủ NASA.
Trong các nghiên cứu về mô hình hóa và dự đoán, các mô hình tuyến tính và mạng nơ-ron đã chứng tỏ hiệu quả trong nhiều ứng dụng, mặc dù chúng có những điểm mạnh và điểm yếu riêng Gần đây, SVM (Support Vector Machine) đã thu hút sự chú ý đáng kể trong việc giải quyết các bài toán phân loại và dự đoán Được phát triển bởi Vapnik và nhóm nghiên cứu của ông vào năm 1995, SVM ban đầu được thiết kế để xử lý các bài toán phân loại như nhận diện chữ cái, nhận diện khuôn mặt và phân loại văn bản.
SVM không chỉ được sử dụng để phân loại mà còn có khả năng xấp xỉ hàm số và dự đoán dựa trên chuỗi dữ liệu Đặc điểm nổi bật của SVM là khả năng tạo ra mô hình với kết quả phân loại chất lượng cao, mở rộng ứng dụng của nó trong nhiều lĩnh vực khác nhau.
SVM (Máy vector hỗ trợ) nổi bật với khả năng tổng quát tốt hơn khi xử lý dữ liệu chưa từng được sử dụng trong quá trình huấn luyện Giải pháp của SVM chỉ phụ thuộc vào một tập con các điểm dữ liệu trong tập huấn luyện, điều này đã khiến SVM trở thành một phương pháp phổ biến, đặc biệt trong lĩnh vực dự đoán trong những năm gần đây Hiện nay, các mô hình như Least-square SVM (LS-SVM) và Dynamic Least-square SVM (LSSVM) đang được sử dụng rộng rãi trong việc dự đoán với chuỗi dữ liệu.
1.3.2 Cc mô hnh d đon tuyn tnh
Giả ử s chu i giá tr theo th i gian có d ng ỗ ờ ạ Sau đây xét mộ ốt s mô hình tuy n tính hay dùng trong bài toán d ế ự đoán 4
Gọi là giá tr ầ c n d ự đoán tại thời điểm th t Xét mô hình sau: ứ
Giá trị trung bình của Y có thể được coi là một quá trình ngẫu nhiên tuân theo mô hình AR(1) khi nó có giá trị trung bình bằng 0 và phương sai không đổi, được gọi là white noise Giá trị Y tại thời điểm t phụ thuộc vào giá trị tại thời điểm t-1 và một yếu tố ngẫu nhiên Mô hình này cho thấy rằng giá trị dự báo của Y tại thời điểm t chỉ đơn giản là tổng của giá trị tại thời điểm t-1 và một yếu tố ngẫu nhiên, với các giá trị được phân phối xung quanh giá trị trung bình của Y.
Thì có thể nói r ng ằ tuân theo quá trình t h i quy bự ậc hai hay AR(2) Với trường hợp t ng quát AR(p) thì phổ ải tuân theo mô hình sau:
4 https://en.wikipedia.org/wiki/Autoregressive_model
1.3.2.2 Mô hnh trung bnh trượt (MA) 5
Trong mô hình AR, biến Y tại thời điểm t được xác định bởi một hằng số và sai số ngẫu nhiên, trong đó sai số này được tính theo trung bình trượt của các sai số hiện tại và quá khứ Cụ thể, Y tuân theo quá trình trung bình trượt MA(1), và tổng quát hơn, Y có thể được mô tả bằng một quá trình trung bình bậc q.
Quá trình trung bình trượt là m t s k t h p tuy n tính c a các s h ng ng u nhiên thu n ộ ự ế ợ ế ủ ố ạ ẫ ầ túy
1.3.2.3 Mô hnh t hồi quy v trung bnh trượt (ARMA) 6 Đương nhiên có nhi u kh ề ả năng Y có đc điểm c a c AR và MA và do v y sinh ra mô ủ ả ậ hình ARMA là s k t h p c a 2 mô hình trên ự ế ợ ủ tuân theo quá trình ARMA(1,1) n u có ế thể ế vi t dướ ại d ng là h ng s , mô hình có m t s h ng t h i quy và m t s hằ ố ộ ố ạ ự ộ ố ạng trung bình trượt T ng ổ quát quá trình ARMA(p, q) với p số ạ h ng h i quy và q s h ố ạng trung bình trượt có dạng sau:
1.3.2.4 Mô hnh trung bnh trượt k t h p t h i quy (ARIMA) ợ ồ 7
5 https://en.wikipedia.org/wiki/Moving_average
6 https://vi.wikipedia.org/wiki/ARMA
7 https://en.wikipedia.org/wiki/Autoregressive_integrated_moving_average
Các mô hình tuyến tính như ARMA và ARIMA được sử dụng để phân tích chuỗi thời gian, đặc biệt là khi chuỗi có tính dừng Chuỗi thời gian được coi là dừng khi các thống kê như giá trị trung bình, phương sai và hiệp phương sai không thay đổi theo thời gian Nếu chuỗi không dừng, cần thực hiện các phép tính sai phân để đưa chuỗi về trạng thái dừng trước khi áp dụng mô hình ARMA Mô hình ARIMA(p, d, q) kết hợp giữa các yếu tố trung bình trượt và sai phân, với p là số bậc của mô hình tự hồi quy, d là số lần sai phân cần thiết, và q là số bậc của mô hình trung bình trượt Ví dụ, mô hình ARIMA(2,1,2) yêu cầu thực hiện một lần sai phân Khi d = 0, mô hình trở thành ARMA(p, q) với chuỗi thời gian có tính dừng, trong khi ARIMA(p, 0, 0) tương ứng với mô hình AR(p) và ARIMA(0, 0, q) là mô hình MA(q).
1.3.3 Phương php s dng mng nơ-ron
Mạng nơ ron nhân tạo (ANN) là mô hình phân lớp phi tuyến tính, được phát triển dựa trên việc mô phỏng cấu trúc và hoạt động của mạng nơ-ron sinh học (BNN) trong não người.
Mô hình mạng nơ ron nhiều lớp (MLP) bao gồm nhiều tầng khác nhau, với tầng đầu tiên gọi là tầng đầu vào (input layer) tiếp nhận thông tin đầu vào Tầng cuối cùng là tầng đầu ra (output layer), nơi chứa thông tin đầu ra Xen giữa tầng đầu vào và tầng đầu ra là các tầng ẩn (hidden layers) Các nút trong các tầng kề nhau thường được kết nối toàn bộ với nhau Hình ảnh mô tả mạng nơ ron truyền thẳng với một tầng ẩn ở bên trái, và mạng nơ ron truyền thẳng với hai tầng ẩn ở bên phải.
Khi áp dụng vào bài toán dự đoán chuỗi thời gian, đầu vào của mạng nơ-ron được biểu diễn bằng các giá trị gần nhất trước đó Mạng nơ-ron sẽ xấp xỉ hàm quan hệ giữa đầu vào và đầu ra thực tế.
Cc kin thc cơ s
Mạng bộ nhớ dài ngắn (LSTM) là một loại mạng nơ-ron hồi quy (RNN) đặc biệt, có khả năng học các phụ thuộc xa Được giới thiệu bởi Hochreiter và Schmidhuber vào năm 1997, LSTM đã trải qua nhiều cải tiến và trở nên phổ biến trong ngành Với hiệu quả vượt trội trên nhiều bài toán khác nhau, LSTM ngày càng được ưa chuộng trong lĩnh vực học máy.
Mạng hồi tiếp RNN được cấu trúc dưới dạng chuỗi các mô đun lặp đi lặp lại của mạng nơ-ron Trong mạng RNN chuẩn, mô đun này có cấu trúc đơn giản, thường sử dụng một tầng kích hoạt tanh.
Hnh : Mô đun lp ca mạng RNN chun một tng 2 8
Mạng LSTM có kiến trúc chuỗi nhưng khác biệt với mạng RNN truyền thống Thay vì chỉ sử dụng một tầng nơ-ron, LSTM bao gồm tới 4 tầng nơ-ron tương tác độc đáo với nhau.
Hnh 3: Mô đun lp ca mạng LSTM 4 tng tương tác (ngun [4])
8 https://colah.github.io/posts/2015- -Understanding-LSTMs/ 08
Chìa khóa của LSTM là trạng thái tế bào (cell state), là đường chạy thông ngang phía trên sơ đ hình v dưới
Trạng thái tế bào hoạt động như một dạng băng truyền, kết nối tất cả các nút mạng và chỉ tương tác một cách tuyến tính Điều này cho phép thông tin được truyền đi một cách dễ dàng và ổn định, mà không lo bị thay đổi.
LSTM có khả năng điều chỉnh thông tin trong trạng thái tế bào thông qua các cổng (gate) Các cổng này hoạt động như một bộ lọc thông tin, được kết hợp bởi một tầng mạng sigmoid và phép nhân Tầng sigmoid cung cấp đầu ra trong khoảng [0,1], cho biết mức độ thông tin có thể được truyền qua Nếu đầu ra là 0, điều này có nghĩa là không có thông tin nào được cho phép đi qua, trong khi đầu ra là 1 cho thấy tất cả thông tin đều được truyền qua.
Một mạng LSTM gm có 3 cổng như vậy để duy trì và điều hành trạng thái tế bào
Bước đầu tiên của LSTM là xác định thông tin nào cần loại bỏ khỏi trạng thái tế bào, quá trình này được thực hiện bởi tầng sigmoid, được gọi là “tầng cổng quên”.
Mô hình này nhận đầu vào là h t-1 và x t, sau đó đưa ra kết quả là một số trong khoảng [0,1] cho mỗi trạng thái tế bào C t-1 Đầu ra bằng 1 cho thấy mô hình giữ lại toàn bộ thông tin, trong khi đầu ra bằng 0 chỉ ra rằng toàn bộ thông tin sẽ bị loại bỏ.
Hình 6: Tng cng quên (Forget gate layer)
Bước tiếp theo là quyết đnh xem thông tin mới nào s lưu vào trạng thái tế bào Việc này gm 2 phần:
Đầu tiên là sử dụng một tầng sigmoid được gọi là “tầng cổng vào” (input gate layer) để quyết đnh giá tr nào ta s cập nhật
Tiếp theo, một tầng tanh sẽ tạo ra một véc-tơ cho giá trị mới t nhằm bổ sung cho trạng thái hiện tại Sau đó, chúng ta sẽ kết hợp hai giá trị này để tạo ra một cập nhật cho trạng thái.
Hiện tại, chúng ta cần cập nhật trạng thái tế bào cₜ-1 thành trạng thái mới cₜ Để thực hiện điều này, nhân trạng thái cₜ-1 với fₜ nhằm loại bỏ những thông tin không cần thiết mà chúng ta quyết định quên Sau đó, chúng ta sẽ cộng thêm iₜ vào kết quả Trạng thái mới thu được sẽ phụ thuộc vào cách chúng ta quyết định cập nhật từng giá trị trạng thái.
Hnh 8: Trạng thái hin tại
Cuối cùng, chúng ta cần xác định đầu ra mong muốn Giá trị đầu ra phụ thuộc vào trạng thái tế bào và sẽ được sàng lọc tiếp Đầu tiên, chúng ta sử dụng hàm sigmoid để xác định phần trạng thái tế bào cần xuất ra Sau đó, trạng thái tế bào này sẽ được đưa qua hàm tanh để điều chỉnh giá trị về khoảng [-1, 1], và cuối cùng, nhân với đầu ra của cổng sigmoid để có được giá trị đầu ra cuối cùng.
Hnh 9: Tng ra (Output layer)
1.4.2 Mng nơ-ron liên kt chc năng (FLNN)
Mạng nơ-ron liên kết chức năng (FLNN) là một loại mạng nơ-ron loại bỏ các tầng ẩn trong mạng nơ-ron truyền thẳng, được phát triển bởi Pao và ứng dụng thành công trong nhiều lĩnh vực như nhận dạng, phân loại và dự đoán FLNN sử dụng một tầng nơ-ron duy nhất để giảm bớt độ phức tạp, tuy nhiên, điều này có thể dẫn đến việc không tạo ra được các mô hình phi tuyến tính giữa đầu vào và đầu ra Để khắc phục vấn đề này, FLNN kết hợp mạng nơ-ron một tầng với một tập hàm số nhằm mở rộng đầu vào, giúp mạng tránh khỏi các vấn đề liên quan đến tính tuyến tính.
Trong nghiên cứu này, chúng tôi sử dụng số lượng điểm dữ liệu trong tập dữ liệu x và các thông số tính toán có trong mũi liệu để phân tích Nếu dữ liệu này được sử dụng làm đầu vào cho mạng nơ-ron FLNN, thì mọi giá trị sẽ được điều chỉnh theo mức độ xử lý.
27 d ng t t c hàm s trong tụ ấ ả ố ập hàm được s dử ụng Khi đó đầu ra s có giá tr như sau:
V i m i giá tr ớ ỗ là m r ng cở ộ ủa s d ng t p hàm s , ử ụ ậ ố s là t p giá tr ậ sau:
Sau khi m rở ộng đầu vào, đầu ra s là m ột vector có D = I * m chiều Đầu ra
Mạng nơron tích chập (CNN) được sử dụng để xử lý đầu vào có đặc trưng, trong đó tập trung vào việc tạo ra một vector có D chiều Đầu ra của điểm dữ liệu này là một biểu diễn có cấu trúc và có thể được sử dụng cho các ứng dụng như phân loại hình ảnh và nhận diện đối tượng.
Trong đó F là hàm truyền, giá tr u ra c a mlà đầ ủ ạng nơ-ron FLNN với đầu vào
Trong hình 10 là mô hình chung c a mủ ạng nơ-ron FLNN
Mạng nơ-ron FLNN đang thu hút sự quan tâm của nhiều nhà nghiên cứu nhờ vào cấu trúc đơn giản và khả năng giảm độ phức tạp so với mạng nơ-ron nhiều tầng Do đó, đã có nhiều đề xuất về việc tối ưu hóa hàm mất mát và các phương pháp để xác định trọng số của mạng.
Hnh 10: Mô hình mạng nơ-ron FLNN 9
Các tp hàm s thưng s dng trong FLNN
Trong mạng nơ ron FLNN, tập hàm mở có vai trò quan trọng và ảnh hưởng lớn đến hiệu năng của mạng Khi mạng nơ ron FLNN được đề xuất, tác giả cũng đưa ra một phương pháp để tối ưu hóa đầu vào Với vector đầu vào, có thể mở rộng thành một tập hợp nhất định, ví dụ như khi đầu vào được mở rộng thành tập hợp cụ thể trong quá trình xử lý.
Nhưng theo tác giả ủ c a mạng nơ-ron FLNN nh ng tích có d ng ữ ạ là không c n thi t Do vầ ế ậy đầu ra sau khi m r ng cho ở ộ có th ể chọn là
THIẾT KẾ HỆ THNG
Mô t bi ton
Bài toán dự đoán lượng tài nguyên cho một trung tâm máy chủ dựa trên chuỗi dữ liệu thu thập trong quá khứ, được định nghĩa là tập hợp các điểm dữ liệu liên tiếp Chuỗi dữ liệu này có thể là đơn biến hoặc đa biến, và có thể là liên tục hoặc rời rạc Trong trường hợp này, chuỗi dữ liệu đầu vào là rời rạc, với các điểm dữ liệu được thu thập cách nhau 3, 5, 8 hoặc 10 phút Để giải quyết bài toán, cần xây dựng mô hình hệ thống kết hợp giữa mạng nơ-ron FLNN và mạng LSTM, nhằm dự đoán lượng tài nguyên cần thiết trong tương lai.
Mô hnh h thng
Hệ thống được trình bày trong hình 11 bao gồm bốn mô đun chính: thu thập dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình và dự đoán.
Hnh 11: Mô hnh h thng d đoán tài nguyên
Trong quá trình thu thập dữ liệu, chúng tôi ghi lại dữ liệu Google Cluster Trace và lưu trữ trong cơ sở dữ liệu chuẩn cho việc xử lý Dữ liệu này bao gồm hai loại: dữ liệu lịch sử và dữ liệu thời gian thực.
Dữ liệu lịch sử được thu thập từ quá khứ và sử dụng trong các giai đoạn tiền xử lý và huấn luyện mô hình Dữ liệu thời gian thực được tiền xử lý ngay lập tức và sau đó trở thành đầu vào cho mô hình đã được huấn luyện, nhằm dự đoán tài nguyên sử dụng trong tương lai Sau khi dữ liệu được chuyển đổi thành dạng học có giám sát trong mô đun tiền xử lý, nó sẽ được đưa vào mô đun huấn luyện mô hình Mô đun huấn luyện sẽ tiến hành huấn luyện với mạng LSTM và mạng FLNN.
Cuối cùng, mô hình học sâu đã được kết hợp với dữ liệu hiện tại để dự đoán tài nguyên sử dụng trong tương lai Dưới đây là mô tả chi tiết cho từng mô đun của hệ thống.
2.2.1 Thu thp d liu Để có thể xây dựng được mô hình dự đoán, trước tiên ta phải có dữ liệu lch sử sử dụng của hệ thống điện toán đám mây Do đó, luận văn sử dụng dữ liệu đã thu thập của Google Cluster Trace và lưu trữ lại trong cỡ sở dữ liệu Như đã nói bên trên s có hai loại dữ liệu chính ở đây là dữ liệu lch sử và dữ liệu thời gian thực, với mỗi loại dữ liệu này, luận văn sử dụng 2 tập dữ liệu chính có ảnh hưởng lớn nhất trong hệ thống tiêu dùng tài nguyên của máy chủ là CPU và RAM
Dữ liệu lịch sử được thu thập từ quá khứ và sử dụng trong các giai đoạn tiền xử lý cũng như huấn luyện mô hình Ngược lại, dữ liệu thời gian thực được xử lý ngay lập tức và trở thành đầu vào cho mô hình đã được huấn luyện, nhằm dự đoán tài nguyên sử dụng trong tương lai.
Mục tiêu của mô đun này là khởi tạo bộ dữ liệu phù hợp cho việc huấn luyện mô hình Để mô hình có thể học hiệu quả, cần chuẩn bị đầy đủ dữ liệu huấn luyện và dữ liệu kiểm nghiệm.
Cả 2 dữ liệu này đều cần phải qua bước tiền xử lý để có thể phù hợp với mạng Pha tiền xử lý dữ liệu gm 2 bước là chọn dữ liệu để học và chun hóa dữ liệu Như đã nói bên trên, trong bộ dữ liệu thu thập từ Google Trace Cluster tôi chọn 2 loại dữ liệu chính là CPU và RAM Sau khi đã chọn được 2 cột dữ liệu, tiếp tục s biến đổi dữ liệu về miền giá tr [0, 1] để thuận tiện cho quá trình huấn luyện Do dữ liệu dạng chuỗi thời gian không có khái niệm về đầu ra, đầu vào Nên cần chuyển dạng chuỗi thời gian về dạng học có giám sát Ví dụ dữ liệu dạng chuỗi thời gian và dạng học có giám sát như bảng 1
Dạng chuỗi thời gian Dạng học có giám sát
Để chuyển đổi dữ liệu chuỗi thời gian sang dạng học có giám sát, có thể áp dụng một trong ba phương pháp: Lag Feature, Sliding Window và Rolling Window Statistic.
1 Lag Feature là k thuật phổ biến nhất trong việc chuyển dữ liệu dạng chuỗi thời gian về dạng học có giám sát Cách tiếp cận đơn giản nhất là dự đoán giá tr tại thời điểm t sử dụng giá tr đã biết tại thời điểm (t 1) Ví dụ như bảng 2-
Dạng chuỗi thời gian Chuyển sang dạng học có giám sát
Bảng 2: Ví d chuy n d li u v d ng h ể ữ ề ạ c có giám sát dùng phương pháp "lag feature"
2 Sliding window (cửa sổ trượt) là trường hợp tổng quát hơn phương pháp Lag Feature khi sử dụng k giá tr trước thời điểm t để dự đoán giá tr tại thời điểm t Giả sử k bằng 3 bài toán học có giám sát s có dạng sau (bảng 3)
Dạng chuỗi thời gian Chuyển sang dạng học có giám sát
Bảng 3: Ví d chuy n d li u v d ng h ể ữ ề ạ c có giám sát dùng phương pháp "sliding window"
3 Bên trên ta thấy k thuật Sling window chỉ dùng cửa sổ trượt tuyến tính, thay vì thế giờ ta có thể sử dụng các hàm thống kê trên chiều rộng của cửa sổ, k thuật này được gọi là “rolling window statistics” Các hàm thống kê được dùng như min, max, mean, median Dưới đây là ví dụ sử dụng các hàm thống kê trên cửa sổ (bảng 4).
Bảng 4: Ví d chuy n d li u v d ng h ể ữ ề ạ c có giám sát dùng phương pháp "rolling window statistics"
Hun luyn FLNN: bao gm mạng nơ-ron một tầng và thuật toán sử dụng để huấn luyện mạng nơ-ron này
Trong mỗi giải thuật đều c n m t hàm m c tiêu d a trên sai s trên t p d li u hu n ầ ộ ụ ự ố ậ ữ ệ ấ luy n v i công th c sau: ệ ớ ứ
V iớ là sai số ủa điể c m d u th i ữliệ ứ
Quá trình huấn luyện mô hình tìm kiếm trọng số sao cho giá trị sai số MAE trên tập dữ liệu huấn luyện là nhỏ nhất và kết thúc khi đạt được giá trị MAE mong muốn Thuật toán phổ biến hiện nay để huấn luyện mạng nơ-ron là thuật toán lan truyền ngược sai số Sai số của mô hình được tính toán tại tầng đầu ra và sau đó gradient của sai số này được tính trên toàn bộ trọng số của mạng để cập nhật giá trị trọng số đó.
Từ chuỗi đầu vào x0, x1, …xn, các cổng vào, cổng ra và cổng quên sẽ tính toán để tạo ra các vector trạng thái h0, h1, hn Giá trị của vector trạng thái h tại các thời điểm sau đó được tính trung bình trên tất cả các dấu thời gian, tạo thành vector trạng thái h Cuối cùng, vector h được đưa vào một lớp hồi quy để phân loại và cho ra kết quả đầu ra.
Mô đun này trong hệ thống có chức năng dự đoán các giá trị tài nguyên tương lai bằng cách sử dụng mô hình đã được huấn luyện Dữ liệu sử dụng là dữ liệu thời gian thực, và khi thu thập được, chúng sẽ được đưa vào mô đun tiền xử lý dữ liệu trước khi chuyển đến mô hình đã huấn luyện Kết quả đầu ra từ bước này chính là dự đoán cuối cùng của hệ thống.
1 T i mạ ỗi thời điểm t thu th p các d u CPU lậ ữliệ ần lượt là
2 Dự đoán giá tr dựa vào mô hình huấn luyện
3 Thực hiện bước 1 và 2 trong các thời điểm tiếp theo
TH NGHIỆM VÀ ĐÁNH GIÁ
Công ngh s dng v đ đo đnh gi mô hnh
Chương trình thử nghiệm được phát triển bằng Python, một ngôn ngữ lập trình bậc cao, thông dịch, hướng đối tượng và đa mục đích Python được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm học máy và lập trình web Hiện nay, Python cung cấp nhiều thư viện hỗ trợ từ việc thao tác và xử lý dữ liệu đến việc xây dựng các mô hình hoàn chỉnh.
3.1.2 Thư vin v môi trưng s dng
Luận văn sử dụng các thư viện mã ngun mở phổ biến như Numpy, Pandas, Sklearn,
Numpy là thư viện quan trọng cho tính toán số học cơ bản, hỗ trợ tính toán khoa học trên Python Thư viện này giúp làm việc hiệu quả với ma trận và thực hiện các phép toán ma trận một cách nhanh chóng.
Skit-learn là thư viện mã nguồn mở cho học máy, được phát triển bằng Python và dựa trên Numpy Thư viện này bao gồm hầu hết các thuật toán học máy phổ biến nhất hiện nay, đồng thời cung cấp nhiều công cụ hỗ trợ để xử lý dữ liệu một cách dễ dàng hơn.
Matplotlib là thư viện mã ngun mở tập trung vào việc v biểu đ
Pandas là một thư viện mạnh mẽ cho việc xử lý dữ liệu lớn với tốc độ cao, cung cấp hai kiểu dữ liệu cơ bản là Series và DataFrame Series là mảng một chiều, trong khi DataFrame là mảng hai chiều, cả hai đều được chỉ mục để truy cập nhanh chóng Đặc biệt, DataFrame cho phép xử lý dữ liệu tương tự như SQL, hỗ trợ các hàm tổng hợp và engine Group by với hiệu suất cao.
Keras là thư viện mã nguồn mở được viết bằng Python, chuyên dụng cho việc xây dựng các mạng nơ-ron Thư viện này có khả năng hoạt động trên nền tảng TensorFlow và Microsoft Cognitive.
Toolkit hoc Theano Được thiết kế để cho phép thử nghiệm nhanh với các mạng nơ-ron sâu Thư viện này đơn giản và có khả năng mở rộngcao
Chương trình chạy trên máy laptop 4 CPU core, Intel(R) Core(™) i5-2450M CPU @ 2.50GHz, 4 GB RAM
3.1.3 Đ đo đnh gi mô hnh
Trong các thí nghiệm này, các mô hình được so sánh dựa trên sai số giữa kết quả dự đoán và giá trị thực sử dụng hai hàm đo lường là Mean Absolute Error (MAE) và Root Mean Square Error (RMSE).
Trong đó là sai số ủ c a điểm d u th ữliệ ứi, và cần tính trung bình sai s cố ủa N điểm d ữ liệu.
D liu
Trong luận văn này, tôi đánh giá mô hình thử nghiệm trên ba bộ dữ liệu với thời gian 3 phút, 5 phút và 10 phút, bao gồm 20 thông số khác nhau Các thông số chính được phân tích bao gồm dữ liệu CPU và RAM, được lấy từ bộ dữ liệu lịch sử của Google Cluster Trace.
Bộ dữ liệu được báo cáo bởi Google vào năm 2011 là một tập hợp các job và lượng tài nguyên sử dụng của chúng Mỗi job bao gồm nhiều task khác nhau, hoạt động đồng thời trên nhiều máy Bộ dữ liệu này chứa 20 thông số khác nhau, trong đó có một số thông số chính như CPU, bộ nhớ và không gian lưu trữ cục bộ.
Trong nghiên cứu này, 40 được đo trên 12,5 nghìn máy khác nhau trong 29 ngày, với tổng cộng 1.232.799.308 bản ghi dữ liệu về tài nguyên sử dụng Để đánh giá hiệu quả của mô hình, tôi đã chọn job có ID 6176858948, bao gồm 25.954.362 bản ghi dữ liệu được thu thập trong suốt 29 ngày.
Bảng sau đây mô tả cách chia mỗi bộ dữ liệu thành 2 phần dùng để huấn luyện mô hình và kiểm nghiệm mô hình.
Bộ dữ liệu Số lượng điểm dữ liệu
Bảng 5: B d li u th c nghi mộ ữ
Hnh 12: Dữ li u CPU c a b d li u 3 phút ộ ữ
Hnh 13: Dữ li u CPU c a b d li u 5 phút ộ ữ
Hnh 14: Dữ li u CPU c a b d li u 10 phút ộ ữ
Cc tiêu ch đnh gi
Để đánh giá trực quan mô hình hệ thống luận văn thực hiện thử nghiệm những tiêu chí đánh giá sau:
Tiêu chí 1: So sánh hiệu năng của mô hình hệ thống với khi mạng nơ-ron FLNN sử dụng thuật toán lan truyền ngược.
Tiêu chí 2: So sánh hiệu năng của mô hình hệ thống với mạng nơ-ron FLNN, sử dụng thuật toán lan truyền ngược, khi thay đổi hàm mở rộng đầu vào.
Tiêu chí 3: So sánh hiệu năng của mô hình hệ thống với mạng bộ nhớ dài ngắn LSTM
Ci đt v kt qu th nghim
Thử nghiệm đầu tiên được tiến hành để kiểm chứng tính hiệu quả của mô hình FLNN
Mô hình FLNN sử dụng các độ đo MAE, MRSE trên 3 bộ dữ liệu 3m, 5m và 10m, cùng với tập tham số sau:
learning_rate = 0.05 (tốc độ học)
sliding_windows nhận một trong các giá tr {2, 3, 5}
batch_size = 16 (số lượng mẫu truyền qua mạng trong mỗi vòng training) Bảng 1 biểu diễn kết quả với các bộ dữ liệu khác nhau
Bảng : Độ chính xác d đoán CPU6 mô hình FLNN với kích thước c a s trưt khác nhau
Mô hình FLNN đạt sai số MAE và RMSE nhỏ nhất là 2 khi sử dụng cửa sổ trượt 6 Qua các hình 15, 16, 17, mô hình được đánh giá với 4 bộ dữ liệu khác nhau và cho thấy FLNN có xu hướng gần gũi với dữ liệu thực tế nhất khi làm việc với bộ dữ liệu 3 phút.
Hnh 15: Kt qu dả đoán mô hnh FLNN với bộ ữ d li u 3 phút
Hnh 16: Kt qu dả đoán mô hnh FLNN với bộ ữ d li u 5 phút
Hnh 17: Kt qu dả đoán mô hnh FLNN với bộ ữ d li u 10 phút
3.4.2 Th nghim thay đi cc hm m rng FLNN
Trong mạng nơ-ron FLNN, hàm mở rộng đầu vào đóng vai trò quan trọng trong việc nâng cao hiệu suất dự đoán Nếu hàm mở rộng không được tối ưu, mạng sẽ không thể phát hiện mối quan hệ phi tuyến giữa đầu vào và đầu ra Nghiên cứu này đã thử nghiệm mô hình FLNN với các hàm mở rộng phổ biến như Chebyshev, Legendre, Laguerre và Power, áp dụng cho các cửa sổ trượt khác nhau Kết quả thu được từ thử nghiệm trên bộ dữ liệu 3 phút được trình bày trong bảng 3.
Mô hình FLNN đạt được kết quả tốt nhất trong thí nghiệm này với 46 cửa sổ trượt bằng 2 và hàm Chebyshev, cho sai số MAE là 0.2476 và RMSE là 0.4532.
Bảng 7: Kt qu th nghi m so sánh các hàm m r ng trên b d li u 3 phút ả ộ ộ ữ
Bảng 8: Kt qu th nghi m so sánh các hàm m r ng trên b d li u 5 phút ả ộ ộ ữ
Bảng 9: Kt qu th nghi m so sánh các hàm m r ng trên b d li u 10 phút ả ộ ộ ữ
Hình 18, 19, 20 trình bày kết quả thử nghiệm các mô hình sử dụng các hàm khác nhau trên các bộ dữ liệu 3 phút, 5 phút và 10 phút Kết quả từ hình 19 cho thấy hàm Chebyshev và hàm Laguerre mang lại kết quả thực tế hơn so với hai hàm còn lại trong thử nghiệm mô hình FLNN.
Từ hình 19, 20 có thể thấy hàm Laguerre cho kết quả sát thực tế nhất so với các hàm còn lại khi thử nghiệm mô hình FLNN
Hnh 18: Kt qu th nghi m các hàm m rả ộng FLNN trên bộ dữ liu 3 pht
Hnh 19: Kt qu th nghi m các hàm m rả ộng FLNN trên bộ dữ liu 5 pht
Hnh 20: Kt qu th nghi m các hàm m r ngả ộ FLNN trên bộ dữ liu 10 pht
Thử nghiệm nhằm kiểm tra hiệu quả của mô hình LSTM cho thấy việc lựa chọn tham số là rất quan trọng, vì hiệu suất của mô hình có thể thay đổi hoàn toàn với bộ tham số không phù hợp Không có quy tắc cố định nào để chọn các tham số này, và chúng cần được điều chỉnh tùy thuộc vào từng vấn đề cụ thể cần giải quyết.
Trong thử nghiệm này, chúng tôi xem xét sự thay đổi các tham số sliding với kích thước cửa sổ trượt s có giá trị là {2, 3, 5} và batch_size = 16 Thí nghiệm được thực hiện trên ba bộ dữ liệu khác nhau, tương ứng với các khoảng thời gian 3 phút, 5 phút và 10 phút.
Bảng 10 là kết quả so sánh FLNN và LSTM thực hiện với các bộ dữ liệu khác nhau.
Bộ dữ liệu Độ đo FLNN LSTM k = 2 k = 3 k = 5 k = 2 k = 3 K = 5
Bảng 10: So sánh độ chính xác d đoán CPU giữa mô hình FLNN và LSTM với kích thước c a s trưt khác nhau
Kết quả từ bảng 10 cho thấy sai số MAE và RMSE của mô hình LSTM thấp hơn so với FLNN ở các cửa sổ trượt khác nhau Cụ thể, khi thử nghiệm với bộ dữ liệu 3 phút và 3 cửa sổ trượt, LSTM đạt sai số 0.2285, trong khi FLNN có sai số 0.3137 với cùng cửa sổ Đối với các bộ dữ liệu khác, LSTM cũng cho kết quả tốt hơn, như được thể hiện trong bảng Hình 21, 22, 23 so sánh hai mô hình với các bộ dữ liệu khác nhau và đều cho thấy LSTM có xu hướng gần gũi hơn với dữ liệu thực tế Điều này chứng minh rằng mô hình LSTM hiệu quả hơn mô hình FLNN.
Hnh 21: Kt quả đoán mô hnh FLNN và LSTM d b d u 3 phút ộ ữli
Hnh 22: Kt qu d ả đoán mô hnh FLNN và LSTM bộ ữ d li u 5 phút
Hnh 23: Kt qu d ả đoán mô hình FLNN và LS™ b d li u 10 phút ộ ữ
So sánh thời gian chạy thử nghiệm mô hình FLNN và LSTM trên bộ dữ liệu 10 phút Sử dụng đng h đếm thời gian để đo thời gian.
Mô hnh Thi gian th nghim
Bảng 11: So sánh thi gian th nghim mô hnh trên bộ dữ liu 10 pht
3.3.4 Th nghim thay đi tham s cho mô hnh LSTM
Hiệu suất của mô hình LSTM chịu ảnh hưởng đáng kể từ các tham số được lựa chọn Thí nghiệm này tập trung vào việc điều chỉnh các tham số như kích thước lô (batch_size) và kích thước trượt (sliding) để đánh giá tác động của chúng đến hiệu suất của mô hình.
Trong nghiên cứu này, kích thước lô được lựa chọn từ các giá trị {8, 16, 32, 64, 128} và kích thước cửa sổ trượt từ các giá trị {2, 3, 5} Chúng tôi đã sử dụng bộ dữ liệu 10 phút để tiến hành so sánh và đánh giá hiệu quả của các kích thước này.
Bảng 12 đưa ra kết quả sai sô trung bình khi thay đổi kích thước lô.
Kích thước batch_size B Sai số
Bảng 12: Kt quả thay đi th nghim batch_size trong LSTM bộ dữ liu 10 pht
Trong hình 24, khi B = 16, sai số biến động nhỏ nhất đạt giá trị 0.3103, đồng thời là giá trị sai số trung bình nhỏ nhất trong toàn bộ thí nghiệm.
Hnh 24: So sánh sai s khi thay đi batch_size trong LSTM bộ dữ liu 10p
Hnh 25: So sánh sai s khi thay đi ca s trưt trong LSTM bộ dữ liu 10p
Kích thước cửa sổ trượt S Sai số
Bảng 13:Kt quả thay đi th nghim ca s trưt trong LSTM bộ dữ liu 10 pht
Bảng 13 trình bày kết quả sai số trung bình khi thay đổi kích thước cửa sổ trượt S Kết quả cho thấy sai số trung bình nhỏ nhất đạt được là 0.3153 khi kích thước cửa sổ trượt S = 5.
Nhn xt chung
Qua kết quả của các thực nghiệm, ta có thể rút ra một số kết luận chung như sau:
Mô hình FLNN áp dụng thuật toán lan truyền ngược để tối ưu hóa trọng số của mạng, tuy nhiên, thuật toán này có thể dễ dàng mắc kẹt tại cực tiểu địa phương khi mối quan hệ giữa đầu vào và đầu ra trở nên phức tạp Hơn nữa, hiệu suất của thuật toán lan truyền ngược còn phụ thuộc mạnh mẽ vào các giá trị khởi tạo ban đầu như tốc độ học và trọng số.
Trong thử nghiệm mô hình FLNN với các hàm mở rộng như Chebyshev, Legendre và Laguerre Power, ảnh hưởng của các hàm này chưa rõ ràng trên hiệu suất của mô hình khi áp dụng cho ba bộ dữ liệu (3m, 5m, 10m) Cụ thể, trên bộ dữ liệu ít nhiễu (3m), hàm Chebyshev cho kết quả tốt hơn, nhưng khi chuyển sang bộ dữ liệu nhiễu hơn (5m), hiệu quả của hàm này giảm đi đáng kể.
Laguerre lại cho kết quả tốt hơn.
Trong thử nghiệm mô hình LSTM, hiệu năng của nó vượt trội hơn so với mô hình FLNN khi áp dụng trên bộ dữ liệu 10 phút, cho thấy sự khác biệt rõ rệt so với hai bộ dữ liệu còn lại Điều này có thể được giải thích bởi khả năng của LSTM trong việc ghi nhớ các phụ thuộc xa, giúp nó hoạt động hiệu quả hơn khi xử lý dữ liệu nhiễu.
Tng kt
Luận văn đã trình bày các nghiên cứu liên quan đến bài toán co giãn tài nguyên trong môi trường phân tán, đồng thời phân tích nhu cầu thực tế về việc cung cấp tài nguyên điện toán đám mây.
Luận văn so sánh và đánh giá hai loại mạng nơ ron trong xử lý dữ liệu chuỗi thời gian, bao gồm mạng học sâu LSTM và mạng nơ ron liên kết chức năng FLNN Mô hình dự báo được xây dựng dựa trên cả hai loại mạng này Cuối cùng, luận văn đề xuất mô hình tối ưu cho việc dự đoán nhu cầu sử dụng tài nguyên tại trung tâm máy chủ.
Luận văn trình bày các thử nghiệm so sánh hiệu năng giữa mô hình mạng nơ-ron FLNN và mạng LSTM Kết quả cho thấy mô hình LSTM vượt trội hơn trong việc dự đoán lượng tài nguyên CPU sử dụng trong tương lai.
Hưng pht trin
Mạng nơ ron FLNN rất phụ thuộc vào việc lựa chọn hàm mở rộng khối đầu vào, vì khả năng xấp xỉ đầu ra và đầu vào của hàm này quyết định hiệu quả của mạng Nếu khối mở rộng của FLNN không đạt yêu cầu, kết quả sẽ không khả quan Do đó, việc sử dụng các hàm mở rộng khác có thể mang lại kết quả tốt hơn cho mạng nơ ron.
Kết hợp mạng nơ ron hi quy với mạng nơ ron FLNN áp dụng cho bài toán dự - - đoán
Có thể ứng dụng mô hình đề xuất trong các lĩnh vực khác, đc biệt khi IoT đang rất phát triển.