Nghiên ứu xây dựng mô hình dự đoán lượng tiêu thụ và tự động o dãn tài nguyên trong môi trường phân tán

Vì vậy, một hệ thống đánh giá vi phạm SLAtrong bài toán dự đoán khả mở trong tương lai là điều rất cần thiết.Dựa vào các hướng nghiên cứu trên, những đóng góp chính của luận án này bao g

NGHIÊN CỨU XÂY DỰNG MÔ HÌNH DỰ ĐOÁN LƯỢNG TIÊU

TRƯỜNG PHÂN TÁN

LUẬN VĂN THẠC SĨ KHOA HỌC

Hệ thống thông tin

Hà Nội – Năm 2018

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

-

TRẦN ĐỨC NHUẬN

NGHIÊN CỨU XÂY DỰNG MÔ HÌNH DỰ ĐOÁN LƯỢNG TIÊU THỤ VÀ

TỰ ĐỘNG CO DÃN TÀI NGUYÊN TRONG MÔI TRƯỜNG PHÂN TÁN

Chuyên ngành : Hệ thống thông tin

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC :

TS Nguyễn Bình Minh

Hà Nội – Năm 2018

Lời cảm ơnĐầu tiên, tôi xin được gửi lời cảm ơn chân thành đến các thầy giáo, cô giáo thuộc trường đại học BáchKhoa Hà Nội, đặc biệt là các thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin và Truyền Thông.Đồng thời tôi cũng xin được gửi lời cảm ơn đặc biệt đến TS Nguyễn Bình Minh Thầy là người đã chỉdẫn tận tình, cho tôi những kinh nghiệm quý báu để có thể hoàn thành luận văn này.

Tôi xin gửi lời cảm ơn tới gia đình Sự sát cánh và động viên tinh thần từ gia đình luôn là độnglực để tôi tiến lên phía trước

Lời cam đoan

Tôi - Trần Đức Nhuận - cam kết luận văn này là công trình nghiên cứu của bản thân tôi dưới sự

hướng dẫn của TS Nguyễn Bình Minh

Các kết quả nêu trong luân vặn là trung thực, không phải là sao chép của bất cứ công trình đãđược công bố nào khác Tất cả các trích dẫn đều được tham chiếu rõ ràng

Hà Nội, ngày 31 tháng 8 năm 2018

Tác giả luận văn

Trần Đức NhuậnXác nhận của người hướng dẫn

Tóm tắt

Gần đây, mô hình điện toán đám mây trở nên rất phổ biến trong rất nhiều tổ chức Mô hình này chophép người sử dụng trả phí theo nhu cầu (pay-as-you-go) đáp ứng được sự phát triển tự nhiên củamỗi tổ chức Các tài nguyên ĐTĐM tăng giảm một cách mềm dẻo, tận dụng tối đa tài nguyên tínhtoán giảm thiểu nguy cơ cung cấp thừa, gây lãng phí cũng như tránh sự cung cấp không đủ dẫn tớiviệc mất đi các khách hàng tiềm năng Khi sử dụng các dịch vụ điện toán đám mây, khách hàng vànhà cung cấp đồng ý với các điểu khoản được định nghĩa trong SLA, bao gồm các độ đo chất lượngdịch vụ khác nhau (Quality of Service) Vì phía lập trình viên, họ cần bảo đảm chất lượng dịch vụcung cấp cho người dùng cuối Tuy vậy, các ứng dụng triển khai trên đám mấy chịu sự ảnh hưởng củachất lượng cung cấp tài nguyên từ phía nhà cung cấp dịch vụ Một trong những hướng tiếp cận nhằmtăng chất lượng dịch vụ sử dụng mô hình học máy dự đoán lượng tài nguyên sử dụng trong tương lai.Trong luận án này, chúng tôi trình bày giải pháp tự động khả mở tài nguyên cho môi trường điệntoán đám mây dựa trên mô hình máy học Ở đó, dữ liệu tiêu thụ tài nguyên sử dụng sẽ được thuthập từ các máy ảo khác nhau, hệ thống sử dụng các kĩ thuật mờ hóa, phát hiện mối tương quan đểphân tích dữ liệu quá kứ Luận án đề xuất mô hình Multivariate Fuzzy Long Short Term Memory(MF-LSTM) cho phép dự đoán lượng sử dụng tài nguyên trong tương lai Từ đó, hệ thống tính toán

ra số lượng máy ảo cần thiết trong thời gian tới, bảo đảm tối ưu hiệu năng cũng như điện năng tránh

dư thừa lãng phí Mô hình đề xuất sử dụng dữ liệu tiêu thụ tài nguyên sử dụng của 1 cụm máy chủGoogle trong thực tế Những thí nghiệm trên bộ dữ liệu thử nghiệm đã chỉ ra mô hình đề xuất cóchất lượng tốt hơn ở phần lớn các trường hợp khi được so sánh với các mô hình khác

Cloud computing has emerged as an optimal option for almost all computations problems today.One of the most advanced features is pay-as-go-go fashion, allowed user to provide computationalresource adequately and flexible This helps to reduce the renting resource cost to the minimum.Using cloud services, customers and cloud providers will come to term with usage conditions defined

in Service Layer Agreement (SLA), which specify acceptable Quality of Service (QoS) metric levels

In term of software developer, they must guarantee quality of service for their end users However, theperformance of application depends on the influence of resource QoS provided by cloud infrastructurevendors One of the important challenge in clouds today is how to improve QoS of computing resources.Many research deal with the problem by using prediction time series model

In this thesis, we propose a comprehensive autoscaling solution for clouds based on forecastingresource consumption in the future At first, our prediction mode leverages the advantage of fuzzyapproach, entropy correlation and stacked Long Short Term Memory to process historical monitoringtime series data After that, scaling decision is validated and adapted through evaluating SLA viola-tions The solution is tested on real workload dataset from Google cluster The achieved results showsignificant increase in efficiency than other baseline models

Mục lục

2.1 Tổng quan về điện toán đám mây 15

2.1.1 Khái niệm 15

2.1.2 Mô hình dịch vụ 16

2.1.3 Mô hình triển khai 18

2.2 Vấn đề cung cấp tài nguyên 19

2.3 Các phương pháp dự đoán chuỗi thời gian 22

2.3.1 Nghiên cứu tổng quan 22

2.3.2 Phương pháp tuyến tính 24

2.3.3 Phương pháp mạng nơ-ron nhân tạo 25

2.3.4 Phương pháp học sâu - Deep Learning 28

2.3.5 Chuỗi thời gian mờ - Fuzzy Time Series 31

2.4 Các phương pháp phân tích mối tương quan nhiều chiều 32

3 Mô hình đề xuất 34

3.1 Kiến trúc hệ thống 34

3.2 Tiền xử lý dữ liệu 35

3.3 Trích chọn đặc trưng 37

3.4 Huấn luyện mô hình 38

3.5 Dự đoán tài nguyên sử dụng 40

3.6 Đánh giá chất lượng dịch vụ 40

3.6.1 Đánh giá tỉ lệ vi phạm SLA 40

3.6.2 Sự ra quyết định khả mở tài nguyên 41

4 Thử nghiệm và đánh giá 43 4.1 Thiết lập thử nghiệm 43

4.1.1 Dữ liệu 43

4.1.2 Độ đo đánh giá 44

4.2 Thử nghiệm phương pháp mờ hóa 44

4.3 Trích chọn đặc trưng 45

4.4 Dự đoán 46

4.4.1 Thử nghiệm mô hình đơn biến - đa biến 47

4.4.2 Thử nghiệm mô hình đa biến MF-LSTM với mô hình khác 50

4.5 Thử nghiệm ra quyết định 52

Danh sách thuật ngữ chính

Danh sách hình vẽ

1.1 Sự cung cấp tài nguyên theo nhu cầu (nguồn: LogicMonitor) 13

1.2 Dung lượng dữ liệu truyền tải của IoT 13

2.1 Mô hình triển khai ĐTĐM 16

2.2 Mô hình hệ thống khả mở 19

2.3 Sự cung cấp tài nguyên theo nhu cầu (nguồn: harishblogspot) 20

2.4 Mô hình Periodicity (nguồn slideshare 1 ) 21

2.5 Mạng nơ-ron nhân tạo nhiều tầng 26

2.6 Mô phỏng hướng đạo hàm 27

2.7 Recurrent Neural Network 28

2.8 Recurrent Neural Network 29

2.9 Mô hình của mạng LSTM [9] 30

3.1 Kiến trúc tổng quan mô hình tự động khả mở MF-LSTM 35

3.2 Mức độ tiêu thụ CPU theo thời gian của một job trong cụm máy chủ Gooogle 36

3.3 Mô hình LSTM học quan hệ mờ 38

4.1 Chuỗi dữ liệu CPU trước và sau khi áp dụng kĩ thuật mờ hóa 45

4.2 Mối tương quan nhiều chiều trong dữ liệu 46

4.3 Mối tương quan nhiều chiều cho 4 độ đo 47

4.4 Kết quả dự đoán CPU của mô hình đơn biến Fuzzy GABPNN vớip = 4 48

4.5 Kết quả dự đoán Memory của mô hình đơn biến Fuzzy GABPNN vớip = 4 48

4.6 Kết quả dự đoán CPU của mô hình đơn biến MF-GABPNN vớip = 4 48

4.7 Kết quả dự đoán Memory của mô hình đơn biến MF-GABPNN vớip = 4 48

4.8 Kết quả dự đoán CPU với các cửa sổ trượt khác nhau giữa mô hình MF-BPNN and MF-GABPNN 48

4.9 Kết quả dự đoán Memory với các cửa sổ trượt khác nhau giữa mô hình MF-BPNN and MF-GABPNN 48

4.11 Kết quả dự đoán CPU sử dụng MF-LSTM với khác nhau δ 51

4.16 Mức độ vi phạm và mức độ CPU theo thời gian giữa 2 mô hình LSTM và

Danh sách bảng

4.4 Kết quả dự đoán MAE của metric CPU và RAM của mô hình MF-LSTM với giá trị δ

Chương 1

Tổng quan

LogicMonitor đã thực hiện bài nghiên cứu có tên Tầm nhìn ĐTĐM 2020 (LogicMonitor’s Cloud Vision2020: The Future of the Cloud Study), điều tra về xu hướng sử dụng ĐTĐM và các dự đoán côngnghệ Theo báo cáo, 83% doanh nghiệp sẽ lên "mây" vào năm 2020 LogicMonitor dự đoán 41% sốlượng đó sẽ được đưa lên các đám mây công cộng như Amazon AWS, Google Cloud Platform, IBMCloud và Microsoft Azure (Hình 1.1)

Sự chuyển dịch lên ĐTĐM mang lại nhiều lợi ích cho doanh nghiệp Chi phí vận hành, bảo trìđược cắt giảm nhờ vào việc sử dụng các nền tàng hạ tầng có sẵn Bên cạnh đó, các nhà cung cấp dịch

vụ đều có chế độ pay-as-you-go, trả tiền theo mức độ sử dụng thực tế Doanh nghiệp được phần nàogiải phóng khỏi vấn đề bảo mật Phía nhà cung cấp ĐTĐM đều có đội ngũ bảo mật riêng, dữ liệutruyền tải đều được mã hóa do đó sự mất mát thông tin hoặc chiếm quyền tấn công của hacker làđiều không thể

Sự linh hoạt về tài nguyên sử dụng là một trong những ưu việt mà ĐTĐM mang tới, mà điểnhình là mô hình trả phí theo nhu cầu (pay-as-you-go) Điều này giúp cho các tổ chức sử dụng linhhoạt các tài nguyên của hệ thống, thay vì chỉ định các phần cứng đặc biệt cho từng nhu cầu Trướckhi có ĐTĐM, các trang website, ứng dụng theo mô hình khác-chủ được triển khai trên trên một hệthống vật lí cụ thể Với công nghệ ĐTĐM, các tài nguyên được sử dụng dưới dạng các máy ảo Cấuhình hợp nhất này cung cấp môi trường cho các ứng dụng thực hiện một cách độc lập mà không quantâm tới cấu hình cụ thể nào Với ĐTĐM, tài nguyên sẽ được cung cấp một cách mềm dẻo theo nhucầu sử dụng, mô hình này giúp giảm thiểu nguy cơ cung cấp thừa tài nguyên, giảm sự lãng phí tàinguyên trong các giờ không cao điểm, và tránh việc thiếu tài nguyên trong các giờ cao điểm [20] Tuyvậy, vấn đề này khá khó khăn để đạt được khi mà các nhà cung cấp dịch vụ cần có một cơ chế khác,

hỗ trợ tối ưu hóa ngay lập tức và chính xác số lượng tài nguyên thay vì cơ chế sử dụng ngưỡng nhưhiện này Lấy ví dụ với sư phát triển của các thiết bị phần cứng Internet of Thing hiện nay, số lượngsensor kết nối với ĐTĐM ngày càng trở nên đơn giản và phổ biến Mô hình IoT là mẫu hình cho phépcác vật, đối tượng, cảm biến kết nối với nhau Nền tảng sử dụng IoT như hệ thống thành phố thông

Hình 1.1: Sự cung cấp tài nguyên theo nhu cầu (nguồn: LogicMonitor)

Hình 1.2: Dung lượng dữ liệu truyền tải của IoT

minh, nhà thông minh cần có khả năng tự động mở rộng tối đa và cần ít sự tác động của con người.Theo báo cáo của Gardner, có tới 8.4 tỉ các thiết bị được kết nối trong năm 2017 và tăng lên 20,4 tỉthiết bị vào năm 2020 Số lượng các metric được tăng cả về tốc độ cũng như khối lượng (Hình 1.2).Dẫn tới việc theo dõi, quản lý thiết lập các ngưỡng bằng tay từ phía nhà quản trị trở nên cực kỳ khókhăn và phức tạp.

Do đó, bài toán đặt ra hệ thống không chỉ có khả năng khả mở tài nguyên nhanh chóng mà còn

có khả năng tự động điều chỉnh dựa vào dữ liệu mà ít cần sự tương tác của con người Bằng việc

dự đoán tài nguyên sẽ sử dụng trong tương lai, hệ thống sẽ tự động ra các quyết định chính xác vềlượng tài nguyên cần thiết Hệ thống sẽ biết trước và chính xác lượng tài nguyên cần cung cấp trongtương lai gần cho ứng dụng là bao nhiêu, từ đó cho phép tăng giảm tài nguyên trước khi nảy sinh cácvấn đề về hoạt động do thừa hoặc thiếu tài nguyên cung cấp Các nghiên cứu về dự đoán mô hình

tự động khả mở thu hút được nhiều sự chú ý Trong khi độ chính xác của mô hình luôn là một tháchthức thú vị, vấn dề xử lý dữ liệu nhiều chiều (CPU, bộ nhớ sử dụng, tốc độ đọc/ghi) trong cùng mộtlúc chưa nhận được nhiều quan tâm Bởi vì giữa các metric đó tồn tại các mối quan hệ với nhau ví dụnhư CPU và bộ nhớ, bộ nhớ và tốc độ đọc/ghi, Từ đó kết quả dự đoán chưa hợp lý khi triển khaithực tế Để giải quyết bài toán, mô hình mới cần có khả năng xử lý dữ liệu thời gian nhiều chiều Bêncạnh đó, các nghiên cứu về bài toán dự đoán chuỗi thời gian thiếu đi phương án đánh giá sự hiệu quảcủa việc ra quyết định tăng/giảm dựa vào giá trị dự đoán Về góc nhìn SLA, các nghiên cứu [3], [2]

và framework [1], [8] đã được đề xuất nhằm giữ ổn định vi phạm SLA Tuy nhiên các nghiên cứu đóđược đề xuất trong môi trường khả mở truyền thống Vì vậy, một hệ thống đánh giá vi phạm SLAtrong bài toán dự đoán khả mở trong tương lai là điều rất cần thiết

Dựa vào các hướng nghiên cứu trên, những đóng góp chính của luận án này bao gồm:

• Xây dựng hệ thống khả mở chủ động trong môi trường ĐTĐM gồm 2 thành phần: module dự

đoán và module ra quyết định

• Đề xuất mô hình mới dự đoán tài nguyên sử dụng trong tương lai khai thác mối quan hệ giữa

các dữ liệu đo đạc như CPU, RAM, Disk I/O, bằng mô hình học sâu

• Áp dụng chuỗi thời gian mờ (fuzzy timeseries) nâng cao chất lượng dự đoán

• Đề xuất mô hình ra quyết định dựa vào dữ liệu dự đoán và ước lượng vi phạm SLA

Các phần của luận văn được bố cục như sau: chương 2 trình bày các cơ sở lý thuyết chính được

sử dụng và liệt kê một số nghiên cứu liên quan Chương 3 trình bày đề xuất mô hình mới cùng cácphân tích về mô hình Các thí nghiệm đánh giá và so sánh mô hình được thực hiện trong chương 4.Cuối cùng chương 5 tóm tắt lại những kết quả đạt được trong luận văn

Chương 2

Các nghiên cứu liên quan

vụ riêng bởi đã có các nhà cung cấp dịch vụ ĐTĐM lo cơ sở hạ tầng và công nghệ thông tin thay họ

Đa số người dùng Internet đã tiếp cận những dịch vụ đám mây phổ thông như email, bản đồ số, .Tính linh hoạt của ĐTĐM là phân phát tài nguyên theo yêu cầu Điều này tạo khả năng mềmdẻo, thuận lợi cho việc sử dụng các tài nguyên của hệ thống, loại bỏ sự ràng buộc phải đầu tư phầncứng cụ thể cho một nhiệm vụ Trước khi có ĐTĐM, các trang web hoặc các ứng dụng được chạytrên một máy chủ cụ thể hoạt động trong một hệ thống Với sự ra đời của ĐTĐM, các tài nguyênđược hợp nhất và sử dụng như kho chung Cấu hình hợp nhất này cung cấp một môi trường ở đó cácứng dụng thực hiện một cách độc lập mà không quan tâm đến bất kỳ cấu hình cụ thể nào.Viện Tiêuchuẩn và Công nghệ cũng định nghĩa 5 đặc trưng cốt lõi của mô hình ĐTĐM:

• Dịch vụ cung cấp theo nhu cầu (On-demand self-service): Người dùng tự mua, tự thuê, tự cấu

hình triển khai các dịch vụ ĐTĐM theo các chuẩn định sẵn (template) mà không tới sự trợ giúpcủa bộ phân IT Để làm đươc điều này, các nhà cung cấp hạ tầng phải tạo ra các chuẩn địnhsẵn từ trước Các chuẩn định sẵn này chứa các cấu hình đã đươc định nghĩa trước, căn cứ vào

đó ngườ i dùng sẽ tùy chỉnh thêm và cài đặt thêm các dịch vụ thêm theo nhu cầu Môt số ví dụ

Hình 2.1: Mô hình triển khai ĐTĐM

về chuẩn định sẵn như HP Cloud Maps của HP, CloudForms của RightScale và Red Hat,

• Truy cập mạng băng thông cao (Broad network access): Tài nguyên tính toán luôn sẵn sàng ở

toàn mạng và được truy cập thông qua các chuẩn mạng

• Tài nguyên không giới hạn (Resource Pooling): Nhà cung cấp dự trữ các tài nguyên tính toán

để chia sẻ cho nhiều người sử dụng bằng mô hình multi-tenant, tự động cung cấp các tài nguyênvật lý hoặc ảo theo nhu cầu của họ

• Cung cấp tài nguyên mềm dẻo (Rapid Elasticity): Tài nguyên tính toán được cung cấp và giải

phóng 1 cách mềm dẻo tự động, tự mở rộng hoặc thu nhỏ lại Với người sử dụng thì tài nguyêntính toán cung cấp gần như không giới hạn, ở bất cứ nơi đâu và bất cứ lúc nào

• Dịch vụ đo lường (Measured Service): Các hệ thống ĐTĐM tự động quản trị và tối ưu tài nguyên

sử dụng bằng cách tận dụng năng lực đo đạc ở mức trừu tượng phù hợp với các dịch vụ Lượng

sử dụng tài nguyên được giám sát, điều khiển và thống kê hoàn toàn trong suốt với cả nhà cungcấp và người sử dụng

VMware, Hệ thống các máy chủ ảo bên trong ĐTĐM có thể phục vụ một số lương lớn khách hàngthông qua các máy khác chạy hệ điều hành ảo trên cùng một máy chú và có khả năng tăng giảmtheo nhu cầu thường xuyên của khách hàng Ngoài ra, IaaS còn cung cấp một số tài nguyên khác nhưthư viện virtual-image, lưu trữ khối (block storage), lưu trữ đối tượng (object storage), tường lửa ảo,mạng nội bộ ảo (Virtual LAN)

Khách hàng sử dụng dịch IaaS thông qua Internet hoặc qua mạng LAN ảo Để triển khai ứngdụng, người dùng sẽ phải cài đặt hệ điều hành và các ứng dụng của họ lên hệ thống ĐTĐM Với môhình này, người sử dụng tự cập nhật, vá lỗi cho các phần mềm đã cài đặt Nhà cung cấp dịch vụ sẽtính tiền dựa trên lượng tài nguyên được cấp và tiêu thụ

Mô hình PaaS là mô hình ở đó nhà cung cấp dịch vụ đưa ra môi trường triển khai ứng dụng cho cácnhà lập trình viên bao gồm hệ điều hành, môi trường thực thi ngôn ngữ lập trình, cơ sở dữ liệu, vàmáy chủ web Các nhà phát triển ứng dụng có thể cài đặt, triển khai giải pháp phần mềm của họ trênnền tảng ĐTĐM mà không quan tâm tới các chi phí bản quyền hay quản lí các phần mềm bên dưới

Cụ thể với các nhà cung cấp như Microsoft Azure, Google App Engine, hạ tầng tính toán và lưu trữđược khả mở một cách tự động sao cho phù hợp với nhu cầu của người sử dụng khi mà người dùngĐTĐM không thao tác một cách thủ công

Trong mô hình SaaS, người sử dụng được truy cập tới ứng dụng và cơ sở dữ liệu Nhà cung cấp dịch

vụ quản lý hạ tầng và nền tảng chạy ứng dụng đó Saas hay còn gọi là phần mềm theo nhu cầu vàđược trả phí theo lượng mức sử dụng hoặc theo đơn hàng Với mô hình này, nhà cung cấp sẽ cài đặt

và quản trị ứng dụng trên môi trường đám mây và người sử dụng sẽ truy cập thông qua giao diệnmáy khách như trình duyệt web, ứng dụng desktop, Người dùng không quản lý hạ tầng đám mây

và nền tảng mà ứng dụng đang chạy Điều này đã tối thiếu hóa chi phí cài đặt và chạy ứng dụng trênmáy tính cá nhân, đồng thời đơn giản hóa các thao tác bảo trì và hỗ trợ Sự khác biệt giữa ứng dụngĐTĐM và ứng dụng truyền thống nằm ở tính chất khả mở Điều này đạt được nhờ việc tạo ra các bảnsao tác vụ chạy trên nhiều máy ảo khác nhau tại cùng 1 thời điểm để đạt được yêu cầu nghiệp vụ.Các bộ cân bằng tải sẽ phân phối công việc tới các máy ảo, hoàn toàn trong suốt với người sử dụng,vốn dĩ truy cập theo một điểm duy nhất (URL, ) Nhằm phục vụ lượng lớn các khách hàng, các ứngdụng ĐTĐM có thể được multitenant, nghĩa là một máy tính sẽ phục vụ nhiều hơn một nhóm người

sử dụng

2.1.3 Mô hình triển khai

Đám mây nội bộ là hạ tầng đám mây được điều hành trong nội bộ công ty Việc triển khai đám mâynội bộ yêu cầu một nguồn lực đáng kể và yêu cầu tổ chức đánh giá một cách kĩ lường về các tài nguyênhiện có Dự án đám mây nội bộ nếu được triển khai đúng hướng sẽ nâng cao nghiệp vụ, nhưng ẩnbên trong mỗi bước lại chứa những rủi ro về vấn đề bảo mật cần được giải quyết để ngăn chặn các

lỗ hổng nghiêm trọng Các trung tâm dữ liệu thường đòi hỏi rất nhiều vốn [22]: chi phí hạ tầng phầncứng, chi phí bảo vệ, Bên cạnh đó, chúng luôn cần được bảo trì và cập nhật một cách định kỳ, kéotheo một khoản phí bổ sung Quản lý đám mây nội bộ yêu cầu công cụ phần mềm để giúp cho nhàquản trị dễ dàng kiểm soát, theo dõi và quản lý

Đám mây cộng đồng chia sẻ hạ tầng giữa một số tổ chức từ một cộng đồng cụ thể có các mối quantâm chung (v/d: một nhóm ngành nghề lớn) Chi phí trải đều trên một tập ít người dùng hơn so vớipublic cloud nhưng nhiều hơn so với private cloud

Mô hình đám mây công cộng là mô hình các dịch vụ mở được cung cấp thông qua mạng Các dịch vụđám mây công cộng có thể miễn phí Về mặt lí thuyết thì không có sự khác biệt nào giữa kiến trúcđám mây nội bộ và đám mây công cộng, tuy nhiên, vấn đề bảo mật cần được quan tâm cho các dịch

vụ (các ứng dụng, lưu trữ và các tài nguyên khác) sẵn có cung cấp cho người dùng đại chúng và khikết nối thông qua mạng không an toàn Thông thường, các nhà cung cấp dịch vụ public cloud nhưAmazon AWS, Microsoft và Google sở hữu, vận hành cơ sở hạ tầng và truy cập thông qua Internet

Đám mây lai là một tổ hợp của hai hay nhiều các đám mây (nội bộ, cộng đồng hoặc công cộng) nhằmtận dụng lợi thế của các mô hình này đem lại Công ty Gartner định nghĩa một dịch vụ đám mây lainhư một dịch vụ ĐTĐM, bao gồm sự kết hợp của các dịch vụ đám mây nội bộ, công cộng, từ các nhàcung cấp dịch vụ khác nhau Mô hình này giúp nhà triển khai ứng dụng dễ dàng mở rộng số lượngcũng như năng lực tính toán của một dịch vụ đám mây nhờ vào việc tích hợp, thống nhất hoặc tùybiến các dịch vụ khác nhau

Một ví dụ khác áp dụng đám mấy lai khi các tổ chức IT sử dụng đám mây công cộng để đám ứngnhu cầu tính toán tạm thời khi tài nguyên của họ không đáp ứng đủ Năng lực này cho phép các đámmây lai dễ dàng triển khai ứng dụng lên các đám mây khác nhau Thuật ngữ “cloud bursting” ám chỉ

mô hình triển khai ứng có thể chạy trên đám mây cá nhân hoặc trung tâm dữ liệu và “burst” lên đám

Hình 2.2: Mô hình hệ thống khả mở

mây công cộng khi mà nhu cầu tính toán tăng lên Ưu điểm của cloud bursting và mô hình đám mâylai đem lại cho tổ chức chi trả các tài nguyên phát sinh khi họ cần sử dụng

Các doanh nghiệp IT hiện đại, từ doanh nghiệp nhỏ tới doanh nghiệp lớn, đã và đang tận dụng sứcmạnh của ĐTĐM để nâng cao lợi nhuận và cắt giảm chi phí Xuyên suốt 3 mô hình ĐTĐM: IaaS,PaaS và SaaS, lợi ích lớn của ĐTĐM đó là sự mềm dẻo, khả năng mở rộng tài nguyên mà hệ thống cóthể đáp ứng được workload lớn hiện nay bằng cách điều chỉnh thông số và cung cấp các tài nguyên.Hiện nay, khi môi trường đã đủ tốt và ổn định theo chu kỳ, người quản lý hoàn toàn có thể tự chủđược số lượng tài nguyên Tuy vậy trong nhiều trường hợp, ví dụ như lượng tải tăng cao đột biến,

sự mềm dẻo được thực hiện việc tự động khả mở tài nguyên: tiến trình tự động, thực hiện trên máyvật lý, theo dõi cấu hình của phần mềm (số lượng luồng, kết nối, và cache, ) và thông số phần cứng(cpu, mem, ) theo thời gian

Tác giả Chen [5] đề xuất thiết kế tổng quan cho mô hình tự động khả mở cho môi trường ĐTĐM

ở hình 2.2 Hệ thống autoscaling thường được thiết kế thành hai phần tách biệt: Module quản lý baogồm autoscaling engine và phần quản lý ở mỗi dịch vụ và máy ảo/container chạy trên ĐTĐM Nhưchúng ta thấy, phần lõi của hệ thống đó là autoscaling engine, bao gồm nhiều khía cạnh logic khác

Hình 2.3: Sự cung cấp tài nguyên theo nhu cầu (nguồn: harishblogspot)

nhau Một luồng điển hình của hệ thống cung cấp tài nguyên đó là feedback loop gồm theo dõi và

ra quyết định Các agent đặt trên các dịch vụ sẽ thu thập tài nguyên sử dụng phần cứng như CPU,Memory, Disk IO, và tài nguyên phần mềm (số lượng luồng, kết nối mạng) Các thông tin này đượcđưa về phía autoscaling engine Module đảm nhận việc tổng hợp và ra quyết định về quản lý tàinguyên, tăng hoặc giảm tại thời điểm nào, với số lượng bao nhiêu Việc ra quyết định sẽ được tínhtoán nhằm thỏa mãn các điều khoản chất lượng dịch vụ (Quality of Service) khác nhau mà nhà cungcấp đặt ra Quyết định autoscaling gồm nhiều hành động khác nhau: tăng/giảm cấu hình của máy

ảo, tăng/giảm số lượng máy ảo/container trong một cụm hoặc có thể cả hai

Theo nhu cầu người dùng, sự cung cấp tài nguyên linh hoạt cho phép người sử dụng dịch vụ đámmây tập trung vào chất lượng dịch vụ cho khác hàng trong khi vẫn tiêu thụ được lượng tính toán Môhình trả phí theo nhu cầu (pay-as-you-go) đáp ứng được sự phát triển tự nhiên của mỗi tổ chức Cáctài nguyên ĐTĐM khả mở một cách mềm dẻo, tận dụng tối đa tài nguyên tính toán giảm thiểu nguy

cơ cung cấp thừa, gây lãng phí cũng như tránh sự cung cấp không đủ dẫn tới việc mất đi các kháchhàng tiềm năng

Hình 2.3 minh hoạt sự ảnh hưởng của việc cố định tài nguyên sử dụng theo thời gian với sự thayđổi biến thiên lượng người sử dụng Hình bên trái thể hiện trường hợp, tài nguyên tính toán cung cấpkhông được sử dụng triệt để (vùng màu xám) và ngược lại, hình bên phải thể hiện trường hợp tàinguyên cung cấp không đủ cho nhu cầu thực tế Trong tình huống cấp thiếu, những tài nguyên đãđược tận dụng tối đa hơn ở cả 2 trường hợp nhưng vùng màu xám ở phía trên tương ứng với lượngkhách hàng đã không được phục vụ Giải pháp ở đây thay vì cố định lượng tài nguyên hiện có, nhữngngười sử dụng đám mây có thể mở rộng tài nguyên một cách tự động bằng cách phát hiện khi nào thìcần thêm tài nguyên, cấp phát thêm, và phân bổ tải công việc tới các tài nguyên đó một cách nhanhnhất

Giải pháp này nhằm mục đích cho phép triển khai tài nguyên linh hoạt trong môi trường đámmây nhưng đáng tiếc rằng với một vài trường hợp đặc biệt các giải pháp này là chưa đủ để chắc chắnrằng hệ thông đáp ứng hoàn toàn các yêu cầu khi ứng dụng triển khai trong thực tế Theo hướng tiếp

Hình 2.4: Mô hình Periodicity (nguồn slideshare 1 )

cận này, kĩ thuật co giãn tài nguyên (auto-scaling technique) trong môi trường phân tán và đám mây

có thể chia thành 3 phương pháp chính gồm Periodicity, Threshold và Prediction:

Đầu tiên xem xét tới phương pháp Periodicity Thông thường trong suốt quá trình vận hành, môhình SaaS có chu kỳ tiêu dùng tài nguyên theo thời gian, minh hoạ ở Hình 2.4 (ví dụ giờ, ngày haytháng) Dựa trên đặc điểm này, người quản trị có thể quyết định thời điểm phù hợp để co giãn tàinguyên cho ứng dụng Nhược điểm của phương pháp này là khi xem xét trên cả chu kỳ để quyết định

co giãn, hệ thống không thể đáp ứng các yêu cầu nảy sinh tức thời từ ứng dụng Phương pháp pháthiện và đánh giá chu kỳ được đề xuất trong một số công trình nghiên cứu như [3] và [18]

Xét tới phương pháp Thresholds (dựa vào ngưỡng) Các giá trị ngưỡng được thiết lập để xác địnhkhi nào tăng hoặc giảm tài nguyên Phương pháp này hoạt động dựa trên số liệu tiêu dùng tài nguyênnhư tỉ lệ phân trăm sử dụng của CPU, bộ nhớ trong hay số kết nối tới hệ thống Số lượng máy ảophục vụ cho ứng dụng thay đổi theo một bộ các luật, thường có 2 luật: tăng lên và giảm xuống Cácluật này sử dụng dựa trên các độ đo hiệu năng như số lượng yêu cầu tới, tải CPU hoặc trung bìnhthời gian trả về Mỗi luật hay chính xác đều bao gồm các tham số do người dùng định nghĩa: cận trêncủa ngưỡng thrUp và cận dưới thrDown, hai giá trị thời gian scale vUp và vDown xác định thời gian

một luật được kích hoạt khi gặp và 2 khoảng thời gian chờ sau khi đã sacle inUp và inDown Cậntrên và cận dưới phải được định nghĩa riêng cho mỗi độ đo x Các hành động scale sẽ phụ thuộc vàocác loại scaling người dùng định nghĩa Với co giãn chiều ngang (horizontal scaling), người sử dụngđịnh nghĩa số máy ảo được cấp thêm hoặc được giải phóng, nhưng với co giãn theo chiều dọc (verticalscaling), lượng tài nguyên CPU, RAM, sẽ được thêm vào.

Tuy nhiên nhược điểm của phương pháp này là rất khó để xác định chính xác giá trị ngưỡng thỏamãn yêu cầu của ứng dụng mà vẫn tránh được việc lãng phí hay thiếu tài nguyên (do co giãn sớm hơnhoặc muộn hơn) Ngoài ra, tại thời điểm thực hiện co giãn tài nguyên, trạng thái và yêu cầu của hệthống mất nhiều thời gian, dẫn tới chất lượng dịch vụ (Quality of Service) bị giảm (thời gian trungbình khởi tạo 1 máy ảo mất 5-10 phút trong môi trường thực)

Cuối cùng xét tới phương pháp Prediction (dự đoán tiêu dùng tài nguyên) Phương pháp này sửdụng dữ liệu thu thập được trong khoảng thời gian trước đó để dự đoán lượng tài nguyên tiêu dùnghoặc tải công việc (workload) trong tương lai, từ đó xác định trước và chính xác lượng tài nguyên mà

hệ thống sẽ phải cung cấp cho ứng dụng Hình 4 thể hiện lượng tài nguyên sử dụng trong tương laiđược dự đoán, sát với tài nguyên tiêu thụ thực tế Ưu điểm của phương pháp này giúp hệ thống có kếhoạch chủ động mở rộng hoặc giảm bớt số lượng tài nguyên hệ thống Kĩ thuật cốt lõi được sử dụng ởđây là phân tích chuỗi thời gian time-series Kĩ thuật phân tích chuỗi thời gian được sử dụng để tìm

ra các đặc trưng lặp lại và sử dụng chúng để dự đoán giá trị tương lai Nhiều công trình nghiên cứu

đã đưa ra các mô hình dự đoán khác nhau như [9], [19], [10], đặc biệt áp dụng trong điện toán đámmây như [8], [14] Tuy nhiên độ chính xác của các mô hình dự đoán này vẫn cần cải tiến hơn nữa mặc

dù đã có nhiều công trình giải quyết Điều này dẫn tới vấn đề cần thiết xây dựng mô hình dự đoánmới tăng cường độ chính xác Bên cạnh đó, các mô hình vẫn chỉ đơn thuần đưa ra quyết định dựavào một thông số như CPU hoặc RAM, trong khi nhu cầu thực tế lại cần sự ra quyết định từ nhiềunguồn thông tin khác Dựa vào yêu cầu trên cùng với đặc điểm của bộ dữ liệu SaaS, các mục tiếptheo của luận án sẽ trình bày lý thuyết dự đoán chuỗi thời gian nhiều chiều, lý thuyết về tính tươngđồng, bảo đảm chất lượng của dịch vụ ĐTĐM

2.3.1 Nghiên cứu tổng quan

Với phạm trù đồ án, nội dung chương này sẽ trình bày theo hướng dự đoán sự tiêu dùng tài nguyên

để đưa quyết định tăng giảm tài nguyên máy chủ Vấn đề cốt lõi phương pháp này chính là sự chínhxác của mô hình dự đoán Sự dự đoán chuỗi thời gian có thể được sử dụng để dự đoán nhu cầu tiêuthụ tài nguyên trong tương lai Một chuỗi thời gian là một tập hợp các quan sát sắp xếp tăng dần,cách nhau một khoảng thời gian cố định có dạng:

X=x1, x2, x3, , x t w − +1 (2.1)

(sliding window) Bài toán dự đoán chuỗi thời gian (time series forecasting) đang nhận được sự quantâm của rất nhiều các công trình nghiên cứu gần đây với những cố gắng nhằm nâng cao độ chínhxác Trong suốt ba thập kỷ qua, các mô hình thống kê truyền thống như tự hồi quy(Autoregressive– AR), trung bình trượt (Moving Average – MA), tự hồi quy và trung bình trượt (ARMA), hay môhình trung bình trượt kết hợp tự hồi quy (ARIMA) được sử dụng phổ biến và rộng rãi cho dự đoánchuỗi thời gian Tuy nhiên, các mô hình tuyến tính có những hạn chế khi không thể áp dụng đối với

dữ liệu có tính phi tuyến

Để khắc phục nhược điểm trên, một hướng tiếp cân khác là sử dụng mạng nơ-ron nhân tạo(Artificial neural networks – ANNs) bởi đặc tính: thích nghi nhanh, phi tuyến và khả năng xấp xỉhàm tốt[19] Kiểu mạng lan truyền tiến feed-forward (BPNN) kết hợp giải thuật lan truyền ngược làmột trong những giải thuật phổ biến trong bài toán dự đoán Tuy vậy, mạng truyền thống dựa vàogiải thuật tối ưu địa phương, dễ dàng rơi vào giá trị cực trị địa phương, dần tới tốc độ hội tụ chậm

và bị tác động lớn bởi trọng số ban đầu Các tác giả bài [11] và [12] đã đề xuất kiến trúc mạng ANN

đề xuất giải pháp tích hợp phân tích chu kỳ và giải thuật tiến hóa nhằm khắc phục nhược điểm dễtìm phải điểm cực trị địa phương, thời gian hội tụ lớn và phụ thuộc nhiều vào điểm khởi tạo banđầu Gần đây, các phương pháp học sâu (deep learning) đã đạt được những kết quả ấn tượng tronglĩnh vực dự đoán chuỗi thời gian Mạng nơ-ron đệ quy (Recurrent Neural Network) là một nhánh củamạng nơ-ron rất phù hợp với dạng chuỗi thời gian bởi vì mạng này mô hình hóa mỗi quan hệ giữacác điểm thời gian và được huấn luyện bởi thuật toán lan truyền ngược theo thời gian Phương phápRNN tạo ra sự khác biệt so với mạng nơ-ron truyền thẳng bời cách hoạt động, luồng thông tin sẽđược lan truyền ngược trở lại các tầng và tạo nên một vòng lặp phản hồi Tùy vậy, mạng RNN cónhược điểm về tính bùng nổ và biến mất của giá trị đạo hạm khi qua nhiều lần học Để cải tiến khảnăng "nhớ" của RNN và kiểm soát tốt hơn luồng thông tin, Hocheriter [10] đã đề xuất mạng LongShort Term Memory (LSTM), trở nên cực kỳ phổ biến trong các tầng RNN hiện nay Với sự cải thiện

đó, RNN có khả năng nhận diện và học được các mối quan hệ thời gian dài hơn mà kết quả không bịảnh hưởng

Trong lĩnh vực điện toán đám mây, phương pháp dự đoán chuỗi thời gian được sử dụng nhiềutrong việc dự đoán tải công việc (workload), tiêu dùng tài nguyên (resoure consumptation) Jitendra

et al [13] đề xuất mô hình LSTM-RNN trong bài toán dự đoán số lượng tải công việc trong môitrường ĐTĐM sử dụng dữ liệu NASA Ở bài [18], nhóm tác giả đã xây dựng mô hình tự động mởrộng khai thác nguồn dữ liệu đa chiều, giải thuật di truyền và mạng nơ-ron để dự đoán các thông số

tiêu thụ Mắc dù hiện này có nhiều mô hình học sâu được áp dụng vào trong ĐTĐM, nhưng các côngtrình đó chỉ quan tâm tới dữ liệu một chiều mà bỏ qua đi sự phức tạp nhiều chiều.

Như được trình bày ở phần 2.4, các kết quả dự đoán sẽ được cải thiện tốt hơn nếu tồn tại mốiquan hệ giữa các metric dựa vào bài [4] Với lý thuyết dữ liệu có nhiều chiều sẽ cho kết quả tốt hơnnhưng ở môi trường thực tế, sự không liên quan/không có tương quan giữa các đặc trưng lại gây ảnhhưởng tới mô hình dự đoán Một số nghiên cứu đã đề xuất giải pháp phân tích sự tương quan giữacác chiều của dữ liệu Sabine et al [19] xây dựng framework gom nhóm các các chiều thành từng cụmdựa vào mối tương quan Nhóm tác giả của bài [22] cũng đề xuất framework hiệu quả để lựa chọn cácđặc trưng tốt dựa vào phân tích tuyến tính Vergara et al [20] phát triển giải pháp lưa chọn các đặctrưng dựa vào cách truyền tiến và truyển lùi theo chuỗi Tuy vậy dù có nhiều công trình đã đề cậptới việc phát hiện tính tương quan giữa các đại lượng ở ĐTĐM Bên cạnh đó, chưa có một phươngpháp nào giúp hệ thống dự đoán tích hợp việc trích chọn đặc trưng để tăng độ chính xác

Khái niệm chuỗi thời gian mờ lần đầu được nhắc tới trong bài [16], sử dụng mô hình one-factorhay còn gọi là một chiều Để giải quyết vấn đề nhiều factor, Erol et al [7] đã đề xuất mô hình mạngnơ-ron để học ra mối quan hệ giữa các factor trong dữ liệu chuồi thời gian mờ nhiều chiều Tran et

al [18] giới thiệu mô hình k-factor thời gian mờ sử dụng giải thuật di truyền-lan truyền ngược đểphát hiện ra các mối quan hệ ẩn giữa các chiều cũng như tận dụng kĩ thuật mờ hóa để giảm thiểu độnhiều trong dữ liệu thực tế

2.3.2 Phương pháp tuyến tính

Mô hình bậc p của phương pháp autoregressive là phương pháp hồi quy tuyến tính dựa vào các giátrị tiên nghiệm [24] Công thức biểu diễn dưới dạng sau:

Phương pháp trung bình trượt là một cách tiếp cận phổ biến trong việc mô hình chuỗi thời gian mộtchiều Mô hình này giả thiết giá trị đầu ra có quan hệ tuyến tính với giá trị hiện tại và các giá trị quá

2.3.2.3 Phương pháp liên tiến lũy thừa

X t+1= αX t+ (1− α X) t−1 (2.4)

được quyết định bởi bản thân của sản phẩm cũng như cảm nhận của nhà quản lý Chẳng hạn, mộtnhà sản xuất một sản phẩm mà nhu cầu tương đối ổn định thì tỷ lệ đáp ứng với sự chênh lệch giữa

dự đoán và thực tế sẽ nhỏ Nếu nhu cầu tăng trưởng nhanh, tỷ lệ này sẽ tăng cao Hằng số này có giá

thời điểm t và giá trị đã dự đoán tại thời điểm t Hay nói 1 cách khác, dữ liệu dự đoán sẽ bằng dữliệu quan sát gần nhất cộng với phần trăm chênh lệch giữa số dự đoán và số thực tế ở thời điểm dựđoán

2.3.3 Phương pháp mạng nơ-ron nhân tạo

sẽ định nghĩa 1 ánh xạ và học giá trị của tham số 0 sao cho xấp xỉ tốt nhất Mạng nơ ron nhiều lớp(MLP) được cấu tạo gồm các tầng khác nhau Tầng đầu tiên được gọi là tầng input, tiếp nhận thôngtin đầu vào Tầng cuối cùng là tầng output chứa thông tin đầu ra Xen giữa tầng input và outputgồm các tầng khác, gọi là là các tầng ẩn (hidden layers) Các nút ở các layer kề nhau thường đượckết nối toàn bộ với nhau

Áp dụng vào bài toán dự đoán chuỗi thời gian, mạng nơ ron sẽ xấp xỉ hàm quan hệ giữa đầu vào

y và chuỗi các giá trị độc lập: x1, x2, x3, , x pHay nói cách khác, với bài toán chuỗi thời gian, đầu vàocủa mạng sẽ là các giá trị gần nhất của dữ liệu và output sẽ là giá trị dự đoán tương lai Mạng ANN

sẽ thực hiện hàm ánh xạ:

mô hình trung bình trượt không tuyến tính trong bài toán dự đoán chuỗi thời gian

Hình 2.5: Mạng nơ-ron nhân tạo nhiều tầng

Mạng nơ ron phải được huấn luyện dể sử dụng cho nhiệm vụ dự đoán Về cơ bản, huấn luyện là mộtquá trình xác định bộ trọng số của các cạnh liên kết trong mạng nơ ron Các ‘tri thức’ được học bởimạng nơ ron lưu trữ ở các cạnh và nút Phương pháp huấn luyện mạng nơ ron là phương pháp học cógiám sát, ở đó với mỗi một vector đầu vào sẽ có một giá trị đầu ra tương ứng Tập huấn luyện có thể

Số nút của tầng input sẽ chính bằng số chiều của vector học Tuy nhiên trong bài toán dự đoán chuỗithời gian, việc xác định số chiều vector học hay kích thước cửa số trượt lại không hề đơn giản Toàn

bộ tập dữ liệu huấn luyện sẽ được chia làm 2 phần : dữ liệu training và dữ liệu test Dữ liệu trainingđược sử dụng để ước lượng trọng số trong mạng nơ ron với các tham số tùy chỉnh khác nhau ( số nút

ẩn, số tầng ẩn, hệ số học ), dữ liệu test được sử dụng để kiểm tra lại khả năng dự đoán của môhình Quá trình học diễn ra theo các bước sau

Thuật toán huấn luyện nêu trên, minh họa ở thuật toán 1 được gọi là thuật toán lan truyền ngược[13] sử dụng kĩ thuật giảm đạo hàm để tiến tới giá trị tối ưu địa phương, minh họa ở hình 2.6 Ưuđiểm của thuật toán này cho ra kết quả dự đoán tối ưu sau một số lần lặp, cùng với đó là khả năng

xử lí dữ liệu luồng hiệu quả Tuy vậy, nhược điểm cố hữu của kĩ thuật giảm đạo hàm đó là tốc độ hội

tụ khá chậm và cực trị đạt được sẽ rơi vào cực trị địa phương Một trong số các cách khắc phục làkết hợp với một giải thuật toàn cục khác như thuật toán di truyền, thuật toán con kiến tối ưu hóa

bộ trọng số trước khi chạy thuật toán lan truyền ngược

Algorithm 1:Huấn luyện mạng nơ-ron

Hình 2.6: Mô phỏng hướng đạo hàm

Hình 2.7: Mạng nơ-ron hồi quy Nguồn1

2.3.4 Phương pháp học sâu - Deep Learning

các giá trị trong quá khứ, mà chỉ quan tâm tới giá trị được nạp vào ngay tại lúc huấn luyện Elman

và cộng sự (1990) đề xuất mạng nơ-ron hồi quy , là một nhánh của mạng nơ-ron nhân tạo chuyên xử

các giá trị trong quá khứ, kết hợp 2 nguồn đó để đưa ra kết quả dự đoán

Mạng nơ-ron hồi quy khác biệt so với mạng nơ-ron truyền thẳng nằm ở module bộ nhớ Module

bộ nhớ ở đây có tác dụng lưu trữ thông tin của một chuỗi thông tin rất dài, giúp ích cho việc học

ra các quan hệ ẩn một cách hiêụ quả Cụ thể, thông tin của chuỗi thời gian được bảo toàn ở tronghidden state - trạng thái ẩn của mạng, xuyên suốt quá trình huấn luyện Nó giúp ích cho việc tìm ramối quan hệ của các sự kiện theo tuần tự thời gian, hay còn gọi với tên "phụ thuộc xa" Lưu ý rằng,trọng số của mạng nơ-ron hồi quy được chia sẻ theo thời gian Trạng thái ẩn của mạng được biểu diễndưới công thức:

h t= (φ U x t + W h t−1) (2.6)

với trạng thái ẩn Lỗi của mô hình sẽ được tính toán dựa vào thuật toán lan truyền ngược theo thờigian và điều chỉnh trọng số cho tới khi hội tụ

Từ những năm 1990, các nhà khoa học đã tìm thấy vấn đề đạo hàm bên trong mạng nơ-ron hồi quyảnh hưởng nghiêm trọng tới hiệu năng sử dụng mang Cụ thể, Hochreiter [10] chỉ ra rằng việc huấnluyện để học thông tin theo thời gian sử dụng thuật toán lan truyền ngược mất rất nhiều thời gian,kém hiệu quả và thường dẫn tới error backflow Tín hiệu lỗi được lan truyền quá xa trong mạng dẫntới 1 trong 2 vấn đề: bùng nổ đạo hàm hoặc triệt tiêu đạo hàm Lỗi 1 khiến giá trị trọng số quá lớn,không ổn định trong khi lỗi 2 khiến cho việc huấn luyện trở nên vô ích hoặc khiến hàm kém hiệu quả

1 http://colah.github.io/posts/2015-08- Understanding-LSTMs/

Hình 2.8: Đồ thị tính toán giá trị lỗi của mạng nơ-ron hồi quy, bằng phép ánh xạ các giá trị đầu

hidden-output Nguồn [9]