Luận văn thạc sĩ Khoa học máy tính: Phân tích và mô hình hóa các sự kiện lõi trong các hệ thống song song và phân bố

TRƯỜNG ĐẠI HỌC BÁCH KHOA --- NGUYỄN QUỐC BẢO PHÂN TÍCH VÀ MÔ HÌNH HÓA CÁC SỰ KIỆN LỖI TRONG CÁC HỆ THỐNG SONG SONG VÀ PHÂN BỐ Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: D480101 LUẬN VĂN TH

NỘI DUNG

Luận văn sẽ có cấu trúc nhƣ sau:

TỔNG QUAN

Khái niệm mô hình hóa và các vấn đề liên quan

Mô hình hóa là một phương pháp cơ bản trong khoa học thực nghiệm, bao gồm việc xây dựng một cách từ từ hình ảnh của hiện tƣợng đƣợc mô tả nào đó

Hình ảnh này thường được mô tả một cách trừu tượng nên việc xây dựng mô hình chủ yếu dựa trên các ngành khoa học nhƣ Toán học, Logic, Khoa học máy tính,…[9]

Sơ đồ tổng quát cho việc thực hiện mô hình hóa đƣợc thể hiện nhƣ hình dưới đây:

Hình 1.1: Các bước mô hình hóa

1.1.2 Vì sao cần mô hình hóa? Để đánh giá hiệu quả hoạt động của một hệ thống nào đó thì có thể dựa trên nhiều khía cạnh khác nhau, trong đó các lỗi phát sinh trong quá trình hoạt động là một khí cạnh quan trọng Tuy nhiên để có đƣợc một lƣợng dữ liệu đủ lớn nhầm tăng độ chính xác khi đánh giá hệ thống thì lại cần rất nhiều thời gian, do đó cần phải có một cách để có đƣợc lƣợng dữ liệu nhiều nhƣ mong muốn, và mô hình hóa là một giả pháp Khi xây dựng đƣợc mô hình mô phỏng hoạt động của một hệ thống nào đó thì ta có thể sinh ra đƣợc lƣợng dữ liệu tùy ý

Luận văn này sẽ xây dựng mô hình cho tập duration các lỗi của bốn hệ thống Condor_cae, Condor_cs, Condor_glow và TeraGrid, sau đó kết hợp với mô hình đã đƣợc xây dựng trong bài báo [11] thành một mô hình đầy đủ về các sự kiện lỗi, bao gồm các thông tin nhƣ thời gian xảy ra lỗi, lỗi kéo dài bao lâu, thời điểm lỗi đƣợc khắc phục và lỗi xảy ra tại node nào trong hệ thống

Thông tin về bốn hệ thống cũng như bài báo [11] sẽ được trình bày dưới đây

Lấy dữ liệu Phân tích tính chất

Hiện thực mô hình Đánh giá mô hình

Lấy dữ liệu Phân tích tính chất

Hiện thực mô hình Đánh giá mô hình

Thông tin chính về bốn hệ thống sẽ tiến hành mô hình hóa

Ngày nay, do nhu cầu sử dùng tài nguyên máy tính ngày càng gia tăng, khối lượng công việc tính toán ngày càng lớn nên cần có một môi trường tính toán có khả năng thực hiện đƣợc một lƣợng các công việc lớn và phức tạp trong một khoản thời gian nào đó Môi trường như vậy được gọi là môi trường tính toán thông lƣợng cao – High Throughput Computing (HTC)

HTC có điểm khác so với HPC (High-Performance Computing), đó là trong HPC thì tốc độ tính toán là tiêu chí quan trọng nhất Tuy vậy, trong thực tế người dùng còn quan tâm đến số lượng công việc mà máy tính thực hiện trong một khoản thời gian dài có thể lên đến hàng tuần hay hàng tháng, hàng năm, tùy vào tính chất của công việc, và do đó hệ thống HTC ra đời

Condor là một hệ thống phần mềm để tạo ra một môi trường Tính toán thông lƣợng cao HTC Nó sử dụng hiệu quả sức mạnh tính toán của các máy trạm đƣợc giao tiếp với nhau qua mạng Condor có thể quản lí một cụm các máy đƣợc dành riêng cho việc tính toán Sức mạnh tính toán của Condor có đƣợc do tận dụng các tài nguyên rỗi trong cụm máy đó Khi một công việc đƣợc thực hiện trên Condor, hệ thống sẽ tự lựa chọn và phân bổ các tài nguyên nhàn rỗi để phục vụ cho yêu cầu đó

Condor đƣợc phát triển tại đại họcWisconsin-Madison Cả ba hệ thống Condor_cae, Condor_cs, Condor_glow đều là các hệ thống đƣợc xây dựng tại trường đại học này

TeraGrid là một cơ sở hạ tầng điện toán lưới Dự án xây dựng TeraGrid đƣợc bắt đầu từ năm 2001 và hoạt động từ năm 2004 đến năm 2011, gồm 11 cụm thành viên TeraGrid tích hợp các máy tính hiệu năng cao, nguồn dữ liệu và các công cụ cũng nhƣ các thiết bị thí nghiệm Nguồn tài nguyên này bao gồm khả năng tính toán lên đến hơn 1 petaflop (tốc độ xử lý tương đương một triệu tỷ phép tính mỗi giây) và hơn 30 petabyte dữ liệu được lưu trữ trực tuyến với khả năng truy cập và truy xuất nhanh chống trên các máy tính có hiệu năng cao đƣợc kết nối với nhau Ngoài ra các nhà nghiên cứu cũng có thể truy cập hơn 100 cơ sở dữ liệu chuyên ngành tại đây

TeraGrid đƣợc điều phối thông qua nhóm Grid Infrastructure Group (GIG) tại trường đại học Chicago, làm việc với tư cách là quan hệ đối tác với các trang web cung cấp tài nguyên tại Hoa Kỳ.

Bài báo làm cơ sở chính cho luận văn [11]

[11] là bài báo nghiên cứu và xây dựng một mô hình mô phỏng lại các sự kiện lỗi trong các hệ thống song song và phân bố, cụ thể là tiến hành phân tích trên 5 hệ thống CONDOR-CAE (MSI1), CONDOR-CS (MSI2), CONDOR- GLOW (MSI3) và TERAGRID(MSI4) và GRID’5000 (MSI5)

Mô hình đƣợc xây dựng dựa trên việc phân tích các tính chất của chuỗi thời gian giữa hai lần xảy ra lỗi (times between failures-TBF)trong cả 5 hệ thống nói trên, từ đó dựng lại mô hình mô phỏng các sự kiện lỗi trong các hệ thống này.

CƠ SỞ LÝ THUYẾT

Cơ sở Toán học

Cơ sở Toán được trình bày dưới được tham khảo từ tài liệu số [3], [5], [6], [9] và mục Help trong Matlab

2.1.1 Các khái niệm có liên quan 2.1.1.1 Biến ngẫu nhiên

- Biến ngẫu nhiên là một mô tả bằng số của kết quả các thí nghiệm

- Biến ngẫu nhiên rời rạc là biến có thể nhận một số đếm đƣợc của các giá trị trong một khoảng

-Một biến ngẫu nhiên liên tục là một giá trị ngẫu nhiên có thể nhận bất kỳ giá trị nào trong một khoảng hay tập hợp các khoảng

- Phân phối xác suất đối với một biến ngẫu nhiên sẽ mô tả làm thế nào các xác suất đƣợc phân phối theo các giá trị của biến ngẫu nhiên

- Một phân phối xác suất đối với một biến ngẫu nhiên rời rạc X là một danh sách các giá trị có thể có của biến X và các xác suất tương ứng

Một phân phối xác suất có thể được trình bày dưới dạng bảng,đồ thị (đồ thị tần số) hoặc hàm số

Hàm xác suất rời rạc f(x) là một hàm xác định xác suất đối với mỗi giá trị của biến X: f(x) = Prob (X=x)

Trong đó: 0 ≤ f(x) ≤ 1 và ∑ ( ) - Phân phối xác suất đối với một biến ngẫu nhiên liên tục đƣợc đặc trƣng bởi một hàm mật độ xác suất (Probability Density Function – PDF)

- Hàm mật độ xác suất:

Cho biến ngẫu nhiên liên tục X Hàm f(x), x ∈ Rđƣợc gọi là hàm mật độ xác suất của X nếu thỏa:

Về mặt hình học thì xác suất biến ngẫu nhiên X nhận giá trị trong khoản (a,b) bằng diện tích hình thang cong giới hạn bởi các đường x = a, x = b, y = f(x) và trục Ox

Hình 2.1 cho ta thấy một ví dụ về xác suất để X nhận đƣợc giá trị trong khoảng (a,b)

Hình 2.1: Xác suất để X nhận được giá trị trong khoảng (a,b) - Hàm phân phối xác suất:

Hàm phân phối xác suất (hay hàm phân phối tích lũy) của biến ngẫu nhiên

X, ký hiệu F(x) hoặc F X (x), là xác suất để X nhận giá trị nhỏ hơn x (với x là số thực bất kỳ)

Hàm phân phối xác suất cho biết tỉ lệ phần trăm giá trị của X nằm bên trái củax

Với biến ngẫu nhiên rời rạc X = {x 1 , x 2 , ….x n } thì:

Với biến ngẫu nhiên liên tục X thì:

Hình 2.2 cho ta thấy một ví dụ về xác suất để X nhận giá trị nhỏ hơn a

Hình 2.2: Xác suất để X nhận giá trị nhỏ hơn a

Trung bình của một biến ngẫu nhiên(hay còn gọi là giá trị kỳ vọng) là trung bình có trọng số của tất cả các giá trị của biến đó Gọi mean(X) là giá trị trung bình của biến X thì ta có:

∑ Trong đó f i là tần số xuất hiện của x i - Phương sai:

Phương sai của một biến là giá trị đo độ phân tán của biến đó, nó hàm ý cho biết các giá trị của biến đó cách giá trị trung bình khoảng bao xa Phương sai được tính là giá trị kỳ vọng của bình phương của độ lệch của biến X so với giá trị trung bình của nó Cũng có thể hiểu phương sai là "trung bình của bình phương khoảng cách của mỗi điểm dữ liệu tới trung bình" x O y a

2.1.2.Một số dạng phân bố xác suất 2.1.2.1 Phân bố Normal

Phân bố Normal (còn gọi là phân phối chuẩn hay phân phối Gauss) là phân bố thuộc dạng phân bố liên tục (Continuous Distribution), đƣợc đặc trựng bởi hàm mật độ xác suất nhƣ sau:

Trong đó là trung bình và là phương sai

Phân phối chuẩn là một dạng phân phối rất quan trọng trong nhiều lãnh vực Nó là một họ các đường cong có dạng tổng quát giống nhau, chỉ khác nhau ở các tham số như giá trị trung bình và phương sai

Hình 2.3 cho ta thấy một đồ thị của hàm phân phối xác suất chuẩn (đƣợc vẽ bằng Matlab) với trung bình = 0 và phương sai = 1 (các đồ thị của các dạng phân bố sau này cũng đƣợc vẽ từ Matlab)

Hình 2.3:Đồ thị hàm phân phối xác suất chuẩn với các tham số trung bình và phương sai lần lượt là 0 và 1

Generalized Pareto là phân bố thuộc dạng phân bố liên tục, đƣợc đặc trƣng bởi hàm mật độ xác suất nhƣ sau:

Trong đó là các thông số của phân bố

Khi k = 0 thì hàm phân bố xác suất sẽ là:

Generalize Pareto thường được dùng để mô hình hóa cho phần “đuôi” của các phân bố khác

Ví dụ: có một dây chuyền sản xuất máy giặt Có thể có các tác động ngẫu nhiên nào đó dẫn đến việc kích thước của các máy này khác nhau Khi đó ta có thể dùng phân bố normal để mô hình hóa cho các kích thước này Tuy vậy, mặc dù phân bố normal là phù hợp nhất cho việc mô hình hóa các kích thước của máy giặt trong trường hợp này, nhưng nó vẫn không thể mô phỏng được toàn bộ dữ liệu thật về các giá trị về độ lớn kích thước của máy giặt do có một số máy giặt có kích thước nhỏ hơn hoặc lớn hơn nhiều so với kích thước trung bình (các giá trị này còn đƣợc gọi là heavy tail).Khi đó cần có một phân bố khác để mô hình hóa cho các giá trị này, và Generalized Pareto có thể là một lựa chọn

Hình 2.4 cho ta một ví dụ về đồ thị hàm phân phối xác suất của phân bố Generalize Pareto

Hình 2.4:Đồ thị hàm phân phối xác suất của phân bố Generalize Pareto với các tham số lần lượt là 1, 1 và 1

2.1.2.3.Phân bố t Location-scale t Location-scale là phân bố thuộc dạng phân bố liên tục, đƣợc đặc trƣng bởi hàm mật độ xác suất nhƣ sau: y Trong đó v> 0 và Phân bố t Location-scale rất hứu ích khi dùng để mô hình hóa các dữ liệu có phân bố có “đuôi” (tail) có độ nghiêng lớn hơn so với đuôi của phân bố normal

Hình 2.5 cho ta một ví dụ về đồ thị hàm phân phối xác suất của phân bố t Location-scale

Hình 2.5: Đồ thị hàm phân phối xác suất của phân bố t Location-scale với các tham số lần lượt là 0, 1 và 5

2.1.2.4 Phân bố Exponential (phân bố mũ)

Phân bố Exponential thuộc dạng phân bố liên tục, có hàm mật độ xác suất nhƣ sau:

Trong đó và x 0 là thông số cho biết tốc độ suy giảm của xác suất nhanh hay chậm, và cũng là giá trị trung bình của phân bố

Một dạng khác của phân bố mũ là khi thay , khi đóhàm mật độ xác suất trở thành ( ) Lúc này còn đƣợc gọi là “rate paramater” (thông số số tốc độ), dùng để đo tốc độ một sự kiện nào đó xảy ra bao nhiêu lần trong một đơn vị tính của x

Phân bố mũ thường được dùng để mô hình hóa các sự kiện xảy ra theo thời gian

Hình 2.6 cho ta một ví dụ về đồ thị hàm phân phối xác suất của phân bố mũ

Hình 2.6: Đồ thị hàm phân phối xác suất của phân bố mũ với tham số =1

Phân bố Poisson thuộc dạng phân bố rời rạc, có hàm mật độ độ xác suất nhƣ sau:

Phân bố Poisson rất thích hợp cho việc mô hình hóa số lần xuất hiện của một sự kiện ngẫu nhiên trong một khoản thời gian, một khoảng cách, một vùng,… Ví dụ như số người đến thư viện trong một giờ, số các job đến một hệ thống trong một giây,…

Phân bố Poisson là là phân bố rời rạc một thông số chỉ nhận giá trị dương

Giá trị vừa là trung bình vừa là phương sai của phân bố

Phân bố Poisson và phân bố mũ có mối liên hệ với nhau Nếu việc đếm số lần xuất hiện các sự kiện tuân theo phân bố Poisson thì hiệu của từng cặp giá trị liên tiếp nhau trong phân bố Poisson sẽ tuân theo phân bố mũ

Hình 2.7 cho ta một ví dụ về đồ thị hàm phân phối xác suất của phân bố Poisson

Hình 2.7: Đồ thị hàm phân phối xác suất của phân bố Poisson với tham số

2.1.2.6.Phân bố Generalized Extreme Value

Generalized Extreme Value thuộc dạng phân bố liên tục, có hàm mật độ xác suất nhƣ sau:

Generalized Extreme Value thường được dùng để mô hình hóa các giá trị lớn nhất hay nhỏ nhất trong một tập rất lớn các giá trị độc lập Ví dụ: ta có nhiều lô hàng máy giặt, mỗi lô hàng ta ghi nhận một giá trị là kích thước lớn nhất của máy giạt có trong lô hàng đó Khi đó ta có thể dùng phân bố Generalized

Extreme Value để mô hình hóa cho tập các giá trị này (còn đƣợc gọi là tập các giá trị lớn nhất) Tương tự cho việc ghi nhận các giá trị nhỏ nhất của kích thước máy giặt

Generalized Extreme Value là sự kết hợp của 3 dạng phân bố đơn giản hơn vào một dạng Ta có thể dùng bất cứ dạng phân bố nào trong 3 dạng để mô hình hóa cho một tập các giá trị lớn nhất hay nhỏ nhất nào đó

Hình 2.8 cho ta một ví dụ về đồ thị hàm phân phối xác suất của phân bố Generalized Extreme Value

Hình 2.8: Đồ thị hàm phân phối xác suất của phân bố Generalized Extreme

Value với các thông số lần lượt là 0, 1 và 0

2.1.3.Kiểm định giả thuyết thống kê

Lý thuyết hàng đợi

Ngày nay, có một thực tế là nhu cầu sử dụng tài nguyên máy tính trên các hệ thống lớn ngày càng gia tăng Việc đó đòi hỏi cần phải có những thay đổi và cải tiến nhất định trong việc xây dựng các hệ thống mới để đáp ứng nhu các cầu đó Việc này được thực hiện dựa trên các bước bao gồm mô hình hóa, phân tích, thiết kế và cuối cùng là hiện thực hệ thống Sự hoạt động của các hệ thống nhƣ vậy là rất phức tạp và khó nắm bắt Để hiểu rõ hơn về hoạt động của hệ thống nhƣ thế này ta cần phải dùng đến các mô hình Toán học mô tả lại quá trình ngẫu nhiên của các yêu cầu dịch vụ đi đến hệ thống một cách ngẫu nhiên Lý thuyết hàng đợi là một trong những cách phổ biến dùng để ƣớc lƣợng hiệu suất của hệ thống bằng cách sử dụng các công cụ Toán học

Việc ước lượng này thường đi kèm với giả định lý tưởng rằng các node tham gia trong hệ thống đều có thể hoạt động liên tục (tức là không bị chết, bị treo, không đáp ứng,… trong suốt quá trình hoạt động)

Do nội dung chính của luận văn này là mô phỏng lại các sự kiện lỗi của các hệ thống nhƣ đã đề cập, các node có thể bị chết nên giả định nhƣ trên không đƣợc thỏa Do đó luận văn chỉ trình bày một số kiến thức cơ bản nhất về lý thuyết hàng đợi, bao gồm một số khái niệm cơ bản có liên quan, các giá trị thường được dùng để đánh giá hiệu suất cũng như cách cơ bản nhất để đánh giá các thông số hiệu suấtcủa một hệ thống

Nội dung về lý thuyết hàng đợi được trình bày dưới đây được tham khảo từ tài liệu số [2], [6] và [9]

2.2.2 Các khái niệm có liên quan và thông số hiệu suất thường được dùng để đánh giá hệ thống

* Khái niệm hàng đợi: hàng đợi là một hệ thống gồm các thành phần: khách hàng (yêu cầu) vào hay ra hệ thống, hệ thống phục vụ và hàng đợi.Một khách hàng khi đi đến hệ thống sẽ đƣợc đƣa vào hàng đợi, khi đến lƣợt thì khách hàng đó đƣợc phục vụ ở server, khi đƣợc phục vụ xong thì ra khỏi hệ thống

Hình 2.9 là mô hình chung của hệ thống hàng đợi

Hình 2.9:Mô hình chung của hệ thống hàng đợi

Gọi A là tập hợp gồm các phần tử mà mỗi phần tử chính là thời điểm

(arival time) có một yêu cầu đi đến một hệ thống (còn gọi là requests arrive)

Khi đó ta nói A tuân theo quá trình Poisson với tốc độ đến nếu các khoảng thời gian giữa các lần đến liên tiếp nhau là độc lập với nhau và có dạng phân bố là phân bố mũ với tham số

Khi tiến hành đánh giá hiệu suất hệ thống bằng lý thuyết hàng đợi, ngoài tập các giá trị là các thời điểm đến còn có tập các khoảng thời gian phục vụ tương ứng cho từng yêu cầu đi đến hệ thống (service time) Tập các giá trị này cũng đƣợc giả định là độc lập và có phân bố mũ với thông số

* Các khái niệm về thông số hiệu suất hệ thống thường dùng:

- Tốc độ lưu lượng đến (Arrival rate): tốc độ luồng lưu lượng đến hay số khách hàng đến trung bình trong một khoảng thời gian, ký hiệu λ

- Tốc độ phục vụ (Service rate): tốc độ phục vụ hay số khách hàng trung bình đƣợc phục vụ trên một đơn vị thời gian, ký hiệu μ

- Số lƣợng trung bình của khách hàng trong hệ thống - Số lƣợng trung bình của khách hàng trong hàng đợi

Sự kiện đến Bộ xử lý Sự kiện đi

- Thời gian trung bình trong hệ thống: bao gồm hai khoảng thời gian: thời gian đợi và thời gian phục vụ

- Thời gian trung bình trong hàng đợi (thời gian đợi để đƣợc phục vụ): bằng thời gian trung bình hệ thống trừ đi thời gian phục vụ

- Xác suất tắc nghẽn: Xác suất hệ thống bận hay còn gọi là hệ số sử dụng của toàn hệ thống (Utilization factor).

Các kết quả đã có từ bài báo “Failure Analysis and Modeling in Large Multi-Site Infrastructures”

2.3.1.Tính đồng thời (Simultaneity) của các sự kiện lỗi (Failures) và khôi phục lỗi (Recoveries)

Gọi T là tập các lỗi đƣợc xếp thứ tự theo thời gian xảy ra:

Trong đó F i là thời điểm khi lỗi thứ i xảy ra

Gọi U i là khoản thời gian mà lỗi thứ i chƣa đƣợc khắc phục, R i là thời điểm mà lỗi thứ i đƣợc khắc phục

Ta gọi lỗi thứ i là simultaneous failure (SF) nếu tồn tại lỗi thứ j ≠ I sao cho i và j là hai lỗi xảy ra đồng thời Tương tự, ta gọi lỗi thứ i là simultaneous recovery (SR) nếu tồn tại lỗi thứ j≠ i sao cho i và j đƣợc khắc phục thành công tại một thời điểm Khi đó tỷ lệ các SF và SR được thể hiện trong bảng dưới đây:

MSI1 MSI2 MSI3 MSI4 MSI5

Bảng 2.2: Tỷ lệ các SF và SR

2.3.2 Tính cấu trúc phụ thuộc (Dependence Structure) của các TBF-Time Between Failures

Gọi I i là khoản thời gian giữa hai lần xảy ra lỗi (TBF): I i = F i −F i−1

Khi đó các I i sẽ “phụ thuộc” lẫn nhau, nghĩa là các I i sẽ có mối tương quan với nhau

Thông số Hurst (H) được dùng để đo độ tương quan của các I i , hay độ tự tương quan của tập dữ liệu {I i } H có giá trị từ 0.5 đến 1 (0.5 ≤ H ≤ 1) H = 0.5 cho biết các giá trị trong tập dữ liệu là độc lập với nhau, H > 0.5 cho biết các giá trị trong tập dữ liệu là phụ thuộc với nhau Kết quả ƣớc lƣợng đƣợc thể hiện trong hình 2.10:

Hình 2.10: Giá trị thông số H của các hệ thống (nguồn hình: [11])

2.3.3.Tính bội (multiplication) của các TBF

Khi phân tích các TBF thì kết quả là hầu hết các TBF >0 (PTBF) đều là bội số của một số nào đó, gọi là basic value Bảng 2.3 cho thấy basic value và tỷ lệ các PTBF là bội số của basic value này

MSI1 MSI2 MSI3 MSI4 MSI5

Bảng 2.3: Basic value và tỷ lệ PTBF là bội số của basic value

2.3.4.Xây dựng mô hình từ 3 tính chất simultaneous , dependence và multiplication

Từ ba tính chất tìm đƣợc từ dữ liệu thật, bài báo đã xây dựng đƣợc mô hình mô phỏng các tính chất đó trong giải thuật nhƣ sau:

MÔ HÌNH HÓA

Các hàm Matlab tự viết dùng cho việc mô hình hóa

- Công dụng: Tìm các dạng phân bố tốt nhất cho tập data

- Input: tập data, có thể là vecto hoặc mảng một chiều Data có thể là số thực hoặc số nguyên

- Output: các dạng phân bố tốt nhất cho tập data, kèm theo các thông số cho dạng phân bố đó Ta gọi dạng phân bố tốt nhất cho tập data là dạng phân bố phù hợp nhất (tức độ phù hợp là 1), dạng phân bố tốt thứ hai cho tập data là dạng phân bố phù hợp thứ 2 (tức độ phù hợp là 2),…

- Ví dụ: data =[1:2:101] là một số các số nguyên dương lẻ đầu tiên, khi thực hiện dist=allfitdist(data) ta đƣợc dist(1) là dạng phân bố phù hợp nhất cho data, dist(2) là dạng phân bố phù hợp thứ hai cho data,… Trong đó, dist(1).DistName, dist(1).Params(1), dist(1).Params(2), lần lƣợt là tên, thông số thứ nhất, thông số thứ hai, của dạng phân bố phù hợp nhất cho tập data

Hàm allfitdist này đƣợc lấy từ trang web của Matlab là: http://mathworks.com/

- Công dụng: đếm số phần tử bằng nhau liên tiếp có trong tập data

- Input: tập data, có thể là vecto hoặc mảng một chiều Data có thể là số thực hoặc số nguyên

- Output: mảng một chiều mà mỗi phần tử chính là số lƣợng các phần tử bằng nhau liên tiếp có trong tập data

- Ví dụ: data =[1 3 4 2 2 2 5 5 2 2 4 4 4 ] Khi thực hiện a= cce(data) ta thu đƣợc: a=[1 1 1 3 2 2 4]

* Hàm get_duration(num_file):

- Công dụng: lấy dữ liệu về các duration của hệ thống num_file

- Input: num_file, là số hiệu của file sẽ mô phỏng để tạo mô hình với qui ƣớc số 1 là file condor_cae, số 2 là condor_cs, số 3 là condor_glow, số 4 là tera_grid

- Output: mảng một chiều chứa các duration của các sự kiện lỗi trong file tương ứng

* Hàm divisor_persent(data,vecto,para,persent)

- Công dụng: tìm các ƣớc chung của tập data thỏa điểu kiện là tỷ lệ của số lƣợng các phần tử trong tập data chia hết cho ƣớc chung nào đó là lớn hơn persent

Khái niệm ƣớc chung đƣợc dùng cho hàm này nhƣ sau: a đƣợc gọi là ƣớc số của b hay b chia hết cho a nếu: abs((a/b) – round(a/b)) ≤ para Ta gọi khái niệm ƣớc chung nhƣ trên là ƣớc chung mở rộng, para đƣợc gọi thông số của ƣớc chung mở rộng

- Input: data là vecto hoặc mảng một chiều, para là thông số của ƣớc mở rộng, vecto là tập các giá trị sẽ đƣợc dùng để kiểm tra xem các giá trị này có phải là ƣớc chung của data hay không, persent là tỷ lệ nhƣ đã nói ở trên

-Output: tập các ƣớc chung của tập dữ liệu data (chỉ các số lớn hơn 0) với khái niệm “ƣớc số” hay “chia hết” đƣợc mở rộng nhƣ trên

Ví dụ: data = get_duration(1) là tập các duration của hệ thống

Condor_cae vecto = 1:1:30 là tập gồm 300 số tự nhiên đầu tiên từ 1 đến 300 para =0,005 và persent =0,75

Khi đó d = divisor_persent(data,vecto,para,persent) sẽ tìm các ƣớc chung của tập duration của hệ thống Condor_cae Các giá trị 1, 2, 3, …,300 sẽ đƣợc dùng để kiểm tra xem nó có phải ƣớc chung của 75% số lƣợng các phần tử trong tập duration này hay không với hông số của ƣớc mở rộng là 0.005

* Hàm getsample(name,i,row,column,max_value):

- Công dụng: lấy ngẫu nhiên một số các giá trị thuộc dạng phân bố có tên là name

- Input: name là tên của dạng phân bố; i là mức độ tốt của dạng phân bố name; row và colunm lần lƣợt là số dòng và số cột; max_value là cận trên của mẫu

- Output: một ma trận cấp row x colum mà các phần tử thuộc dạng phân bố tốt thứ i (d phân bố đƣợc lấy từ hàm allfitdist nhƣ trên) có tên name và có giá trị không lớn hơn max_value

Name là tên dạng phân bố đƣợc lấy từ hàm allfitdist nên mới có độ đo mức độ tốt của các dạng phân bố

- Ví dụ: kq = getsample(dist.DistName,1,3,4,10) sẽ cho kết quả là một ma trận cấp 3x4 với các phần tử có giá trị không lớn hơn 10, các phân tử này thuộc dạng phân bố có tên là dist.DistName và là dạng phân phân bố tốt nhất (i=1)

- Công dụng: lấy một số các thông tin về các node từ tập dữ liệu thật

-Input: num là số thứ tự của file

-Output: danh sách các node xảy ra lỗi của file có số thứ tự là num và số lần xảy ra lỗi tại mỗi node tương ứng

* Hàm getinfoduration(vecto,para,persent) :

- Công dụng: lấy thông tin về các ƣớc số của các duration bốn hệ thống đƣợc mô phỏng trong luận văn

- Input: vecto là tập các ƣớc số sẽ kiểm tra; para là thông số của ƣớc mở rộng; persentlà số thỏa0