6. Kết quả nghiên cứu, đóng góp khoa học của luận án
3.1.1. Các hàm độ đo tiêu chuẩn để so sánh
Để xây dựng độ đo tổng quát, chúng tôi sử dụng các hàm độ đo tiêu chuẩn thường được sử dụng trong đại số sau:
1. Trung bình bình phương lỗi (MSE, Mean Square Error) là trung bình cộng của bình phương độ lệch giữa giá trị dự đoán với giá trị quan sát thực :
∑
64
2. Trung bình trị tuyệt đối lỗi (MAE, Mean Absolute Error) là trung bình cộng trị tuyệt đối bình phương lỗi:
∑
(3.2)
3. Trung bình độ khác nhau lỗi (MDE, Mean Difference Error) tương tự như MAE nhưng loại bỏ hằng số :
∑
(3.3) 4. Độ chính xác của ước lượng (AE, Accuracy of Estimation) phản ánh sự khác
biệt giữa số lỗi ước lượng được với số lỗi đã được phát hiện :
| | (3.4)
5. Độ nhiễu (Noise) phản ánh sự thay đổi của hàm tham số :
∑ | |
(3.5) 6. Tỉ lệ dự đoán rủi ro (PRR, Predictive-Ratio Risk) là tổng sự so sánh tương đối
giữa giá trị ước lượng với giá trị thực :
∑
(3.6) 7. Tổng bình phương lỗi (SSE, Sum of Squared Errors) là tổng bình phương sự
khác biệt giữa giá trị ước lượng với giá trị thực :
∑
(3.7) 8. Tổng độ khác nhau (SD, Sum of Difference) là tổng bình phương sự khác biệt
giữa thời điểm ước lượng và thời điểm thất bại xảy ra thực :
∑
(3.8) Chú ý: là kích thước mẫu của tập dữ liệu và là số lượng tham số của mô hình.
3.1.2. Phƣơng thức tính toán độ đo tổng quát
Như đã trình bày hàng loạt các độ đo ở tiểu mục trước, mỗi độ đo cung cấp một thông số khác nhau trong việc đánh giá chất lượng của mô hình. Do đó, chúng có những ứng dụng nhất định phụ thuộc vào ngữ cảnh và bài toán khác nhau. Tuy nhiên, chúng không cung cấp được một cái nhìn tổng quát về sự so sánh các mô hình. Xuất phát từ hạn chế đó, chúng tôi sử dụng đến những phép tính toán toán học nhằm đưa ra một độ đo tổng quát dựa trên các độ đo riêng biệt trên [56]. Độ đo tổng
65
quát đo sẽ được gọi là độ đo tổng hợp và các độ đo riêng biệt sẽ được gọi là độ đo tiêu chuẩn. Chúng tôi đề xuất kịch bản 4 bước để tính toán độ đo tổng hợp như sau:
Bước 1. Tính toán các giá trị của mỗi độ đo tiêu chuẩn cho các mô hình. Bước 2. Tính toán trọng số cho mỗi độ đo tiêu chuẩn.
Bước 3. Tính giá trị đã được tính đến trọng số cho mỗi độ đo tiêu chuẩn. Bước 4. Tính giá trị độ đo tổng hợp.
3.1.2.1. Tính toán các giá trị của mỗi độ đo tiêu chuẩn cho các mô hình
Chúng ta thực hiện việc cài đặt các mô hình với các bộ dữ liệu khác nhau nhằm thu được các giá trị độ đo tiêu chuẩn. Các giá trị này được lưu trữ trong ma trận giá trị độ đo tiêu chuẩn (Criteria value matrix). Trong ma trận này, mỗi phần tử cho biết giá trị của độ đo tiêu chuẩn thứ của mô hình thứ . Nếu có mô hình và độ đo tiêu chuẩn, ta có ma trận giá trị tiêu chuẩn được cho bởi:
[ ] (3.9) với
= Giá trị lớn nhất của độ đo tiêu chuẩn thứ = Giá trị nhỏ nhất của độ đo tiêu chuẩn thứ = Giá trị của độ đo tiêu chuẩn thứ của mô hình thứ
3.1.2.2. Tính toán trọng số cho mỗi độ đo tiêu chuẩn
Tiếp theo, chúng ta tính toán các trọng số của mỗi độ đo tiêu chuẩn (Criteria weight). Trước hết, chúng tôi đề xuất phương pháp tính toán chỉ số xếp hạng độ đo tiêu chuẩn (Criteria rating) là công cụ để tính toán giá trị trọng số độ đo tiêu chuẩn. Xét hai trường hợp:
- Trƣờng hợp 1. Độ đo đang xét có giá trị càng bé thì mô hình càng tốt:
(3.10)
- Trƣờng hợp 2. Độ đo đang xét có giá trị càng lớn thì mô hình càng tốt:
(3.11)
với
(Criteria Maximum Value in the Database): giá trị lớn nhất của độ đo đang xét trên toàn bộ ma trận giá trị độ đo tiêu chuẩn
(Criteria Minimum Value in the Database): giá trị lớn nhất của độ đo đang xét trên toàn bộ ma trận giá trị độ đo tiêu chuẩn
66 (Criteria Value): giá trị độ đo tiêu chuẩn
Cho biểu diễn chỉ số xếp hạng của độ đo thứ của mô hình thứ . Theo phương pháp trên ta có: (3.12) hoặc (3.13)
với . Từ đó, ta có trọng số của độ đo tiêu chuẩn:
(3.14)
Từ các giá trị trọng số của độ đo tiêu chuẩn được giới thiệu ở tiểu mục trước ta xây dựng được ma trận trọng số như sau:
[
] (3.15)
3.1.2.3. Tính giá trị đã đƣợc tính đến trọng số cho mỗi độ đo tiêu chuẩn
Từ các giá trị độ đo tiêu chuẩn và trọng số, chúng ta thực hiện việc tính toán ma trận giá trị trọng số độ đo tiêu chuẩn (Weighted criteria value matrix). Ma trận giá này thu được bằng cách nhân các phần tử của ma trận trọng số với các phần tử tương ứng của ma trận giá trị độ đo tiêu chuẩn:
(3.16) [ ] (3.17) 3.1.2.4. Tính giá trị độ đo tổng hợp
Ở bước cuối cùng, chúng ta có giá trị độ đo tổng hợp (Generalised measure) của mô hình là giá trị trọng số có nghĩa được tính toán từ tất cả các độ đo tiêu chuẩn và được cho bởi:
∑
∑ (3.18)
với . Với cách tính toán được chúng tôi đề xuất, giá trị độ đo tổng hợp này càng thấp thì mô hình càng được xếp hạng cao.
3.1.3. Cài đặt thực nghiệm
3.1.3.1. Các mô hình đƣợc thực nghiệm
67 1. Mô hình Goel-Okumoto [6]
2. Mô hình Goel-Okumoto3
3. Mô hình trễ hình dạng S của Yamada [80]
4. Mô hình trễ hình dạng S của Yamada3 5. Mô hình Musa-Okumoto [37] 6. Musa-Okumoto Model3 Trong đó kí hiệu "3
" biểu diễn cho biến thể của mô hình: thay vì sử dụng đủ bản ghi của tập dữ liệu, mô hình chỉ sử dụng bản ghi.
3.1.3.2. Thực nghiệm trên dữ liệu phần mềm chiến thuật hải quân Hoa Kì
Để cài đặt thực nghiệm, chúng tôi sử dụng dữ liệu về kiểm thử phần mềm chiến thuật của Hải quân Hoa Kỳ được nêu ở phụ lục B.4. Sử dụng phương pháp hợp lý cực đại thu được tham số của các mô hình như trong Bảng 3.1 sau.
Bảng 3.1. Tham số của các mô hình với dữ liệu NTDS
Mô hình Tham số Goel Okumoto Goel Okumoto3 Musa Okumoto Musa Okumoto3 Delayed S-shaped Delayed S-shaped3
Khi đó lần lượt tính toán được giá trị độ đo tiêu chuẩn và giá trị độ đo tổng hợp của 6 mô hình nêu trong Bảng 3.2 và Bảng 3.3.
Bảng 3.2. Giá trị độ đo tiêu chuẩn của 6 mô hình với dữ liệu NTDS
Mô hình MSE MAE MDE AE Noise PRR SSE SD
Goel Okumoto 6.2 0.6 1.9630 0.0900 2.2855 -2 155 513.3385 Goel Okumoto3 5.75 0.8333 0.7037 0.2591 1.3715 0 138 473.4393 Musa Okumoto 12.04 1.96 2.5556 0.4225 1.6151 0 301 844.8292
68 Musa Okumoto3 8.91667 1.5 1.0741 0.1334 1.0460 0 214 558.7136 Delayed S-shaped 4.88 1.68 1.6296 0.0151 3.1732 1 122 336.2865 Delayed S-shaped3 4.66665 1.5833 0.4815 0.0183 2.4387 1 112 309.5758
Bảng 3.3. Giá trị độ đo tổng hợp của 6 mô hình với dữ liệu NTDS
Mô hình Tổng trọng số Tổng trọng số
độ đo tiêu chuẩn Độ đo tổng hợp #
Goel Okumoto 3.5806112 398.3093 111.2406 4 Goel Okumoto3 3.5611727 332.605 93.3976 3 Musa Okumoto 6.6277733 1163.468 175.5443 6 Musa Okumoto3 4.3656235 530.2611 121.4629 5 Delayed S-shaped 4.501992 191.7318 42.58821 1 Delayed S-shaped3 3.7265868 160.9457 43.1885 2
3.1.3.3. Thực nghiệm trên dữ liệu về hệ thống thao tác dữ liệu của IBM
Chúng tôi thực nghiệm sử dụng dữ liệu về quá trình kiểm thử một gói phần mềm nhập dữ liệu trực tuyến được phát triển tại IBM của Ohba nêu ở phụ lục B.6. Khi đó tính toán được giá trị độ đo tổng hợp của các mô hình nêu trong Bảng 3.4.
Bảng 3.4. Tham số các mô hình với dữ liệu của Ohba
Mô hình Tổng trọng số Tổng trọng số
độ đo tiêu chuẩn Độ đo tổng hợp #
Goel Okumoto 3.2196808 30.03869 9.329711 2 Goel Okumoto3 2.7756686 23.69441 8.536469 1 Musa Okumoto 2.4449615 26.675 10.91019 4 Musa Okumoto3 1.9075694 18.99226 9.956264 3 Delayed S-shaped 3.532439 67.42664 19.08784 6 Delayed S-shaped3 2.7938755 50.00858 17.89936 5
3.1.3.4. Sự khác biệt giữa xếp hạng mô hình theo khả năng dự đoán và theo độ đo tổng hợp theo độ đo tổng hợp
Để thực hiện so sánh khả năng dự đoán của 3 mô hình, chúng tôi thực nghiệm trên 9 tập dữ liệu khác nhau theo cách như sau:
1. Xếp hạng các mô hình dựa trên giá trị độ đo tổng hợp và sử dụng bản ghi của tập dữ liệu, gọi là Xếp hạng1 .
69
3. Tính toán trị tuyệt đối độ lệch (Absolute Deviation) giữa trong thực tế và ̂
tính được ở bước trước.
̂ (3.19)
4. Xếp hạng các mô hình dựa theo giá trị trị tuyệt đối độ lệch, gọi là Xếp hạng2. 5. So sánh giữa xếp hạng khi sử dụng hai giá trị độ đo.
Khi đó thu được kết quả như trong Bảng 3.5. Số đặt trước tên mỗi tập dữ liệu chính là số lượng bản ghi của tập dữ liệu được sử dụng. Ví dụ, tập dữ liệu 040_Musa4 (0) tức là chỉ sử dụng 40 bản ghi đầu tiên của tập dữ liệu Musa17 (tập này có 53 bản ghi). Rõ ràng chúng ta nhận thấy:
Mô hình Goel-Okumoto có hai xếp hạng trùng nhau trong tập dữ liệu. Mô hình Musa-Okumoto có hai xếp hạng khác nhau trong tập dữ liệu. Mô hình Delayed S-shaped có hai xếp hạng khác nhau trong tập dữ liệu.
Bảng 3.5. Xếp hạng khả năng dự đoán của các mô hình
Tập dữ liệu Chỉ số Goel Okumoto Musa Okumoto Delayed S-shaped 015_Ohba AD 10.514099 11.996002 31.368652 Xếp hạng 1 1 2 3 Xếp hạng 2 1 2 3 021_Ehrlich AD 65.85895 78.40881 174.82648 Xếp hạng 1 1 2 3 Xếp hạng 2 1 2 3 027_Naval AD 63.91815 70.7272 16.135468 Xếp hạng 1 2 3 1 Xếp hạng 2 2 3 1 032_Musa_6 AD 3.0061836 3.0768776 6.2299232 Xếp hạng 1 1 2 3 Xếp hạng 2 1 2 3 036_Musa_14C AD 8.792725 5.8891907 22.966995 Xếp hạng 1 2 3 1 Xếp hạng 2 2 1 3 037_Musa_17 AD 20.427448 20.511261 18.97799 Xếp hạng 1 1 3 2 Xếp hạng 2 1 2 3 040_Musa_4 AD 39.090942 22.717957 203.45105 Xếp hạng 1 1 2 3 Xếp hạng 2 2 1 3
70 041_Musa_27 AD 11.553833 11.781399 6.748337 Xếp hạng 1 2 1 3 Xếp hạng 2 2 3 1 043_Musa_2 AD 8.81332 8.890347 5.233288 Xếp hạng 1 2 1 3 Xếp hạng 2 2 3 1
Từ những lý thuyết và kết quả thực nghiệm được trình bày trong tiểu mục, chúng tôi đưa ra các nhận xét sau:
Việc cài đặt một số mô hình độ tin cậy phần mềm với các tập dữ liệu thực tế nhằm phân tích và xếp hạng chúng trên hai khía cạnh: (1) Độ tương đồng của dữ liệu do mô hình ước tính được với dữ liệu thực tế thông qua độ đo tổng hợp. (2) Khả năng dự đoán về thời điểm thất bại tiếp theo của mô hình.
Các kết quả thực nghiệm cho thấy mỗi mô hình có những lợi thế trong những trường hợp đặc biệt. Cụ thể: (1) Mô hình cơ bản Goel-Okumoto có hai xếp hạng giống nhau trong hầu hết các trường hợp. (2) Các mô hình phức tạp Musa-Okumoto và Delayed S-shaped tương đồng trong khoảng một nửa số tập dữ liệu.
Kết quả nghiên cứu trong phần này đã được công bố trong công trình số 5 trong danh mục các công trình đã công bố của luận án.
3.2. Đánh giá khả năng áp dụng hàm hình dạng S tổng quát cho mô hình độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất
3.2.1. Hàm hình dạng S và ứng dụng trong mô hình hóa độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất mềm dựa trên tiến trình Poisson không đồng nhất
3.2.1.1. Các mô hình độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất có hàm tỉ lệ phát hiện lỗi hình dạng S không đồng nhất có hàm tỉ lệ phát hiện lỗi hình dạng S
Trong các mô hình hiện có được trình bày tại Chương 1, có bốn mô hình có hàm biểu diễn tỉ lệ phát hiện lỗi mang hình dạng S:
Mô hình hình dạng S của Ohba [61]
(3.20) (3.21) Mô hình Pham-Zhang [28] (3.22) (3.23)
Mô hình lũy thừa của Phạm Loan [53]
71 (3.25) Mô hình PNZ [29] (3.26) (3.27)
3.2.1.2. Đề xuất hàm tỷ lệ phát hiện lỗi có hình dạng S tổng quát
Trong các mô hình đã có sử dụng hàm tỉ lệ phát hiện lỗi, tác giả sử dụng hàm hình dạng S với ba tham số , và :
(3.28)
Với ba tham số trên, hàm hình dạng S là một hàm tăng dần bao gồm các giai đoạn: Giai đoạn đầu hàm tăng với độ dốc lớn (gần xấp xỉ một hàm tuyến tính bậc
nhất).
Tốc độ tăng của hàm giảm dần, sau đó tiến dần đến một giá trị cố định.
Tuy nhiên, giá trị của hàm tại là chỉ bao gồm hai tham số và . Tuy nhiên, trong phương pháp hợp lý cực đại nhằm ước lượng điểm, số lượng tham số càng nhiều thì khả năng mô hình xác suất thu được càng phù hợp với thực tế. Ngoài ra, trong trường hợp tồi nhất, mô hình nhiều tham số hơn vẫn có thể hội tụ về mô hình ít tham số hơn khi một số tham số nhận các giá trị đặc biệt. Do đó, chúng tôi đề xuất việc sử dụng hàm hình dạng S với 4 tham số như sau:
(3.29) với , trong việc xây dựng mô hình độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất.
72
Rõ ràng hàm trong công thức (3.28) là một trường hợp đặc biệt của hàm được đề xuất ở công thức (3.29) khi . Để đánh giá ảnh hưởng của sự xuất hiện tham số , chúng tôi cố định các giá trị và , xét lần lượt các hàm với
(biểu diễn bằng đường nét đứt) và (biểu diễn bằng đường nét liền) như Hình 3.1. Từ đó thấy rằng tham số ảnh hưởng đến giá trị ban đầu và độ dốc khi tăng của hàm số tại giai đoạn đầu. Vì vậy, việc tổng quát hóa hàm hình dạng S từ công thức (3.28) lên công thức (3.29) bằng việc bổ sung tham số giúp định hình tốt hơn hình dạng của hàm. Nói cách khác khi sử dụng phương pháp hợp lý cực đại sẽ giúp đưa ra các tham số tốt hơn cho mô hình độ tin cậy phần mềm.
3.2.2. Những tồn tại của các độ tin cậy phần mềm dựa trên tiến trình Poisson không đồng nhất có hàm tỉ lệ phát hiện lỗi hình dạng S Poisson không đồng nhất có hàm tỉ lệ phát hiện lỗi hình dạng S 3.2.2.1. Tính tăng của các hàm biểu diễn tổng số lỗi của các mô hình sử
dụng hàm tỉ lệ phát hiện lỗi hình dạng S
Như chúng tôi đã nhắc đến ở mục trước, một số mô hình độ tin cậy phần mềm hiện có đã sử dụng dạng đặc biệt của hàm hình dạng S: mô hình hình dạng S của Ohba [60], mô hình Pham-Zhang [28]; mô hình lũy thừa của Phạm Loan [53] và mô hình PNZ [29]. Để nhận xét tính tăng của các hàm biểu diễn tổng số lỗi trong các mô hình đó, chúng ta xét các hàm đó:
Mô hình hình dạng S của Ohba [61]
(3.30) Mô hình Pham-Zhang [28]
(3.31) Mô hình lũy thừa của Phạm Loan [53]
(3.32) Mô hình PNZ [29]
(3.33)
73
Rõ ràng, hàm biểu diễn tổng số lỗi của mô hình PNZ và mô hình lũy thừa của Phạm Loan là không bị chặn trong điều kiện :
(3.34)
(3.35)
Ta có
Hình 3.2 minh họa hình dạng của hai hàm trên trên cùng hệ trục tọa độ, trong đó đường nét liền minh họa hàm với và và đường nét đứt minh họa hàm với và . Trong thực tế, các nghiên cứu sử dụng những mô hình này đã đem đến những giá trị nhất định. Tuy nhiên, chúng tôi xem xét việc so sánh giữa hàm tiến tới vô cùng khi thời gian tăng dần và những hàm bị chặn.
3.2.2.2. Khó khăn tính toán toán học sơ cấp khi xây dựng mô hình mới
Như chúng tôi đã trình bày ở tiểu mục1.4.2, một mô hình mới được xây dựng thông qua việc tính toán một cách sơ cấp hàm đặc trưng được nhắc lại như sau: