Tiêu chuẩn này đánh giá khả năng phần mềm có duy trì được trạng thái vận hành tốt trong khi đưa vào sử dụng hay không.
2.2. Các tài liệu liên quan
- Tài liệu Đặc tả yêu cầu người sử dụng phần mềm - Tài liệu Khảo sát
- Tài liệu Thiết kế chức năng - Tài liệu Thiết kế CSDL 2.3. Căn cứ đánh giá
- Việc đánh giá tiêu chuẩn Tin cậy căn cứ vào các tài liệu đã nêu trong mục 2.2 Chú ý rằng, nếu phần mềm không có các tài liệu này, hoặc thiếu đi một trong các tài liệu đã nêu trong mục 2.2 thì việc đánh giá phần đó bỏ qua và cho điểm 0.
- Việc đánh giá tiêu chuẩn này còn dựa trên việc thao tác trực tiếp trên phần mềm cần đánh giá.
2.4. Định nghĩa
- Đánh giá thuộc tính Độ tin cậy: là việc đánh giá dựa vào khả năng tránh được đổ vỡ nếu có lỗi xảy ra trong phần mềm.
- Đánh giá thuộc tính Chống chịu lỗi: là việc đánh giá dựa trên khả năng duy trì hoạt động hệ thống bình thường trong trường hợp có lỗi xảy ra hay sự xâm phạm về giao diện.
- Đánh giá thuộc tính Phục hồi: là việc đánh giá khả năng duy trì lại mức độ hoạt động tốt và khôi phục lại dữ liệu sau khi bị đổ vỡ.
- Đánh giá thuộc tính Toàn vẹn dữ liệu: là việc đánh giá mức độ liên kết, khả năng kiểm soát thông tin vào ra, kiểm tra tính chính xác của dữ liệu trước bằng các biện pháp chuẩn hóa, có tính tới bảo toàn và đồng bộ dữ liệu trong quá trình xử lý - Đánh giá thuộc tính Sẵn sàng: là việc đánh giá khả năng có thể đáp ứng các yêu cầu sử dụng chức năng đúng thời gian. Đặc biệt, dữ liệu luôn sẵn sàng cho các giao dịch.
2.5. Trách nhiệm
2.5.1. Đối với đơn vị sản xuất phần mềm
- Cung cấp đầy đủ tài liệu có liên quan: tài liệu khảo sát, tài liệu đặc tả yêu cầu, tài liệu phân tích, thiết kế hệ thống, tài liệu hướng dẫn người dùng (nếu có), …
- Cung cấp hệ thống phần mềm và các tiện ích kèm theo.
- Hỗ trợ quá trình đánh giá khi có yêu cầu.
2.5.2. Đối với các đơn vị đặt hàng phần mềm, đơn vị mua SPPM có sẵn trên thị trường
- Phối hợp và hỗ trợ quá trình đánh giá.
2.5.3 Đối với đơn vị đánh giá
- Thiết lập đầy đủ thủ tục, quy trình thực hiện việc đánh giá phần mềm.
- Đưa ra kết quả có mức độ chính xác cao, phù hợp với thực tế.
2.6. Nội dung thực hiện
2.6.1. Lập kế hoạch, hồ sơ cho việc xây dựng và chuẩn bị tiền đánh giá - Chuẩn bị tài liệu đã nêu trong mục 2.2
- Chuẩn bị các công cụ hỗ trợ việc đánh giá (nếu có).
- Chuẩn bị nhân sự cho việc đánh giá và phân công nhiệm vụ cụ thể cho từng cá nhân tham gia đánh giá.
- Mô tả sơ bộ về việc đánh giá tiêu chuẩn Tin cậy đối với mỗi phần mềm.
- Thiết lập các trọng số cho tiêu chuẩn Tin cậy và các thuộc tính của tiêu chuẩn và từng tiêu chí của mỗi thuộc tính. Đây là bước quan trọng, nó ảnh hưởng trực tiếp đến kết quả của việc đánh giá tiêu chuẩn này.
2.6.2. Thực hiện việc đánh giá
- Các thuộc tính chất lượng của tiêu chuẩn Tin cậy:
Tiêu chuẩn mã thuộc tính chất lượng
Tiêu chuẩn Mã Thuộc tính chất lượng
TIN CẬY
TCPM-CSDL-02.01 Độ tin cậy TCPM-CSDL-02.02 Chống chịu lỗi TCPM-CSDL-02.03 Toàn vẹn dữ liệu TCPM-CSDL-02.04 Phục hồi
TCPM-CSDL-02.05 Sẵn sàng
- Quá trình thực hiện đánh giá tiêu chuẩn chất lượng Tin cậy được chi tiết hóa và đánh giá dựa trên các tiêu chí cụ thể như sau:
a. Độ tin cậy
* Mật độ lỗi
- Số lượng lỗi xảy ra trong quá trình kiểm tra, bao gồm cả các lỗi có thể làm
cho phần mềm dừng bất thường.
- Căn cứ đánh giá: Căn cứ vào việc kiểm tra trực tiếp trên phần mềm.
Tính số lượng lỗi xảy ra trong một khoảng thời gian kiểm tra.
5: Không có; 4: Rất ít; 3: Không nhiều; 2: Khá nhiều; 1: Quá nhiều
* Phân tích lỗi
- Là việc đánh giá khả năng tìm ra nguyên nhân gây ra lỗi khi sử dụng chương trình.
- Căn cứ đánh giá: Căn cứ vào việc kiểm tra trực tiếp trên phần mềm.
- Tính tỉ lệ lỗi tìm ra được nguyên nhân một cách nhanh chóng. X=A/B A: Số lỗi nhanh chóng được tìm ra nguyên nhân
B: Số lỗi xảy ra trong quá trình kiểm tra.
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Khắc phục lỗi
- Các lỗi phần mềm có thể khắc phục được ngay.
- Căn cứ đánh giá: Căn cứ vào việc kiểm tra trực tiếp trên phần mềm.
Tính tỉ lệ lỗi khắc phục được ngay X=A/B A: Số lượng lỗi đã khắc phục được
B: Số lượng lỗi xảy ra trong quá trình kiểm tra
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
b. Chống chịu lỗi
* Tránh lỗi với điều kiện biên
- Khả năng tránh được những lỗi khi thực hiện kiểm tra, đặc biệt là kiểm tra điều kiện biên.
- Căn cứ đánh giá: Căn cứ vào việc kiểm tra trực tiếp trên phần mềm.
Đánh giá các trường hợp xảy ra lỗi khi chạy thử chương trình với các điều kiện biên và điều kiện đặc biệt. X = A/B
A: Số trường hợp đã tránh được lỗi khi chạy với trường hợp đặc biệt.
B: Số trường hợp đặc biệt được kiểm tra
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Tránh lỗi với thao tác sai
- Khả năng tránh được lỗi khi thực hiện sai các thao tác. Để đánh giá luật này, người kiểm tra sẽ sử dụng phần mềm và chủ động thực hiện sai các thao tác, không đúng chức năng thực hiện, ... để đánh giá xem chương trình có tránh được các lỗi này không.
- Căn cứ đánh giá: Dựa vào việc kiểm tra trực tiếp trên phần mềm. Trong quá trình kiểm tra, cố tình thực hiện các thao tác sai. Tính tỉ lệ chương trình tránh được lỗi.
X=A/B
A: Số trường hợp đã tránh được lỗi khi thao tác sai B: Số lần thực hiện các thao tác sai.
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Hạn chế thao tác sai của người sử dụng
- Kiểm tra xem chương trình có hạn chế người sử dụng thực hiện sai chức năng hay không.
- Căn cứ đánh giá: Dựa vào việc kiểm tra, thao tác trực tiếp trên phần mềm. Đánh giá dựa vào các chức năng có sự hạn chế các thao tác sai từ người sử dụng. Việc đánh giá theo công thức: X=A/B
A: Các chức năng có sự hạn chế thao tác sai.
B: Số chức năng của chương trình
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Khả năng thao tác của người sử dụng - Người sử dụng không thể thao tác khi có lỗi xảy ra.
- Căn cứ đánh giá: Dựa vào việc kiểm tra, thao tác trực tiếp trên phần mềm. Tính tỷ lệ số lần người sử dụng không thể thao tác khi gặp lỗi. Đánh giá theo công thức: X=1- A/B
A: Số lần người sử dụng không thể thao tác khi gặp lỗi.
B: Số lần gặp lỗi
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
c. Toàn vẹn dữ liệu
* Dữ liệu mẫu
- Dữ liệu mẫu để kiểm tra các chức năng trong chương trình.
- Căn cứ đánh giá: Dựa vào việc kiểm định trực tiếp phần mềm. Tính tỉ lệ số chức năng có sẵn dữ liệu mẫu/số chức năng của chương trình X=A/B
A: Số chức năng có sẵn dữ liệu mẫu B: Số chức năng có trong chương trình
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Tính đúng đắn của dữ liệu
- Chương trình phải có chức năng kiểm tra tính đúng đắn của dữ liệu.
- Căn cứ đánh giá: Có thể kiểm tra chức năng này bằng cách test với các kiểu dữ liệu khác nhau cho dữ liệu đầu vào, test với độ lớn của dữ liệu đầu vào, …. Tính tỉ lệ số chức năng có sự kiểm tra dữ liệu mẫu/số chức năng của chương trình X=A/B
A: Số chức năng có kiểm tra dữ liệu mẫu B: Số chức năng của chương trình
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Chuẩn hoá dữ liệu
- CSDL phải được chuẩn hoá (3NF) nhằm tránh dư thừa dữ liệu, mất mát thông tin.
Khẳng định này dựa trên kinh nghiệm của những người làm việc nhiều trên CSDL.
Tuy nhiên, việc chuẩn hóa CSDL cũng căn cứ trên nhiều yếu tố như có thể chấp nhận mức độ dư thừa ở mức độ nào đó để đạt được tốc độ chương trình như mong muốn hoặc ngược lại.
- Căn cứ đánh giá: Việc đánh giá dựa vào tài liệu thiết kế CSDL và kinh nghiệm của người đánh giá Người sử dụng căn cứ vào mức độ chuẩn hoá để đánh giá
5: Đảm bảo rất tốt; 4: Khá tốt; 3: Tương đối tốt; 2: Chưa tốt 1: Không thể chấp nhận được
* Độ chịu tải
- Độ lớn của dữ liệu so với thực tế.
- Căn cứ đánh giá: Dựa trên công cụ Tạo bộ dữ liệu kiểm tra (được kèm theo).Kiểm tra biên theo độ lớn số bản ghi, theo từng bản ghi, đánh giá khả năng đáp ứng của CSDL trong hiện tại và trong tương lai. (Sẽ tạo ra công cụ kiểm tra )
5: Rất tốt; 4: Tốt; 3: Đáp ứng được; 2: Còn chưa tốt; 1: Không thể chấp nhận được
d. Phục hồi
* Khôi phục hoạt động
- Hệ thống hoạt động bình thường sau khi khắc phục lỗi.
- Căn cứ đánh giá: Dựa vào hoạt động của các chức năng sau khi giả lập trường hợp có lỗi xảy ra và khắc phục xong lỗi đó.
- Việc đánh giá tiêu chí này cần kiểm tra, thao tác trực tiếp trên phần mềm Tính tỷ lệ:
X=A/B
A: Số chức năng hoạt động bình thường sau khi gặp lỗi.
B: Số chức năng đã gặp lỗi
5: Hoàn toàn phù hợp; 4: Phù hợp; 3:Tương đối phù hợp; 2:Chưa phù hợp; 1: Không phù hợp
* Mức độ mất mát dữ liệu
- Mức độ dữ liệu bị mất mát khi gặp lỗi.
- Căn cứ đánh giá: Dựa vào việc kiểm tra trực tiếp trên phần mềm cùng với kinh nghiệm của người đánh giá. Người đánh giá phân tích và đánh giá trên cơ sở kinh nghiệm của mình, đồng thời kiểm tra CSDL trước và sau khi gặp lỗi (ở đây, lỗi của chương trình có thể giả lập)
5: Không mất mát; 4: Không đáng kể; 3: Không nhiều; 2: Có mất mát; 1: Quá nhiều;
* Công cụ hỗ trợ
- Hỗ trợ một số công cụ nhằm khôi phục các dữ liệu mất mát.
- Căn cứ đánh giá: Dựa vào số lượng công cụ hỗ trợ, phục vụ quá trình khôi phục dữ liệu bị mất mát. Đánh giá dựa trên số lượng các công cụ hỗ trợ. Tính số lượng công cụ.
5: Từ 4 công cụ trở lên; 4: 3 công cụ; 2: Có công cụ; 1: Không có
* Thời gian khôi phục
- Thời gian chờ khôi phục hệ thống sau khi có sự cố.
- Căn cứ đánh giá: Việc đánh giá dựa vào việc kiểm tra trực tiếp trên phần mềm và theo kinh nghiệm của người đánh giá Đánh giá ảnh hưởng của thời gian chờ khôi phục hệ thống tới công việc của người sử dụng.
5: Hầu như không; 4: Ít ảnh hưởng; 3: Tạm được; 2: Ảnh hưởng lớn; 1: Quá lớn e. Sẵn sàng
* Tính sẵn sàng hệ thống
- Đánh giá tính sẵn sàng của hệ thống đối với các thao tác của người sử dụng
- Căn cứ đánh giá: Dựa trên việc kiểm định trực tiếp phần mềm. Tính tỷ lệ số chức năng hoạt động được khi dữ liệu đầu vào được chuẩn bị sẵn sàng. X=A/B
A: Số chức năng sẵn sàng
B: Số chức năng của chương trình
5: Trên 90%; 4: Từ 75% - 90%; 3: Từ 50% - 75%; 2: Từ 20% - 50%; 1: Dưới 20%
* Thời gian chờ
- Đánh giá thời gian người sử dụng phải chờ kết quả đầu ra khi đưa dữ liệu đầu vào.
- Căn cứ đánh giá: Dựa trên việc kiểm định trực tiếp phần mềm. Đánh giá căn cứ dựa trên độ lớn của hệ thống, nền tảng phần cứng, …Việc đánh giá tiêu chí này phụ thuộc nhiều vào kinh nghiệm của người đánh giá.