Có sự khác nhau đáng kể nào giữa hiện trạng người sử dụng khi kiểm tra và người sử dụng khi vận hành?
Sau đây là các ví dụ:
- Pha trộn giữa các loại người sử dụng; - Các mức kỹ năng người sử dụng;
- Người sử dụng thông thạo và người sử dụng có kỹ năng trung bình; - Nhóm người sử dụng hạn chế hay người sử dụng công cộng.
A.1.2. Các vấn đề ảnh hưởng tới tính xác thực của các kết quả
Các vấn đề sau có thể ảnh hưởng tới tính xác thực của dữ liệu được thu thập.
(a) Các thủ tục thu thập kết quả đánh giá
Thu thập một cách tự động bằng các công cụ hoặc các thiết bị/ thu thập nhân công/ bằng các câu hỏi hoặc phỏng vấn;
(b) Nguồn của các kết quả đánh giá
Các báo cáo của chính người phát triển/ báo cáo của người kiểm tra/ hoặc báo cáo của người đánh giá;
(c) Sự xác nhận dữ liệu kết quả
A.1.3. Sự cân bằng của các tài nguyên đo kiểm
Sự cân bằng của các phép đo sử dụng tại mỗi giai đoạn có phù hợp với mục đích đánh giá?
Quan trọng là phải cân bằng nguồn lực sử dụng để áp dụng cho một dải thích hợp các phép đánh giá cho các phép đánh giá chất lượng trong, chất lượng ngoài và chất lượng sử dụng.
A.1.4. Sự chính xác của các đặc tính kỹ thuật
Có hay không các khác nhau đáng kể giữa đặc tả phần mềm và các yêu cầu vận hành thực tế? Các phép đo được thực hiện trong suốt quá trình đánh giá sản phẩm phần mềm ở những giai đoạn khác nhau được so sánh với các đặc tính kỹ thuật của sản phẩm. Do đó, điều quan trọng là phải bảo đảm bằng thẩm tra và xác nhận rằng các đặc tả sản phẩm sử dụng cho đánh giá phản ánh các yêu cầu thật sự và thực tế trong vận hành.
A.2. Xác nhận các phép đánh giá
A.2.1. Thuộc tính mong muốn cho các phép đánh giá
Để thu được các kết quả đúng đắn từ việc đánh giá chất lượng, các phép đánh giá phải có những thuộc tính như dưới đây. Nếu một phép đánh giá không có những thuộc tính này thì mô tả phép đánh giá phải làm sáng tỏ ràng buộc liên quan về tính xác thực của nó và, nếu có thể, trạng thái đó được xử lý như thế nào.