Vấn đề đặt ra là khi nào thì kết thúc thử nghiệm ? hay cụ thể hơn là xác định
phạm vi thử nghiệm như thế nào ?
Nếu kết thúc thử nghiệm sớm thì cĩ thể chưa tìm hết lỗi trong chương trình. Cịn nếu kết thúc muộn q thì lại nâng cao giá thành sản phẩm. Sau đây là một số tiêu chuẩn :
1. Dừng khi khơng cịn gây ra được khiếm khuyết.
Thường thì một chương trình lớn bao giờ cũng cĩ lỗi, tiêu chuẩn này tỏ ra phi thực tế, hơn nữa mâu thuẫn với mục đích của các thử nghiệm phá hủy.
2. Dừng khi thời gian (hay kinh phí) gia hạn cho thử nghiệm đã hết.
Để tiêu chuẩn này cĩ hiệu lực thì phải định lượng được tập hợp các dữ liệu thử trước khi tiến hành thử nghiệm.
3. Căn cứ vào kinh nghiệm của các dự án tương tự đã hồn tất.
Một phép thử nghiệm bao bọc các quyết định (hay 80% của các cung) khơng gây ra khiếm khuyết. Vấn đề : Lưa chọn tùy tiện của tiêu chuẩn.
4. Thử nghiệm chừng 70 sai sĩt khơng được phát hiện hay sau một thời hạn 3 tháng khơng xảy ra.
Vấn đề : Ước lượng số lượng sai sĩt trong chương trình, ước lượng tỷ lệ % các sai sĩt được phát hiện bởi thử nghiệm, ước lượng tỷ lệ % sai sĩt phạm phải trong các giai đoạn phát triển phần mềm và tại giai đoạn thử nghiệm mà những sai sĩt này được phát hiện.
5. Thử nghiệm đến khi số lượng sai sĩt tìm thấy khơng cịn giảm theo một cách cĩ ý nghĩa nữa.
Vấn đề : Làm sao ước lượng được số sai sĩt đã giảm theo cách cĩ ý nghĩa ?
6. Phương pháp các đột biến (Mutant method)
Người ta thay đổi chương trình bằng cách đưa vào các lỗi. Các chương trình bị thay đổi được gọi là các “đột biến”. Một phép thử là “tốt” nếu diệt được 100% (95%, v.v . . .) các “đột biến” đĩ.
Vấn đề : Các sai sĩt đưa vào cĩ phải là những sai sĩt thực tiễn (cĩ thực)?