8. Quy trình kiểm thử động
1.12. Quy trình báo cáo sự cố kiểm thử
1.12.1. Tổng quan
Quy trình báo cáo sự cố kiểm thử được sử dụng để báo cáo sự cố kiểm thử. Quy trình này sẽ được vào lại khi kết quả của việc xác định lỗi kiểm thử và những trường hợp mà xuất hiện điều gì đó bất thường hoặc không mong muốn trong khi thực hiện kiểm thử, hoặc khi việc kiểm thử lại được thông qua.
Hình 13 - Quy trình báo cáo sự cố kiểm thử 1.12.2. Mục đích
Mục đích của Quy trình báo cáo sự cố kiểm thử là để thông báo cho các bên liên quan những sự cố mà cần phải hành động thêm để xác định là kết quả của việc thực hiện kiểm thử. Trong trường hợp cần thực hiện kiểm thử mới, đòi hòi phải tạo ra báo cáo kiểm thử. Trong trường hợp thực hiện kiểm thử lại, đòi hỏi phải cập nhật tình trạng của báo cáo sự cố được tạo ra trước đó, nhưng cũng phải lập một báo cáo sự cố mới nếu xác định thêm được các sự cố.
1.12.3. Kết quả
Kết quả triển khai thành công của Quy trình báo cáo sự cố kiểm thử gồm:
a) Kết quả kiểm thử đã được phân tích; b) Những sự cố mới được xác nhận;
c) Báo cáo chi tiết về những sự cố mới được lập;
e) Báo cáo chi tiết về những sự cố được tạo ra trước đó được cập nhật nếu thích hợp;
f) Báo cáo sự cố mới và/ hoặc báo cáo sự cố đã được cập nhật đã được thông báo cho các bên liên quan.
1.12.4. Các hoạt động và nhiệm vụ
Người chịu trách nhiệm về báo cáo sự cố phải thực hiện các hoạt động và nhiệm vụ sau đây theo đúng các chính sách tổ chức áp dụng và các thủ tục liên quan đến Quy trình báo cáo sự cố kiểm thử.
8.5.4.1. Phân tích kết quả kiểm thử (IR1)
Hoạt động này bao gồm các nhiệm vụ sau:
a) Nếu kết quả kiểm thử có liên quan đến sự cố trước đó, kết quả kiểm thử phải được phân tích và chi tiết về sự cố phải được cập nhật.
b) Nếu kết quả kiểm thử cho thấy một vấn đề mới được phát hiện trong quy trình, thì phải phân tích kết quả kiểm thử và phải xác định xem liệu rằng đó có phải là sự cố mà cần báo cáo không, đưa ra hành động giải quyết vấn đề mà không cần báo cáo sự cố hoặc không cần phải thực hiện thêm hành động.
CHÚ THÍCH:Việc quyết định không xây dựng báo cáo sự cố phải được thảo luận với người khởi tạo để giúp các bên hiểu biết về quyết định này.
c) Các hành động phải được gán cho một người thích hợp để giải quyết.
8.5.4.2. Lập/cập nhật báo cáo sự cố kiểm thử (IR2)
Hoạt động này bao gồm các nhiệm vụ sau:
a) Thông tin về sự cố mà cần được ghi lại sẽ được xác định và được báo cáo/ cập nhật.
CHÚ THÍCH 1: Báo cáo sự cố có thể được lập dựa theo các hạng mục kiểm thử và các hạng mục khác như tục kiểm thử, cơ sở kiểm thử và môi trường kiểm thử.
CHÚ THÍCH 2: Sau khi thực hiện test lại thành công, báo cáo sự cố có thể được cập nhật và được đóng lại.
b) Thông báo tình trạng của những lỗi mới và/ hoặc những lỗi đã được cập nhật đối với các bên liên quan.
1.12.5. Đầu ra của quy trình
Kết quả thực hiện quy trình này sẽ tạo được đầu ra dưới đây: a) Báo cáo sự cố.
Phụ lục A
(Tham khảo)
Ví dụ về quy trình thiết kế kiểm thử
Dưới đây là ví dụ về ứng dụng các hoạt động từ TD2 đến TD5 của Quy trình thiết kế và chuẩn bị kiểm thử.
Cơ sở kiểm thử
“Hệ thống sẽ chấp nhận những người tham gia bảo hiểm trên 18 tuổi và dưới 80 tuổi tính từ ngày nộp đơn tham gia căn cứ theo độ tuổi đầu vào của ho trong cả năm, tất cả những người khác sẽ bị loại. Những người tham gia bảo hiểm được chấp nhận mà có tuổi bằng hoặc lớn hơn 70 sẽ nhận được cảnh bảo rằng trong trường hợp yêu cầu bồi thường ho sẽ phải trả trên $1000.”
Điều kiện kết thúc kiểm thử
“Điều kiện kết thúc kiểm thử là mức bao phủ vùng tương đương phải đạt được 100 % và tất cả các trường hợp kiểm thử phải có kết quả thực hiện ở trạng thái “đạt”
Các điều kiện kiểm thử (TD2)
Dựa trên điều kiện kết thúc kiểm thử, các điều kiện kiểm thử là các phân lớp tương đương. Xem xét các dữ liệu đầu vào, sẽ lựa chon được các phân lớp hợp lệ sau:
TCOND-1. 18 ≤ tuổi ≤ 80
Tương tự, từ các dữ liệu đầu vào, có 2 phân lớp hợp lệ sau sẽ được lựa chon: TCOND-2. tuổi< 18.
TCOND-3. tuổi> 80.
Các lớp dữ liệu đầu vào không hợp lệ có thể bao gồm dữ liệu không phải là số nguyên và không thuộc dạng số. Vì thế cũng có thể có các phân lớp tương đương không hợp lệ sau đây:
TCOND-4. tuổi = chữ cái (a-z) TCOND-5. tuổi = ký tự đặc biệt
CHÚ THÍCH: Tùy thuộc vào yêu cầu bái toán đặt ra, có thể có các phân lớp tương đương không hợp lệ (không phải là số nguyên), ví dụ phân lớp không phải là số nguyên (33,67 tuổi). Tập các giá trị đầu ra không hợp lệ là một tập vô cùng lớn.
Xem xét các đầu ra hợp lệ, xác định được các phân lớp tương đương sau: TCOND-6. Chấp nhận (được tạo ra bởi 18 ≤ tuổi ≤ 80)
TCOND-7. Loại (được tạo ra bởi (tuổi < 18) hoặc (tuổi >80)) TCOND-8. Cảnh báo cao (được tạo ra bởi 70 ≤ tuổi ≤ 80)
Đầu ra không hợp lệ là bất kỳ đầu ra của các hạng mục kiểm thử khác so với một trong những đầu ra đã quy định. Có thể khó khăn khi xác định các đầu ra không rõ ràng, tuy nhiên, cũng cần phải lưu ý vì nếu chúng ta có thể tạo ra một đầu ra không hợp lệ thì đã xác định được lỗi trong hạng mục kiểm thử, cơ sở kiểm thử của nó hoặc cả hai. Ví dụ này là một đầu ra không rõ ràng đã được xác định và được trình bày dưới đây. Lưu ý rằng các ky sư kiểm thử khác cũng có thể tạo ra các đầu ra không hợp lệ hoàn toàn khác.
TCOND-9. thông báo (được tạo ra bởi 40 ≤ tuổi ≤ 55)
Lưu ý rằng người ta cũng chủ quan về cách thức có thể tạo ra thông báo này, phân lớp được đoán ở đây là có nhiều khả năng là thông báo ở đầu ra có thể hoàn toàn khác so với ky sư kiểm thử khác đã đoán.
Khi sử dụng ky thuật phân vùng tương đương (ky thuật phân vùng tương đương đơn thuần chỉ đòi hỏi phải thực hiện từng phân vùng) sẽ có 7 hạng mục bao phủ kiểm thử dưới đây được tạo ra:
TCI-1. 18 ≤ tuổi ≤ 80 (bao phủ điều kiện TCOND-1/TCOND-6) TCI-2. tuổi < 18 (bao phủ điều kiện TCOND-2/TCOND-7) TCI-3. tuổi > 80 (bao phủ điều kiện TCOND-3/TCOND-7) TCI-4. tuổi = w (bao phủ điều kiện TCOND-4)
TCI-5. tuổi = & (bao phủ điều kiện TCOND-5) TCI-6. 70 ≤ tuổi ≤ 80 (bao phủ điều kiện TCOND-8) TCI-7. 40 ≤ tuổi ≤ 55 (bao phủ điều kiện TCOND-9) Các trường hợp kiểm thử ( TD 4 )
Khi tạo ra các trường hợp kiểm thử mà thực hiện từng trường hợp trong 7 hạng mục bao phủ kiểm thử thì sẽ đạt được mức bao phủ vùng tương đương 100%.
Khi tạo ra các trường hợp kiểm thử, chúng ta có thể thấy rằng một trường hợp kiểm thử duy nhất đôi khi có thể thực hiện nhiều hơn một hạng mục bao phủ kiểm thử. Có một lợi ích rõ ràng trong việc giảm thiểu số lượng các trường hợp kiểm thử là giảm thời gian thực hiện kiểm thử, nhưng lợi ích này đôi khi có thể bị mất tác dụng khi thêm thời gian cần thiết để xác định việc thiết lập tối thiểu và gỡ lỗi phức tạp hơn qui định khi các trường hợp kiểm thử hướng đến nhiều hạng mục bao phủ kiểm thử.
Trong ví dụ này, có 2 trường hợp kiểm thử hợp lệ trong số các trường hợp kiểm thử thực hiện nhiều hơn một hạng mục bao phủ kiểm thử như trình bày dưới đây:
CASE#1. Đầu vào: ‘Tuổi =53’ Kết quả mong đợi: ‘chấp nhận’ (thực hiện TCI-1 & TCI-7) CASE#2. Đầu vào: ‘Tuổi = 15’ Kết quả mong đợi: ‘loại’. (thực hiện TCI-2)
CASE#3. Đầu vào: ‘Tuổi = 89’ Kết quả mong đợi: ‘loại’. (thực hiện TCI-3) CASE#4. Đầu vào: ‘Tuổi = w’ Kết quả mong đợi: ‘loại’. (thực hiện TCI-4) CASE#5. Đầu vào: ‘Tuổi =&’ Kết quả mong đợi: ‘loại’. (thực hiện TCI-5) CASE#6. Đầu vào: ‘Tuổi =77’ Kết quả mong đợi: ‘chấp nhận
+ có cảnh báo’.
(thực hiện TCI-6 & TCI-1) Có 6 trường hợp kiểm thử chứng minh rằng tất cả các hạng mục bao phủ kiểm thử đã được thực hiện, do đó đạt được điều kiện kết thúc kiểm thử.
Bộ kiểm thử (TD5)
Giả định rằng có thể dùng kiểm thử tự động để xử lý các đầu vào là số nguyên, các đầu vào không phải là số nguyên được xử lý bằng tay, do đó chúng ta có thể tạo ra hai bộ kiểm thử; một dành cho kiểm thử bằng tay và một dành cho kiểm thử tự động
Bộ kiểm thử 1: CASES# 4 và 5 - Kiểm thử bằng tay. Bộ kiểm thử 2: CASES# 1, 2, 3, và 6 - Kiểm thử tự động.
Phụ lục B
(Quy định)
Đối chiếu các quy trình của TCVN xxxx-2:2019 (ISO/IEC/IEEE 29119-2) và tiêu chuẩn TCVN 10359:2014
B.1 Tổng quan
TCVN 10539:2014 thiết lập một khung hướng dẫn chung về các quá trình vòng đời phần mềm, trong đó có một vài quá trình bao gồm các hoạt động và nhiệm vụ liên quan đến kiểm thử phần mềm. Phụ lục này giải thích ở mức độ cao cách thức tiêu chuẩn này ánh xạ đến các quá trình có liên quan đến kiểm thử của TCVN 10539:2014.
Ánh xạ mức cao dưới đây giải thích cách người sử dụng TCVN 10539:2014 sẽ tận dụng tiêu chuẩn này như thế nào. Đối với những người sử dụng tiêu chuẩn này mà không sử dụng TCVN 10539:2014 thì phụ lục này là tùy chon.
Ánh xạ các thuật ngữ liên quan đến kiểm thử được sử dụng trong TCVN 10539:2014 được quy định trong TCVN xxxx-1:2019 (ISO/IEC/IEEE 29119-1): Khái niệm và định nghĩa.