Luận văn thạc sĩ phương pháp phân hoạch dữ liệu kiểm thử theo tính hợp lệ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN LÊ QUỐC BẢO PHƢƠNG PHÁP PHÂN HOẠCH DỮ LIỆU KIỂM THỬ THEO TÍNH HỢP LỆ Chuyên ngành: Khoa học máy tính Mã số: 8480101 Ngƣời hƣớng dẫn : TS Phạm Văn Việt e LỜI CẢM ƠN Trƣớc tiên xin gửi đến lời cảm ơn chân thành sâu sắc đến thầy Ts Phạm Văn Việt – nhiệt tình hƣớng dẫn, bảo suốt thời gian bắt đầu thực hoàn thành luận văn Tơi xin cảm ơn thầy khoa CNTT – Trƣờng Đại học Quy Nhơn truyền đạt cho kiến thức chuyên sâu chuyên ngành để tơi có đƣợc tảng kiến thức giúp tơi hồn thành luận văn thạc sĩ Cuối cùng, tơi xin cảm ơn đến ngƣời thân yêu gia đình tồn thể bạn bè, đồng nghiệp ngƣời ln hỗ trợ giúp đỡ, khuyến khích, động viên thời gian học tập nghiên cứu Trƣờng Đại Học Quy Nhơn Xin chân thành cảm ơn! e LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ Khoa học máy tính “Phương pháp phân hoạch liệu kiểm thử theo tính hợp lệ” cơng trình nghiên cứu riêng tơi với giúp đỡ tận tình giáo viên hƣớng dẫn TS Phạm Văn Việt Trong toàn nội dung luận văn, điều đƣợc trình bày cá nhân tơi đƣợc tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Bình Định, ngày … tháng năm 2020 e MỤC LỤC PHẦN MỞ ĐẦU CHƢƠNG KIỂM THỬ ROBUSTNESS 1.1 Giới thiệu chung kiểm thử robustness 1.1.1 Khái niệm kiểm thử phần mềm 1.1.2 Kiểm thử robustness 1.2 Dữ liệu thử kiểm thử robustness 1.3 Một số nghiên cứu liên quan 1.3.1 Các phƣơng pháp kiểm thử 1.3.2 Các chiến lƣợc kiểm thử 1.3.3 Các cấp độ kiểm thử phần mềm 12 1.4 Kết luận chƣơng 18 CHƢƠNG TÌM BIÊN PHÂN HOẠCH DỮ LIỆU KIỂM THỬ 19 2.1 Biên phân hoạch liệu thử theo tính hợp lệ 19 2.2 Kiểm thử đột biến 22 2.3 Xác định độ đo khoảng cách cách ứng dụng 23 2.4 Phƣơng pháp tìm biên phân hoạch 26 2.4.1 Xác định tập liệu hợp lệ gần biên phân hoạch 26 2.4.2 Xác định tập liệu hợp lệ không hợp lệ 28 2.5 Kết luận chƣơng 30 CHƢƠNG THỰC NGHIỆM 31 3.1 Cài đặt thực nghiệm 31 e 3.2 Kết thực nghiệm 34 3.3 Đánh giá 36 KẾT LUẬN 38 TÀI LIỆU THAM KHẢO 40 e DANH MỤC TỪ VIẾT TẮT CNTT Công nghệ thông tin IEEE Institute of Electrical and Electronics Engineers COTS Commercial off-the-shelf GUI Graphical User Interface e DANH MỤC HÌNH VẼ Hình 1.1 Thử nghiệm trình điều khiển [11] Hình 1.2 Sơ đồ cấp độ kiểm thử 12 Hình 2.1 Minh họa miền liệu hợp lệ không hợp lệ tập liệu kiểm thử 19 Hình 2.2 Mơ tả giá trị đầu vào đƣợc lựa chọn kiểm thử giá trị biên 20 Hình 2.3 Mô tả trƣờng hợp kiểm thử đƣợc lựa chọn kiểm thử giá trị biên trƣờng hợp liệu đầu vào biến 21 Hình 2.4 Minh họa ranh giới bên liệu thử nghiệm đầu vào hợp lệ 27 Hình 2.5 Minh họa trình đột biến để thay đổi thuộc tính hợp lệ/khơng hợp lệ 29 Hình 3.1 Hình ảnh minh họa tam giác với cạnh có độ dài a, b, c 31 Hình 3.2 Tham số MIN, MAX truyền vào tƣơng ứng 1, 20 với ba giá trị a, b, c 34 Hình 3.3 Một số mẫu tập mẫu liệu thử nghiệm đƣợc sinh 35 Hình 3.4 Một số mẫu tập Tset đƣợc xây dựng 35 Hình 3.5 Một số mẫu tập liệu kiểm thử hợp lệ kết 36 Hình 3.6 Một số mẫu tập liệu kiểm thử không hợp lệ kết 36 e DANH MỤC BẢNG BIỂU Bảng danh mục hệ thống thử [8] e MỞ ĐẦU Trong cơng nghệ phần mềm, robustness đặc tính chất lƣợng phần mềm phản ánh mức độ mà hệ thống tiếp tục hoạt động xuất liệu vào không hợp lệ [1], hay khả hệ thống phần mềm phản ứng lại cách phù hợp điều kiện bất thƣờng [2] Để đánh giá mức độ robustness hệ thống phần mềm, ta nên kiểm tra liệu vào hợp lệ lẫn không hợp lệ Theo Ammann Offutt [3, chƣơng 4], vùng biên thƣờng nơi xảy lỗi hệ thống Hầu hết nghiên cứu liên quan đến việc kiểm thử tính robustness dựa sinh liệu thử ngẫu nhiên [4, 5] Gần đây, Poulding Feldt [6] đề xuất sử dụng kết hợp việc sinh liệu thử để xác định liệu vào hợp lệ, sau dùng phƣơng pháp đột biến để tìm liệu khơng hợp lệ từ liệu hợp lệ biết Tuy nhiên, tác giả chƣa đƣa đƣợc phƣơng pháp xác định biên hai vùng Dựa kết này, muốn tìm cách rõ biên phân hoạch liệu hợp lệ khơng hợp lệ Ý tƣởng tìm cặp giá trị mơ tả biên (xi, xj), cho xi thuộc vùng hợp lệ, xj thuộc vùng không hợp lệ khoảng cách xi xj tƣơng đối nhỏ Xuất phát từ hoàn cảnh đó, luận văn lựa chọn đề tài “Phương pháp phân hoạch liệu kiểm thử theo tính hợp lệ” nhằm nghiên cứu số vấn đề toán với giải pháp liên quan Bố cục luận văn gồm phần mở đầu, phần kết luận ba chƣơng nội dung đƣợc bố cục nhƣ sau: e Chƣơng trình bày nội dung tổng quan kiểm thử phần mềm nhƣ phép kiểm thử robustness Chƣơng trình bày lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mơ tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phƣơng pháp tìm biên phân hoạch Chƣơng trình bày cài đặt minh chứng đƣợc nội dung lý thuyết trình bày chƣơng loại liệu kiểm thử đầu vào cụ thể đƣợc lựa chọn e 27 Hình 2.4 Minh họa ranh giới bên liệu thử nghiệm đầu vào hợp lệ Để xác đinh tập liệu hợp lệ gần biên phân hoạch Ta sử dụng hàm sau: FFi = mindist(Ci , Tset) Hàm cần đƣợc cực đại hóa đƣợc xây dựng dựa khoảng cách mẫu ứng cử Ci với tập Tset Nói cách khác, khoảng cách tập ứng cử lớn Điều mở rộng việc tìm kiếm liệu ứng cử sang miền chƣa đƣợc khai phá không gian liệu kiểm thử đầu vào Khi mẫu ứng cử Ci đƣợc lựa chọn, đƣợc thêm vào Tset, trình đƣợc lặp lại Nhƣ tập liệu ứng cử có tính chất sau: e 28  Là liệu kiểm thử đầu vào hợp lệ đồng thời gần biên phân hoạch liệu có tính hợp lệ khơng hợp lệ  Trải rộng ranh giới không gian liệu kiểm thử đầu vào hợp lệ không gian liệu kiểm thử đầu vào không hợp lệ Nhƣ bƣớc thực phụ thuộc vào không gian liệu kiểm thử đầu vào không yêu cầu phần mềm cần kiểm thử phải hoạt động Kết bƣớc tập liệu kiểm thử đầu vào Tset Trong đó, Tset chứa số liệu kiểm thử đầu vào hợp lệ đƣợc sinh tự động gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Nhƣ vậy, Tset nằm miền liệu kiểm thử đầu vào có tính hợp lệ khơng gian liệu kiểm thử đầu vào Mỗi phần tử Tset vị trí xuất phát cho bƣớc 2.4.2 Xác định tập liệu hợp lệ không hợp lệ Bƣớc thứ hai trƣờng hợp liệu kiểm thử đầu vào riêng lẻ tập hợp Tset dựa vào đột biến để vƣợt qua biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Kết bƣớc thứ hai bao gồm tập hợp trƣờng hợp liệu kiểm thử đầu vào gần nhau, đƣợc ghép nối hai bên biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Đối với phần tử tập hợp Tset chấp nhận gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào khơng hợp lệ, tiến hành biến đổi tính chất hợp lệ dựa đột biến Việc biến đổi tính chất hợp lệ dựa đột biến phần tử tập Tset liệu kiểm thử đầu vào có tính hợp lệ cách thức tự động để kiểm tra xem liệu kiểm thử đầu vào có thuộc tính hợp e 29 lệ/không hợp lệ mong muốn hay không Ứng cử viên liệu kiểm thử đầu vào bị đột biến thuộc tính thay đổi giá trị Ứng viên liệu kiểm thử đầu vào trải qua q trình tƣơng tự thuộc tính thay đổi giá trị lần Kết việc tìm kiếm chuyển đổi thuộc tính hợp lệ/khơng hợp lệ việc tạo hai tập hợp trƣờng hợp liệu kiểm thử đầu vào, có thuộc tính mong muốn khơng có, tất kết việc thay đổi ứng viên ban đầu Hình 2.5 Minh họa trình đột biến để thay đổi thuộc tính hợp lệ/khơng hợp lệ Trong hình minh họa trên, dao động ứng cử viên liệu kiểm thử đầu vào hợp lệ liệu kiểm thử đầu vào không hợp lệ nhận đƣợc thơng qua bƣớc đột biến Biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào đƣợc hiểu vùng khơng gian hai nhóm ứng cử viên liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Nhƣ ta xác định đƣợc kết cần tìm e 30 biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào 2.5 KẾT LUẬN CHƢƠNG Chƣơng trình chi tiết lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phƣơng pháp tìm biên phân hoạch Nội dung chƣơng trình bày kết thực nghiệm toán cụ thể đƣợc lựa chọn để minh họa cho nội dung lý thuyết đƣợc trình bày chƣơng e 31 CHƢƠNG THỰC NGHIỆM 3.1 CÀI ĐẶT THỰC NGHIỆM Với mục tiêu thiết kế chƣơng trình thử nghiệm kết lý thuyết đƣợc trình bày chƣơng 2, luận văn đặt tốn cụ thể triển khai nội dung tìm biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào cụ thể ba số nguyên dƣơng đại diện cho độ dài ba cạnh tam giác Hình 3.1 Hình ảnh minh họa tam giác với cạnh có độ dài a, b, c Trong thử nghiệm, liệu hiểu vector chiều [a, b, c], a, b, c số nguyên dƣơng Các giá trị a, b, c đƣợc giới hạn đoạn [MIN, MAX] cụ thể Việc kiểm tra xem liệu có hợp lệ hay khơng đƣợc đánh giá dựa bất đẳng thức tam giác xem ba giá trị a, b, c có e 32 thỏa mãn ba cạnh tam giác hay không Cụ thể, ba số nguyên dƣơng a, b, c ba cạnh tam giác nhƣ a, b, c đồng thời thỏa mãn bất đẳng thức sau: a+b>c b+c>a c+a>b Nhƣ a, b, c đồng thời thỏa mãn bất đẳng thức có nghĩa liệu kiểm thử đầu vào hợp lệ Ngƣợc lại tồn ba bất đẳng thức mà ba giá trị a, b, c khơng thỏa mãn liệu kiểm thử đầu vào không hợp lệ Nhƣ vậy, mục tiêu cụ thể thử nghiệm tìm biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào loại liệu kiểm thử đầu vào cụ thể ba giá trị Bƣớc thực sinh liệu kiểm thử đầu vào Do ba giá trị a, b, c ba số nguyên dƣơng đƣợc giới hạn đoạn [MIN, MAX] cụ thể Với giá trị MIN, MAX đƣợc truyền vào, ta sinh tập liệu kiểm thử cách duyệt toàn giá trị phạm vi đoạn [MIN, MAX] cho tham số a, b, c để kết hợp thành liệu kiểm thử đầu vào Nhƣ tập liệu kiểm thử đầu vào đƣợc sinh nằm rời rạc không gian ba chiều với giá trị chiều số nguyên dƣơng nằm đoạn [MIN, MAX] Tập giá trị đƣợc dùng làm đầu vào công đoạn trình xử lý Bƣớc xác định tập Tset chứa số liệu kiểm thử đầu vào hợp lệ đƣợc sinh tự động gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền e 33 không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào ba giá trị a, b, c Tại bƣớc này, ta lựa chọn khoảng cách mẫu liệu kiểm thử khoảng cách tổng độ lệch bình phƣơng đƣợc trình bày chƣơng Chẳng hạn với hai mẫu liệu kiểm thử (3, 4, 5) (4, 3, 4), khoảng cách chúng là: Khoảng cách mẫu liệu kiểm thử đầu vào ứng cử với tập Tset đƣợc chọn cực tiểu giá trị khoảng cách đƣợc chọn mẫu liệu kiểm thử đầu vào ứng cử với tất mẫu liệu kiểm thử đầu vào tập liệu Tset Với cách lựa chọn nhƣ vậy, sau số bƣớc lặp, ta lựa chọn đƣợc tập liệu Tset Bƣớc cuối cùng, từ tập liệu Tset, ta xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Cụ thể ta thực tính hai tập liệu kiểm thử đầu vào hợp lệ liệu kiểm thử đầu vào không hợp lệ phƣơng pháp đột biến nhƣ mô tả chƣơng Để làm bƣớc này, với mẫu liệu kiểm thử đầu tập Tset, ta lựa chọn sử dụng ngẫu nhiên bốn kỹ thuật đột biến đƣợc trình bày, là:  IncreaseInt  DecreaseInt  IncreaseInKeepingSize  DecreaseInKeepingSize Bằng cách áp dụng kỹ thuật đột biến để biến đổi tính chất hợp lệ/khơng hợp lệ phần tử tập Tset nhƣ nội dung mục 2.4.2, ta nhận đƣợc biên phân hoạch kết e 34 3.2 KẾT QUẢ THỰC NGHIỆM Chƣơng trình đƣợc cài đặt thử nghiệm ngôn ngữ C++ sử dụng môi trƣờng phát triển Visual Studio 2015 Chƣơng trình đƣợc xây dựng để chạy với giao diện cửa sổ lệnh Trong thực nghiệm, giá trị MIN, MAX tham số đƣợc truyền vào Cụ thể, luận văn thực nghiệm với giá trị MIN=1, MAX=20, nhƣ phần tử (a, b, c) có 20 giá trị lựa chọn Đầu ta cần tính tập liệu kiểm thử hợp lệ tập liệu kiểm thử không hợp lệ tƣơng ứng để thể biên phân hoạch Hình 3.2 Tham số MIN, MAX truyền vào tƣơng ứng 1, 20 với ba giá trị a, b, c Khi chạy thực nghiệm, ngƣỡng MIN, MAX giá trị a, b, c đƣợc truyền vào tham số dòng lệnh chạy nhƣ hình Thơng số cụ thể khoảng giá trị giới hạn đƣợc in Từ khoảng giá trị giới hạn này, tập liệu thử nghiệm (a, b, c) đƣợc sinh tự động từ chƣơng trình Sau đó, liệu thử nghiệm (a, b, c) đƣợc in hình e 35 Hình 3.3 Một số mẫu tập mẫu liệu thử nghiệm đƣợc sinh Từ tập hợp liệu thử nghiệm đƣợc sinh tự động, chƣơng trình thực xây dựng tập Tset dựa sở khoảng cách nhƣ mô tả Các mẫu liệu thử nghiệm đƣợc chọn vào tập Tset sau đƣợc in hình Hình 3.4 Một số mẫu tập Tset đƣợc xây dựng Từ tập Tset, ta tiến hành đột biến IncreaseInt, DecreaseInt, IncreaseInKeepingSize, DecreaseInKeepingSize với giá trị a, b, c số nguyên dƣơng đƣợc giới hạn phạm vi [1, 20] e 36 Việc thực đột biến đƣợc thực theo bƣớc lặp để đạt đƣợc giá trị liệu kiểm thử hợp lệ khơng hợp lệ Các kết sau đƣợc lƣu hai tập riêng biệt Sau mẫu liệu thử nghiệm đƣợc chọn vào hai tập đƣợc in hình Hình 3.5 Một số mẫu tập liệu kiểm thử hợp lệ kết Hình 3.6 Một số mẫu tập liệu kiểm thử không hợp lệ kết 3.3 ĐÁNH GIÁ Trong chƣơng trình thử nghiệm, luận văn cài đặt minh chứng đƣợc nội dung lý thuyết trình bày chƣơng 2, xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu e 37 vào không hợp lệ miền không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào cụ thể ba số nguyên dƣơng đại diện cho độ dài ba cạnh tam giác Cụ thể đầu tập liệu kiểm thử hợp lệ tập liệu kiểm thử không hợp lệ tƣơng ứng thể biên phân hoạch Việc thử nghiệm đƣợc tiến hành trọn vẹn bƣớc, từ việc sinh liệu kiểm thử đầu vào, lựa chọn hàm khoảng cách để chọn tập Tset đến trình lặp sinh đột biến để tìm đƣợc kết hai tập liệu kiểm thử hợp lệ/không hợp lệ làm kết cho biên phân hoạch Đây sở để tiếp tục nghiên cứu mở rộng với trƣờng hợp liệu kiểm thử đầu vào khác tƣơng lai nhƣ thử nghiệm với nhiều hàm khoảng cách phƣơng pháp đột biến liệu khác e 38 KẾT LUẬN Trong thời đại CNTT phát triển nhƣ ngày này, kiểm thử phần mềm lĩnh vực vô quan trọng, có ý nghĩa sống cịn phát triển hệ thống phần mềm Bài toán luận văn quan tâm xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Đây tốn có nhiều ý nghĩa kiểm thử phần mềm nói chung kiểm thử robustness nói riêng Luận văn hệ thống số vấn đề kiểm thử robustness xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Những vấn đề tóm tắt lại nhƣ sau:  Tổng quan kiểm thử phần mềm nhƣ phép kiểm thử robustness  Lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mơ tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phƣơng pháp tìm biên phân hoạch  Cài đặt minh chứng đƣợc nội dung lý thuyết trình bày liệu kiểm thử đầu vào cụ thể ba số nguyên dƣơng đại diện cho độ dài ba cạnh tam giác Luận văn hoàn thành nhƣng để nội dung nhỏ lĩnh vực kiểm thử phần mềm vốn ngày chiếm vị trí quan trọng phát triển lĩnh vực CNTT Để đào sâu nghiên cứu nhƣ hƣớng đến đƣợc việc triển khai vào ứng dụng phần mềm e 39 thực tế cần đến nhiều đầu tƣ thời gian công sức vấn đề học thuật nhƣ cần đến việc tiếp cận hệ thống phần mềm thực tế e 40 TÀI LIỆU THAM KHẢO [1] Code Complete, 2nd Edition, Steve McConnell, Microsoft Press, 2004 [2] Object Oriented Software Construction, Bertrand Meyer, Prentice-Hall, 1997 [3] Introduction to software testing, Ammann and Offutt, Cambridge University Press, 2016 [4] Automated robustness testing of off-the-shelf software components, Kropp and Koopman, 1998 [5] Jcrasher: an automatic robustness tester for java, Csallner and Smaragdakis, 2004 [6] Generating controllably invalid and atypical inputs for robustness testing, Poulding and Feldt, [7] Koopman, P., DeVale, J.: The exception handling effectiveness of POSIX operating systems IEEE Transactions on Software Engineering 26, 9, pp 837-848 (2000) doi:10.1109/32.877845 [8] Miller, B et al.: Fuzz revisited: A re-examination of the reliability of Unix utilities and services Computer Sciences Technical Report #1268, University of Wisconsin-Madison (1995) [9] Miller, B.P et al.: An empirical study of the robustness of MacOS applications using random testing ACM SIGOPS Operating Systems Review 41, pp 78-86 (2007) doi:10.1145/1228291.1228308 [10] Ghosh, A.K., Schmid, M.: An approach to testing COTS software for robustness to operating system exceptions and errors Proc of 10th Int Symp on Software Reliability Engineering pp 166-174 (1999) doi:10.1109/ISSRE.1999.809321 e Ghosh, A.K., Schmid, M.: An 41 approach to testing COTS software for robustness to operating system exceptions and errors Proc of 10th Int Symp on Software Reliability Engineering pp 166-174 (1999) doi:10.1109/ISSRE.1999.809321 [11] Mendonca, M., Neves, N.: Robustness Testing of the Windows DDK 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks, 2007 DSN ’07 pp 554-564 IEEE (2007) doi:10.1109/DSN.2007.85 [12] https://en.wikipedia.org/wiki/Equivalence_partitioning (truy cập lần cuối 21/10/2020) [13] https://en.wikipedia.org/wiki/Boundary-value_analysis (truy cập lần cuối 21/10/2020) [14] https://en.wikipedia.org/wiki/All-pairs_testing (truy cập lần cuối 21/10/2020) [15] https://en.wikipedia.org/wiki/Fuzzing (truy cập lần cuối 21/10/2020) [16] https://en.wikipedia.org/wiki/Model-based_testing (truy cập lần cuối 21/10/2020) [17] https://en.wikipedia.org/wiki/Traceability_matrix (truy cập lần cuối 21/10/2020) [18] https://en.wikipedia.org/wiki/Exploratory_testing (truy cập lần cuối 21/10/2020) [19] https://en.wikipedia.org/wiki/Software_testing 21/10/2020) e (truy cập lần cuối ... phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, ... biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phƣơng pháp tìm biên phân hoạch e 19 CHƢƠNG TÌM BIÊN PHÂN HOẠCH DỮ LIỆU KIỂM THỬ 2.1 BIÊN PHÂN HOẠCH DỮ LIỆU... LIỆU THỬ THEO TÍNH HỢP LỆ Biên phân hoạch liệu kiểm thử vùng biên miền liệu hợp lệ không hợp lệ không gian liệu đầu vào Vùng nguồn liệu quan trọng kiểm thử Ta quan sát minh họa miền liệu hợp lệ