Phương pháp phân hoạch dữ liệu kiểm thử theo tính hợp lệ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN LÊ QUỐC BẢO PHƯƠNG PHÁP PHÂN HOẠCH DỮ LIỆU •• KIỂM THỬ THEO TÍNH HỢP LỆ Chuyên ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn : TS Phạm Văn Việt LỜI CẢM ƠN Trước tiên xin gửi đến lời cảm ơn chân thành sâu sắc đến thầy Ts Phạm Văn Việt - nhiệt tình hướng dẫn, bảo suốt thời gian bắt đầu thực hoàn thành luận văn Tơi xin cảm ơn thầy khoa CNTT - Trường Đại học Quy Nhơn truyền đạt cho kiến thức chuyên sâu chuyên ngành để tơi có tảng kiến thức giúp tơi hồn thành luận văn thạc sĩ Cuối cùng, tơi xin cảm ơn đến người thân yêu gia đình tồn thể bạn bè, đồng nghiệp người ln hỗ trợ giúp đỡ, khuyến khích, động viên thời gian học tập nghiên cứu Trường Đại Học Quy Nhơn Xin chân thành cảm ơn! LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ Khoa học máy tính “Phương pháp phân hoạch liệu kiểm thử theo tính hợp lệ” cơng trình nghiên cứu riêng tơi với giúp đỡ tận tình giáo viên hướng dẫn TS Phạm Văn Việt Trong toàn nội dung luận văn, điều trình bày cá nhân tơi tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Bình Định, ngày tháng năm 2020 MỤC LỤC •• DANH MỤC TỪ VIẾT TẮT CNTT IEEE Cơng nghệ thông tin Institute of Electrical and Electronics Engineers COTS Commercial off-the-shelf GUI Graphical User Interface DANH MỤC HÌNH VẼ • DANH MỤC BẢNG BIỂU Bảng danh mục hệ thống thử [8] MỞ ĐẦU Trong công nghệ phần mềm, robustness đặc tính chất lượng phần mềm phản ánh mức độ mà hệ thống tiếp tục hoạt động xuất liệu vào không hợp lệ [1], hay khả hệ thống phần mềm phản ứng lại cách phù hợp điều kiện bất thường [2] Để đánh giá mức độ robustness hệ thống phần mềm, ta nên kiểm tra liệu vào hợp lệ lẫn không hợp lệ Theo Ammann Offutt [3, chương 4], vùng biên thường nơi xảy lỗi hệ thống Hầu hết nghiên cứu liên quan đến việc kiểm thử tính robustness dựa sinh liệu thử ngẫu nhiên [4, 5] Gần đây, Poulding Feldt [6] đề xuất sử dụng kết hợp việc sinh liệu thử để xác định liệu vào hợp lệ, sau dùng phương pháp đột biến để tìm liệu không hợp lệ từ liệu hợp lệ biết Tuy nhiên, tác giả chưa đưa phương pháp xác định biên hai vùng Dựa kết này, chúng tơi muốn tìm cách rõ biên phân hoạch liệu hợp lệ khơng hợp lệ Ý tưởng tìm cặp giá trị mô tả biên (xi, xj), cho xi thuộc vùng hợp lệ, xj thuộc vùng không hợp lệ khoảng cách xi xj tương đối nhỏ Xuất phát từ hồn cảnh đó, luận văn lựa chọn đề tài “Phương pháp phân hoạch liệu kiểm thử theo tính hợp lệ” nhằm nghiên cứu số vấn đề toán với giải pháp liên quan Bố cục luận văn gồm phần mở đầu, phần kết luận ba chương nội dung bố cục sau: Chương trình bày nội dung tổng quan kiểm thử phần mềm phép kiểm thử robustness Chương trình bày lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phương pháp tìm biên phân hoạch Chương bày cài đặtđược minhlựa chứng nộidữ dung lý thuyết liệu kiểm đãtrình thử trình đầu vào bàycụ thể chương chọn đốiđược với loại CHƯƠNG KIỂM THỬ ROBUSTNESS 1.1GIỚI THIỆU CHUNG VỀ KIỂM THỬ ROBUSTNESS 1.1.1 Khái niệm kiểm thử phần mềm Kiểm thử phần mềm trình khảo sát hệ thống hay thành phần điều kiện xác định, quan sát ghi lại kết quả, đánh giá khía cạnh hệ thống hay thành phần (Theo Bảng giải thuật ngữ chuẩn IEEE Thuật ngữ kỹ nghệ phần mềm - IEEE Standard Glossary of Software Engineering Terminology) Kiểm thử phần mềm trình thực thi chương trình với mục đích tìm lỗi (Theo “The Art of Software Testing” - Nghệ thuật kiểm thử phần mềm) Kiểm thử phần mềm hoạt động khảo sát thực tiễn sản phẩm hay dịch vụ phần mềm môi trường chúng dự định triển khai nhằm cung cấp cho người có lợi ích liên quan thơng tin chất lượng sản phẩm hay dịch vụ phần mềm Mục đích kiểm thử phần mềm tìm lỗi hay khiếm khuyết phần mềm nhằm đảm bảo hiệu hoạt động tối ưu phần mềm nhiều ngành khác (Theo Bách khoa toàn thư mở Wikipedia) Có thể định nghĩa cách dễ hiểu sau: Kiểm thử phần mềm tiến trình hay tập hợp tiến trình thiết kế để đảm bảo mã hóa máy tính thực theo mà chúng thiết kế để làm, khơng thực thứ khơng mong muốn Đây pha quan trọng trình phát triển hệ thống, giúp cho người xây dựng hệ thống khách hàng thấy hệ thống đáp ứng yêu cầu đặt hay chưa? Kiểm thử (Testing) trình đánh giá hệ thống vector b n DZSAD = ^1 («í -ố)- (bị - b) i=l Tổng độ lệch bình phương: thực tính bình phương độ lệch vị trí tương ứng hai vector cộng lại n DSSD — (a í — b ị) i=l Tổng độ lệch bình phương trừ kỳ vọng: thực tính bình phương độ lệch vị trí tương ứng hai vector trừ kỳ vọng từ trước cộng lại Trong b kỳ vọng vector a, b kỳ vọng vector b D ZSSD — i=l n ( a í — ã) — (b í — b) )2 2.4 PHƯƠNG PHÁP TÌM BIÊN PHÂN HOẠCH Phương pháp bao gồm hai bước Bước sử dụng tính tạo liệu tự động để xác định vùng hợp lệ không gian liệu kiểm thử đặc biệt để tìm trường hợp thử nghiệm xa tốt Điều tạo tập hợp trường hợp thử nghiệm hợp lệ có khả gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ Bước thứ hai thay đổi trường hợp thử nghiệm hợp lệ cách đột biến liệu để vượt qua biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ Các đột biến nhỏ cho phép trường hợp thử nghiệm kết vượt qua biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ, điều dẫn đến tập hợp thử nghiệm hợp lệ không hợp lệ ghép nối gần 2.4.1 Xác định tập liệu hợp lệ gần biên phân hoạch Đầu tiên bước tạo liệu thử nghiệm tự động dựa sở mô tả liệu thử nghiệm Quá trình giả định khơng có lỗi tạo liệu hợp lệ cho hệ thống thử nghiệm có khả tạo tất liệu hợp lệ có có đủ thời gian tài nguyên Trong thực tế sử dụng, tạo dựa không gian đầu vào xác định nhiều tiêu chí đặc điểm kỹ thuật yêu cầu phần mềm, liệu đầu vào khách hàng, kiến thức chuyên ngành miền liệu, v.v Các đầu vào tạo phát triển xác nhận cách thực thi nội dung triển khai bước Cụ thể hơn, bước tạo tự động liệu thử nghiệm để xác định đâu ranh giới bên liệu thử nghiệm \ X X đầu vào hợp lệ X X X i Ì * Presumed Maximised Distance Ì ■* — -^0 boundary of the valid space /! C1 (Test Case X Candidate 1) (Typical \ ' set) Hình 2.4 Minh họa ranh giới bên liệu thử nghiệm đầu vào hợp lệ ■x - Trải rộng ranh giới không gian liệu kiểm thử đầu vào hợp lệ không gian liệu kiểm thử đầu vào không hợp lệ Như bước thực phụ thuộc vào không gian liệu kiểm thử đầu vào không yêu cầu phần mềm cần kiểm thử phải hoạt động Kết bước tập liệu kiểm thử đầu vào Tset Trong đó, Tset chứa số liệu kiểm thử đầu vào hợp lệ sinh tự động gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Như vậy, Tset nằm miền liệu kiểm thử đầu vào có tính hợp lệ không gian liệu kiểm thử đầu vào Mỗi phần tử Tset vị trí xuất phát cho bước 2.4.2 Xác định tập liệu hợp lệ không hợp lệ Bước thứ hai trường hợp liệu kiểm thử đầu vào riêng lẻ tập hợp Tset dựa vào đột biến để vượt qua biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Kết bước thứ hai bao gồm tập hợp trường hợp liệu kiểm thử đầu vào gần nhau, ghép nối hai bên biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Đối với phần tử tập hợp Tset chấp nhận gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ, tiến hành biến đổi tính chất hợp lệ dựa đột biến Việc biến đổi tính chất hợp lệ dựa đột biến phần tử tập Tset liệu kiểm thử đầu vào có tính hợp lệ cách thức tự động để kiểm tra xem liệu kiểm thử đầu vào có thuộc tính hợp lệ/khơng hợp lệ mong muốn hay không Ứng cử viên liệu kiểm thử đầu vào bị đột biến thuộc tính thay đổi giá trị Ứng viên liệu kiểm thử đầu vào trải qua trình tương tự thuộc tính thay đổi giá trị lần Kết việc tìm kiếm chuyển đổi thuộc tính hợp lệ/không hợp lệ việc tạo hai tập hợp trường hợp liệu kiểm thử đầu vào, có thuộc tính mong muốn khơng có, tất kết việc thay đổi ứng viên ban đầu Hình 2.5 Minh họa trình đột biến để thay đổi thuộc tính hợp lệ/khơng hợp lệ Trong hình minh họa trên, dao động ứng cử viên liệu kiểm thử đầu vào hợp lệ liệu kiểm thử đầu vào khơng hợp lệ nhận thơng qua bước đột biến Biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào hiểu vùng khơng gian hai nhóm ứng cử viên liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ Như ta xác định kết cần tìm biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào 2.5KẾT LUẬN CHƯƠNG Chương trình chi tiết lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phương pháp tìm biên phân hoạch Nội dung chương trình bày kết thực nghiệm toán cụ thể lựa chọn để minh họa cho nội dung lý thuyết trình bày chương CHƯƠNG THỰC NGHIỆM 3.1 CÀI ĐẶT THỰC NGHIỆM Với mục tiêu thiết kế chương trình thử nghiệm kết lý thuyết trình bày chương 2, luận văn đặt tốn cụ thể triển khai nội dung tìm biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào cụ thể ba số nguyên dương đại diện cho độ dài ba cạnh tam giác Hình 3.1 Hình ảnh minh họa tam giác với cạnh có độ dài a, b, c Trong thử nghiệm, liệu hiểu vector chiều [a, b, c], a, b, c số nguyên dương Các giá trị a, b, c giới hạn đoạn [MIN, MAX] cụ thể Việc kiểm tra xem liệu có hợp lệ hay khơng đánh giá dựa bất đẳng thức tam giác xem ba giá trị a, b, c có thỏa mãn ba cạnh tam giác hay không Cụ thể, ba số nguyên dương a, b, c ba cạnh tam giác a, b, c đồng thời thỏa mãn bất đẳng thức sau: a+b>c b+c>a c+a>b Như a, b, c đồng thời thỏa mãn bất đẳng thức có nghĩa liệu kiểm thử đầu vào hợp lệ Ngược lại tồn ba bất đẳng thức mà ba giá trị a, b, c khơng thỏa mãn liệu kiểm thử đầu vào không hợp lệ Như vậy, mục tiêu cụ thể thử nghiệm tìm biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào loại liệu kiểm thử đầu vào cụ thể ba giá trị Bước thực sinh liệu kiểm thử đầu vào Do ba giá trị a, b, c ba số nguyên dương giới hạn đoạn [MIN, MAX] cụ thể Với giá trị MIN, MAX truyền vào, ta sinh tập liệu kiểm thử cách duyệt toàn giá trị phạm vi đoạn [MIN, MAX] cho tham số a, b, c để kết hợp thành liệu kiểm thử đầu vào Như tập liệu kiểm thử đầu vào sinh nằm rời rạc không gian ba chiều với giá trị chiều số nguyên dương nằm đoạn [MIN, MAX] Tập giá trị dùng làm đầu vào cơng đoạn q trình xử lý Bước xác định tập Tset chứa số liệu kiểm thử đầu vào hợp lệ sinh tự động gần với biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào ba giá trị a, b, c Tại bước này, ta lựa chọn khoảng cách mẫu liệu kiểm thử khoảng cách tổng độ lệch bình phương D SSD trình bày chương Chẳng hạn với hai mẫu liệu kiểm thử (3, 4, 5) (4, 3, 4), khoảng cách chúng là: Khoảng cách mẫu liệu kiểm thử đầu vào ứng cử với tập Tset chọn cực tiểu giá trị khoảng cách chọn mẫu liệu kiểm thử đầu vào ứng cử với tất mẫu liệu kiểm thử đầu vào tập liệu Tset Với cách lựa chọn vậy, sau số bước lặp, ta lựa chọn tập liệu Tset Bước cuối cùng, từ tập liệu Tset, ta xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Cụ thể ta thực tính hai tập liệu kiểm thử đầu vào hợp lệ liệu kiểm thử đầu vào không hợp lệ phương pháp đột biến mô tả chương Để làm bước này, với mẫu liệu kiểm thử đầu tập Tset, ta lựa chọn sử dụng ngẫu nhiên bốn kỹ thuật đột biến trình bày, là: - IncreaseInt - DecreaseInt - IncreaseInKeepingSize - DecreaseInKeepingSize Bằng cách áp dụng kỹ thuật đột biến để biến đổi tính chất hợp lệ/không hợp lệ phần tử tập Tset nội dung mục 2.4.2, ta nhận biên phân hoạch kết 3.2KẾT QUẢ THỰC NGHIỆM Chương trình cài đặt thử nghiệm ngơn ngữ C++ sử dụng môi trường phát triển Visual Studio 2015 Chương trình xây dựng để chạy với giao diện cửa sổ lệnh Trong thực nghiệm, giá trị MIN, MAX tham số truyền vào Cụ thể, luận văn thực nghiệm với giá trị MIN=1, MAX=20, phần tử (a, b, c) có 20 giá trị lựa chọn Đầu ta cần tính tập liệu kiểm thử hợp lệ tập liệu kiểm thử không hợp lệ tương ứng để thể biên phân hoạch SB C:\Wi nd ows\Systemỉ2\cmd.exe - ctra 20 20 20 Microsoft Windows [Version 10.0.18362.1082] (c) 2019 Microsoft Corporation All rights reserved D:\>ctra 20 20 20 Hình 3.2 Tham số MIN, MAX truyền vào tương ứng 1, 20 với ba giá trị a, b, c Khi chạy thực nghiệm, ngưỡng MIN, MAX giá trị a, b, c truyền vào tham số dịng lệnh chạy hình Thơng số cụ thể khoảng giá trị giới hạn in Từ khoảng giá trị giới hạn này, tập liệu thử nghiệm (a, b, c) sinh tự động từ chương trình Sau đó, liệu thử nghiệm (a, b, c) in hình Tat ca cac mau sinh ra: (1, 1, 1), (1, 2, 2), (1, 3, 3), (1, 4, 4), (1, 5, 5), (1, 6, 6), ( 1, 7, 7), (1, 8, 8) (1, 9, 9), (1, 10, 10), (1, 11' 11), (1, 12, 12), (1, 13, 13), (1, 14, 14) (1, 15 15), (1, 16, 16), (1, 17, 17), (1, 18, 18) (1, 19, 19), (1, 20,20), (2, 1, 2), (2, 2, 1), (2, 2, 2), (2, 2, 3), (2, 3, 2), (2, 3, 3), (2, 3, 4), (2, 4, 3), (2, 4, 4), ), , , , (2, 6, € (2, , (2, 4, 5), (2, 5, 5), (2, 5, 6), (2 , 7, ), (2 (2 6, , ) 2, (2 , 7, 7), (2 , 7, 8), (2, ,5, , (2, 8, 8), (2, ,6, ,) 2, 9, 8), ( 9, 9) , (2, j 8(2, 9) 912 10), 17) 11), (2, 11, 10), (2 1( 11), (2, 12 ( 11), 10, 9), (2, 10, 10), 12), (2, , , 2, 12), (2, 12, 13), (2, 10, 12), (2, 13, 13), (2 14), (2, 13), (2 14 14), (2, , , 13, (2 13 14 (2 16 4, 15), (2, 15, 14), (2, 15), (2, 15, 16), 15), (2, 16), 17), (2, 5, ,(2 61 61 2( , 7, 16), (2, 17, 17), (2, 18), (2, 18, 17), 18), (2, 19), 19 18), (2, , 82 , 9, 19), (2, 19, 20), (2, 27, 19), (2, 20, 20), (3 18 3), (3, 2, , (3, 3), (3, 4), 0, ,3, 5, 2, 4) (3, 3, 1), (3, 3, 2) , 3, 3), (3, 3, 4), (3, (3, 4, 2) ,) 3, 4, ,3 (3, 4, , (3, ( 6, 8), (3, 7,),5), (3, 7, 6), (3, 7, 7), (3, 4, 5), (3, 4, 6), (3, 5, 3), (3, 4),(3, (3, 5, 5), (3, 5, 6), (3, 5, 7), (3, 6, 4), (3, 6, 5),),(3, 6, 6), (3, 6, 7), (3, 7, 8), (3, 7, 9) Hình 3.3 Một số mẫu tập mẫu liệu thử nghiệm sinh Từ tập hợp liệu thử nghiệm sinh tự động, chương trình thực xây dựng tập Tset dựa sở khoảng cách DSSD mô tả Các mẫu liệu thử nghiệm chọn vào tập Tset sau in hình Tset: (1, 1, 1), (20, 20, 20), (1, 16, 16), (16, 1, 16), (16, 16, 1), (8, i 8, 9), (11 20, 10, 1), (13, 13 1), (20, 11, 11), (11, 11, 20), (9, 20, 20), (20, 9, 20), (20, 20, 9), (10 (15, 6, 10), (3, 20, 20), (15, 19, (12, 14, 6), (6, 10, 15), (5, (7, 16, 16), (20, 3,6, 2), ', 20, , 13), (1, 7, 7), (7, 1, 7), (6, 15, 10), 6), (16, 10, 7), 20) (20 (11, 5, 15), (15, 16, 19) (20, 16, 15), (2, 11, 11), (16, 20, 14), (11 (16, 16, 10), , 1, ), (19, 6, 15), (19, 14, 6), (15, 6, 20), 1), (16, 11, 17), (7, 11, 5), (11, 7, 5), ), (12, 18, 16) (10, 9, 13), (5, 16, 20) 20) (4, 14,(5, 20,(5,16), (12,(10, 10,17, 9), 8), (14,(20, 14, 20) ), (4, 7, 10), (8, 5, xx), (xu, XX, xu/, \xu, XJ, x=/, Vxu, xu, XX/, 14), 7, 6), 3, 13), (15,o’ 3* 5, 12), (10, 12, 16), (10, 15, 19), (10, 16, 12) (10, 4, 8) (15, 8, 14 20, 10), (13, 13, 1) (14, 20, 15), (20, 15, 10) (6, 11, 11), (16, 11, 11), (20, 20, 13), (6, 9), (6 15, 15), (20, 10, , 13, 18), ,13), (8, 5, 4), (8, 14, 7) (9, 20, 15), (10, 8, 17) (13, 10, 4) (14, ‘ 4), (17, 19, 18), (18, 17, 4), (4, 10, 8), (10, (16, 13, 10), (6, 18 (18, 8, 11), (8, : 4, 17) (16, 13, 18), (14, 13, 9) (14, 16, 4), (14, 17, 13) (18, 13, 13) (4, 17, 17) (6, 13,8,13), (13, 13, 19, 19), 10, 6), (11, 6, 11), (11, 15, 15), (13, 9, 18), (16, 7,17), (16, 13, 20), (19 , 13, 17), (20, 17, 7), (4, 2), (7, 8, 12) (8, (10, 3) (12, 7, 8), (13, : a) /-1C a Oz: 1C /1-7 □ 1O) /10 lí: 10X /10 TCk c) / ', 6, 19), (19 10, 12), (13, 16 I 1Q 1C\ f 1 Hình 3.4 Một số mẫu tập Tset xây dựng Từ tập Tset, ta tiến hành đột biến IncreaseInt, DecreaseInt, IncreaseInKeepingSize, DecreaseInKeepingSize với giá trị a, b, c số nguyên dương giới hạn phạm vi [1, 20] Việc thực đột biến thực theo bước lặp để đạt giá trị liệu kiểm thử hợp lệ không hợp lệ Các kết sau lưu hai tập riêng biệt Sau mẫu liệu thử nghiệm chọn vào hai tập in hình 7, 3) (19, 17, 14), (1, 16, 15), Boundary valid set: (1, 1, 1), (4, 3, 1), (4, 5, 3), (3, (3, 17 15), (10, 9, 19), (12, 8, 19), (18, 13,3), (20 , 4, 5), (14, 8, 7), (10, 5, 15), (12, 7, 17), (11 0, 20), (12, 4, 8), (17, 19, 7), , (7, 3, 6), (14, 5, 6), (17, 4, 8, 7), (12, 20, 9), (11, 20, 9), 8, 5) (15, 19, 3), (16, 20, 8) 20), (20, 7, 3), (2, 6, 5), (4, 12, 5), (6, 13, , 6), (20, 8, 16), (4, 11, 17), (17, 15, 4), (18 8), (11, 20), (16, 20, 2), (18, 19, 2), (17, 20, 1), (13 (12, 20, 10), (13, 4, , (15, 15, 20), (16, 14, 2), (15 , (2, 13,11), (3, 12, 14), (2 (7, 9, 17), (11, 10, 8), (16, 16, 1), (15, 9, 18, 18), (2, 20, 18), (15, : , 15, 18, 3), 4, 20) (17, 12, 19), (19, 15, 4), (19, 18, 7), J 19 J (14, , 9) (12, 3, 9), (9, 7, 13), (11, 4, 17), (11, , 15, 2) (6, 5/13)’ 20) (18, 12, 5) (19, 5) (20, 9, 20) (6, 12, 4), 2, 18), (15, ,(17, 13, 15), (3, 18, 16), 15, 5) 16,(18 2), 10, (1, 3, 8), (12, 18, 5), (14, 19, 6), 8),4), (7, (19 (7, 14 (11, 4), (9, 20,20), (11 K Sỉ 1KÌ fa 1a 1KÌ la ia ÍSỈ 11 J’s 3) (17, 20, 20, 13), (13, 2, 15) (19 2, 17), (14, 6, 19) (17 8), (3, 9, 20, 9), (2, 3, 7), (5 12) (11, 7, 9), (4, 7, 11), ( Kì S1? Sỉ Kì fa cs 11 Í1? Sĩ Hình 3.5 Một số mẫu tập liệu kiểm thử hợp lệ kết Boundary invalid set: (3 1), (533), (3, 3), (5, 8, 5) (1, 17 16), (1, 15, 15), (2, 18, 16), (12, 8, 19), (12, 7, 1), (18, 15, 4), (2 2, 20), (3, 3, 4), (7, 4,3) (12, 6,7) (16, 8, 6) (12, 4, 14), (11, 6,17), (12, 6, 17), (15, 11, 2), (17 17, 1), (5, 20, 2), (11 5, 7), (19 1, 8), (12 11, 2) (9, 13, 4), (8, 14, 8), (1, 2, 3) (3, 2, 4), (9, 2, 5), (13, 7, 8), (18, 6, 2), (2, 6, 5), (2, 4), (6, 11, 7) (6, 13, 7), (12, 20, 9) (11, 20, 9), (12, 20, 10), (13, 2, 9), (13, 9), (15, 18, 3), (14, 18, 5), (13, 17, 4), ( 16, 19, 4), (18, 2, 8), (9, 8, 16), (13, 9,2) (17, 14, 4), (1, 16, 7) (9, 15, 7), (2, 10 , 16) (6, 13, 18), (18, 15, 3), (18, 17, 4) (19, 2,7) (5, 11, 13), (12, 20 2), (18, 19 2), (17, 20, 1), (18, 19, 2), (15, 10), (7 7, 2), (5,7,1), (5, 4), (16, 14 2), (15, 15, 2), (17, 14 2), (7, 7, 13) (1, 20 7), (4, 7, 10), (2, 13, 11), (3, 12, 11), (2, 13, 15), (3, 15, 14), (3, 19, 15), (7, 4, 9), (8, 3, 12), (10, 5, 14), (1, 19,17), (4, 19 ,18), (15, 18 1), (3, 54) (7, 3, 10) (12, 5, 16) (16, 4,20), (17, 19), (18, 12 1), (19, 17, 3), (1, 17, 8), (10, 8, 5), (11, 20), (10, 4, 7), (11, 2, 8),(11, 5, 8), ( 8, 6, 15), (13, 16), (13, 15), (15, 4, 15), (1, 15, 2), (8, 14, 7), (2, 10, 2), (8, 1 / *1 c T 1O\ /IE /1 1O\ / -1E c 1\ /-1 c IE A \ / 'i 1O □) / -1A -1 a c) Ỉ IE -I Hình 3.6 Một số mẫu tập liệu kiểm thử không hợp lệ kết 3.3ĐÁNH GIÁ Trong chương trình thử nghiệm, luận văn cài đặt minh chứng nội dung lý thuyết trình bày chương 2, xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào liệu kiểm thử đầu vào cụ thể ba số nguyên dương đại diện cho độ dài ba cạnh tam giác Cụ thể đầu tập liệu kiểm thử hợp lệ tập liệu kiểm thử không hợp lệ tương ứng thể biên phân hoạch Việc thử nghiệm tiến hành trọn vẹn bước, từ việc sinh liệu kiểm thử đầu vào, lựa chọn hàm khoảng cách để chọn tập Tset đến trình lặp sinh đột biến để tìm kết hai tập liệu kiểm thử hợp lệ/không hợp lệ làm kết cho biên phân hoạch Đây sở để tiếp tục nghiên cứu mở rộng với trường hợp liệu kiểm thử đầu vào khác tương lai thử nghiệm với nhiều hàm khoảng cách phương pháp đột biến liệu khác KẾT LUẬN Trong thời đại CNTT phát triển ngày này, kiểm thử phần mềm lĩnh vực vơ quan trọng, có ý nghĩa sống cịn phát triển hệ thống phần mềm Bài toán luận văn quan tâm xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Đây tốn có nhiều ý nghĩa kiểm thử phần mềm nói chung kiểm thử robustness nói riêng Luận văn hệ thống số vấn đề kiểm thử robustness xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào Những vấn đề tóm tắt lại sau: - Tổng quan kiểm thử phần mềm phép kiểm thử robustness - Lý thuyết nội dung xác định biên phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phương pháp tìm biên phân hoạch - Cài đặt minh chứng nội dung lý thuyết trình bày liệu kiểm thử đầu vào cụ thể ba số nguyên dương đại diện cho độ dài ba cạnh tam giác Luận văn hồn thành để nội dung nhỏ lĩnh vực kiểm thử phần mềm vốn ngày chiếm vị trí quan trọng phát triển lĩnh vực CNTT Để đào sâu nghiên cứu hướng đến việc triển khai vào ứng dụng phần mềm thực tế cần đến nhiều đầu tư thời gian công sức vấn đề học thuật cần đến việc tiếp cận hệ thống phần mềm thực tế TÀI LIỆU THAM KHẢO [1] Code Complete, 2nd Edition, Steve McConnell, Microsoft Press, 2004 [2] Object Oriented Software Construction, Bertrand Meyer, Prentice-Hall, 1997 [3] Introduction to software testing, Ammann and Offutt, Cambridge University Press, 2016 [4] Automated robustness testing of off-the-shelf software components, Kropp and Koopman, 1998 [5] Jcrasher: an automatic robustness tester for java, Csallner and Smaragdakis, 2004 [6] Generating controllably invalid and atypical inputs for robustness testing, Poulding and Feldt, [7] Koopman, P., DeVale, J.: The exception handling effectiveness of POSIX operating systems IEEE Transactions on Software Engineering 26, 9, pp 837-848 (2000) doi:10.1109/32.877845 [8] Miller, B et al.: Fuzz revisited: A re-examination of the reliability of Unix utilities and services Computer Sciences Technical Report #1268, University of Wisconsin-Madison (1995) [9] Miller, B.P et al.: An empirical study of the robustness of MacOS applications using random testing ACM SIGOPS Operating Systems Review 41, pp 78-86 (2007) doi:10.1145/1228291.1228308 [10] Ghosh, A.K., Schmid, M.: An approach to testing COTS software for robustness to operating system exceptions and errors Proc of 10th Int Symp on Software Reliability Engineering pp 166-174 (1999) doi:10.1109/ISSRE.1999.809321 Ghosh, A.K., Schmid, M.: An approach to testing COTS software for robustness to operating system exceptions and errors Proc of 10th Int Symp on Software Reliability Engineering pp 166-174 (1999) doi:10.1109/ISSRE.1999.809321 [11] Mendonca, M., Neves, N.: Robustness Testing of the Windows DDK 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks, 2007 DSN '07 pp 554-564 IEEE (2007) doi:10.1109/DSN.2007.85 [12] https://en.wikipedia.org/wiki/Equivalence partitioning (truy cập lần cuối 21/10/2020) [13] https://en.wikipedia.org/wiki/Boundary-value analysis (truy cập lần cuối 21/10/2020) [14] https://en.wikipedia.org/wiki/All-pairs _testing (truy cập lần cuối 21/10/2020) [15] ĩttps://en.wikipedia.org/wiki/Fuzzing (truy cập lần cuối 21/10/2020) [16] https://en.wikipedia.org/wiki/Model-based testing (truy cập lần cuối 21/10/2020) [17] https://en.wikipedia.org/wiki/Traceability matrix (truy cập lần cuối 21/10/2020) [18] https://en.wikipedia.org/wiki/Exploratory_testing (truy cập lần cuối 21/10/2020) [19] https://en.wikipedia.org/wiki/Software testing (truy cập lần cuối 21/10/2020) ... biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, độ đo khoảng cách liệu kiểm thử phương pháp tìm biên phân hoạch CHƯƠNG TÌM BIÊN PHÂN HOẠCH DỮ LIỆU KIỂM THỬ 2.1 BIÊN PHÂN HOẠCH DỮ LIỆU THỬ... phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử, ... phân hoạch liệu kiểm thử đầu vào có tính hợp lệ với liệu kiểm thử đầu vào không hợp lệ miền không gian liệu kiểm thử đầu vào, cụ thể mô tả biên phân hoạch có tính hợp lệ, đột biến liệu kiểm thử,