Luận văn thạc sĩ nghiên cứu ứng dụng một số công cụ kiểm thử có ứng dụng trí tuệ nhân tạo

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ` Trần Thị Hoan NGHIÊN CỨU ỨNG DỤNG MỘT SỐ CƠNG CỤ KIỂM THỬ CĨ ỨNG DỤNG TRÍ TUỆ NHÂN TẠO LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN Chuyên ngành: Kỹ thuật phần mềm Mã số: 8480103.01 Cán hướng dẫn: PGS TS Trương Anh Hoàng HÀ NỘI, 2020 LỜI CẢM ƠN Được phân công Công Nghệ Thông Tin, trường Đại học Công nghệ, hướng dẫn thầy PGS TS Trương Anh Hoàng, tơi hồn thành luận văn Để hồn thành luận văn xin cảm ơn Thầy cô khoa Công Nghệ Thông Tin, trường Đại học Công nghệ nhiệt tình dạy dỗ, cung cấp phương pháp, kiến thức suốt thời gian học tập Tôi xin chân thành cảm ơn PGS TS Trương Anh Hoàng tận tình hướng dẫn bảo tơi nhiều kiến thức phương pháp làm việc q trình thực hồn thành đồ án Mặc dù cố gắng tích cực việc thực luận văn tránh sai sót định, tơi mong nhận đóng góp thầy bạn đồng nghiệp để hồn chỉnh luận văn có hướng phát triển Tôi xin chân thành cảm ơn i LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực chưa sử dụng để bảo vệ học vị Mọi giúp đỡ luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc rõ ràng phép công bố Hà Nội, ngày … tháng … năm 2020 Người thực Trần Thị Hoan ii MỤC LỤC LỜI CẢM ƠN i MỤC LỤC iii THUẬT NGỮ VIẾT TẮT v DANH MỤC BẢNG vi DANH MỤC BIỂU ĐỒ vi DANH MỤC SƠ ĐỒ, HÌNH VẼ vii LỜI MỞ ĐẦU CHƯƠNG TRÍ TUỆ NHÂN TẠO TRONG KIỂM THỬ PHẦN MỀM TỰ ĐỘNG 1.1 Giới thiệu chung 1.2 Xu sử dụng học máy kiểm thử tự động 1.3 Huấn luyện học máy kiểm thử giao diện tự động 1.3.1 Huấn luyện học máy: Nhận dạng trạng thái ứng dụng 1.3.2 Huấn luyện học máy: Áp dụng tập đầu vào 1.3.3 Thực thi ML: Áp dụng giới thật 10 1.3.4 Huấn luyện học máy: Xác minh hành vi 10 CHƯƠNG GIỚI THIỆU VỀ CÁC CÔNG CỤ 12 2.1 Applitools 12 2.1.1 Applitools gì? 12 3.1.2 AI Applitools 13 2.2 Testim.io 14 2.2.1 Testim.io gì? 14 2.2.2 AI Testim.io 15 2.3 TestComplete 16 2.3.1 TestComplete gì? 16 2.3.2 AI Testcomplete 16 2.4 Mabl 17 2.4.1 Mabl gì? 17 2.4.2 AI Mabl 17 CHƯƠNG THỰC NGHIỆM 19 3.1 Phương thức thực nghiệm 19 iii 3.1.1 Ý tưởng chung 19 3.1.2 Môi trường thực 19 3.1.3 Quá trình thực 22 3.1.4 Nhật ký ca kiểm thử mẫu 23 3.2 Kiểm tra văn 28 3.3 Kiểm tra ảnh 29 3.4 Kiểm tra nút 30 3.5 Kiểm tra hộp nhập văn 31 3.6 Kiểm tra hộp lựa chọn 33 3.7 Kiểm tra thực đơn 34 3.8 Kiểm tra biểu đồ 35 3.9 Đánh giá kết kiểm thử 35 3.10 So sánh công cụ 40 CHƯƠNG KẾT LUẬN 43 TÀI LIỆU THAM KHẢO 45 iv THUẬT NGỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt AI Artificial intelligence Trí tuệ nhân tạo API Application Programming Interface Giao diện lập trình ứng dụng CD Continuous Deployment Phát triển liên tục CI Continuous Integration Tích hợp liên tục CSS Cascading Style Sheet Định kiểu theo tầng CV Computer vision Thị giác máy tính Document Object Model Mơ hình đối tượng Tài liệu Fail Thất bại Hypertext Markup Language Ngôn ngữ đánh dấu siêu văn IDE Integrated Development Environment Mơi trường phát triển tích hợp ML Machine learning Học máy NA Not Available Không sẵn sàng Pass Thông qua P(D) Pass(Different) Thơng qua tìm thấy thay đổi PDF Portable Document Format Định dạng tài liệu di động DOM F HTML P Số thứ tự STT v DANH MỤC BẢNG Bảng 3.1: Kiểm tra nội dung văn 29 Bảng 3.2: Kiểm tra ảnh 29 Bảng 3.3: Kiểm tra nút 30 Bảng 3.4: Kiểm tra hộp nhập văn 32 Bảng 3.5: Kiểm tra hộp lựa chọn 33 Bảng 3.6: Kiểm tra thực đơn 34 Bảng 3.7: Kiểm tra biểu đồ 35 Bảng 3.8: Kết tổng số ca 36 Bảng 3.9: Kết theo loại phần tử 36 Bảng 3.10: Kết theo loại thay đổi 36 Bảng 3.11: Kết tổng số ca theo phần trăm 38 Bảng 3.12: Kết loại thay đổi theo phần trăm 38 Bảng 3.13: So sánh công cụ 40 DANH MỤC BIỂU ĐỒ Biểu đồ 3.1: Kết tổng số ca theo phần trăm 37 Biểu đồ 3.2: Kết loại phần tử theo phần trăm 39 Biểu đồ 3.3: Kết loại thay đổi theo phần trăm 40 vi DANH MỤC SƠ ĐỒ, HÌNH VẼ Hình 1.1: Trí tuệ nhân tạo Hình 1.2: Xu trí tuệ nhân tạo kiểm thử tự động Hình 1.3: Ví dụ lệnh Selenium Hình 1.4: Ví dụ lệnh Applitools Hình 1.5: Phạm vi nghiên cứu luận văn Hình 1.6: Huấn luyện học máy kiểm thử tự động Hình 1.7: Ma trận nhầm lẫn Hình 2.1: Applitools - hoạt động 13 Hình 2.2: Applitools - ví dụ ảnh sở 14 Hình 2.3: Applitools - ví dụ ảnh kiểm tra 14 Hình 2.4: Testim.io - định vị thơng minh 15 Hình 3.1: Trang giao diện chủ 19 Hình 3.2: Trang giao diện “Portfolio” 20 Hình 3.3: Trang giao diện “Book” 20 Hình 3.4: Trang giao diện “Blog” 21 Hình 3.5: Trang giao diện “Join Us” 21 Hình 3.6: Trang giao diện “About” 22 Hình 3.7: Giao diện gốc 24 Hình 3.8: Applitools - Kịch ca kiểm thử 24 Hình 3.9: Testim.io - Kịch ca kiểm thử 24 Hình 3.10: Testcomplete -Kịch ca kiểm thử 25 Hình 3.11: Mabl -Kịch ca kiểm thử 25 Hình 3.12: Giao diện thay đổi 26 Hình 3.13: Applitools - Kết ca kiểm thử 26 Hình 3.14: Testim.io - Kết ca kiểm thử 27 Hình 3.15: Testcomplete - Kết ca kiểm thử 28 Hình 3.16: Mabl - Kết ca kiểm thử 28 vii LỜI MỞ ĐẦU Công nghệ phát triển với tốc độ cực nhanh giữ vai trò quan trọng sống Trên phạm vi toàn cầu, doanh nghiệm tung ứng dụng sử dụng hàng ngàn, hàng triệu người nhiều tảng khác Nó địi hỏi doanh nghiệp phải cung cấp sản phẩm nhanh liên tục Trước lần mắt sản phẩm, ứng dụng phải kiểm thử để đảm bảo tối ưu, đắn cho người dùng đầu cuối Kiểm thử thủ công đơn giản dần không đáp ứng nhu cầu Quá trình kiểm thử phần mềm cần thông minh hơn, nhanh tốt Các cơng nghệ trí tuệ nhân tạo, học máy ngày áp dụng để đẩy nhanh trình phát triển phần mềm Việc phát triển phần mềm sử dụng trí tuệ nhân tạo giai đoạn khởi đầu Các công cụ kiểm thử dựa vào trí tuệ nhân tạo từ phân tích mã nguồn sinh ca kiểm thử đơn vị, đến tảng kiểm thử toàn Kiểm thử hệ thống dựa vào giao điện xu bối cảnh kiểm thử tự động điểm nhức nhối lớn, chúng có xu hướng “dễ vỡ, tốn để viết, tốn thời gian để thực hiện” [1] Với ca kiểm thử thủ công, người kiểm thử thực ca kiểm thử bước đưa kết luận sau bước thực Các ca kiểm thử cần thực tất giao diện, tảng hỗ trợ thủ công Trong hường hợp vá cập nhật liên tục, người kiểm thử cần lặp lặp lại ca kiểm thử liên tục Với kiểm thử tự động, người kiểm thử tạo lệnh để công cụ thực ca kiểm thử so sánh kết đầu thay chạy thủ cơng Bài tốn chạy ca kiểm thử lặp lại nhiều lần giải Khi giao diện thay đổi phần tử, người kiểm thử cần cập nhật lại lệnh Một vài ca kiểm thử cần thay đổi khơng làm khó người kiểm thử, cần cập nhật hàng trăm, hàng nghìn ca kiểm thử tốn thời gian độ xác Bằng kết hợp trí tuệ nhân tạo kiểm thử tự động toán kiểm thử giao diện dần giải Dữ liệu lớn, trí thơng minh máy móc đào tạo giúp cho công cụ kiểm thử tự động thực ca kiểm thử hàng nghìn giao diện, tảng thời gian ngắn, đưa luận cuối ca kiểm thử cách thông minh người Các ca kiểm thử sinh ra, cập nhật tự động phù hợp với hoàn cảnh ứng dụng mà không cần người kiểm thử cập nhật dịng lệnh Từ đó, học viên muốn tìm hiểu ứng dụng trí tuệ nhân tạo kiểm thử tự động vài công cụ có sử dụng trí tuệ nhân tạo: “Nghiên cứu ứng dụng số cơng cụ kiểm thử có ứng dụng trí tuệ nhân tạo” Phạm vi nghiên cứu: Trí tuệ nhân tạo học máy ứng dụng lĩnh vực kiểm thử, ví dụ kiểm thử xác minh giao diện, kiểm thử API, kiểm thử bảo mật Phạm vi luận văn đưa nhìn tổng qt trí tuệ nhân tạo kiểm thử giao diện tự động dựa vào học máy Bên cạnh đó, luận văn cịn tìm hiểu trí tuệ nhân tạo sử dụng vài công cụ kiểm thử giao diện Phương pháp nghiên cứu: Lý thuyết liên quan đến kiểm thử tự động, trí tuệ nhân tạo mối liên hệ nghiên cứu Sau học viên lựa chọn tìm hiểu cơng cụ kiểm thử giao diện có ứng dụng trí tuệ nhân tạo (Applitools, Testim.io, Testcomplete, Mabl) thực ca kiểm thử công cụ để đưa kết thực Để kết đánh giá có thêm phần khách quan, học viên thực khảo sát quy mô nhỏ công cụ sử dụng luận văn, đối tượng tham gia đồng nghiệp học viên Cuối cùng, dựa vào kết nghiên cứu lý thuyết, kết thực nghiệm kết khảo sát, học viên đưa phân tích đánh giá đề xuất hướng phát triển Cấu trúc luận văn: Nội dung luận văn trình bày qua bốn chương Chương Trí tuệ nhân tạo kiểm thử phần mềm tự động Chương trình bày khái niệm kiểm thử tự động, trí tuệ nhân tạo, học máy, xu sử dụng học máy vào kiểm thử phần mềm tự động nói chung kiểm thử giao diện tự động nói riêng Việc huấn luyện học máy kiểm thử giao diện tự động chương Chương Một số công cụ kiểm thử giao diện tự động có ứng dụng trí tuệ nhân tạo Chương trình bày số cơng cụ kiểm thử giao diện có ứng dụng trí tuệ nhân tạo, Applitools, Testim.io, Testcomplete, Mabl cách trí tuệ nhân tạo sử dụng cơng cụ Chương Thực nghiệm Chương trình bày phương pháp thực nghiệm học viên Nội dung chương ca kiểm thử thực kết thực công cụ chương trước Kết thực nghiệm tính tốn so sánh Ngoài kết khảo sát đưa cuối chương Chương Kết luận Trong đó, tổng số ca kiểm thử thực 53 ca, ca kiểm thử gom cụm theo hạng mục thay đổi giao diện (như bảng 3.8 bảng 3.9) để thống kê Sau tỉ lệ tính tốn cho hạng mục sau: Số ca phát thất bại Tỷ lệ phát thất bại = Tổng số ca thực Số ca phát thay đổi Tỷ lệ phát thay đổi = Tổng số ca thực Tỷ lệ thông qua = Số ca thông qua Tổng số ca thực Dưới bảng tỉ lệ phát thay đổi hạng mục theo đơn vị phần trăm: − Tổng số ca phát thay đổi giao diện hiển thị biểu đồ 3.1 Tỷ lệ phát lỗi thay đổi Applitools Testcomplete cao kỹ thuật công cụ sử dụng để so sánh địi hỏi độ xác giao diện cao Testim.io dựa vào định vị phần tử nên chưa phát nhiều lỗi thay đổi giao diện 23% 26% 34% 0% 62% 81% Thông qua 68% 74% 51% Phát thất bại 21% 0% 19% 9% Phát thay đổi 17% 15% Biểu đồ 3.1: Kết tổng số ca theo phần trăm − Số ca phát thay đổi giao diện phân theo loại phần tử theo bảng 3.11 biểu đồ 3.2 Testim.io không phát việc thay đổi nội dung văn 37 sử dụng định vị để xác minh phần tử nên phát thay đổi nội dung Applitools, Testcomplete, Mabl dựa vào ảnh hình, DOM nên phát tốt nội dung văn bị thay đổi Với phần tử biểu đồ, bắt thuộc tính phần tử khó phức tạp, Testcomplete cơng cụ cơng cụ tìm hiểu xác minh phần tử biểu đồ, kỹ thuật nhận dạng ký tự quang học dịch ảnh hình biểu đồ sang ngơn ngữ máy đọc khoanh vùng liệu cần thiết không dựa vào thuộc tính định danh, đường dẫn Tỷ lệ phát = Số ca phát thất bại + Số ca phát thay đổi Tổng số ca thực Bảng 3.11: Kết tổng số ca theo phần trăm Phân loại Selenium Applitools Testim.io Văn Ảnh Nút Hộp văn Thanh thực đơn Thanh lựa chọn Biểu đồ 0% 0% 21% 11% 17% 40% 0% 100% 100% 74% 89% 67% 80% 0% 0% 0% 37% 44% 33% 70% 0% Test Complete 100% 100% 68% 89% 67% 80% 100% Mabl 100% 0% 68% 67% 67% 80% 0% − Số ca phát thay đổi giao diện phân theo loại thay đổi theo bảng 3.12 biểu đồ 3.3 Testcomplete khoanh vùng phần tử cần xác định hình giao diện nên phát 100% trường hợp vị trí phần tử giao diện thay đổi Nhưng Testcomplete không phát thay đổi màu sắc dịch liệu nội dung phần tử Testim không phát thay đổi màu sắc xác minh phần tử dựa vào định vị Phát thay đổi màu sắc nội dung Applitools gần xác tuyệt đối, cịn Mabl cao Bảng 3.12: Kết loại thay đổi theo phần trăm Phân loại Thay đổi nội dung Thay đổi vị trí Thay đổi màu sắc Thay đổi phần tử Selenium Applitools Testim.io 0% 0% 0% 42% 94% 44% 100% 79% 38 24% 44% 0% 50% Test Complete 76% 100% 0% 71% Mabl 88% 44% 100% 54% 100% 100% 100% 100% 100% 89% 89% 80% 80% 74% 68% 67% 67% 70% 67% 44% 37% 33% 0% Nội dung văn 0% 0% Ảnh Applitools 0% 0% Nút Hộp văn Testim.io Thanh thực đơn Thanh lựa chọn Test Complete Biểu đồ 3.2: Kết loại phần tử theo phần trăm 39 Mabl 0% Biểu đồ 100% 100% 100% 94% 88% 79% 76% 71% 50% 44% 44% 54% 44% 24% 0% 0% Văn Vị trí Applitools Màu sắc Testim.io Test Complete Phần tử Mabl Biểu đồ 3.3: Kết loại thay đổi theo phần trăm 3.10 So sánh công cụ Sau thời gian nghiên cứu, trải nghiệm công cụ(bản dùng thử), thân học viên có đưa so sánh 3.13 công cụ dựa kết kiểm thử, kết thống kê nói mục 4.9 Bảng 3.13: So sánh cơng cụ STT Hạng mục Mục đích kiểm thử Platform Cài đặt Trường hợp Applitools Testim.io TestComplete Mabl GUI GUI GUI GUI Web Web Web, Mobile, Desktop Web Tiện ích mở rộng Kiểm tra Tiện ích mở rộng Kiểm tra giao 40 Chương trình Kiểm tra biểu Tiện ích mở rộng Kiểm tra giao sử dụng tốt 10 11 12 13 14 15 xác đến đơn vị điểm ảnh diện người dùng Học máy Học máy Đôi mắt Applitools Bộ định vị thông minh Nhận dạng ký tự quang học Mơ hình học máy Google Tự động Tự động Tự động Tự động 9s 11s 60s 90s Có Có Có Khơng Có Có Có Có Chrome, Firefox, IE, Edge, Safari Tự động Chrome, Firefox, IE, Edge, Safari Tự động Chrome, Firefox, IE, Safari Tự động Chrome, Firefox, IE, Safari Tự động Có Có Có 16 4.3/5 4.8/5 5/5 AI Phương thức Lưới giao diện web đồ, tập tin pdf Thị giác máy tính học máy Thị giác máy tính Bảo trì ca kiểm thử Thời gian chạy ca kiểm thử Chạy ca kiểm thử môi trường cục Chạy ca kiểm thử môi trường lưới giao diện diện người dùng Gỡ lỗi Đưa Không định Số đánh giá Garter- trang 12 đánh giá công nghệ Đánh giá theo Garter- trang 4.5/5 đánh giá công nghệ 41 Số đánh giá đồng 16 3 nghiệp học viên Đánh giá theo 17 đồng nghiệp học viên 4.3/5 4.1/5 Đánh giá 18 học viên 4.3/5 4.0/5 Kết đánh giá theo đồng nghiệm học viên khảo 42 3 4.5/5 4.0/5 4.3/5 4.0/5 đính kèm cuối mục tài liệu tham CHƯƠNG KẾT LUẬN Luận văn tập trung vào việc giới thiệu ứng dụng trí tuệ nhân tạo kiểm thử tự động, công cụ kiểm thử tự động liên quan, từ đưa đánh giá Chương I giới thiệu khái niệm trí tuệ nhân tạo, kiểm thử phần mềm tự động, Chương II trình bày học máy áp dụng kiểm thử phần mềm tự động Chương III trình bày cơng cụ kiểm thử phần mềm có sử dụng trí tuệ nhân tạo Chương IV đưa kịch kiểm thử, kết đánh giá hiệu Như trình bày Chương II Chương III, ca kiểm thử thực trình đào tạo thực thi học máy Càng nhiều ca kiểm thử chạy, trí tuệ nhân tạo cơng cụ thông minh việc đưa định kết luận cho ca kiểm thử Tuy nhiên, cơng cụ có phương thức riêng riêng mình, Applitools sử dụng thị giác máy tính, Testim.io sử dụng định vị thông minh, Testcomplete sử dụng nhận dạng đối tượng, Mabl sử dụng học máy Sau trình tìm hiểu, thực nghiệm thu thập đánh giá, học viên rút kết luận sau: Thứ nhất, việc sử dụng công cụ có ứng dụng trí tuệ nhân tạo thực rút ngắn thời gian, công sức cho kiểm thử Thay viết hàng trăm dịng lệnh so sánh, người kiểm thử cần ghi lại kịch thao tác đơn giản (kích vào nút, chọn lựa chọn…), sau trí tuệ nhân tạo so sánh đưa khác biệt có Việc trí tuệ nhân tạo tự sinh ca kiểm thử khơng nằm phạm vi tìm hiểu đề tài Thứ hai, báo trì ca kiểm thử trở nên dễ dàng Khi giao diện thay đổi, người kiểm thử không cần chỉnh sửa lại tập dịng lệnh, mà cần ích cú kích chuột đồng ý Sau đó, ảnh chụp hình sở ca kiểm thử cập nhật mà khơng cần thao tác dịng lệnh Thứ ba, ứng dụng cơng cụ có ứng dụng trí tuệ nhân tạo tìm hiểu phạm vi đề tài Applitools thích hợp cho ca kiểm thử giao diện yêu cầu xác đến đơn vị điểm ảnh Testcomplete hoàn hảo cho ca kiểm thử biểu đồ bảng tập tin pdf Testim.io Mabl thích hợp cho ca kiểm thử giao diện người dùng đầu cuối đơn Thứ tư, cơng cụ có ứng dụng trí tuệ nhân tạo có điểm hạn chế: Applitools chưa tự đưa định ca kiểm thử (thông qua thất bại), Testim.io chưa phát nhiều thay đổi (theo kết kiểm thử), Testcomplete Mabl có tốc độ xác minh phần tử lâu 43 Thứ năm, học viên có đề xuất cho cơng cụ có ứng dụng trí tuệ nhân tạo phạm vi đề tài: hạn chế mục thứ tư nên khắc phục Ngoài ra, Applitools, Testim.io, Mabl nên tăng cường chức liên quan đến biểu đồ bảng Cuối cùng, phạm vi thực nghiệm luận văn hạn chế kiểm thử giao diện, chưa thực nghiệm với công cụ tự sinh ca kiểm thử giao diện Về tương lai, học viên tiếp tục tìm hiểu cơng cụ kiểm thử giao diện khác có ứng dụng trí tuệ nhân tạo khác cho sinh ca kiểm thử mở rộng phạm vi nhánh khác kiểm thử API, bảo mật, hiệu Ngày nay, trí tuệ nhân tạo có bước tiến kiểm thử giao diện phần mềm tự động Có nhiều cơng cụ sử dụng trí tuệ nhân tạo giới thiệu đến người dùng, cơng cụ tìm hiểu đề tài số Mục đích cuối cơng cụ giúp giảm tối thiểu thao tác, sức lực người để hoàn thành cơng đoạn kiểm thử, nhằm rút ngắn vịng đời phát triển phần mềm Theo quan điểm cá nhân học viên, trí tuệ nhân tạo phát triển mạnh mẽ kiểm thử giao diện phần mềm tự động dần thay hồn tồn vị trí kiểm thử thủ công 44 TÀI LIỆU THAM KHẢO [1] D Kraus, "AI in GUI-Based Software Testing," 2017 [2] Kolawa, Adam, Huizinga, Dorota, Automated Defect Prevention: Best Practices in Software Management, Wiley-IEEE Computer Society Press, 2007 [3] M Maloof, "Artificial Intelligence: An Introduction," 2017 [4] Stuart J Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 2020 [5] P Merrill, "Top trends: ways AI will change software testing" [6] Dionny Santiago, Tariq M King, Peter J Clarke, "AI-Driven Test Generation: Machines Learning from Human Testers," 2018 [7] J Arbon, "Testing AI: Supervised Learning," 2018 [8] J Arbon, "AI for Software Testing," 2017 [9] R Nathanie, Interviewee, Interview with Ram Nathaniel, Head of Computer Vision Algorithms at Applitools [Interview] 2020 45 PHIẾU KHẢO SÁT 46 47 48 49 50 51 ... hiểu ứng dụng trí tuệ nhân tạo kiểm thử tự động vài cơng cụ có sử dụng trí tuệ nhân tạo: ? ?Nghiên cứu ứng dụng số cơng cụ kiểm thử có ứng dụng trí tuệ nhân tạo? ?? Phạm vi nghiên cứu: Trí tuệ nhân tạo. .. Applitools Trí tuệ nhân tạo học máy ứng dụng lĩnh vực kiểm thử, ví dụ kiểm thử xác minh giao diện, kiểm thử API, kiểm thử bảo mật… Các cơng cụ có ứng dụng trí tuệ nhân tạo tự sinh ca kiểm thử, người... có ứng dụng trí tuệ nhân tạo Chương trình bày số cơng cụ kiểm thử giao diện có ứng dụng trí tuệ nhân tạo, Applitools, Testim.io, Testcomplete, Mabl cách trí tuệ nhân tạo sử dụng cơng cụ Chương