Đồ án tốt nghiệp kiểm thử tự động với katalon studio cho ứng dụng di động

BAN CƠ YẾU CHÍNH PHỦ HỌC VIỆN KỸ THUẬT MẬT Mà ¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯ ĐỒ ÁN TỐT NGHIỆP KIỂM THỬ TỰ ĐỘNG VỚI KATALON STUDIO CHO ỨNG DỤNG DI ĐỘNG Ngành: Công nghệ thông tin Mã số: Sinh viên thực hiện: Phạm Vi Hồng Ngọc Lớp: CT1A Cán hướng dẫn: ThS Nguyễn Đức Hiếu Khoa Công nghệ thông tin – Học viện Kỹ thuật Mật mã Hà Nội - 2021 BAN CƠ YẾU CHÍNH PHỦ HỌC VIỆN KỸ THUẬT MẬT Mà ¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯ ĐỒ ÁN TỐT NGHIỆP KIỂM THỬ TỰ ĐỘNG VỚI KATALON STUDIO CHO ỨNG DỤNG DI ĐỘNG Ngành: Công nghệ thông tin Mã số: Sinh viên thực hiện: Phạm Vi Hồng Ngọc Lớp: CT1A Cán hướng dẫn: ThS Nguyễn Đức Hiếu Khoa Công nghệ thông tin – Học viện Kỹ thuật Mật mã Hà Nội - 2021 MỤC LỤC DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT i DANH MỤC HÌNH ẢNH iii DANH MỤC BẢNG iv LỜI CẢM ƠN v LỜI NÓI ĐẦU vi Chương I: Tổng quan kiểm thử tự động 1.1 Kiểm thử phần mềm 1.1.1 Khái niệm kiểm thử 1.1.2 Quy trình kiểm thử phần mềm 1.1.3 Các loại kiểm thử 10 1.1.4 Các mức kiểm thử 13 1.1.5 Một số cách tiếp cận kiểm thử 15 1.2 Kiểm thử tự động 19 1.2.1 Giới thiệu kiểm thử tự động 19 1.2.2 Các nguyên tắc kiểm thử tự động 19 1.2.3 Quy trình kiểm thử tự động 22 1.2.4 Một số công cụ kiểm thử tự động 24 1.3 Tổng kết chương 28 Chương II: Công cụ kiểm thử tự động Katalon Studio 29 2.1 Giới thiệu Katalon Studio 29 2.2 Các tính Katalon Studio 31 2.3 Làm việc với Katalon Studio 32 2.3.1 Tổng quan 32 2.3.2 Quy trình làm việc Katalon Studio 33 2.4 Mội số loại kiểm thử sử dụng Katalon Studio 34 2.4.1 Kiểm thử ứng dụng web 34 2.4.2 Kiểm thử sở liệu (database) 35 2.4.3 Kiểm thử bảo mật 37 2.4.4 Kiểm thử ứng dụng di động 38 2.4.5 Kiểm thử giao diện người dùng Android 39 2.4.6 Kiểm thử khả tương thích 40 2.4.7 Kiểm thử mạng 40 2.5 Giải vấn đề Wait-time với Katalon Studio 41 2.5.1 Wait Katalon 41 2.5.2 Qiải vấn đề liên quan đến Wait 41 2.5.3 Khi nên sử dụng lệnh Wait 42 2.6 Phát yếu tố với Xpath 43 2.6.1 Tổng quan XPath 43 2.6.2 Xác định yếu tố lồng 44 2.7 So sánh công cụ kiểm thử tự động 45 2.8 Tổng kết chương 47 Chương III: Tiến hành cài đặt demo thực nghiệm với công cụ Katalon Studio 48 3.1 Môi trường thực nghiệm 48 3.1.1 Cách cài đặt 48 3.1.2 Cấu hình 50 3.1.3 Ứng dụng di động 52 3.2 Triển khai thực nghiệm 54 3.2.1 Kết nối thiết bị 54 3.2.2 Xây dựng ca kiểm thử cho ứng dụng cần kiểm thử 56 3.2.3 Tạo dự án kiểm thử 58 3.2.4 Tạo kịch kiểm thử 60 3.3 Báo cáo 66 3.3.1 Tổng hợp xem báo cáo 66 3.3.2 Viết Bug Report 68 KẾT LUẬN 69 TÀI LIỆU THAM KHẢO 70 PHỤ LỤC 71 Hướng dẫn cài đặt Node JS Appium 71 DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Thuật ngữ/ Từ viết tắt API Cụm từ đầy đủ Ý nghĩa Application Programming Giao diện lập trình ứng dụng Interface APK Android Package Kit DOM Document Object Model Giao diện lập trình ứng dụng CPU Central Processing Unit Bộ xử lý trung tâm CI Continuous Integration Tích hợp liên tục DOM Document Object Model Framework Framework Gói ứng dụng Android Mơ hình đối tượng tài liệu HTML Framework phần mềm phát triển sử dụng nhà phát triển để xây dựng ứng dụng GUI Graphical User Interface Giao diện đồ họa người dùng HTML HyperText Markup Ngôn ngữ đánh dấu siêu văn Language IDE Integrated Development Mơi trường phát triển tích hợp Environment IE Internet Explorer Module Module Một trình duyệt web Một thành phần phần mềm phần chương trình QA Quality Assurance Những cơng việc nhằm đảm bảo chất lượng quy trình phát triển hệ thống phần mềm SMS Short Message Services Giao thức truyền thông cho phép thiết bị di động trao đổi tin nhắn văn ngắn SDK Software Development Kit Bộ công cụ phát triển phần mềm Test Case Test Case Ca kiểm thử Test Script Test Script Kịch kiểm thử ii DANH MỤC HÌNH ẢNH Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 1.1: Giai đoạn kiểm thử xử lý phần mềm 1.2: Các mức độ kiểm thử 13 1.3: Kiểm thử hộp trắng 15 1.4: Kiểm thử hộp đen 17 1.5: Kiểm thử hộp xám 18 1.6: Quy trình kiểm thử tự động 23 2.1: Giao diện kiểm thử ứng dụng web 26 2.2: Giao diện kết nối sở liệu 26 2.3: Giao diện kiểm thử ứng dụng di động 29 2.4: Chế dộ tập lệnh Katalon 29 2.5: Giao diện kiểm thử giao diện người dùng Android 40 2.6: Ví dụ Wait For Element Present 42 2.7: Ví dụ XPath 43 2.8: Ví dụ tối ưu hóa Xpath 44 3.1: Chọn phiên cài đặt Katalon Studio 45 3.2: Chọn biểu tượng cài đặt Katalon 46 3.3: Màn hình Katalon 46 3.4: Một số chức Katalon Studio 53 3.5: Số liệu thống kế phát triển Android 53 3.6: Kiến trúc ứng dụng Android 54 3.7: Giao diện trang chủ phần mềm Vysor 55 3.8: Màn hình thiết bị hiển thị sau kết nối 56 3.9: Giao diện chương trình máy tính cần kiểm thử 57 3.10: Cài đặt thư mục Appium Katalon Studio 59 3.11: Thực kiểm tra 61 3.12: Chụp bắt đối tượng cần kiểm tra 62 3.13: Thêm đối tượng vào thư mục 62 3.14: Thêm keyword đường dẫn 63 3.15: Đoạn code Script sinh tự động Project 63 3.16: Chọn thiết bị cần kiểm thử 64 3.17: Thực test thành công 64 3.18: Tạo Test Case với ca thử nghiệm 65 3.19: Đoạn mã sinh liệu kiểm thử tự động 66 Hình 3.20: Ca kiểm thử thứ hai không đưa kết xác 68 Hình 3.21: Bug report lỗi nút % 69 DANH MỤC BẢNG Bảng 2-1: So sánh kiểm thử tự động kiểm thử thủ công 29 Bảng 2-2: Bảng từ khóa Wait 43 Bảng 2-3: So sánh ưu nhược điểm Katalon Studio với số công cụ 45 Bảng 3-1: Các yêu cầu hệ thống cài đặt Katalon Studio 50 Bảng 3-2: Danh sách moblie hỗ trợ Katalon Studio 50 Bảng 3-3: Bộ ca kiểm thử cho ứng dụng máy tính 57 Bảng 3-4: Bảng tổng hợp kết kiểm thử 66 iv Tuy nhiên ta không kiểm thử tay mà sử dụng phần mềm để kiểm thử tự động Phần mềm tự sinh liệu đầu vào theo yêu cầu, sau thực tự động, cuối so sánh đưa kết Vẫn kiểm thử với phép toán (+, , *, /) với số hạng 3.2.3 Tạo dự án kiểm thử Bước 1: Cài đặt thư mục Appium cần thực Katalon Studio:  Mở Katalon Studio  Menu >> Windows >> Katalon Studio Preferences >> Katalon >> Mobile settingsg Ở đây, thiết lập thư mục Appium Directory hình 3.9 đây: Hình 3.10: Cài đặt thư mục Appium Katalon Studio Bước 2: Thực kiểm tra:  Tạo test case  Nhấp vào Spy Mobile – Một cửa sổ mở nơi người dùng chụp đối tượng 58  Cửa sổ Mobile Object Spy - mở Ở đây, đặt cấu xác định thiết bị để thử nghiệm ứng dụng APK thử nghiệm Nhấp vào Start bạn hồn tất cài đặt hình 3.10 đây: Hình 3.11: Thực kiểm tra Bước 3: Sau nhấp vào Start, apk chạy người dùng bấm vào Capture Object bắt đầu chụp đối tượng Hình 3.22: Chụp bắt đối tượng cần kiểm tra 59 Bước 4: Chụp đối tượng thêm vào thư mục Đây cách đối tượng bị bắt xuất Katalon Studio hình 3.12 đây: Hình 3.13: Thêm đối tượng vào thư mục 3.2.4 Tạo kịch kiểm thử Bước 1: Keyword: Có thể tìm nạp chúng cách nhấp chuột phải vào Item Add >> Mobile keyword  Object: Chúng lấy từ đối tượng lưu trữ kho  Input: Bắt buộc từ khóa định Ví dụ: Bước để Start ứng dụng cần có thơng tin đường dẫn tệp apk 60 Hình 3.14: Thêm keyword đường dẫn Bước 2: Nhấn vào Script vừa tạo để xem đoạn code sinh tự động hình 3.13 đây: Hình 3.15: Đoạn code Script sinh tự động Project 61 Bước 3: Bây thực với thiết bị Android từ nút Run cơng cụ chọn thiết bị từ danh sách Android Devices List Nhấp OK Hình 3.16: Chọn thiết bị cần kiểm thử Bước 4: Thử nghiệm thành cơng hình 3.16 đây: Hình 3.17: Thực test thành công 62 Bước 5: Tiến hành tạo Test Case với Katalon Studio với đoạn mã sinh số ngẫu nhiên phạm vị số có chữ số Hình 3.18: Tạo Test Case với ca thử nghiệm Vi để sinh liệu kiểm thử tự động nên bao phủ hết trường hợp, số lượng liệu đầu vào nhiều thi độ bao phủ lớn, cac trường hợp lỗi dễ phát sinh Phần ví dụ trường hợp sinh ngẫu nhiên 20 liệu đầu vào hình 3.18 đây: 63 Đoạn mã để sinh liệu kiểm thử tự động sau: 64 Hình 3.19: Đoạn mã sinh liệu kiểm thử tự động Bước 6: Khởi chạy kiểm thử tự động kết chạy kiểm thử tự động hiển thị cửa sổ console 65 3.3 Báo cáo 3.3.1 Tổng hợp xem báo cáo Tổng hợp kết kiểm thử lại, ta bảng 3-4 đây: Bảng 3-4: Bảng tổng hợp kết kiểm thử STT Dữ liệu kiểm thử Kết Thực tế -369.565 + -56 -425.565 -425.565 123.23 + 10% 123.33 135.553 545.89 + 556.023 1101.913 1101.913 -102.235 * 12.425 -1270.269875 -1270.269875 586 * 12% 70,32 70,32 -59.156 - - 125 65.844 65.844 -123.052 / -253.465 0.4854792575 0.4854792575 455.55 * -16.25 -740.1875 -740.1875 568 - 20% 567.8 454.4 10 154,523 * 12 1854.276 1854.276 11 179 / 12% 2983,333 2983,333 12 165.26 / 212 0.77953 0.77953 13 564,535 452 1016.535 1016.535 14 516 - - 211 727 727 15 149 + 20% 149.2 178.8 66 Note Lỗi (%) Lỗi (%) Lỗi (%) 16 456 * 26% 118,56 118,56 17 -775.55 + 121 -654.55 -654.55 18 812.25 / -12.5 -64,98 -64,98 19 581 * 50% 290.5 290.5 20 846 – 22.5% 845,775 655,65 Lỗi (%) Chọn báo cáo để xem chi tiết Từng bước thực chụp lại chi tiết cho kiểm thử viên theo dõi tồn q trình kiểm thử dễ dàng nhận lỗi phát sinh tiện lợi cho việc làm báo cáo sau Có thể thấy liệu sinh tự động thứ hai phát sinh lỗi hình 3.19 đây: Hình 3.20: Ca kiểm thử thứ hai khơng đưa kết xác 67 3.3.2 Viết Bug Report BUG REPORTS Project: Samsung Calculator Reported by: Hong Ngoc, Pham • Bug Name: The (%) button is not working correctly Bug ID: PHN001 • Date: 12-December-2021 • Assigned to: Katalon Studio • Status: New • Summary/Description: The (%) button is not working correctly with the second number in a calculation • Environments (OS/Browser): SamsungA30- Android (Pie) • Step to reproduce: Input the first mumber Select the operation minus (-), plus (+), etc Input the second number Press the (%) and the bug will appear My expected result is “123,23 + 10%” but I have “123,23 + 0,1” • Actual results: The TextBox display the result"135,553" • Expected results: The TextBox display the result "123,33" • Severity: Major (S2) • Priority: High (P1) Hình 3.21: Bug report lỗi nút % 68 KẾT LUẬN Sau thời gian tìm hiểu nghiên cứu đề tài này, em đạt số kết sau:  Đã tìm hiểu, nghiên cứu trình bày tổng quan lĩnh vực kiểm thử phần mềm nói chung lĩnh vực mobile nói riêng  Trình bày đầy đủ tổng quan phần mềm, lỗi phần mềm, đặc tả yêu cầu phần mềm, chất lượng độ tin cậy phần mềm vấn đề liên quan tới kiểm thử phần mềm  Chỉ khác biệt công việc kiểm thử ứng dụng Androi với công việc kiểm thử môi trường khác  Đồ án xem tài liệu hướng dẫn sử dụng Katalon Studio cách tiếng Việt để tham khảo Do trình độ, khả thời gian hạn chế nên đồ án tồn số điểm hạn chế:  Mặc dù tìm tịi, chủ động việc tìm kiếm nguồn tài liệu, báo cáo nước tiếng Anh để nghiên cứu, việc thể lại tiếng Việt cịn nhiều bối rối chưa truyền tải xác thuật ngữ chuyên ngành  Chỉ áp dụng kiểm thử chức tính tốn bản, trính nâng cao chưa thực thi Em mong nhâ n góp ý Thầy, Cơ bạn để có thêm kinh nghiệm kiến thức để tiếp tục nghiên cứu 69 TÀI LIỆU THAM KHẢO [1] Trương Anh Hoàng, Đặng Văn Hưng, Phạm Ngọc Hùng, Giáo trình kiểm thử phần mềm, Hà Nội: Đại học Quốc gia Hà Nội, Thang năm 2014 [2] Marijn Haverbeke Eloquent JavaScript, Third Edition No Starch Pree 2018 [3] Arnon Axelrod Complete Guide to Test Automation Apress 2018 [4] KMS Technology Releases Katalon Studio, Free Intelligent Test Automation Toolset, https://www.katalon.com/resources-center/blog/kms-technology- releases-katalon-studio-free-intelligent-test-automation-toolset/, truy cập ngày 06/10/1021 [5] Principles Of Software Testing: Defect Clustering And Pareto Principle, https://www.softwaretestinghelp.com/7-principles-of-software-testing, truy cập ngày 26/10/1021 70 PHỤ LỤC Hướng dẫn cài đặt Node JS Appium Việc cài đặt Node JS Appium đơn giản Nhưng lưu ý bạn nên có kết nối internet ơ n định Bước 1: Mở trình duyệt download Node JS https://nodejs.org/en/download/ 71 Bước 2: Tiến hành chạy chương trình cài đặt Node JS Bước 3: Cài đặt Appium với câu lệnh: Npm install –g appium Vậy ta hoàn thành xong việc cài đặt Node JS Appium 72