Bước 2: Thực hiện kiểm tra:
Tạo một test case mới.
Nhấp vào Spy Mobile – Một cửa sổ mới sẽ mở ra nơi người dùng có thể chụp các đối tượng.
Cửa sổ Mobile Object Spy - sẽ mở ra. Ở đây, có thể đặt cấu hình như xác định thiết bị để thử nghiệm cũng như ứng dụng APK được thử nghiệm. Nhấp vào Start khi bạn đã hồn tất cài đặt như hình 3.10 dưới đây:
Hình 3.61: Thực hiện kiểm tra
Bước 3: Sau khi nhấp vào Start, bây giờ các apk sẽ chạy và người dùng có thể
bấm vào Capture Object và bắt đầu chụp các đối tượng.
Hình 3.72: Chụp bắt các đối tượng cần kiểm tra
Bước 4: Chụp các đối tượng và thêm vào một thư mục. Đây là cách các đối tượng
bị bắt sẽ xuất hiện trong Katalon Studio như hình 3.12 dưới đây:
Hình 3.13: Thêm các đối tượng vào thư mục 3.2.4. Tạo kịch bản kiểm thử
Bước 1: Keyword: Có thể tìm nạp chúng bằng cách nhấp chuột phải vào Item và
Add >> Mobile keyword.
Object: Chúng có thể được lấy ra từ các đối tượng được lưu trữ dưới kho. Input: Bắt buộc đối với từ khóa nhất định.
Ví dụ: Bước đầu tiên để Start ứng dụng cần có thơng tin về đường dẫn tệp apk.
Hình 3.14: Thêm keyword và đường dẫn
Bước 2: Nhấn vào Script vừa tạo để xem đoạn code được sinh tự động như hình
3.13 dưới đây:
Hình 3.15: Đoạn code Script được sinh tự động trong Project
Bước 3: Bây giờ thực hiện với thiết bị Android từ nút Run trên thanh cơng cụ
chính và chọn thiết bị từ danh sách Android Devices List. Nhấp OK.
Hình 3.16: Chọn thiết bị cần kiểm thử
Bước 4: Thử nghiệm thành cơng như hình 3.16 dưới đây:
Hình 3.17: Thực hiện test thành cơng
Bước 5: Tiến hành tạo Test Case với Katalon Studio với đoạn mã sinh số ngẫu
nhiên trong phạm vị số có 3 chữ số
Hình 3.18: Tạo Test Case với ca thử nghiệm
Vì để sinh dữ liệu kiểm thử tự động nên không thể bao phủ được hết mọi trường hợp, số lượng bộ dữ liệu đầu vào càng nhiều thì độ bao phủ càng lớn, các trường hợp lỗi càng dễ phát sinh. Phần này sẽ ví dụ trường hợp sinh ngẫu nhiên 20 bộ dữ liệu đầu vào như hình 3.18 dưới đây:
Đoạn mã để sinh dữ liệu kiểm thử tự động như sau:
Hình 3.19: Đoạn mã sinh dữ liệu kiểm thử tự động
Bước 6: Khởi chạy kiểm thử tự động và kết quả chạy kiểm thử tự động sẽ được
hiển thị trên cửa sổ console.
3.3. Báo cáo
3.3.1. Tổng hợp và xem báo cáo
Tổng hợp kết quả kiểm thử lại, ta được như bảng 3-4 dưới đây:
Bảng 3-4: Bảng tổng hợp kết quả kiểm thử
ST T
Dữ liệu kiểm thử Kết quả Thực tế Note
1 -369.565 + -56 -425.565 -425.565 2 123.23 + 10% 123.33 135.553 Lỗi (%) 3 545.89 + 556.023 1101.913 1101.913 4 -102.235 * 12.425 -1270.269875 -1270.269875 5 586 * 12% 70,32 70,32 6 -59.156 - - 125 65.844 65.844 7 -123.052 / -253.465 0.4854792575 0.485479257 5 8 455.55 * -16.25 -740.1875 -740.1875 9 568 - 20% 567.8 454.4 Lỗi (%) 10 154,523 * 12 1854.276 1854.276 11 179 / 12% 2983,333 2983,333 12 165.26 / 212 0.77953 0.77953 13 564,535 --452 1016.535 1016.535 14 516 - - 211 727 727 15 149 + 20% 149.2 178.8 Lỗi (%) 16 456 * 26% 118,56 118,56 17 -775.55 + 121 -654.55 -654.55 18 812.25 / -12.5 -64,98 -64,98 68
19 581 * 50% 290.5 290.5
20 846 – 22.5% 845,775 655,65 Lỗi (%)
Chọn một báo cáo để xem chi tiết. Từng bước thực hiện sẽ được chụp lại rất chi tiết cho kiểm thử viên theo dõi được tồn bộ q trình kiểm thử và dễ dàng nhận ra các lỗi phát sinh tiện lợi cho việc làm báo cáo sau này.
Có thể thấy ở bộ dữ liệu được sinh tự động thứ hai đã phát sinh lỗi như hình 3.19 dưới đây:
Hình 3.20: Ca kiểm thử thứ hai khơng đưa ra kết quả chính xác 3.3.2. Viết Bug Report
BUG REPORTS
Project: Samsung Calculator Reported by: Hong Ngoc, Pham
• Bug Name: The (%) button is not working correctly
Bug ID: PHN001
• Date: 12-December-2021 • Assigned to: Katalon Studio • Status: New
• Summary/Description:
The (%) button is not working correctly with the second number in a calculation • Environments (OS/Browser): SamsungA30- Android 9 (Pie)
• Step to reproduce: 1. Input the first mumber.
2. Select the operation minus (-), plus (+), etc. 3. Input the second number
4. Press the (%) and the bug will appear. My expected result is “123,23 + 10%” but I have “123,23 + 0,1”
• Actual results: The TextBox display the result"135,553" • Expected results: The TextBox display the result "123,33". • Severity: Major (S2)
• Priority: High (P1)
Hình 3.21: Bug report lỗi của nút %
KẾT LUẬN
Sau một thời gian tìm hiểu và nghiên cứu đề tài này, em đã đạt được một số kết quả sau:
Đã tìm hiểu, nghiên cứu và trình bày được tổng quan về lĩnh vực kiểm thử phần mềm nói chung và lĩnh vực mobile nói riêng.
Trình bày đầy đủ tổng quan về phần mềm, lỗi phần mềm, đặc tả yêu cầu phần mềm, chất lượng và độ tin cậy của phần mềm cũng như các vấn đề liên quan tới kiểm thử phần mềm.
Chỉ ra được sự khác biệt của công việc kiểm thử ứng dụng trên Androi với công việc kiểm thử trên các mơi trường khác.
Đồ án có thể xem như tài liệu hướng dẫn sử dụng Katalon Studio một cách cơ bản nhất bằng tiếng Việt để tham khảo.
Do trình độ, khả năng và thời gian còn hạn chế nên đồ án còn tồn tại một số điểm hạn chế:
Mặc dù đã tìm tịi, cũng như chủ động trong việc tìm kiếm nguồn tài liệu, báo cáo nước ngồi bằng tiếng Anh để nghiên cứu, nhưng việc thể hiện lại bằng tiếng Việt còn nhiều bối rối khi chưa truyền tải chính xác các thuật ngữ chuyên ngành.
Chỉ áp dụng kiểm thử được chức năng tính tốn cơ bản, đối với các trính năng nâng cao chưa thực thi được.
Em rất mong nhận được sự góp ý của các Thầy, Cơ và các bạn để có thêm kinh nghiệm và kiến thức để tiếp tục nghiên cứu.
TÀI LIỆU THAM KHẢO
[1] Trương Anh Hoàng, Đặng Văn Hưng, Phạm Ngọc Hùng, Giáo trình kiểm thử phần mềm, Hà Nội: Đại học Quốc gia Hà Nội, Tháng 1 năm 2014. [2] Marijn Haverbeke. Eloquent JavaScript, Third Edition. No Starch Pree
2018.
[3] Arnon Axelrod. Complete Guide to Test Automation. Apress 2018.
[4] KMS Technology Releases Katalon Studio, Free Intelligent Test Automation Toolset, https://www.katalon.com/resources-center/blog/kms- t echnology- releases-katalon-studio-free-intelligent-test-automation-toolset/, truy cập ngày 06/10/1021.
[5] 7 Principles Of Software Testing: Defect Clustering And Pareto Principle, https://www.softwaretestinghelp.com/7-principles-of-software-testing, truy cập ngày 26/10/1021.
PHỤ LỤC Hướng dẫn cài đặt Node JS và Appium
Việc cài đặt Node JS và Appium rất đơn giản. Nhưng lưu ý bạn nên có kết nối internet ổn định.
Bước 1: Mở trình duyệt và download Node JS tại
https://nodejs.org/en/download/
Bước 2: Tiến hành chạy chương trình và cài đặt Node JS.
Bước 3: Cài đặt Appium với câu lệnh:
Npm install –g appium
Vậy ta đã hoàn thành xong việc cài đặt Node JS và Appium. 74