CHƯƠNG 1: TỔNG QUAN VỀ KIỂM THỬ PHẦN MỀM4 1.1.Khái niệm4 1.2.Các kỹ thuật cơ bản của kiểm thử phần mềm4 1.2.1.Kiểm thử hộp đen (Black Box Testing – BBT)4 1.2.2.Kiểm thử hộp trắng (White Box Testing – WBT)10 1.2.3.Kiểm thử hộp xám (Gray Box Testing – GBT)11 1.3.Quy trình kiểm thử phần mềm11 1.4.Các giai đoạn hay mức độ kiểm thử phần mềm13 1.4.1.Kiểm thử đơn vị (Unit test)13 1.4.2.Kiểm thử tích hợp (Intergration Test)13 1.4.3.Kiểm thử hệ thống (System Test)14 1.4.4.Kiểm thử hồi quy (Regression Test)14 1.4.5.Kiểm thử chấp nhận (Acceptance Test)15 1.5.Kiểm thử tự động (Automate Testing)16 1.5.1.Tổng quan về kiểm thử tự động16 1.5.2.Quy trình kiểm thử tự động17 1.5.3.Ưu nhược điểm của kiểm thử tự động21 1.6.Kiểm thử hiệu năng22 1.6.1.Định nghĩa kiểm thử hiệu năng22 1.6.2.Các yếu tố ảnh hưởng đến kiểm thử hiệu năng22 1.6.3.Các giai đoạn kiểm thử hiệu năng23 1.7.Kiểm thử ứng dụng web25 1.7.1.Giới thiệu về kiểm thử ứng dụng web25 1.7.2.Phương pháp kiểm thử ứng dụng web25 CHƯƠNG 2: CÔNG CỤ KIỂM THỬ HIỆU NĂNG JMETER30 2.1.Giới thiệu30 2.2.Ưu điểm và nhược điểm của Jmeter30 2.3.Tải ứng dụng và cài đặt Jmeter31 2.4.Các thành phần chính của Jmeter32 2.5.Một số chức năng thường được sử dụng trong Jmeter35 2.5.1.HTTP Request35 2.5.2.FTP Request36 2.5.3.JDBC request (Java Database Connectivity)37 2.5.4.Logic Controller38 2.5.5.CSV Data Set Config39 2.5.6.Recording Controller và HTTP(S) Test Script Recoder40 2.5.7.NON-GUI41 2.5.8.Một số Listeners thường được sử dụng trong Jmeter42 CHƯƠNG 3: DEMO KIỂM THỬ HIỆU NĂNG WEBSITE BẰNG CÔNG CỤ KIỂM THỬ JMETER APACHE VÀ BÁO CÁO KIỂM THỬ HIỆU NĂNG WEBSITE46 3.1.Giới thiệu về Website Maruchan Shop để kiểm thử hiệu năng46 3.1.1.Giới thiệu chung về Website Maruchan Shop46 3.1.2.Một số chức năng chính của Maruchan Shop46 3.2.Kịch bản kiểm thử hiệu năng, lấy mẫu kiểm thử và thiết lập các biến với mẫu thử46 3.2.1.Kịch bản kiểm thử hiệu năng website Maruchan-shop46 3.2.2.Thiết lập các tham số ban đầu48 3.2.3.Thiết lập các giá trị kiểm thử hiệu năng website Maruchan Shop51 3.3.Kiểm thử hiệu năng website Maruchan Shop và tổng hợp dữ liệu kết quả56 3.3.1.Kiểm thử với một người dùng truy cập56 3.3.2.Kiểm thử hiệu năng website Maruchan Shop với các mẫu thử vừa và lớn.63 3.4.Báo cáo kiểm thử hiệu năng Website Maruchan Shop70 3.5.Phân tích kết quả kiểm thử hiệu năng Website Maruchan Shop72 KẾT LUẬN VÀ KIẾN NGHỊ73 TÀI LIỆU THAM KHẢO74
ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN - - NGHIÊN CỨU CÔNG CỤ KIỂM THỬ HIỆU NĂNG JMETER VÀ ỨNG DỤNG KIỂM THỬ HIỆU NĂNG WEBSITE Hà Nội, tháng 05 năm 2018 ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN - - HỒNG THỊ NGỌC DIỄM NGHIÊN CỨU CƠNG CỤ KIỂM THỬ HIỆU NĂNG JMETER VÀ ỨNG DỤNG KIỂM THỬ HIỆU NĂNG WEBSITE Chuyên ngành : Công nghệ thông tin Mã ngành : D480201 Giảng viên hướng dẫn: Ths Phí Thị Hải Yến Hà Nội, tháng 05 năm 2018 LỜI CAM ĐOAN Những nội dung đồ án tốt nghiệp thành từ nghiên cứu, tìm hiểu thân em thực trực tiếp hướng dẫn giảng viên hướng dẫn ThS Phí Thị Hải Yến Đồ án thực hoàn tồn mới, thành riêng em, khơng chép theo đồ án tương tự Mọi tham khảo sử dụng đồ án trích dẫn nguồn tài liệu báo cáo danh mục tài liệu tham khảo Mọi chép không hợp lệ, vi phạm quy chế nhà trường, em xin hoàn toàn chịu trách nhiệm Sinh viên thực Hoàng Thị Ngọc Diễm LỜI CẢM ƠN Để hoàn thành đề tài đồ án tốt nghiệp này, trước hết em xin gửi lời cảm ơn chân thành đến Cán Giảng viên Khoa Công nghệ Thông tin, cán giảng viên Trường Đại học Tài ngun Mơi trường Hà Nội tận tình giảng dạy truyền đạt kiến thức cho em Đồng thời em xin gửi lời cảm ơn đặc biệt dạy, hướng dẫn tận tình ThS Phí Thị Hải Yến ln tận tình hướng dẫn, giúp đỡ em suốt thời gian thực đồ án Em xin gửi lời cảm ơn tới Khoa Công nghệ Thông tin – Trường Đại Học Tài nguyên Môi trường Hà Nội quan tâm tạo điều kiện giúp em hoàn thành đề tài đồ án tốt nghiệp Em xin cảm ơn anh chị bạn bè giúp đỡ, trao đổi thêm nhiều thông tin đề tài trình em thực đề tài Cuối em vơ biết ơn gia đình bạn bè, người luôn bên cạnh em, động viên, chia sẻ với em suốt thời gian thực đề tài đồ án tốt nghiệp “Nghiên cứu công cụ kiểm thử hiệu Jmeter ứng dụng kiểm thử hiệu Website ” Do kiến thức hạn chế, báo cáo em khơng tránh khỏi sai sót Rất mong nhận lời góp ý từ q Thầy để đồ án tốt nghiệp em hồn thiện giúp em có thêm kinh nghiệm quý báu Cuối cùng, em xin kính chúc thầy giảng viên trường Đại học Tài ngun Mơi trường Hà Nội nói chung, thầy khoa Cơng nghệ thơng tin nói riêng ln dồi sức khỏe thành công nghiệp giảng dạy cao quý Hà Nội, tháng 05 năm 2018 Sinh viên thực Hoàng Thị Ngọc Diễm MỤC LỤC CHƯƠNG 1: TỔNG QUAN VỀ KIỂM THỬ PHẦN MỀM 1.1 Khái niệm 1.2 Các kỹ thuật kiểm thử phần mềm .4 1.2.1 Kiểm thử hộp đen (Black Box Testing – BBT) 1.2.2 Kiểm thử hộp trắng (White Box Testing – WBT) 10 1.2.3 Kiểm thử hộp xám (Gray Box Testing – GBT) 11 1.3 Quy trình kiểm thử phần mềm 11 1.4 Các giai đoạn hay mức độ kiểm thử phần mềm 13 1.4.1 Kiểm thử đơn vị (Unit test) .13 1.4.2 Kiểm thử tích hợp (Intergration Test) .13 1.4.3 Kiểm thử hệ thống (System Test) 14 1.4.4 Kiểm thử hồi quy (Regression Test) 14 1.4.5 Kiểm thử chấp nhận (Acceptance Test) 15 1.5 Kiểm thử tự động (Automate Testing) 16 1.5.1 Tổng quan kiểm thử tự động 16 1.5.2 Quy trình kiểm thử tự động 17 1.5.3 Ưu nhược điểm kiểm thử tự động 21 1.6 Kiểm thử hiệu 22 1.6.1 Định nghĩa kiểm thử hiệu 22 1.6.2 Các yếu tố ảnh hưởng đến kiểm thử hiệu 22 1.6.3 Các giai đoạn kiểm thử hiệu 23 1.7 Kiểm thử ứng dụng web 25 1.7.1 Giới thiệu kiểm thử ứng dụng web .25 1.7.2 Phương pháp kiểm thử ứng dụng web 25 CHƯƠNG 2: CÔNG CỤ KIỂM THỬ HIỆU NĂNG JMETER 30 2.1 Giới thiệu 30 2.2 Ưu điểm nhược điểm Jmeter 30 2.3 Tải ứng dụng cài đặt Jmeter 31 2.4 Các thành phần Jmeter .32 2.5 Một số chức thường sử dụng Jmeter 35 2.5.1 HTTP Request 35 2.5.2 FTP Request 36 2.5.3 JDBC request (Java Database Connectivity) 37 2.5.4 Logic Controller .38 2.5.5 CSV Data Set Config .39 2.5.6 Recording Controller HTTP(S) Test Script Recoder 40 2.5.7 NON-GUI 41 2.5.8 Một số Listeners thường sử dụng Jmeter .42 CHƯƠNG 3: DEMO KIỂM THỬ HIỆU NĂNG WEBSITE BẰNG CÔNG CỤ KIỂM THỬ JMETER APACHE VÀ BÁO CÁO KIỂM THỬ HIỆU NĂNG WEBSITE 46 3.1 Giới thiệu Website Maruchan Shop để kiểm thử hiệu 46 3.1.1 Giới thiệu chung Website Maruchan Shop 46 3.1.2 Một số chức Maruchan Shop 46 3.2 Kịch kiểm thử hiệu năng, lấy mẫu kiểm thử thiết lập biến với mẫu thử 46 3.2.1 Kịch kiểm thử hiệu website Maruchan-shop 46 3.2.2 Thiết lập tham số ban đầu 48 3.2.3 Thiết lập giá trị kiểm thử hiệu website Maruchan Shop 51 3.3 Kiểm thử hiệu website Maruchan Shop tổng hợp liệu kết quả.56 3.3.1 Kiểm thử với người dùng truy cập 56 3.3.2 lớn Kiểm thử hiệu website Maruchan Shop với mẫu thử vừa 63 3.4 Báo cáo kiểm thử hiệu Website Maruchan Shop .70 3.5 Phân tích kết kiểm thử hiệu Website Maruchan Shop .72 KẾT LUẬN VÀ KIẾN NGHỊ .73 TÀI LIỆU THAM KHẢO 74 DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt BBT WBT GBT SDK JRE Tên tiếng anh Black Box Testing White Box Testing Gray Box Testing Java Software Development Kit Java Runtime Environment Nghĩa tiếng việt Kiểm thử hộp đen Kiểm thử hộp trắng Kiểm thử hộp xám DANH MỤC CÁC BẢNG Bảng 1.1: Ví dụ phân vùng tương đương ZIP code x=5 Bảng 1.2: Bảng định .8 Bảng 1.3: Bảng định trường hợp xảy Bảng 1.4: Bảng định phân tích kết Bảng 2.1: Các phần tử Thread group 33 Bảng 2.2: Các biến chế độ Non-GUI 40 Bảng 2.3: Ý nghĩa trường bên Aggregate Report 43 Bảng 3.1 Báo cáo kiểm thử hiệu Website Maruchan Shop 75 DANH MỤC HÌNH ẢNH Hình 1.1 Kiểm thử hộp đen Hình 1.2 Quy trình kiểm thử phần mềm 12 Hình 1.3 Quy trình kiểm thử tự động 17 Hình 1.4 Bản kế hoạch kế hoạch chi tiết 17 Hình 1.5 Thời điểm phù hợp để thiết lập kế hoạch kiểm tra 19 Hình 2.1 Giao diện Jmeter 32 Hình 2.2: Thread Group Panel 33 Hình 2.3: HTTP Request 36 Hình 2.4: FTP Request 37 Hình 2.5: JDBC Request 38 Hình 2.6: CSV Data Set Config 39 Hình 2.7: Recording Controller 40 Hình 2.8: HTTP(S) Test Script Recorder .40 Hình 2.9: Aggregate Report 44 Hình 2.10: Apache Jmeter Dashbroad 45 Hình 3.1: Trang chủ Website Maruchan Shop .46 Hình 3.2: Chức Đăng kí thành viên 47 Hình 3.3: Chức Đăng nhập 48 Hình 3.4: Tìm kiếm sản phẩm theo giá tiền tên sản phẩm .49 Hình 3.5: Tìm kiếm sản phẩm theo danh mục sản phầm 49 Hình 3.6: Chi tiết sản phẩm 50 Hình 3.7: Chức Giỏ hàng 50 Hình 3.8: Chức Đặt hàng 51 Hình 3.9: Thêm Thread Group cho Test Plan .54 66 Hình 3.24: Kết tìm kiếm sản phẩm theo giá tiền Hình 3.25: Chi tiết sản phẩm 67 Hình 3.26: hình đặt hàng thành cơng Hình 3.27: Màn hình sau Đăng xuất khỏi hệ thống - Kết nhận Aggregate Report View Results in Table: 68 Hình 3.28: Aggregate Report Maru Các chức Hình 3.29: View Results in Table Maru Các chức 2.7.2 Kiểm thử hiệu website Maruchan Shop với mẫu thử vừa lớn Để nhận kết chuẩn xác với kiểu đồ báo cáo hiệu năng, sử dụng chế độ Non-GUI với việc kiểm thử với trường hợp có đồng thời nhiều người dùng truy cập vào hệ thống theo hai trường hợp thiết lập với Jmeter Sử dụng chế độ Non-GUI với câu lệnh: [Đường dẫn tới thư mục bin Jmeter]jmeter –n –t [Đường dẫn tới file jmx] –l [Đường dẫn tới file csv] –e –o [Đường dẫn tới thư mục report] Trường hợp 1: Thread Group Maruchan Shop có đồng thời 20, 50, 100 người dùng truy cập - Number of Threads (user): 20 69 Sử dụng chế độ Non-GUI với câu lệnh: D:\Jmeter\apache-jmeter3.3\bin>jmeter –n –t d:\Jmeter\demo\do_an_maruchan.jmx –l d:\Jmeter\demo\20VU1.csv –e –o d:\Jmeter\demo\report20VU1 Sau chạy câu lênh trên, kết kiểm thử lưu lại dạng file: file số liệu file biểu đồ Dashboard Hình 3.30: File số liệu 20VU1.csv Hình 3.31: Apache Jmeter Dashboard report20VU1 70 - Tương tự với hai trường hợp Number of Threads (users) 50 100, ta có kết nhận sau trình kiểm thử sau: Hình 3.32: File số liệu 50VU1.csv 71 Hình 3.33: Apache Jmeter Dashboard report50VU1 Hình 3.34: File số liệu 100VU1.csv Hình 3.35: Apache Jmeter Dashboard report100VU1 72 Trường hợp 2: Thread Group Maru Các chức có đồng thời 10, 25, 50 người dùng truy cập Tương tự cách kiểm thử với Thread group Maruchan Shop, ta có kết kiểm thử website Maruchan với chế độ Non-GUI Jmeter sau: Hình 3.36: File số liệu 10VU2.csv 73 Hình 3.37: Apache Jmeter Dashboard report10VU2 Hình 3.38: File số liệu 25VU2.csv 74 Hình 3.39: Apache Jmeter Dashboard report25VU2 Hình 3.40: File số liệu 50VU2.csv 75 Hình 3.41: Apache Jmeter Dashboard report50VU2 76 2.8 Báo cáo kiểm thử hiệu Website Maruchan Shop Bảng 3.1 Báo cáo kiểm thử hiệu Website Maruchan Shop ST T Tên Số lượng Thread người Group dùng Maruchan 20 Shop Maruchan 50 Shop Maruchan 100 Shop Maru Các chức 10 Kết mong muốn Kết thực tế Kết (Pass/Fail Average Min Max Error % Throughput Receives 4100 2000 10000 2.00% 30.0/min 15.33 4097 1524 9546 1.43% 33.3/min 11.33 ) P P P P P P KB/sec Sent KB/sec Average Min Max Error % Throughput Receives 0.50 4300 2000 10000 2.00% 50.2/min 20.00 0.32 4368 1524 9546 1.67% 57.2/min 20.91 P F P P P F F KB/sec Sent KB/sec Average Min Max Error % Throughput Receives 0.60 4500 2000 10000 5.00% 1.0/sec 50.00 0.55 4771 1524 38086 8.41% 1.3/sec 82.08 P F P F F F F KB/sec Sent KB/sec 0.70 0.72 F Average Min Max Error % Throughput Receives 5500 500 35000 8.00% 6.0/min 6.00/sec 5833 489 38086 7.12% 5.7/min 5.54 F P F P P P KB/sec Sent KB/sec 0.20 0.07 P 77 ST T Tên Số lượng Thread người Group dùng Maru Các 25 chức Maru Các 50 chức Kết mong muốn Kết thực tế Kết (Pass/Fail Average Min Max Error % Throughput Receives 5500 500 35000 8.00% 7.0/min 6.00 5443 489 38086 6.11% 7.1/min 6.00 ) P P F F F P KB/sec Sent KB/sec Average Min Max Error % Throughput Receives 0.20 5500 500 50000 16.00% 7.0/min 20.00 0.11 6889 489 64852 37.86% 10.5/min 29.87 P F P F F F F KB/sec Sent KB/sec 0.20 0.17 P 2.9 Phân tích kết kiểm thử hiệu Website Maruchan Shop Từ kết kiểm thử hiệu nhận sau nhiều lần chạy tải với nhiều mẫu thử, số lượng người dùng mẫu thử khác nhau, ta nhận kết chi tiết cho hiệu Website Maruchan sau: máy chủ Maruchan Shop máy chủ miễn phí, nên hiệu Website bị ảnh hưởng nhiều - Website hoạt động hiệu với đồng thời khoảng 50 - 100 request tương ứng với 50 người dùng đồng thời Thread Group Maruchan Shop 10 người dùng đồng thời với Thread Group Maru Các chức - Phần trăm lỗi, thời gian phản hồi tăng lên theo tăng lên số lượng người dùng truy cập vào Website - Do Website sử dụng máy chủ miễn phí nên Maruchan Shop có tượng bị treo tồn tải, cần khoảng thời gian từ 60 - 90 phút để hồi lại 78 Hình 3.42: Hiện tượng Website bị treo hoàn toàn tải 79 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận: Qua q trình nghiên cứu, sử dụng cơng cụ Jmeter Apache để kiểm thử hiệu Website Maruchan Shop, em đạt số kết sau: - Nắm rõ khái niệm, kỹ thuật, phương pháp, quy trình loại kiểm thử phần mềm kiểm thử hiệu Website - Sử dụng thành thạo chức công cụ Jmeter tiện ích hỗ trợ kiểm thử hiệu Website - Xây dựng báo cáo kiểm thử hiệu Website, hiểu rõ biểu đồ, phân tích liệu nhận sau kiểm thử Bên cạnh kết đạt được, đề tài có hạn chế sau: - Chưa sử dụng công cụ kiểm thử Jmeter cách triệt để - Trong trình chạy phần mềm, chất lượng mạng khơng ổn định nên kết test mang tính tương đối Hướng phát triển Đề tài chủ yếu tập trung nghiên cứu ứng dụng kiểm thử hiệu Website sử dụng công cụ Jmeter để mô tạo môi trường kiểm thử Việc sử dụng cơng cụ hạn chế việc đánh giá xác hiệu ứng dụng Website Hướng nghiên cứu, phát triển đề tài sử dụng nhiều công cụ khác thực môi trường phần cứng phần mềm khác kết xác đồng thời tìm ưu khuyết điểm cơng cụ khác so với Jmeter để có nhìn khách quan rõ ràng cơng cụ kiểm thử, để có nhận xét xác, đắn công cụ Jmeter Apache 80 TÀI LIỆU THAM KHẢO [1] Nguyễn Thu, Giáo trình “Kiểm thử phần mềm”, Trung tâm đào tạo kiểm thử viên TesterTOP, 2017 [2] Nhóm tác giả Phạm Ngọc Hùng, Trương Anh Hồng Đặng Văn Hưng, Giáo trình kiểm thử phầm mềm, Nhà xuất Đại học quốc gia Hà Nội, 2014 Các website [3] https://jmetervn.com JMeter VN - Discuss & Sharing about JMeter, 2016 [4] https://jmeter.apache.org/usermanual, Apache Jmeter - User's Manual, 1998 [5] https://jmeter-plugins.org/wiki/Start, Documentation - JMeter-Plugins.org, 2009 [6] https://www.javacodegeeks.com/wp-content/uploads/2015/05/JMeterTutorial.pdf , Exelixis Media P.C., 2015 [7] https://www.youtube.com/watch?v=ODyqFQ9v7uA, học kiểm định hiệu năng/Performance Test - TesterPRO, 2106 [8] https://www.youtube.com/watch?v=M-iAXz8vs48&list=PLhW3qG5bs-Lzox1h3eIL7CZh5zJmci4c, Automation Step by Step - Raghav Pal, 2016 [9] https://knowledgeworldforyou.wordpress.com/2015/01/23/jmeter-performanceof-cpu-and-memory-usage-using-perfmon-plugin/, Knowledge World For You, 2015 [10] https://github.com/undera/perfmon-agent/blob/master/README.md, Andrey Pokhilko - PerfMon Server Agent, 2017 [11] http://www.testautomationguru.com/jmeter-server-performance-metricscollector/, JMeter – Server Performance Metrics Collector, 2015 ... sử dụng Jmeter .42 CHƯƠNG 3: DEMO KIỂM THỬ HIỆU NĂNG WEBSITE BẰNG CÔNG CỤ KIỂM THỬ JMETER APACHE VÀ BÁO CÁO KIỂM THỬ HIỆU NĂNG WEBSITE 46 3.1 Giới thiệu Website Maruchan Shop để kiểm thử hiệu. .. Chương 2: Công cụ kiểm thử hiệu Jmeter Chương giới thiệu chi tiết số chức công cụ Jmeter hỗ trợ để phục vụ trình kiểm thử hiệu Website Chương 3: Demo kiểm thử hiệu Website công cụ kiểm thử Jmeter. .. thuyết Kiểm thử phần mềm, Kiểm thử hiệu Website - Cách triển khai trình kiểm thử hiệu với công cụ kiểm thử hiệu Jmeter Apache -Báo cáo kiểm thử hiệu từ kết nhận từ q trình kiểm thử hiệu với cơng cụ