Nghiên cứu và ứng dụng kiểm thử chấp nhận tự động với robot framework

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN THỊ HIÊN NGHIÊN CỨU VÀ ỨNG DỤNG KIỂM THỬ CHẤP NHẬN TỰ ĐỘNG VỚI ROBOT FRAMEWORK LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN THỊ HIÊN NGHIÊN CỨU VÀ ỨNG DỤNG KIỂM THỬ CHẤP NHẬN TỰ ĐỘNG VỚI ROBOT FRAMEWORK Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS TRƯƠNG ANH HOÀNG TS TRỊNH THANH BÌNH Hà Nội - 2014 i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu dƣới giúp đỡ lớn Giảng viên hƣớng dẫn Tiến sĩ Trƣơng Anh Hoàng Tiến sĩ Trịnh Thanh Bình Những nội dung nghiên cứu kết đề tài hoàn toàn trung thực Các trích dẫn từ nguồn tài liệu bên đƣợc liệt kê rõ ràng phần cuối luận văn Hà Nội, tháng 12 năm 2014 Học viên Trần Thị Hiên ii LỜI CẢM ƠN Để hoàn thành đề tài luận văn thạc sĩ cách hoàn chỉnh, bên cạnh nỗ lực cố gắng thân có hƣớng dẫn nhiệt tình quý Thầy Cô, nhƣ động viên ủng hộ gia đình bạn bè suốt thời gian học tập, nghiên cứu thực luận văn thạc sĩ Em chân thành bày tỏ lòng biết ơn sâu sắc đến Tiến sĩ Trƣơng Anh Hoàng, Tiến sĩ Trịnh Thanh Bình Các Thầy dành nhiều thời gian tâm huyết hƣớng dẫn em nghiên cứu hoàn thành luận văn thạc sĩ Em xin gửi lời tri ân đến Thầy Xin chân thành bày tỏ lòng biết ơn đến toàn thể quý Thầy Cô khoa Công Nghệ Thông Tin Trƣờng Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội tận tình truyền đạt kiến thức quý báu nhƣ tạo điều kiện thuận lợi cho em suốt trình học tập, nghiên cứu thực đề tài luận văn Cuối cùng, xin chân thành bày tỏ lòng cảm ơn đến gia đình, bạn bè bên tôi, giúp đỡ cho nhiều suốt trình, học tập thực đề tài luận văn thạc sĩ Mặc dù cố gắng hoàn thiện luận văn tất nhiệt tình lực Tuy nhiên trình độ, kinh nghiệm khả chuyên môn có hạn, chắn luận văn nhiều thiếu sót Rất mong nhận đƣợc góp ý quý Thầy Cô bạn Hà Nội, tháng 12 năm 2014 Học viên Trần Thị Hiên iii MỤC LỤC MỤC LỤC iii DANH MỤC BẢNG v DANH MỤC HÌNH vi CHƢƠNG PHẦN MỞ ĐẦU 1.1.Lý chọn đề tài 1.2.Mục tiêu luận văn 1.3.Cấu trúc luận văn CHƢƠNG CƠ SỞ LÝ THUYẾT 2.1.Kiểm thử phần mềm 2.2.Kiểm thử chấp nhận 2.3.Kiểm thử chấp nhận tự động 2.4.Một số kỹ thuật khung kiểm thử chấp nhận tự động 2.4.1.Kiểm thử tuyến tính 2.4.2.Kiểm thử hƣớng liệu 2.4.3.Kiểm thử điều khiển từ khóa 2.5.Một số công cụ hỗ trợ kiểm thử tự động 10 CHƢƠNG ROBOT FRAMEWORK 13 3.1.Giới thiệu Robot Framework 13 3.2.Các thƣ viện chuẩn Robot Framework 14 3.3.Các thƣ viện mở rộng Robot Framework 16 3.4.Tạo liệu kiểm thử 17 3.4.1.Cú pháp liệu kiểm thử 17 3.4.2.Các kiểu định dạng tệp đƣợc hỗ trợ 18 3.4.3.Các loại bảng liệu kiểm thử 20 3.4.4.Các quy tắc phân tích liệu 21 iv 3.4.5.Tạo ca kiểm thử 22 3.4.6.Để tạo ca kiểm thử tốt 24 3.4.6.1.Cách đặt tên 24 3.4.6.2.Tài liệu hƣớng dẫn 25 3.4.6.3.Cấu trúc 27 3.4.6.4.Từ khóa ngƣời dùng biến 28 CHƢƠNG ỨNG DỤNG ROBOT FRAMEWORK VÀO KIỂM THỬ TRANG WEB 31 4.1.Mô tả toán 31 4.2.Kiểm thử chức đăng nhập 32 4.2.1.Kịch kiểm thử xây dựng dựa từ khóa thông thƣờng 32 4.2.2.Kịch kiểm thử xây dựng theo hƣớng liệu 40 4.3.Kiểm thử chức báo cáo 43 4.4.Kiểm thử chức đăng xuấ 44 KẾT LUẬN 46 TÀI LIỆU THAM KHẢO 47 PHỤ LỤC 49 v DANH MỤC BẢNG Bảng 2.1 Dữ liệu kiểm thử FitNesse 10 Bảng 3.2 Các thiết lập sẵn 23 vi DANH MỤC HÌNH Hình 2.1 Kịch ca kiểm thử đƣợc Selenium tạo tự động Hình 3.1 Kiến trúc Robot Framework 14 Hình 3.2 Sử dụng định dạng HTML 19 Hình 3.3 Sử dụng định dạng TSV 19 Hình 3.4 Sử dụng định dạng văn túy 20 Hình 3.5 Dữ liệu kiểm thử chƣa đƣợc chia 22 Hình 3.6 Dữ liệu kiểm thử đƣợc chia 22 Hình 3.7 Cú pháp ca kiểm thử 23 Hình 3.8 Thiết lập bảng Test case 24 Hình 3.9 Tên dài 25 Hình 3.10 Tên ngắn gọn, súc tích 25 Hình 3.11 Tài liệu hƣớng dẫn kiểm thử 26 Hình 3.12 Test case không gồm liệu hƣớng dẫn 26 Hình 3.13 Test case có chứa liệu hƣớng dẫn 27 Hình 3.14 Kiểm thử dựa vào liệu 28 Hình 3.15 Đặt tên biến 29 Hình 3.16 Giá trị trả biến thông qua từ khóa 30 Hình 3.17 Sử dụng từ khóa thiết lập biến kiểm thử 30 Hình 4.1 Trang chủ truongnha.com 31 Hình 4.2 Kết sau chạy xong LoginTest 36 Hình 4.3 Tập tin đầu output.xml 37 Hình 4.4 Báo cáo tổng quan kiểm thử 38 Hình 4.5 Báo cáo trình thực kiểm thử 39 Hình 4.6 Báo cáo chi tiết ca kiểm thử 39 CHƯƠNG PHẦN MỞ ĐẦU 1.1 Lý chọn đề tài Ngày nay, sản phẩm phần mềm có mặt tất lĩnh vực đời sống, kinh tế, xã hội ngƣời Sản xuất phần mềm trở thành ngành công nghiệp mang lại giá trị lớn, có tốc độ phát triển nhanh nhƣ vũ bão Đặc biệt với bùng nổ Internet thúc đẩy nhu cầu cộng tác làm việc qua mạng sử dụng dịch vụ trực tuyến Các ứng dụng web trở thành xu hƣớng tất yếu ngành công nghiệp phần mềm Nó giúp ngƣời dùng cộng tác với hệ thống linh hoạt không phụ thuộc vào tảng cố định lúc nơi Trong quy trình phát triển phần mềm, việc đảm bảo chất lƣợng phần mềm toán khó tiêu tốn 50%[1][2] công sức chi phí doanh nghiệp phần mềm Kiểm thử khâu thiếu việc đảm bảo chất lƣợng phần mềm.Tùy vào giai đoạn phát triển phần mềm mà có kiểm thử đơn vị, kiểm thử tích hợp, kiểm thử chấp nhận v.v Kiểm thử tay tốn thời gian, công sức, không kinh tế dễ gây nhàm chán cho ngƣời thực kiểm thử Vì vậy,nhiều công cụ kiểm thử tự động đời phần giải đƣợc vấn đề Tuy nhiên, kiểm thử chấp nhận dùng để kiểm định phần mềm có đáp ứng nhu cầu khách hàng, khách hàng có chấp nhận phần mềm hay không, kiểm thử lại không dễ tự động hóa, với phần mềm ứng dụng web Kiểm thử tƣơng tác giao diện ngƣời dùng vấn đề khó kiểm thử chấp nhận ứng dụng web Thực tế, phải kiểm tra hài lòng khách hàng có thay đổi giao diện hình ứng với tƣơng tác ngƣời dùng Các thay đổi trạng thái xảy trang web từ trang web sang trang web khác Trong thực tế, kiểm thử chấp nhận ứng dụng web thực thủ công[3] Vì thế, việc gây nhàm chán cho kiểm thử viên, tốn cho nhà sản xuất, ứng dụng web tiếm ẩn nhiều lỗi triển khai cho khách hàng Vì lí trên, luận văn “Nghiên cứu ứng dụng kiểm thử chấp nhận tự động với Robot Framework” Robot Framework [11] khung mã nguồn mở dùng để kiểm thử chấp nhận tự động phần mềm, thực kiểm thử dựa từ khóa, khách hàng dễ dàng tham gia vào trình kiểm thử Hiện Robot Framework đƣợc cộng đồng kiểm thử nƣớc giới quan tâm đƣợc đánh giá cao 1.2 Mục tiêu luận văn Trên sở thực tiễn kiểm thử việc đảm bảo chất lƣợng phần mềm, tầm quan trọng kiểm thử chấp nhận, nghiên cứu, tìm hiểu chọn đề tài: “Nghiên cứu ứng dụng kiểm thử chấp nhận tự động với Robot Framework” Mục đích vừa nghiên cứu lý thuyết, vừa xây dựng kịch kiểm thử ứng dụng thực tế Sau hoàn thành luận văn, làhiểu nắm đƣợc Robot Framework với thƣ viện chuẩn Hai tạo kiểm thử sử dụng từ khóa thƣ viện Robot Framework cung cấp, sử dụng thêm thƣ viện mở rộng SeleniumLibrary để kết hợp với Selenium kiểm thử ứng dụng web http://truongnha.com/ 1.3 Cấu trúc luận văn Nội dung luận văn xoay quanh vấn đề đƣợc trình bày bốn chƣơng nhƣ sau: Chƣơng phần mở đầu Chƣơng trình bày tổng quan tình trạng phát triển phần mềm, đảm bảo chất lƣợng phần mềm Việt Nam Giới thiệu mục tiêu nội dung luận văn Chƣơng hai sở lý thuyết kiểm thử Chƣơng nêu lên khái niệm kiểm thử chấp nhận, kiểm thử chấp nhận tự động Chƣơng trình bày phƣơng pháp kiểm thử chấp nhận Đồng thời, giới thiệu số công cụ hỗ trợ kiểm thử tự động Chƣơng ba giới thiệu Robot Framework Chƣơng tìm hiểu sâu Robot Framework, thƣ viện chuẩn số thƣ viện mở rộng Robot Framework Chƣơng hƣớng dẫn cách tạo liệu kiểm thử: cú pháp, kiểu định dạng tệp hỗ trợ, bảng liệu kiểm thử, quy tắc phân tích liệu, sinh ca kiểm thử lƣu ý để tạo đƣợc ca kiểm thử tốt Chƣơng cuối ứng dụng Robot Framework vào kiểm thử trang web để minh họa rõ tính mà Robot Framework cung cấp Trang web đƣợc kiểm thử truongnha.com Ứng dụng xây dựng ca kiểm thử 40 4.2.2 Kịch kiểm thử xây dựng theo hướng liệu Phần chuyển đổi ca kiểm thử tập tin LoginTest.txt dƣới dạng thƣ mục đặt tên AppTest Đầu tiên thiết lập setup/teardown cho kiểm thử thay cho ca kiểm thử bảng Setting: *** Settings *** Library Selenium Library Suite Setup Start Selenium Server Suite Teardown Stop Selenium Server Test Setup GoogleChrome OpenBrowser http://truongnha.com/login/ Test Teardown Close Browsers Khi số dòng lệnh ca kiểm thử bảng Testcases đƣợc giảm tƣơng ứng: *** Testcases *** Login Should Succeed When the Correct Username and Password are Entered Maximize Browser Window Input Text id_username Input Text id_password Click Button login Location Should Be hientt hientt hientt Nhận thấy từ khóa Maximize Browser Window không giúp cho ngƣời đọc hiểu thêm ý định ca kiểm thử, từ khóa tiếp tục đƣợc sử dụng thực ca kiểm thử khác nên đặt vào bảng thiết lập Nhƣng, từ khóa setup/teardown ta đƣa vào từ khóa Nên ta dùng từ khóa bảng Keywords *** Keywords *** Login Test Setup Open Browser GoogleChrome http://truongnha.com/login/ 41 Maximize Browser Window Khi bảng thiết lập cần đƣợc thay đổi thành: *** Settings *** Library Selenium Library Suite Setup Start Selenium Server Suite Teardown Stop Selenium Server Test Setup Login Test Setup Test Teardown Close Browser Tách bảng thiết lập tập tin riêng có tên init .txt Thêm nữa, để làm cho ca kiểm thử đƣợc rõ ràng ta tạo từ khóa mức ngƣời dùng bảng Keywords *** Keywords *** Enter Username [Arguments] Input Text ${username} id_username ${username} Enter Password [Arguments] Input Text ${password} id_password ${password} Click the Login Button Click Button login Login Is Successful Page Should Contain hientt Login is Unsuccessful Run Keyword And Expect Error Successful * Login Is Login Test Teardown Capture Screenshot Close Browser Nhận thấy từ khóa nhƣ “Enter Username” đƣợc sử dụng hầu hết ca kiểm thử ứng dụng Để tránh việc chép từ 42 khóa vào tất tập tin, ta tách bảng “Keywords” ra, tạo tệp tài nguyên có tên Keywords.txt Mặt khác, để dễ dàng thay đổi liệu kiểm thử, ta tạo bảng biến đặt vào tệp tài nguyên LoginKeywords.txt Trong ứng dụng ta quan tâm đến hai biến địa url trình duyệt *** Variables *** ${login address} ${browser} http://truongnha.com/login/ GoogleChrome Còn lại bảng “Testcases”, ta tách ca kiểm thử đăng nhập phải thành công vào tập tin đặt tên LoginTest.txt thiết lập cho tập tin nguồn liệu tập tin Keywords.txt Ngoài ra, thiết lập thêm thời gian Timeout kiểm thử thƣ viện mở rộng Ta có tập tin LoginTest.txt dƣới *** Settings *** Test Timeout 10 minute Library Selenium Library Resource Keywords.txt *** Testcases *** Login Should Succeed When the Correct Username and Password are Entered Enter Username hientt Enter Password hientt Click the Login Button Login Is Successful Nhận thấy, ba ca kiểm thử lại có thao tác kiểm thử giống nhau, kết mong đợi giống nhau, khác đầu vào Trong trƣờng hợp này, Robot Framework cho phép tạo kịch kiểm thử dễ dàng cách thiết lập Test Template.Ta tạo một tập tin cho ba ca kiểm thử với tên “LoginDataDriven.txt” nhƣ sau *** Settings *** Test Template Login Should Fail When 43 Library Selenium Library Resource Keywords.txt *** Testcases *** username password The Password is Wrong hientt TestFail The Password is Empty hientt ${empty} ${empty} ${empty} Both Fields are Empty *** Keywords *** Login Should Fail When [Arguments] ${username} Enter Username ${username} Enter Password ${password} ${password} Click the Login Button Login Is Unsuccessful 4.3 Kiểm thử chức báo cáo Phần xây dựng kịch kiểm thử cho chức báo cáo “Sổ gọi tên ghi điểm” chức báo cáo “Phiếu báo điểm” Kịch kiểm thử đặt tập tin ReportTest.txt thƣ mục AppTest Thứ chức báo cáo “Sổ gọi tên ghi điểm” Khi đăng nhập đƣợc vào ứng dụng, ngƣời dùng nhấn vào nút “Báo cáo”, tiếp tục ngƣời dùng nhấp vào liên kết “Sổ gọi tên ghi điểm” ứng dụng phải mở trang cho phép tải sổ điểm lớp, trang web phải chứa dòng văn “Sổ gọi tên ghi điểm” Ta xây dựng thêm từ khóa Click the Report Buttonđặt vào tập tin nguồn Keywords.txt nhƣ sau: 44 Click the Report Button Click Element id=report Ca kiểm thử có tên MarkBook Report, kịch kiểm thử đặt bảng Test Cases tập tin ReportTest.txt nhƣ sau: MarkBook Report Enter Username hientt Enter Password hientt Click the Login Button Click the Report Button Click Link /school/report/printMarkBook Page Should Contain Sổ gọi tên ghi điểm Thứ hai chức báo cáo “Phiếu báo điểm” Khi đăng nhập đƣợc vào ứng dụng, ngƣời dùng nhấn vào nút “Báo cáo”, tiếp tục ngƣời dùng nhấp vào liên kết “Phiếu báo điểm” ứng dụng phải mở trang cho phép tải phiếu báo điểm học kì một, học kì hai lớp, trang web phải chứa dòng văn “Phiếu báo điểm” Ca kiểm thử có tên MarkForClass Report, kịch kiểm thử đặt bảng Test Cases tập tin ReportTest.txt nhƣ sau: MarkForClassReport Enter Username hientt Enter Password hientt Click the Login Button Click the Report Button Click Link /school/report/printMarkForClass Page Should Contain Phiếu báo điểm 4.4 Kiểm thử chức đăng xuất Phần xây dựng kịch kiểm thử cho chức đăng xuất Kịch kiểm thử đặt tập tin LogoutTest.txt nằm thƣ mục AppTest 45 Khi ngƣời dùng đăng nhập vào hệ thống, ngƣời dùng tƣơng tác với chức ứng dụng, ngƣời dùng không muốn làm việc với hệ thống muốn thoát Hệ thống phải có khả đăng xuất Ta xây dựng thêm từ khóa Click the Logout Button đặt vào tập tin nguồn Keywords.txt nhƣ sau: Click the Logout Button Click Element id=logout Ca kiểm thử có tên Logout Should Succeed, kịch kiểm thử đặt bảng Test Cases tập tin LogoutTest.txt nhƣ sau: Logout Should Succeed Enter Username hientt Enter Password hientt Click the Login Button Click the Logout Button Login is Unsuccessful Nhƣ vậy, ta xây dựng xong kịch kiểm thử cho chức đăng nhập, báo cáo đăng xuất hệ thống http://truongnha.com Toàn kịch kiểm thử phần phụ lục 46 KẾT LUẬN Qua trình tìm hiểu nghiên cứu thực luận văn “Nghiên cứu ứng dụng kiểm thử chấpnhận tự động vớiRobot Framework”, đạt đƣợc kết có hƣớng nghiên cứu tiếp nhƣ sau Kết đạt luận văn: Nghiên cứu, hệ thống lại kiến thức đƣợc dùng kiểm thử nói chung kiểm thử chấp nhận tự động nói riêng.Tìm hiểu đƣợc số công cụ hỗ trợ kiểm thử tự động Nghiên cứu đƣợc Robot Framework, khung kiểm thử mã nguồn mở dùng kiểm thử chấp nhận tự động dự án phần mềm.Nó cung cấp thứ cần thiết để xây dựng kịch kiểm thử dƣới dạng bảng từ từ khóa đƣợc xây dựng sẵn dễ dàng tạo từ khóa mức ngƣời dùng từ từ khóa có Kết hợp đƣợc Robot Framework với công cụ kiểm thử khác nhƣ Selenium thông qua thƣ viện framework Ứng dụng đƣợc Robot Framework vào kiểm thử trang web thực tế http://truongnha.com/ Ứng dụng thực tiễn: Có tính thực tiễn cao, đƣợc đông đảo cộng đồng kiểm thử phần mềm nƣớc giới đón nhận Robot Framework hoạt động đƣợc trình duyệt web hệ điều hành khác Ứng dụng vào kiểm thử chấp nhận tự động sản phẩm phần mềm Hướng nghiên cứu tiếp theo: Ứng dụng Robot Framework dự án phần mềm đặc biệt dự án Agile Nghiên cứu xây dựng thêm thƣ viện mở rộng khả Robot Framework 47 TÀI LIỆU THAM KHẢO [ [1] Mai Thị Nhi, "Nghiên cứu ứng dụng công cụ kiểm thử tự động kiểm thử phần mềm," Học viện công nghệ Bƣu viễn thông, Hà Nội, 2012 [ [2] Phạm Ngọc Hùng, Trƣơng Anh Hoàng, Đặng Văn Hƣng, Giáo trình kiểm thử phần mềm Hà Nội: Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2014 [ [3] Hà Khánh Toàn, "Phƣơng pháp sinh kiểm thử tự động cho kiểm thử giao diện ứng dụng Web," Hà Nội, 2013 [ [4] Kaner,Cem; Falk, jack; Nguyen,Hung Quoc, Testing Computer Software New York, 1999 [ [5] Kolawa, Adam, Huizinga, Dorota, "Automated Defect Prevention: Best Practices in Software Management," pp 41-43, 2007 [ [6] IEEE, "IEEE Standard Glossary of Software Engineering Terminology," IEEE Std 610.12-1990, pp 1-84, dec 1990 [ [7] Crispen, L and T House, "Testing Extreme Programming," 2003 [ [8] Kaner, C., J Bach, "Lessons Learned in Software Testing," 2002 [ [9] Tip House Lisa Crispin, "Testing in the Fast Lane: Automating Acceptance Testing in an Extreme Programming Environment," in XP Universe Conference, 2001 [ [10] Jiantao Pan, Software Testing: Carnegie Mellon University, 1999 [11] http://robotframework.org/ [12] http://en.wikipedia.org/wiki/Test_automation [13] www.fitnesse.org/FitNesse.UserGuide 48 [14] http://htmlunit.sourceforge.net/ [15] http://www.tutorialspoint.com/selenium/selenium_overview.htm 49 PHỤ LỤC Tập tinLoginTest.txt *** Settings *** Library Selenium Library *** Testcases *** Login Should Succeed When the Correct Username and Password are Entered Start Selenium Server Open GoogleChrome Browser http://truongnha.com/login/ Maximize Browser Window Input Text id_username hientt Input Text id_password hientt Click Button login Page Should Contain hientt Close Browser Stop Selenium Server Login Should not Succeed When the Correct Username and Wrong Password Start Selenium Server Open GoogleChrome Browser http://truongnha.com/login/ Maximize Browser Window Input Text id_username hientt Input Text id_password demo Click Button login Run Keyword And Expect Error hientt Close Browser * Page Should Contain 50 Stop Selenium Server Login Should not Succeed When the Wrong Username and Correct Password Start Selenium Server Open GoogleChrome Browser http://truongnha.com/login/ Maximize Browser Window Input Text id_username tranhien Input Text id_password hientt Click Button login Run Keyword And Expect Error * Page Should Contain hientt Close Browser Stop Selenium Server Login Should not Succeed When the Username and Password are Emty Start Selenium Server Open GoogleChrome Browser http://truongnha.com/login/ Maximize Browser Window Input Text id_username ${empty} Input Text id_password ${empty} Click Button login Run Keyword And Expect Error hientt Close Browser Stop Selenium Server * Page Should Contain 51 Thư mục LoginTest có chứa tập tin: Tập tin init .txt *** Settings *** Suite Setup Start Selenium Server Suite Teardown Stop Selenium Server Test Setup Login Test Setup Test Teardown Login Test Teardown Library Selenium Library Resource Keywords.txt Tập tin LoginTest.txt *** Settings *** Library Selenium Library Resource Keywords.txt *** Testcases *** Login Should Succeed When the Correct Username and Password are Entered Enter id_Username hientt Enter id_Password hientt Click the Login Button Login Is Successful 52 Tập tin LoginDataDriven.txt *** Settings *** Test Template Login Should Fail When Library Selenium Library Resource Keywords.txt *** Testcases *** Username Password hientt TestFail hientt ${empty} ${empty} ${empty} The Password is Wrong The Password is Empty Both Fields are Empty *** Keywords *** Login Should Fail When [Arguments] ${username} ${password} Enter id_Username ${username} Enter id_Password ${password} Click the Login Button Login Is Unsuccessful Tập tin Keywords.txt *** Variables *** ${login address} ${browser} http://truongnha.com/login/ GoogleChrome 53 *** Keywords *** Enter Username [Arguments] ${username} Input Text id_username ${username} Enter Password [Arguments] ${password} Input Text id_password ${password} Click the Login Button Click Button login Click the Logout Button Click Element id=logout Click the Report Button Click Element id=report Login Is Successful Page Should Contain hientt Login is Unsuccessful Run Keyword And Expect Error * Successful Login Test Setup Open Browser ${login address} Maximize Browser Window Login Test Teardown Capture Screenshot Close Browser Tập tin RepotTest.Txt *** Settings *** Library Selenium Library Resource Keywords.txt *** Test Cases *** MarkBook Report ${browser} Login Is 54 Enter Username hientt Enter Password hientt Click the Login Button Click the Report Button Click Link /school/report/printMarkBook Page Should Contain Sổ gọi tên ghi điểm MarkForClass Report Enter Username hientt Enter Password hientt Click the Login Button Click the Report Button Click Link /school/report/printMarkForClass Page Should Contain Phiếu báo điểm Tập tin LogoutTest.txt *** Settings *** Test Timeout 10 minute Library Selenium Library Resource Keywords.txt *** Test Cases *** Logout Should Succeed Enter Username hientt Enter Password hientt Click the Login Button Login Is Successful Click the Logout Button Login is Unsuccessful [...]... trong đội kiểm thử giữ các vai trò khác nhau Các thông tin thu đƣợc từ kiểm thử có thể đƣợc sử dụng để điều chỉnh quá trình phát triển phần mềm[5] Kiểm thử phần mềm đƣợc phân làm kiểm thử tĩnh và kiểm thử động Kiểm thử tĩnh liên quan đến việc kiểm chứng trong khi kiểm thử động liên quan đến việc xác nhận Các phƣơng pháp kiểm thử nhƣ kiểm thử hộp trắng, kiểm thử hộp đen, kiểm thử hộp xám Kiểm thử phần... kiểm thử tự động đƣợc phân loại nhƣ sau 2.4.1 Kiểm thử tuyến tính Kiểm thử tuyến tính (Linear)[12]còn gọi là kiểm thử tuần tự là kiểm thử mà hành động kiểm thử đƣợc thực hiện tuần tự Mã kiểm thử có thể đƣợc sinh ra bởi các công cụ ghi lại các hành động của ngƣời kiểm thử trên trình duyệt và lƣu chúng lại nhƣ một kịch bản kiểm thử Kiểm thử viên có thể sử dụng chính kịch bản này để kiểm thử hồi quy Kiểm. .. hình kiểm thử: Kiểm thử cài đặt, kiểm thử khả năng tƣơng thích, kiểm thử hồi quy, kiểm thử mức chấp nhận, kiểm thử chức năng hoặc kiểm thử phi chức năng v.v Kiểm thử phần mềm cũng đƣợc chia ra các mức kiểm thử theo vị trí chúng đƣợc thêm vào trong quy trình phát triển phần mềm, hoặc theo mức độ đặc hiệu của kiểm thử Có thể phân kiểm thử phần mềm theo các mức chính sau: kiểm thử đơn vị, kiểm thử tích... một kiểm thử chấp nhận đại diện cho một số kết quả mong đợi từ hệ thống Kiểm thử chấp nhận sử dụng kỹ thuật kiểm thử hộp đen và đƣợc tiến hành thông qua hai loại là kiểm thử Alpha và kiểm thử Beta Kiểm thử Alpha là kiểm thử hoạt động chức năng thực tế hoặc giả lập do ngƣời dùng, khách hàng tiềm năng hoặc một nhóm kiểm thử viên độc lập thực hiện tại nơi sản xuất phần mềm Kiểm thử Alpha thƣờng đƣợc sử dụng. .. sử dụng cú pháp tƣơng tự đƣợc sử dụng để tạo ra các trƣờng hợp thử nghiệm Ngoài khả năng kiểm thử chức năng, Robot Framework còn có khả năng kiểm thử hiệu suất khi kết hợp với công cụ Selenium để kiểm thử các ứng dụng web Qua khảo sát các công cụ hỗ trợ kiểm thử chấp nhận tự động tôi thấy Robot Framwork là công cụ mạnh, và hiện đại, đồng thời là phần mềm mã nguồn mở, có tiềm năng ứng dụng phù hợp với. .. luận văn này sẽ tập trung nghiên cứu kỹ về Robot Framework Chƣơng sau sẽ trình bày kỹ hơn về Robot Framwork, và sau đó Chƣơng IV sẽ áp dụng kiểm thử mộtchức năng của một ứng dụng web thực tế để giúp hiểu hơn và vận dụng Robot Framework đƣợc tốt vào các dự án phát triển phần mềm 13 CHƯƠNG 3 ROBOT FRAMEWORK 3.1 Giới thiệu Robot Framework Robot Framework là một khung kiểm thử tự động mã nguồn mở, đƣợc tài... Tóm lại, kiểm thử chấp nhận tự động giúp tránh đƣợc một số lỗi khi thực hiện kiểm thử bằng tay, tiết kiệm chi phí, thời gian, không bị ảnh hƣởng của áp lực tiến độ dự án Kiểm thử chấp nhận tự động mang lại nhiều lợi ích và đang rất đƣợc chú trọng trong các dự án phát triển phần mềm hiện nay đặc biệt là dự án Agile 7 2.4 Một số kỹ thuật của khung kiểm thử chấp nhận tự động Một khung kiểm thử tự động [12]... kiểm thử Mục đích của kiểm thử tự động làm giảm thiểu thời gian, công sức và kinh phí, tăng độ tin cậy, tăng tính hiệu quả và giảm sự nhàm chán cho ngƣời kiểm thử trong quá trình kiểm thử sản phẩm phần mềm Với sự phức tạp ngày càng gia tăng của các phần mềm, kiểm thử chấp nhận càng trở lên quan trọng Kiểm thử chấp nhận bằng tay tốn nhiều thời gian, dễ mắc lỗi và gây nhàm chán Vì vậy, kiểm thử chấp nhận. .. triển năm 2005 và đƣợc cấp phép Apache 2.0 Robot Framework sử dụng phƣơng pháp kiểm thử dựa trên từ khóa, kiểm thử hƣớng dữ liệu, thích hợp cho cả kiểm thử tự động thông thƣờng và kiểm thử chấp nhận tự động Nó cho phép sử dụng đơn giản bảng cú pháp để tạo ra các trƣờng hợp kiểm thử một cách thống nhất, có khả năng sinh ra từ khóa ở mức cao hơn từ những từ khóa đang tồn tại Với Robot Framework, các... pháp dữ liệu kiểm thử của Robot Framework Các phần sau sẽ giải thích làm thế nào để thực sự tạo ra trƣờng hợp kiểm thử, các bộ kiểm thử Cấu trúc phân cấp để bố trí các ca kiểm thử đƣợc xây dựng nhƣ sau Các ca kiểm thử đƣợc tạo ra trong các tệp ca kiểm thử (Test case) Một tệp ca kiểm thử tự động tạo ra một bộ kiểm thử có chứa các ca kiểm thử tệp đó 18 Một thƣ mục chứa các tệp ca kiểm thử tạo thành ... thực tiễn kiểm thử việc đảm bảo chất lƣợng phần mềm, tầm quan trọng kiểm thử chấp nhận, nghiên cứu, tìm hiểu chọn đề tài: Nghiên cứu ứng dụng kiểm thử chấp nhận tự động với Robot Framework ... 2.1 .Kiểm thử phần mềm 2.2 .Kiểm thử chấp nhận 2.3 .Kiểm thử chấp nhận tự động 2.4.Một số kỹ thuật khung kiểm thử chấp nhận tự động 2.4.1 .Kiểm thử tuyến tính... thuyết kiểm thử Chƣơng nêu lên khái niệm kiểm thử chấp nhận, kiểm thử chấp nhận tự động Chƣơng trình bày phƣơng pháp kiểm thử chấp nhận Đồng thời, giới thiệu số công cụ hỗ trợ kiểm thử tự động