Kiểm thử phần mềm nhúng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN VĂN TRỌNG KIỂM THỬ PHẦN MỀM NHÚNG LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: Hà Nội - 2009 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN VĂN TRỌNG KIỂM THỬ PHẦN MỀM NHÚNG LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HUỲNH QUYẾT THẮNG Hà Nội - 2009 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng LỜI CAM ĐOAN Tôi – Nguyễn Văn Trọng Học viên lớp Cao học CNTT 2006-2008 Trường Đại học Bách Khoa Hà Nội – cam kết LVTN cơng trình nghiên cứu thân hướng dẫn PGs.TS Huỳnh Quyết Thắng Bộ môn Công nghệ Phần mềm – Khoa CNTT – Trường Đại học Bách Khoa Hà Nội Các kết nêu LVTN trung thực, không chép tồn văn cơng trình khác Hà Nội, ngày 24 tháng 04 năm 2009 Tác giả LVTN Nguyễn Văn Trọng Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 1/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng TÓM TẮT LUẬN VĂN Luận văn tốt nghiệp nghiên cứu đầy đủ sở lý thuyết kiểm thử, vai trò kiểm thử dự án phần mềm Tác giả sâu vào thực tế phát triển phần mềm công ty FPT để đưa mơ hình làm việc kiểm thử viên Đưa quy trình kiểm thử dịch vụ trực tuyến OSIRIS cho máy in tem thư công ty FPT Đưa kiến nghị thay đổi biểu mẫu báo cáo cho dịch vụ trực tuyến OSIRIS Kiểm xốt vịng đời lỗi vấn đề đặc biệt quan trọng đối vơi dự án phát triển phần mềm Dựa vào quy trình phát triển sản phẩm, công ty xây dựng chu trình thay đổi trạng thái lỗi Tác giả dựa vào mơ hình phát triển phần mềm cơng ty FPT để đưa chu trình thay đổi trạng thái lỗi Trong chu trình này, vai trị người liên quan, trạng thái tại, trạng thái tiêp theo lỗi trình bầy rõ ràng Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 2/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng MỤC LỤC LỜI CAM ĐOAN TÓM TẮT LUẬN VĂN DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT DANH MỤC CÁC BẢNG LỜI CẢM ƠN MỞ ĐẦU Tính cấp thiết đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu 10 Phạm vi nghiên cứu 10 Cấu trúc luận văn 10 Phương pháp nghiên cứu 11 CHƯƠNG I: TỔNG QUAN VỀ KIỂM THỬ TRONG PHÁT TRIỂN PHẦN MỀM 12 1.1 1.1.1 1.1.2 1.1.3 1.1.4 1.2 1.2.1 1.2.2 1.2.3 1.3 1.3.1 1.3.2 1.3.3 1.3.4 1.3.5 2.1 2.2 2.2.1 2.2.2 2.3 2.3.1 2.3.2 2.3.3 2.3.4 2.4 2.4.1 2.4.2 Tầm quan trọng phát triển phần mềm 12 Một số định nghĩa liên quan đến kiểm thử 12 Mục tiêu kiểm thử 12 Một số cách hiểu không kiểm thử 12 Lý luận thực tiễn 13 Các hoạt động nhân viên kiểm thử 14 Mô tả công việc kiểm thử viên công ty FPT 14 Luồng công việc mà nhân viên kiểm thử phải thực dự án 16 Quy trình làm việc nhân viên kiểm thử phần mềm 17 Các đặc trưng kiểm thử phần mềm 17 Phạm vi kiểm thử 18 Mục tiêu kiểm thử 18 Các phương thức kiểm thử 19 Các kiểu kiểm thử 19 Tổng kết 21 Giới thiệu mơ hình phát triển phần mềm nhúng 22 Các hoạt động tài liệu trình kiểm thử 24 Các hoạt động kiểm thử 24 Tổng hợp tài liệu kiểm thử 26 Các mức độ kiểm thử (theo mơ hình chữ V) .26 Kiểm thử mức khối 26 Kiểm thử mức tích hợp 26 Kiểm thử mức hệ thống 27 Kiểm thử tiếp nhận 27 Lỗi công cụ quản lý lỗi công ty FPT 27 Lỗi 27 Chu trình thay đổi trạng thái lỗi 28 Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 3/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng 2.4.3 Chi phí lỗi 32 2.4.4 Phân loại lỗi 32 2.5 Vai trò người thực kiểm thử 34 2.5.1 Vai trò kiểm thử viên tổ chức công ty FPT 34 2.5.2 Vai trò kiểm thử viên chu trình phát triển phần mềm 39 2.5.3 Vai trò kiểm thử viên chất lượng phần mềm 40 Chương III: Áp dụng phương pháp kiểm thử phát triển phần mềm nhúng 42 3.1 Kiểm thử máy in tem thư 42 3.1.1 Đầu vào – Đầu 42 3.1.2 Môi trường quản ly tài liệu trình phát triển phần mềm 42 3.1.3 Cấu trúc hệ thống ca kiểm thử máy KEOPS 43 3.1.4 Các hoạt động trình kiểm thử 49 3.1.5 Các công cụ hỗ trợ kiểm thử 50 3.1.6 Duyệt khối trước kiểm thử tích hợp 52 3.1.7 Báo cáo kết kiểm thử 54 3.2 Kiểm thử hệ thống dịch vụ trực tuyến OSIRIS 57 3.2.1 Các pha dự án kiểm thử OSIRIS 57 3.2.2 Phân loại lỗi OSIRIS 59 3.2.3 Vòng đời lỗi Dimension 62 3.2.4 Thực kiểm thử mức tích hợp 63 3.2.5 Báo cáo kết kiểm thử 65 KẾT LUẬN 76 Các nhiệm vụ hoàn thành 76 Các đóng góp khoa học: 76 Hướng phát triển luận văn 77 TÀI LIỆU THAM KHẢO 78 Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 4/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT STT Thuật ngữ từ viết tắt ANSI CMM IEEE ISO Thuật ngữ từ đầy đủ Ý nghĩa American National Standards Institute Capability Maturity Model Institute of Electrical Electronics Engineers International Organization for Standardization Viện tiêu chuẩn quốc gia Mỹ Hard test Kiểm thử mức tích hợp phần cứng/phần mềm 10 11 Kiểm thử mức tích hợp phần cứng/phần mềm Kiểm thử viên Kiểm thử theo hộp đen Kiểm thử theo hộp trắng Kiểm thử tĩnh STP SEI 12 ST Software Integration Test 13 SV Software Validation 14 UT Unit Test ware/software integration Viện kỹ thuật điện & điện tử Tổ chức Tiêu chuẩn hóa quốc tế Tester Kiểm thử viên Black box test Kiểm thử theo hộp đên White box test Static test Kế hoạch kiểm thử Software Engineering Institute Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Là kết phép đo lường Kiểm thử tĩnh Kiểm thử theo hộp trắng Viện cơng nghệ phần mềm Kiểm thử mức tích hợp phần mềm Kiểm thử mức phê chuẩn phần mềm Kiểm thử mức khối Trang 5/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng DANH MỤC CÁC BẢNG Bảng 1.1: Các công việc nhân viên kiểm thử công ty FPT 15 Bảng 1.2: Các đặc trưng kiểm thử phần mềm 21 Bảng 2.1: So sánh mơ hình phát triển phần mềm 23 Bảng 2.2: Các tài liệu kiểm thử phần mềm 26 Bảng 2.3: Quyền thay dổi trang thái lỗi 30 Bảng 2.4: Vai trò kiểm thử viên mặt quản lý 37 Bảng 2.5: Vai trò kiểm thử viên mặt kỹ thuật 38 Bảng 2.6: Vai trò kiểm thử viên công ty FPT 40 Bảng 3.1: Các module kiểm thử dòng máy KEOPS dòng máy khác 49 Bảng 3.2: Báo cáo kết duyệt khối 53 Bảng 3.3: Báo cáo kiểm thử cho máy in tem thư 56 Bảng 3.4: Các pha trình kiểm thử hệ thống OSIRIS 59 Bảng 3.5: Phân loại lỗi 59 Bảng 3.6: Một số lỗi lưu lại dự án kiểm thử OSIRIS phiên 2.4 61 Bảng 3.7: Các module trình kiểm thử tích hợp hệ thống OSIRIS 65 Bảng 3.8: Báo cáo kết kiểm thử cho module CM 73 Bảng 3.9: Báo cáo kết kiểm thử theo mức độ quan trọng 74 Bảng 3.10: Báo cáo tổng hợp tỷ lệ ca thành công thất bại 74 Bảng 3.11: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Anh 75 Bảng 3.12: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Pháp 75 Bảng 3.13: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Đức 75 Bảng 3.14: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Ireland 75 Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 6/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Luồng công việc mà kiểm thử viên phải thực công ty FPT 16 Hình 1.2: Quy trình làm việc nhân viên kiểm thử công ty FPT 17 Hình 1.3: Các đặc trưng kiểm thử phần mềm 17 Hình 2.1: Các mơ hình phát triển phần mềm 22 Hình 2.2: Các pha mơ hình chữ V 24 Hình 2.3: Chu trình thay đổi trạng thái lỗi công ty FPT 28 Hình 2.4: Các pha lỗi 31 Hình 2.5: Chi phí lỗi theo pha 32 Hình 2.6: Quy trình phát hành sản phẩm công ty FPT 35 Hình 2.7: Sự tham gia kiểm thử viên mặt kỹ nghệ 39 Hình 2.8: Ngun lý vịng đời quản lý chất lượng 40 Hình 2.9: Vịng đời chất lượng cơng ty FPT 41 Hình 3.1: Sơ đồ hoạt động kiểm thử máy in tem thư công ty FPT 42 Hình 3.2: Mơi trường quản lý tài liệu công ty FPT 42 Hình 3.3: Cấu trúc máy in tem thư 43 Hình 3.4: Các module cần kiểm thử cho máy in tem thư 44 Hình 3.5: Cây phân cấp ca kiểm thử máy in tem thư 44 Hình 3.6: Cây phân cấp ca kiểm thử Base Meter 45 Hình 3.7: Cây phân cấp ca kiểm thử Base Meter 46 Hình 3.8: Các hoạt động nhân viên kiểm thử máy in tem thư 50 Hình 3.9: Chu trình lỗi Dimension 62 Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 7/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng LỜI CẢM ƠN Trước hết, em xin chân thành gửi lời cảm ơn sâu sắc tới thầy cô giáo trường Đại học Bách Khoa Hà Nội nói chung thầy khoa Công nghệ Thông tin, môn Công nghệ phần mềm nói riêng tận tình giảng dạy, truyền đạt cho em kiến thức kinh nghiệm quý báu suốt năm học tập nghiên cứu trường Đại học Bách Khoa Hà Nội Em xin gửi lời cảm ơn đến PGs.TS Huỳnh Quyết Thắng khoa Công nghệ Thông tin, trường Đại học Bách Khoa Hà Nội hết lòng giúp đỡ, hướng dẫn dạy tận tình trình em làm luận văn tốt nghiệp Cuối cùng, em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè quan tâm, động viên, đóng góp ý kiến giúp đỡ q trình học tập, nghiên cứu hồn thành đồ án tốt nghiệp Hà Nội, ngày 24 tháng 04 năm 2007 Nguyễn Văn Trọng Lớp Cao học Công nghệ Thông tin 2006-2008 - Trường Đại học Bách Khoa Hà Nội Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 8/78 Đồ án tốt nghiệp cao học: Kiểm thử phần mềm nhúng Stats (Statistic): Thống kê tiền BOI (Back Office Interface): Giao tiếp đội bán hàng OLS server Opco (Operation compay): Giao diện quản trị hệ thống OLS CustWeb (Customer Web): Giao diện người dùng E-Confirm (Electronic Confirmation): Theo dõi trạng thái gói bưu kiện Đối với thiết bị (máy in tem thư) OLS có vịng đời sau: Khai báo(Declaration): Khai báo để máy sử dụng dịch vụ trực tuyến OLS Quản lý hợp đồng (Contract management: Quản ly hợp đồng mà máy đăng ky với OLS Thêm, bớt, sửa, xóa, kết thúc hợp đồng hợp động Giao dịch tải lên (Upload transaction): Quản ly việc chuyển đổi thông tin với máy Giao dịch tải xuống (Dowload transaction): Quảy ly vệc tải ứng dụng xuống máy Thiết bị ngoại vi (External device): Quản ly thông tin thiết bị ngoại vi cài cắm máy Hợp (Consolidation): Nếu khách hàng sử dụng nhiều máy phải quản ly tập trung Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 64/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng Chức Khai báo CM FM Diagnostic IM SWDL RDL MOD Slogans Stats BOI OpCo CustWeb E-confirm H x x Quản lý hợp đồng Giao dịch tải lên Giao dịch tải xuống Thiết bị ngoại vi H H x x x x x x H x x x x x x x x x H x x x x x H x x x Hợp H H x x x x x x x x x x x x Bảng 3.7: Các module trình kiểm thử tích hợp hệ thống OSIRIS 3.2.5 Báo cáo kết kiểm thử Dưới ví dụ kết kiểm thử cho chức quản ly cấu hình OSIRIS - Đi theo hàng ngang, từ xuống ca kiểm thử chức quản lý cấu hình Các ca kiểm thử gộp thành nhóm sau: o Cấu hình hệ thống (System Configuration) o Thay đổi base (Base Board replacement) o Thay đổi meter (Base Board replacement) o Đồng hóa liệu (Synchronazion) o Hủy bỏ dịch vụ (System withdraw) o Kiểm tra kết nối (Test connection) - Đi theo cột, từ phải sang mục sau: o Mức độ ưu quan ca kiểm thử (Priority) o Chỉ mục ca sử dụng (TC#) o Tài liệu tham khảo tiến hành kiểm thử (Ref): mục chứa tên tài liêu mô tả kịch kết mong đợi tực ca kiểm thử o Tên ca kiểm thử (Test) o Một số cột (NLTD, NFR, NGMBH, IR) tên quốc gia Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 65/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng - o Các cột (IJ25, IJ40, IJ50, IJ60, IJ70, IJ80, IJ90 IJ110) tên dòng máy cần phải kiểm thử o Cột cuối cung tên nhân viên kiểm thử Các thức thực kiểm thử làm báo cáo o Dựa vào kịch ca kiểm thử (cột Ref), tiến hành thao tác thiết bị server để đạt mục đích đề (cột Test) o Dựa vào tình gặp phải qua trình thực thủ tục máy để định kết cho ca kiểm thử là: Qua, không qua, thựuc (P/F/NT/UT, NA)… o Điền kết kiểm thử vào cột quốc gia Kết kiểm thử (P, F, …) tổng hợp kết kiểm thử dòng máy Một ca qua kết kiểm thử tất máy qua, ngược lại cần máy sinh lỗi ca kiểm thử khơng qua … o Để đánh dấu dịng máy X kiểm thử cho quốc gia Y, ta điền mã quốc gia vào cột dòng máy Một dịng máy (nhưng máy khác nhau) phải kiểm thử cho nhiều quốc gia, ta điền mã quốc gia cách dấu phẩy “’” C 1.03 C IJ110 1.02 IJ90 IJ80 IJ70 IJ50 C IJ40 IJ25 IR (9) NGMBH (7) NFR (4) NLTD (3) 1.01 Tham khảo Chỉ số Ưu tiên 1.00 Kiểm thử (Ca / Kịch / Định nghĩa/mô tả) K T V Cấu hình hệ thống Xác nhận hệ thống tạo thơng qua giao dịch BOI P P P P Khai báo hệ thống để kích P P P P họat thiết bị đặc trưng Khai báo hệ thống máy Alpha để kích họat thiết bị đặc trưng thông qua chế FLY Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng U U U P T T T 3,9 4,7 3,9 4,7 Trang 66/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 1.04 H 1.05 C 1.06 C 1.07 C 1.08 C Xác thực hệ thống tải tin cấu hình lên OSIRIS sau thay đổi Base 1.10 Xác thực hệ thống tải tin cấu hình lên OSIRIS sau thay đổi Meter C 1.11 C 1.12 1.13 H 1.14 H L 1.15 1.16 L Khai báo hệ thống máy Omega để kích họat thiết bị đặc trưng thơng qua chế FLY Xác thực hệ thống tải tin cấu hình lên OSIRIS thực kết nối Xác thực hệ thống tải tin cấu hình lên OSIRIS có thiết bị ngoại vị cài cắm vào Xác thực hệ thống tải tin cấu hình lên OSIRIS thiết bị ngoại vị bị tháo 1.09 C H Khai báo hệ thống máy Delta để kích họat thiết bị đặc trưng thông qua chế FLY Xác thực hệ thống tải tin cấu hình lên OSIRIS sau tải phần mềm xuống Cuộc gọi bị từ không thấy PCB (Print Circuit Board) Cuộc gọi bị từ chối OSIRIS không hiểu phần mềm thiết bị Xác thực gọi khai báo lên OSIRIS bi từ chối sử dụng sai Meter Xác thực địa cài đặt máy cập nhật Xác thực tham số vị trí địa lý cân cập nhật OSIRIS Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng U U T T U U U P T T T P P P P P P P 3,4 ,9 N N A A N N A A N N N A A A N _ P P P A N A P P P P P P P P 4,7 N A 4,7 N A 4,7 4_ N A 4,7 3 _ 4_ N N A A U N T A 4 U U U U T T T T U U U U T T T T P P P P P P P P P P P P N A 3,4 ,9 4,7 4,7 3,4 ,9 Trang 67/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 1.17 L 1.18 L 1.19 L Xác thực tham số vị trí địa lý cân tải máy gọi gần Xác thực tham số vị trí địa lý cân hủy bỏ OSIRIS Xác thực tham số vị trí địa lý cân không tải máy gọi gần sau hủy bỏ OSIRIS P P P P P P P P P P P P N A N A N A 3,4 ,9 3,4 ,9 3,4 ,9 L Xác thực tham số cổng kết nối thiết bị cập nhật OSIRIS P P P P N A L Xác thực tham số cổng kết nối thiết bị tải gọi gần P P P F N F4, F A F9 L Xác thực tham số IP thiết bị cập nhật OSIRIS P P P P N A L Xác thực tham số IP thiết bị tải máy gọi gần P P P F N F4, F A F9 1.20 1.21 1.22 1.23 1.24 L 1.25 L 1.26 L 1.27 L 1.28 L Xác thực số điện thoại thiết bị cập nhật OSIRIS Xác thực số điện thoại thiết bị tải máy gọi gần Xác thực tham số modem thiết bị cập nhật OSIRIS Xác thực tham số modem thiết bị tải máy gọi gần Xác thực tham số Suffix thiết bị cập nhật OSIRIS Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng 7 P P P P N A 4,9 P P P P N A 4,9 N P P P N N N A A A A N P P P N N N A A A A N P P P N N N A A A A Trang 68/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 1.29 L 2.00 Xác thực tham số suffix thiết bị tải máy gọi gần H H Xác thực thơng tin, tính máy khơng bị sau thực thay Base dòng máy Alpha C 2.02 C 2.03 2.04 P P F N A P P P P F P N A 4,7 2.07 N N N N A A A A H 2.08 Xác nhận thông tin cấu hình máy khơng bi thay đổi sau thực thay Base P P P 3.00 Thay Meter H Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng 4,7 Xác thực hệ thống khai báo thay Base nhiều lần trước thực gọi hoàn thành thay 2.06 N A H H U U U N T T T A Xác thực thay Base nhiều lần trước khai báo thiết bị Xác thực hệ thống khai báo thay Base nhiều lần trước thực gọi khởi tạo thay 2.05 Thay Base Xác thực thơng tin, tính máy khơng bị sau thực thay Base Xác thực thông tin, tính máy khơng bị sau thực thay Base có chứa phần mềm Xác thực thơng tin, tính máy khơng bị sau thực thay Base dòng máy Legacy 2.01 N P P P N A N N A A A N N N P T T A P P P N A N A 7 Trang 69/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 3.01 C 3.01 A Xác thực thơng tin, tính máy không bị sau thực thay meter P P Xác thực thơng tin, tính máy không bị sau thực thay meter dòng máy Legacy N N N P T T A N N T A 3 H 3.01 B Xác thực thơng tin, tính máy không bị sau thực thay meter dòng máy Delta N N N N T T T A H 3.02 A Xác thực thông tin, tính máy khơng bị sau thực thay meter dòng máy Omega N N N N A A T A 3.05 Giao dịch hủy bỏ thay thiết bị trả hệ thống trạng thái ban đâu P P H N N T A H 3.09 H 3.11 OSIRIS từ chối goi từ máy có meter mà xác định N N P P meter hệ thống T A khác OSIRIS từ chối goi từ máy có meter trạng thái bị trả H Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng P P N N A A 4 N N T A Trang 70/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng P P H OSIRIS từ chối goi từ máy có meter mà chưa biết đến P P H OSIRIS từ chối gọi từ máy có chứa meter mới, meter bi giao dịch hủy thay đổi meter loại bỏ P P H Meter trạng thái PENDING_RETURN thực gọi thông thường 3.12 3.13 3.14 H Meter trạng thái PENDING_RETURN thực gọi tải bảng tính tiền Meter trạng thái PENDING_RETURN thực gọi tự động tải bảng tính tiền Meter trạng thái PENDING_RETURN thực gọi tải phần mềm xuống Meter trạng thái PENDING_RETURN thực gọi đưa thông tin theo dõi thư tự động lên OSIRIS 3.19 P P H Meter trạng thái PENDING_RETURN thực gọi đưa thơng tin thống kê lên 3.20 Xác nhận thông tin cấu hình máy khơng bi thay đổi sau thực thay Base P P 3.15 H 3.16 H 3.17 H 3.18 H 4.00 P P P P P F N N T A N N T A N N A A N N A A 4 N N T A N N T A N N T A U T 4 U T 4 N N T A N A N N N N A A T A N N T A 3 N N T A Đồng hóa Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 71/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 4.01 H 5.00 Xác nhận gọi Đồng hóa khơi phục lại đặc tính, gọi tự động, mặt nạ tải thông tin danh sách file máy H H Xác nhận sau thực giao dịch hủy bỏ hệ thống, cập nhật hợp đồng cho thiết bị H 5.02 5.03 5.04 H 5.05 H 5.06 H 5.07 H 5.09 H N A 4,7 Hủy khai báo Xác nhận sau thực giao dịch hủy bỏ hệ thống qua BOI thiết bị kết nối với dịch vụ OSIRIS Xác nhận sau thực giao dịch hủy bỏ hệ thống, tạo hợp đồng cho thiết bị 5.01 P P P Xác nhận sau thực giao dịch hủy bỏ hệ thống, thực giao dịch thay đổi thông tin cho thiết bị Xác nhận sau thực giao dịch hủy bỏ hệ thống, thực giao dịch thay meter Xác nhận sau thực giao dịch hủy bỏ hệ thống, thực giao dịch thêm đơn hàng cho thiết bị Xác nhận sau thực giao dịch hủy bỏ hệ thống, thực giao dịch cập nhật đơn hàng N N N P T A A F F F F F F P P P F P F N N A A 4 4 4 N N A A N N A A N N A A N N A A N N A A Nếu cung cấp mã hệ thống sai, N N P P giao dịch hủy bỏ thất bại A A Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 72/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng 5.10 H 6.00 Nếu cung cấp mã meter sai, giao dịch hủy bỏ thất bại P P N N A A C C Trong goi kiểm tra đường mạng, thiết bị báo không tự động tải bảng tính tiền 6.01 6.02 C 6.03 6.04 6.05 C 6.07 C 3 4,7 4,7 Kiểm tra kết nối Cuộc goi kiểm tra đường U U U N mạng không làm thay đổi T T T A trạng thái hệ thống Trong goi kiểm tra đường mạng, thiết bị không N P P P đưa thơng tin cấu hình lên A OSIRIS Trong goi kiểm tra đường mạng, thiết bị N p p P báo không tải bảng A tính tiền C Trong goi kiểm tra đường mạng, thiết bị không đưa thông tin theo dõi thư tự động lên OSIRIS Trong goi kiểm tra đường mạng, thiết bị không tải phần mềm xuống N N P P A A 4,7 N N N N A A A A P P P N A 4,7 Bảng 3.8: Báo cáo kết kiểm thử cho module CM Tổng hợp kết test cho chức quản ly cấu hình Bản tổng kết cho ta thông kê số lượng ca test theo mức độ quan trọng, số ca thành công thất bai the môi trường Kế hoạc kiểm thử Osiris Tổng hợp kết kiểm thử Phân loại số lượng ca kiểm thử theo mức độ quan trọng Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 73/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng Phân loại theo mức độ quan trọng Critical High Low Total: Số lượng 20 37 15 72 Bảng 3.9: Báo cáo kết kiểm thử theo mức độ quan trọng Critical: Rất quan trọng; High: Cao; Low: Thấp Báo cáo tổng hợp tỷ lệ ca thành công hay thất bại Tỷ lệ thành công/thất bại Pass Fail Not Tested Unable to Test Not Applicable Total: Adjusted Pass+Fail+N/A: Negative Test Cases Total: Số lượng 140 11 22 28 24 225 175 Count Bảng 3.10: Báo cáo tổng hợp tỷ lệ ca thành công thất bại Pass: thành công; Fail: thất bại; Not Test (NT): Không kiểm thử Unable to test: kiểm thử được; Not applicable: không áp dụng Negative test cases: ca kiểm thử tiêu cực Báo cáo tổng hợp tỷ lệ ca thành công hay thất bại theo nước: Báo cáo cho nước Anh (N limited company) Tỷ lệ thành công/thất bại Pass Fail Not Tested Unable to Test Not Applicable Total: Adjusted Pass+Fail+N/A: NLtd 52 72 60 Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Tỷ lệ Lưu ý 72.22% 4.17% 5.56% 11.11% 6.94% 100.00% 83.33% Trang 74/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng Bảng 3.11: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Anh Báo cáo cho nước Pháp (N France) Tỷ lệ thành công/thất bại Pass Fail Not Tested Unable to Test Not Applicable Total: Adjusted Pass+Fail+N/A: N France 54 72 65 Tỷ lệ Lưu ý 75.00% 9.72% 1.39% 8.33% 5.56% 100.00% 90.28% Bảng 3.12: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Pháp Báo cáo cho nước Đức (N Germany bh) Tỷ lệ thành công/thất bại Pass Fail Not Tested Unable to Test Not Applicable Total: Adjusted Pass+Fail+N/A: N Germany bh 34 17 11 71 46 Tỷ lệ Lưu ý 47.22% 1.39% 23.61% 11.11% 15.28% 98.61% 63.89% Bảng 3.13: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Đức Tỷ lệ thành công/thất bại Pass Fail Not Tested Unable to Test Not Applicable Total: Adjusted Pass+Fail+N/A: Ireland 13 51 71 66 Tỷ lệ Lưu ý 18.06% 2.78% 0.00% 6.94% 70.83% 98.61% 91.67% Bảng 3.14: Báo cáo tổng hợp tỷ lệ ca thành công thất bại cho nước Ireland Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 75/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng KẾT LUẬN Các nhiệm vụ hoàn thành Luận văn tốt nghiệp nghiên cứu đầy đủ sở lý thuyết kiểm thử, vai trò kiểm thử dự án phần mềm Tác giả sâu vào thực tế phát triển phần mềm công ty FPT để đưa mơ hình làm việc kiểm thử viên Đưa quy trình kiểm thử dịch vụ trực tuyến OSIRIS cho máy in tem thư công ty FPT Đưa kiến nghị thay đổi biểu mẫu báo cáo cho dịch vụ trực tuyến OSIRIS Kiểm xốt vịng đời lỗi vấn đề đặc biệt quan trọng đối vơi dự án phát triển phần mềm Dựa vào quy trình phát triển sản phẩm, cơng ty xây dựng chu trình thay đổi trạng thái lỗi Tác giả dựa vào mơ hình phát triển phần mềm cơng ty FPT để đưa chu trình thay đổi trạng thái lỗi Trong chu trình này, vai trị người liên quan, trạng thái tại, trạng thái tiêp theo lỗi trình bầy rõ ràng Các đóng góp khoa học: ◊ Lý thuyết: Nghiên cứu tầm quan trọng công tác kiểm thử phần mềm, hoạt động nhân viên kiểm thử phần mềm     So sánh mơ hình phát triển phần mềm Nghiên cứu quy trình làm việc nhân viên kiểm thử phần mềm Tổng hợp đặc trưng cấp độ kiểm thử phần mềm Phân tích lỗi chu trình thay đổi trạng thái lỗi ◊ Thực nghiệm: Áp dụng quy trình kiểm thử cho máy in tem thư, đề xuất mơ hình kiểm thử dịch vụ OSIRIS công ty FPT Trong khuôn khổ đề thực nội dung:  Áp dụng quy trình kiểm thử cho máy in tem thư  Đưa mơ hình kiểm thử dịch vụ trực tuyến OSIRIS cho máy in tem thư công ty FPT  Đưa ra pha kiểm thử tích hợp hệ thống cho dịch vụ trực tuyến OSIRIS  Xây dựng mẫu báo cáo kết kiểm thử cho dịch vụ OSIRIS công ty FPT Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 76/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng Hướng phát triển luận văn Hướng phát triển luận văn nghiên cứu, áp dụng cơng cụ kiểm thử tự động vào kiểm thử cho dịng máy in tem thư cơng ty FPT nói riêng cho phần mềm nhúng nói chung Hiện có nhiều cơng cụ hỗ trợ tự động kiểm thử phần mềm, để áp dụng vào phần mềm nhúng điều kiện tiên phải giả lập thiết bị máy tính Giả lập phần cứng địi hỏi kỹ chun sâu, thao tác phải nằm tổng thể phát triển dự án Áp dụng công cụ tự động mang lại xuất kiểm thử lớn, tránh phải lặp lặp lại số ca kiểm thử nhiều lần, thực kiểm tra hiệu hệ thống cơng cụ tự động tỏ rõ ưu so với kiểm thử viên Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 77/78 Luận văn tốt nghiệp cao học: Kiểm thử phần mềm nhúng TÀI LIỆU THAM KHẢO Tiếng Anh [Adrion] W Adrion, M Branstad and J Chemiabsky (1982), Validation, Verification and Testing of Computer Software, in: Computing Surveys, Vol.14, No 2, June 1982 [Batch] J.Batch (2004), Exploratory Testing, in: E van Veenendaal, The Testing Practitioner – 2nd edition, UTN Publishing, ISBN 90-72194-65-9 [CMM] M Paulk, C.Weber, B Curtis and M.B Chrissis (1995), The Capability Maturity Model, Guidelines for Improvement, Addison Wesley, ISBN 0-321-15496-7 [Fewster and Graham] M Fewster and D Graham (1999), Software Test Automation, Effective use of test execution tools, Addison-Wesley, ISBN 0-201-33140-3 [Graham] D Graham, E van Veenedaal, I Evans and R Black (2007), Foundation of Software Testing, Thomson Learning, ISBN 978-1-84480-355-2 [McCabe] T.McCabe (1976), A complexity measure, in: IEEE Transaction on Software Engineering, Vol.2, pp.308-320 [Musa] J Musa (1998), Software Reliability Engineering Testing, McGraw-Hill Education, ISBN 0-07913-271-5 [IEEE 829] http://www.riceconsulting.com/training/ieee-829.htm [Gloss] www.intccm.org/downloads/iNTCCM_Foundation_Glossary_200707.pdf [ISO 9126-1] http://www.sqa.net/iso9126.html Giảng viên hướng dẫn: PGS.TS Huỳnh Quyết Thắng Học viên: Nguyễn Văn Trọng Trang 78/78 ... triển phần mềm, quy trình kiểm thử phần mềm nói chung quy trình kiểm thử phần mềm nhúng nói riêng ◊ Tìm hiểu, đề xuất mơ hình kiểm thử phần mềm nhúng ◊ Thử nghiệm mơ hình kiểm thử phần mềm nhúng. .. lường Kiểm thử tĩnh Kiểm thử theo hộp trắng Viện công nghệ phần mềm Kiểm thử mức tích hợp phần mềm Kiểm thử mức phê chuẩn phần mềm Kiểm thử mức khối Trang 5/78 Đồ án tốt nghiệp cao học: Kiểm thử phần. .. lượng hóa,… Kiểm tra liệu Kiểm thử phủ Kiểm thử hồi quy Kiểm thử chức Kiểm thử tới hạn Kiểm thử hiệu Kiểm thử an toàn Kiểm thử bảo mật IT Tin cậy UT Tiện lợi KIỂU KIỂM THỬ MỤC TIÊU KIỂM THỬ Chức