4.4.1 Cái gì nên được kiểm thử?
Chúng ta cần kiểm thử tính chính xác, tiện ích, tính đáng tin, tính mạnh mẽ và hiệu năng
4.4.1.1 Tính chính xác
• Một phần mềm chạy chính xác nếu nó thỏa mãn đặc tả của nó • Tính chính xác của các đặc tả
o Đặc tả không chính sách đối với một yêu cầu sắp xếp:
o Hàm trickSort đã thỏa mãn đặc tả này:
o Về mặt kỹ thuật, tính chính xác là không cần thiết (chẳng hạn như trình biên dịch C++) và không đầy đủ (ví dụ như : trickSort)
4.4.1.2 Tiện ích
• Sản phẩm phần mềm đáp ứng ở một mức nào đó yêu cầu của người dùng o Ví dụ:
Tính dễ sử dụng Các chức năng hữu ích Có hiệu quả trong chi phí
4.4.1.3 Tính đáng tin
• Đo tần suất và tính quan trọng của các thất bại (failure)
o Thời gian trung bình giữa những lần chức năng không thực hiện o Thời gian trung bình để sửa
o Thời gian và chi phí để sửa chữa kết quả của một thất bại trong hệ thống phần mềm
4.4.1.4 Tính mạnh mẽ
• Một chức năng của
o Một dãy các điều kiện hoạt
o Khả năng các kết quả không được chấp nhận với đầu vào hợp lệ o Ảnh hưởng của đầu vào không hợp lệ
4.4.1.5 Hiệu năng
• Những ràng buộc về thời gian và không gian được đáp ứng ở một mức độ nào đó • Phần mềm thời gian thực được đặc trưng bởi những ràng buộc thời gian thực • Nếu dữ liệu bị mất bởi vì hệ thống quá chậm
o Không có cách để phục hồi dữ liệu đó
4.4.2 Kiểm thử và sự kiểm chứng tính chính xác
• Sự kiểm chứng tính chính xác là một phương pháp khác đối với kiểm thử có dựa trên sự thực thi
• Ví dụ về sự kiểm chứng tính chính xác
o Đoạn code đã chứng minh sự chính xác
o Biểu đồ luồng tương ứng với đoạn code trên
4.4.3 Sự kiểm chứng tính chính xác và kỹ nghệ phần mềm
• Ba chuyện tưởng tượng trong chứng minh tính chính xác
o Kỹ sư phần mềm không đủ kiến thức toán học để kiểm chứng
Hầu hết các nghành khoa học máy tính hoặc biết hoặc có thể học toán học đã yêu cầu cho kiểm chứng
o Việc chứng minh yêu cầu chi phí rất cao trong thực tế
Khả năng kinh tế được xác định từ phân tích lợi nhuận và chi phí o Việc chứng minh quá khó khăn
Nhiều sản phảm phần mềm không bình thường đã được chứng minh thành công
Các công cụ giống như chứng minh định lý có thể sẽ hữu ích • Những khó khăn khi chứng minh tính chính xác
o Chúng ta có thể tin vào cách chứng minh định lý không?
o Chuyện gì sẽ xảy ra nếu các đặc tả là sai?
o Chúng ta có thể chưa bao giờ chắc chắn rằng các đặc tả hoặc hệ thống xác minh là chính xác
• Sự kiểm chứng tính chính xác là một công cụ kỹ nghệ phần mềm quan trọng, thích hợp với:
o Khi cuộc sống con người đang lâm nguy (When human lives are at stake)
o Khi đã được chỉ ra bởi phân tích lợi nhận – chi phí (When indicated by cost– benefit analysis)
o Khi rủi ro của việc không phân tích quá lớn (When the risk of not proving is too great)
• Sự kiểm chứng không hình thức có thể cải thiện chất lượng của phần mềm o Sử dụng những câu lệnh assert
4.4.4 Ai thực hiện kiểm thử phần mềm
• Lập trình là xây dựng • Kiểm thử là phá huỷ
o Một kiểm thử thành công tìm ra một lỗi
• Vì thế, những người lập trình không nên kiểm thử chính tài liệu mã của họ viết • Giải pháp:
o Người lập trình thực hiện kiểm thử không hình thức o Sau đó nhóm SQA thực hiện kiểm thử một cách hệ thống o Người lập trình gỡ lỗi mô đun đó
• Tất cả các trường hợp kiểm thử phải
o Được lập kế hoạch bằng tay trước đó, bao gồm đầu ra mong muốn và o Được giữ về sau
4.4.5 Khi nào kiểm thử dừng
• Chỉ khi sản phẩm phần mềm không thể thay đổi (Only when the product has been irrevocably discarded)
4.5 CÂU HỎI ÔN TẬP
1. alpha release là gì? Khác gì với beta release? 2. beta release là gì? Khác gì với alpha release? 3. Luật Dijkstra trong CNPM nói gì?
4. Thẩm định và xác minh là gì (V&V)? Tầm quan trọng của chúng? 5. Có những loại V&V nào? Mô tả nội dung mỗi loại.
6. inspection là gì? Khác gì với walkthrough? 7. walkthrough là gì? Khác gì với inspection?
8. Tại sao trong nhóm walkthrough và inspection, luôn phải có đại diện của workflow tiếp theo?
9. Người ta nói « nhóm SQA tạo ra chất lượng cho phần mềm » đúng hay sai? Tại sao? 10. Phần mềm còn lỗi hay không khi thực hiện hết các ca kiểm thử được thiết kế? Khi nào
dừng kiểm thử?
11. Trình bày phương pháp kiểm thử hộp trắng: cơ sở phương pháp; các yêu cầu cần kiểm tra, các kỹ thuật được sử dụng.
12. Trình bày phương pháp kiểm thử hộp đen: cơ sở phương pháp; các yêu cầu cần kiểm tra, các kỹ thuật được sử dụng.
13. Kiểm thử đơn vị đối tượng là gì? Ai thực hiện. Các phương pháp và kỹ thuật nào được sử dụng? Kiểm tra những loại lỗi nào?
14. Các chiến lược nào sử dụng trong kiểm thử tích hợp? Ưu điểm và hạn chế mỗi loại? 15. Giải thích khái nhiệm stub và driver? Chúng được sử dụng ở đâu và vì sao?
16. Kiểm thử hệ thống nhằm kiểm tra cái gì? Ai thực hiện? Các phương pháp? 17. Trình bày các kiểm thử được thực hiện trong kiểm thử hệ thống?
CHƯƠNG 5: LẬP KẾ HOẠCH VÀ ƯỚC LƯỢNG
5.1 VẤN ĐỀ LẬP KẾ HOẠCH VÀ ƯỚC LƯỢNG DỰ ÁN PHẦN MỀM
• Trước khi bắt đầu xây dựng phần mềm, việc lập kế hoạch cho toàn bộ quá trình phát triển một cách chi tiết là cần thiết
• Việc lập kế hoạch được thực hiện liên tục trong suốt quá trình phát triển và bảo trì sau khi chuyển giao
o Việc lập kế hoạch ban đầu là không đủ
o Việc lập kế hoạch phải được thực hiện trong suốt dự án
o Việc lập kế hoạch chi tiết có thể diễn ra sớm nhất có thể sau khi các đặc tả hoàn thiện
• Độ chính xác của ước lượng tăng khi tiến trình phần mềm thực hiện được nhiều • Ví dụ
o Chi phí ước lượng 1 triệu đô la trong suốt luồng công việc xác định yêu cầu Chi phí thực tế có thể nằm trong khoảng ($0.25M, $4M)
o Chi phí ước lượng 1 triệu đô la ở cuối luồng công việc xác định yêu cầu Chi phí thực tế có thể nằm trong khoảng ($0.5M, $2M)
o Chi phí ước lượng của 1 triệu đô la ở cuối luồng công việc phân tích (thời gian thích hợp sớm nhất)
• Mô hình là cũ (1976)
o Kỹ thuật ước lượng đã cải tiến
o Nhưng hình dạng của đường cong này là giống với ban đầu
5.2 ƯỚC LƯỢNG THỜI GIAN VÀ CHI PHÍ
• Uớc lượng thời gian chính xác là cần thiết • Ước lượng chi phí chính xác là cần thiết
o Chi phí bên trong, bên ngoài
• Có quá nhiều thay đổi trong việc ước lượng chính xác chi phí hoặc thời gian Nhân lực
• Sackman (1968) đo sự khác biệt lên đến 28-1 giữa các cặp lập trình viên(Sackman (1968) measured differences of up to 28 to 1 between pairs of programmers )
o Ông so sánh sự kết hợp của các cặp lập trình viên êề mặt Kích cỡ phần mềm
Thời gian thực thi sản phẩm Thời gian phát triển
Thời gian viết mã Thời gian gỡ lỗi
• Những thành viên nhân viên cốt yếu có thể từ bỏ trong suốt dự án
5.2.1 Thước đo kích cỡ của sản phẩm phần mềm
α− Số lượng dòng mã (LOC, KDSI, KLOC) • Một thước đo khác
o Số dòng mã nguồn (KDSI)
• Mã nguồn chỉ là một phần nhỏ của nỗ lực phát triển toàn bộ phần mềm (Source code is only a small part of the total software effort )
• Những ngôn ngữ khách nhau dẫn đến chiều dài mã lệnh khác nhau • LOC không được dùng để xác định ngôn ngữ phi thủ tục (như LISP)
• Các đếm dòng lệnh không rõ ràng o Số dòng lệnh có thể thực thi? o Những định nghĩa dự liệu? o Những lời chú thích? o Các câu lệnh JCL?
o Dòng lệnh đã được thay đổi/ xóa?
• Không phải mọi thứ được viết ra đều chuyển giao cho khách hàng
• Bộ sinh bản ghi, màn ảnh, GUI có thể sinh hàng nghìn dòng lệnh trong mỗi phút • LOC chỉ được biết chính xác khi phần mềm được hoàn thiện
• Do đó, ước lượng dựa trên LOC nguy hiểm gấp đôi
o Để bắt đầu tiến trình ước lượng, LOC trong phần mềm đã hoàn thiện phải được ước lượng
o Sau đó, ước lượng LOC được sử dụng để ước lượng chi phí của phần mềm β− FFP
• Được sử dụng đối với ước lượng chi phí của một phần mềm xử lý dữ liệu cỡ trung bình • Ba thành phần cấu trúc cơ bản của pâần mềm xử lý dữ liệu
o Các tệp o Các luồng o Các tiến trình
• Với số lượng tệp (Fi), số luồng (Fl), và số tiến trình (Pr) o Kích thước (s), chi phí (c) được xác định bởi
S = Fi + Fl + Pr C = b × S
• Hằng số b (hiệu năng hoặc năng suất) thay đổi từ tổ chức này đến tổ chức khác
• Tính hiệu lực và tính tin cậy của thước đo FFP được chứng minh bằng cách sử dụng cùng một mục đích
o Tuy nhiên, thước đo này không bao giờ được mở rộng đối với cơ sở dữ liệu χ− Điểm chức năng (Function Points)
• Dựa trên số lượng đầu vào (Inp), đầu ra (Out), các câu hỏi(Inq), các tệp chính (Maf), các giao diện (Inf)
• Đối với bất kỳ sản phẩm nào, số điểm chức năng được xác định bằng FP = 4 ×Inp + 5 ×Out + 4 ×Inq + 10 ×Maf + 7 ×Inf
• Đây là một trường hợp quá đơn giản của một tiến trình 3 bước
• Bước 1. phân loại mỗi thành phần của phần mềm (Inp, Out, Inq, Maf, Inf) thuộc loại đơn giản, trung bình, hoặc phức tạp
o Gán số lượng thích hợp các điểm chức năng o The sum gives UFP (unadjusted function points)
• Bước 2. Tính toán nhân tố độ phức tạp về mặt kỹ thuật (technical complexity factor -TCF) o Gián giá trị từ 0 (không có mặt) tới 5 (ảnh hưởng mạnh mẽ từ đầu đến cuối) đối
với mỗi nhân tố thuộc 14 nhân tô như tỷ giá giao dịch, tính khả chuyển
• Thêm 14 con số
o Đưa ra mức độ ảnh hưởng tổng thể (DI)
TCF = 0.65 + 0.01 ×DI
• Nhân tố độ phức tạp về mặt kỹ thuật nằm trong khoảng từ 0.65 tới 1.35 • Bước 3. Số lượng điểm chức năng được tính bằng
FP = UFP×TCF
• Phân tích về điểm chức năng
• Giống như FFP, bảo trì có thể được đo một cách thiếu chính xác • Có thể thay đổi
o Số lượng các tệp, luồng và các tiến chình
o Số lượng đầu vào, đầu ra, câu hỏi, các tệp chính và các giao diện
• Theo lý thuyết, có thể thay đổi tất cả các dòng mã với việc thay đổi số lượng các dòng mã (In theory, it is possible to change every line of code with changing the number of lines of code)
Các điểm chức năng Mk II
• Thước đo này đã được đưa ra để tính toán UFP một cách chính xác hơn
• Chúng ta chia nhỏ phần mềm thành các giao tác thành phần, mỗi giao tác thành phần gồm đầu vào, tiến trình và đầu ra
• Các điểm chức năng Mark II được sử dụng rộng rãi trên thế giới δ− COCOMO
5.2.2 Các kỹ thuật ước lượng chi phí
α− Những đánh giá của chuyên gia nhờ sự tương tự (Expert judgment by analogy) • Các chuyên gia so sánh sản phẩm đích với những sản phẩm đã hoàn thiện
o Sự ước chừng có thể dẫn tới ước lượng chi phí sai
o Các chuyên gia có thể thu thập lại những thiếu xót của các phần mềm đã hoàn thiện
o Các chuyên gia con người có nhiều xu hướng (Human experts have biases ) o Tuy nhiên, kết quả của sự ước lượng bởi một nhóm lớn các chuyên gia có thể
chính xác
• Kỹ thuật Delphi đôi khi được sử dụng để đạt được sự đồng thuận nhất trí β− Phương pháp dưới lên
• Chia sản phẩm phần mềm thành những thành phần nhỏ hơn o Các thành phần nhỏ có thể không dễ ước lượng hơn o Tuy nhiên, có chi phí mức tiến trình
• Khi sử dụng mô hình hướng đối tượng
o Sự độc lập của các lớp có ở đây (The independence of the classes assists here) o Tuy nhiên, những tương tác giữa các lớp làm rắc rối tiến trình ướclượng χ− Các mô hình ước lượng chi phí thuật toán (Algorithmic cost estimation models )
• Một thước đo được sử dụng như đầu vào đối với mô hình để tính toán chi phí và thời gian o Mô hình thuật toán không thiên vị, do đó tốt hơn hẳn ý kiến chuyên gia
o Tuy nhiên, ước lượng chỉ tốt bằng những giả định tiềm ẩn (However, estimates are only as good as the underlying assumptions )
• Ví dụ
o SLIM Model o Price S Model
o CO nstructive COst MOdel (COCOMO)
5.2.3 COCOMO trung gian
• COCOMO bao gồm 3 mô hình
o Mô hình ước lượng vĩ mô đối với toàn bộ sản phẩm phần mềm o COCOMO trung gian
o Mô hình ước lượng vi mô xem xét chi tiết phần mềm • Chúng ta nghiên cứu COCOMO trung gian
• Bước 1. Ước lượng chiều dài của phần mềm trong KDSI
• Bước 2. Ước lượng chế độ phát triển phần mềm (có tổ chức (organic), nửa tách rời (semidetached), nhúng(embedd))
• Ví dụ:
o Phần mềm không phức tạp (chế độ organic)
(Công sức danh nghĩa)Nominal effort = 3.2 ´ (KDSI)1.05 person-months • Bước 3. Tính toán công sức danh nghĩa
• Ví dụ:
o Phần mềm có tổ chức (Organic product)
o 12,000 câu lệnh được chuyển giao (12 KDSI) (đã ước lượng)
o (Công sức danh nghĩa )Nominal effort = 3.2 ´ (12)1.05 = 43 person-months
• Bước 4. Nhân giá trị danh nghĩa với 15 lần chi phí phát triển phần mềm (Step 4. Multiply the nominal value by 15 software development cost multipliers )
• Ví dụ:
o Phần mềm xử lý giao tiếp dựa trên bộ vi xử lý cho mạng chuyển tiền điện tử với độ tin cậy, hiệu năng, lịch phát triển và các yêu cầu giao diện cao
(Microprocessor-based communications processing software for electronic funds transfer network with high reliability, performance, development schedule, and interface requirements )
• Bước 1. Ước lượng chiều dài của phần mềm sản phẩm o 10,000 câu lệnh được chuyển giao (10 KDSI) • Bước 2. Ước lượng chế độ phát triển
o Chế độ phức tạp (“nhúng”-“embedded”) • Bước 3. Tính công sức danh nghĩa
o (Công sức danh nghĩa)Nominal effort = 2.8 ´ (10)1.20 = 44 person-months • Bước 4. Nhân giá trị danh nghĩa với 15 lần chi phí phát triển phần mềm
• Do đó, Ước lượng công sức cho dự án 1.35 x 44 = 59 person-months. Ước lượng công sức cho dự án (59 person-months) được sử dung là đầu vào cho công thức bổ sung đối với
o Chi phí đô la o Lịch biểu phát triển
o Phân phối pha và hoạt động o Chi phí máy tính
o Chi phí bảo trì hàng năm o Các mục liên quan
• COCOMO trung gian đã được xác nhận với một mẫu lớn (Intermediate COCOMO has been validated with respect to a broad sample )
• Giá trị thực nằm trong khoảng 20% giá trị dự đoán và khoảng 68% thời gian
o COCOMO trung gian là phương thức ước lượng chính xác nhất về thời gian của nó
• Vấn đề chính
o Nếu ước lượng số lượng dòng mã của sản phẩm đích là sai, thì mọi thứ đều sai
5.2.4 COCOMO II
• 1995 đã mở rộng COCOMO 1981 với sự kết hợp o Hướng đối tượng
o Mô hình vòng đời hiện đại o Bản mẫu nhanh
o Ngôn ngữ thế hệ thứ tư o Phần mềm COTS
• COCOMO II phức tạp hơn nhiều so với phiên bản đầu • Có 3 mô hình khác nhau
o Mô hình kết hợp ứng dụng đối với các pha ban đầu (Application composition model for the early phases)
Dựa trên các điểm đặc trưng (tương tự với điểm chức năng) o Mô hình thiết kế sớm
Dựa trên các điểm chức năng
o Mô hình hậu kiến trúc (Post-architecture model) Dựa trên các điểm chức năng hoặc KDSI • Mô hình công sức COCOMO cơ bản là
o effort = a×(size)b
o COCOMO trung gian
Ba giá trị đối với (a,b ) o COCOMO II