2. Nghiên cứu tiêu chí và hướng dẫn đánhgiá sản phẩm phần mềm
2.4.2Quá trình đánhgiá dành cho người khai thác
Tóm tắt quá trình khai thác được tích hợp với quá trình đánh giá được tóm tắt như sau:
• Khởi tạo: xác định yêu cầu đối với sản phẩm phần mềm được đem ra khai thác, kế hoạch khai thác và các chiến lược chấp nhận và các chuẩn.
• Yêu cầu cho các công việc cần thiết chuẩn bị: xác định và ghi chép lai các yêu cầu về khai thác.
• Chuẩn bị và cập nhật hợp đồng: lựa chọn nhà cung cấp, chuẩn bị và đàm phán hợp đồng, kiểm soát các thay đổi trong hợp đồng.
• Điều khiển nhà cung cấp: Đánh giá các hoạt động trong quá trình thực thi hợp đồng, hướng tới việc chấp nhận và phân phối sản phẩm.
• Chấp nhận và hoàn tất: các hoạt động trong quá trình chấp nhận và phân phối sản phẩm phần mềm cuối cùng.
Các yêu cầu hệ thống
Để xác định các yêu cầu đánh giá phần mềm, đầu tiên phải xác định các yêu cầu chung của hệ thống. Các yêu cầu này xác định người sử
dụng, mục đích sử dụng, các tác vụ và các tiêu chí như môi trường sản phẩm hoạt động, bên cạnh các yêu cầu về chức năng và các yêu cầu khác cho sản phẩm hoặc hệ thống. Chúng là cơ sở cho thiết kế kiến trúc hệ thống sau này, đặc tả các yêu cầu phần mềm và thiết kế kiến trúc phần mềm. Các yêu cầu liên quan đến luật và các yêu cầu điều chỉnh cần được xác định tại thời điểm này khi chúng ảnh hưởng đến tính nghiêm ngặt và tính quy cách của quá trình khai thác và đánh giá.
Trong khi các yêu cầu hệ thống được phân tách và đánh giá, chúng được định vị vào các mục cấu hình phần cứng và phần mềm, xử lý của ngườẳt dụng bao gồm cả các thủ tục hệ thống. Hoạt động thiết kế trong vòng đời phát triển phần mềm ảnh hưởng đến các quyết định tiếp theo trong việc khai thác hoặc sử dụng lại các sản phẩm phần mềm thương mại. Một số hoạt động đánh giá thực sự là một phần trong công việc thiết kế vì nó đóng vai trò trong quá trình ra quyết định. Công việc đánh giá các sản phẩm phần mềm đang khai thác là tách biệt nhau. Trong quá trình tích hợp hệ thống và kiểm tra sản phẩm cuối cùng, các mục cấu hình phần mềm được tích hợp với các mục cấu hình phần cứng và phần mềm khác.
Các yêu cầu mức tích hợp
Nếu phần mềm yêu cầu chứa tính an toàn, tính bảo đảm, tính rủi ro về tài chính, môi trường và xã hội đối với một hệ thống nằm trong một mức giới hạn chấp nhận được, cần phải thiết lập và ghi chép đúng đắn mức tích hợp, trước khi mua và đánh giá. Mức độ tích hợp xác định cách phần mềm phản ứng trong quá trình đánh giá.
Đặc tả các yêu cầu phần mềm
Các yêu cầu phần mềm sẽ được xác định qua một mô hình chất lượng rõ ràng và thích hợp. Do vậy, sẽ phải sử dụng mô hình chất lượng đã đề cập trong tài liệu các tiêu chí đánh giá chất lượng sản phẩm phần mềm.
Các yêu cầu nên được xác định qua phương pháp đo ngoài, liên quan trực tiếp tới nhu cầu của người dùng và nên được ghi chép trong bản đặc tả các yêu cầu. Việc ghi chép các nhu cầu của người sử dụng có thể
khác nhau, từ việc tạo một danh sách thông thường về các yêu cầu chức năng và thể hiện cần có, tới việc chuẩn bị đặc tả yêu cầu đầy đủ cho sản phẩm. Đặc tả yêu cầu sau đó có thể làm cơ sở cho các yêu cầu về khai thác sử dụng trong suốt bước bỏ thầu trong quá trình khai thác và làm cơ sở để xem xét sản phẩm nào sẽ được đánh giá tiếp theo.
Công việc đánh giá được thực hiện bởi những bên khác
Phạm vi của quá trình đánh giá có thể giảm bằng cách sử dụng kết quả của các đánh giá thực hiện bởi các bên thứ 2 hay thứ 3 miễn sao kết quả đó đảm bảo tính trung thực. Những đánh giá như vậy có thể bao gồm các chứng chỉ tồn tại trước đó, các đánh giá sản phẩm hay các đánh giá quá trình.
Giá thành và thời gian cần thiết để thu và hiểu được kết quả đánh giá ngoài cho ứng dụng đích có thể ảnh hưởng đến tính khả thi của phương pháp này. Vẫn cần phải tham khảo ý kiến của những nhà đánh giá và nhà cung cấp để có được sự tin tưởng xứng đáng vào kết quả của các bên.
2.4.2.2 Đánh giá trong quá trình khai thác sản phẩm phần mềm
Quá trình đánh giá sản phẩm phần mềm nói chung có 4 bước chính, chúng được triển khai và có thể thay đổi để đánh giá chất lượng sản phẩm cuối cùng trong quá trình khai thác sản phẩm thương mại. Tuy nhiên, điều này không cản trở việc đánh giá các sản phẩm trung gian với những tiêu chí chất lượng cụ thể. Vì vậy, chi tiết việc triển khai các bước là khác nhau nhưng không mâu thuẫn. Quá trình đánh giá được tóm tắt trong bảng sau:
Tên bước Đầu vào Các tác vụ cơ bản Đầu ra
Thiết lập yêu cầu đánh giá Các yêu cầu về hệ thống/phần mềm Xác định mục tiêu, mục đích, phạm vi. Xác định tính nghiêm ngặt của phép đánh giá. Xác định đầu vào cho đánh giá. Xác định công việc đánh giá cần thực hiện hoặc được
Đặc tả các yêu cầu đánh giá.
thực hiện bởi các bên khác. Xác định quá trình khai thác để thwcj hiện theo và phương thức để các yêu cầu đầu vào của đánh giá giao tiếp được với nhà cung cấp.
Đặc tả công việc đánh giá Các yêu cầu về đánh giá
Chọn phương pháp đo tương ứng với các tiêu chí của sản phẩm phần mềm. Thiết lập các mức đánh giá. Chọn tập các phương pháp đánh giá hiệu quả nhất. Thiết lập các thủ tục tóm tắt các kết quả đánh giá với các tiêu chí chất lượng khác nhau và các khía cạnh khác có ảnh hưởng đến việc đánh giá chất lượng sản phẩm phần mềm trong một môi trường cụ thể. Đặc tả công việc đánh giá Thiết kế công việc đánh giá Đặc tả công việc đánh giá
Chuẩn bị kế hoạch đánh giá, mô tả các phương pháp đánh giá, và quá trình đánh giá. Xác định các điểm ràng buộc giữa các hoạt động đánh giá và các hoạt động khai thác.
Kế hoạch đánh giá Thực hiện công việc đánh giá Kế hoạch đánh giá
Quản lý các công việc đánh giá đã chọn, phân tích và ghi chép các kết quả để xác định tính phù hợp của sản phẩm phần mềm. Phân tích ảnh hưởng của các thiếu sót và các lựa chọn đã xác định để điều chỉnh cách sử dụng sản phẩm. Kết luận với đầy đủ tinh thần trách nhiệm về tính chấp nhận được hay không của sản phẩm và ra quyết định cuối cùng về việc mua hay không mua
Kết quả và các ghi chép về công việc đánh giá
sản phẩm đó.
2.4.2.3 Bước 1: Thiết lập các yêu cầu đánh giá
Quá trình đánh giá sẽ thiết lập:
• Một tập các yêu cầu chất lượng phần mềm sử dụng mô hình chất lượng
• Thứ tự ưu tiên thích hợp cho các tiêu chí chất lượng phần mềm
• Tạo một cơ sở hệ thống để đánh giá thích hợp mức tích hợp của ứng dụng, bao gồm thiết lập yêu cầu theo mức độ chặt chẽ và chi tiết của hoạt động đánh giá, cũng như đầu vào và đầu ra của quá trình đánh giá.
• Quá trình khai thác cần thực hiện theo và cách để các yêu cầu đầu vào của đánh giá giao tiếp được với nhà cung cấp.
• Phạm vi, mục tiêu, mục đích của đánh giá bằng cách xem xét: - Liệu sản phẩm phần mềm sẽ được sử dụng cho một ứng
dụng cụ thể, cho tập các ứng dụng cụ thể hay cho một bộ các ứng dụng chung.
- Liệu đánh giá được thực hiện bởi các bên thứ 2, thứ 3 hay được lên kế hoạch để thực hiện sau.
Đặc tả các yêu cầu đánh giá: Đặc tả yêu cầu đánh giá nên xác định:
• Người sử dụng, mục đích, tác vụ và tiêu chí của họ, môi trường người dùng sử dụng sản phẩm.
• Mức tích hợp của ứng dụng phần mềm (những rủi ro khi có lỗi) và mức chặt chẽ cần thiết cho quá trình đánh giá.
• Các yêu cầu điều chỉnh.
• Giao diện của sản phẩm và các yêu cầu liên quan (ví dụ kiểu dữ liệu qua giao diện, cấu trúc dữ liệu, bắt lỗi…)
• Các yêu cầu tích hợp nếu sản phẩm là một phần trong hệ thống lớn đòi hỏi phải tích hợp với các sản phẩm hoặc các đơn vị khác.
• Các yêu cầu chất lượng phần mềm, gồm:
- Sự khác biệt giữa các yêu cầu bắt buộc và không bắt buộc. - Tất cả các giả định, ngoại lệ, giới hạn, sự loại trừ hay những
vướng mắc phát sinh.
- Các yêu cầu người sử dụng đối với các tiêu chí chất lượng quan trọng và thứ tự ưu tiên của chúng.
- Các ràng buộc về thiết kế và môi trường, ví dụ các giới hạn về chức năng và tính thực hiện của phần mềm, mức độ và sự phức tạp trong tích hợp của phần mềm với các phần mềm đã tồn tại trước đó, với phần mềm của khách hàng và với phần cứng trong ứng dụng của người sử dụng.
- Các ràng buộc về quản lý dự án. - Lý do sử dụng mô hình chất lượng.
• Các dịch vụ của nhà cung cấp cần đánh giá ví dụ như: khả năng hỗ trợ, khả năng phát triển ứng dụng, khả năng đào tạo.
• Các yêu cầu đặc biệt cần đánh giá, ví dụ tính khả thi của công nghệ đưa ra hay các câu hỏi triển khai thiết kế.
• Các yêu cầu đánh giá không bị xung đột với các yêu cầu khác và phù hợp với mức tích hợp của ứng dụng.
• Liệu sản phẩm sẽ được sử dụng lại trong các ứng dụng tương lai và các tài liệu cần thiết để hỗ trợ cho các đánh giá tương lai về sản phẩm.
• Quá trình khai thác và thông tin cần thiết từ nhà cung cấp trong khi bỏ thầu.
• Công việc đánh giá được thực hiện bởi bên thứ 2 hay thứ 3 có thể được sử dụng để giảm khó khăn trong công việc đánh giá sản phẩm.
2.4.2.4 Bước 2 - Đặc tả đánh giá
Công việc này nên được ghi chép để việc đánh giá có thể được lặp lại nhiều lần. Để chọn phương pháp đo đặc tả đánh giá nên xác định:
• Tiêu chí của sản phẩm cần đánh giá.
• Phương pháp đo chất lượng ngoài định lượng.
• Phương pháp đo chất lượng sử dụng liên quan đến khung xem xét của người sử dụng về chất lượng của hệ thống chứa phần mềm.
• Chuẩn cho phương pháp đo để mô tả dải chấp nhận được.
• Các mô-đul đánh giá được đóng gói.
• Mức độ bao phủ liên quan đến các yêu cầu đánh giá cần thiết sau khi xem lại các đánh giá trước dụng, được thực hiện bởi những người khác.
• Danh sách kiểm tra cần trả lời bằng đánh giá.
• Danh sách các ví dụ có thể giúp ích trong việc trả lời các câu hỏi.
• Các test case sử dụng.
• Dữ liệu cần thu thập và phân tích, cùng định dạng của dữ liệu đó.
• Các phương thức đánh giá được sử dụng, bao gồm việc xem xét, đánh giá:
- Người dùng sản phẩm phần mềm và tài liệu công nghệ. - Việc đánh giá sản phẩm phần mềm dựa trên các khoá đào
tạo của nhà cung cấp.
- Quá trình phát triển công nghệ phần mềm, bao gồm cả các sản phẩm phần mềm trung gian.
- Lịch sử chạy sản phẩm của nhà cung cấp. - Lịch sử sử dụng sản phẩm của khách hàng.
- Khả năng hỗ trợ của nhà cung cấp và chất lượng hệ thống. - Mô tả nguyên mẫu hay các phương pháp đánh giá khác.
- Danh sách các điểm còn thiếu sót của sản phẩm và các thông tin liên quan.
• Phương pháp để đánh giá kết quả đánh giá.
• Phương pháp phù hợp để phân loại kết quả đánh giá được để cho phép chọn lựa sản phẩm phù hợp giữa các sản phẩm cùng chức năng.
• Phương pháp so sánh nhiều hơn 1 sản phẩm phần mềm. Phương pháp này có thể dựa theo mức ưu tiên của các tiêu chí chất lượng.
Chọn phương pháp đánh giá
Nên xác định kết hợp các phương pháp đánh giá để cho phép chọn lựa sản phẩm và tạo được những sản phẩm phù hợp với nhu cầu sử dụng. Các khía cạnh cần đánh giá bao gồm:
• Liệu các vấn đề cần xem xét có xung đột lẫn nhau hay không. Lúc này người đánh giá cần tạo cân bằng cần thiết dựa trên thứ tự ưu tiên của các yêu cầu đánh giá.
• Liệu phương pháp đánh giá có tạo được sự bao trùm thích hợp hay trong phạm vi kết hợp các phương pháp đã chọn, cần xem xét:
- Làm sao chứng minh được phần mềm đáp ứng được các đặc tả.
- Khớp các miền bao phủ của các phương pháp với nhau để tạo thêm tin tưởng.
- Liệu tập các hoạt động có cung cấp mức bảo đảm chấp nhận được bao phủ toàn bộ các tiêu chí chất lượng cần quan tâm của phần mềm không.
- Mức độ các phương pháp bổ sung cho nhau.
- Tính hiệu quả và tính khách quan của mỗi phương pháp trong việc định giá các tiêu chí khác nhau.
- Sự khác biệt theo các hướng khác nhau giữa các phương pháp khác nhau.
- Chứng nhận các hoạt động đánh giá trên ứng dụng đóng vai trò một phần trong vòng đời phát triển hệ thống chung.
- Chứng nhận công việc đánh giá thực hiện bởi các bên khác.
• Sử dụng các hoạt động đánh giá sơ bộ không chính thức như điều tra những thông tin kinh nghiệm, xem xét các sản phẩm thương mại, xem tài liệu về những sản phẩm người dùng đã sử dụng hay xem kho dữ liệu sản phẩm, để thu hẹp lựa chọn những sản phẩm cùng chức năng mà phù hợp với bước đánh giá tiếp theo.
Công việc đánh giá thực hiện bởi các bên khác
Trước khi chấp nhận tin tưởng các đánh giá thực hiện bởi các tổ chức khác, cần xem xét những điểm sau:
• Liệu đánh giá có đáp ứng được các yêu cầu đặt ra với một mức độ chặt chẽ và thích hợp với mức tích hợp của ứng dụng.
• Liệu báo cáo đánh giá có xác định phiên bản của sản phẩm phần mềm được đánh giá, các đánh giá mở rộng, các chuẩn quyết định sử dụng và các kết quả đạt được.
• Liệu báo cáo đánh giá có xác định được các thiếu sót trong sản phẩm phần mềm hoặc trong quá trình phát triển công nghệ của phần mềm, có khuyến nghị cách sửa lỗi hay không và hoạt động sửa lỗi có được thực hiện hay không.
• Liệu có những kỹ năng tương ứng cần cho công việc đánh giá không bao gồm:
- Kinh nghiệm đánh giá và phân tích.
- Kinh nghiệm liên hệ giữa chất lượng phần mềm với các chuẩn được công nhận trên thế giới.
- Kỹ năng liên quan đến công nghệ phần mềm. - Sự độc lập hoàn toàn với nhà cung cấp.
2.4.2.5 Bước 3 - Thiết kế đánh giá
• Liệu nhà cung cấp hay bên thứ 3 có sẵn lòng cho phép sử dụng các tài liệu được yêu cầu, các thiết bị, công cụ, phần mềm, có đào tạo và hỗ trợ kinh phí đào tạo không.
• Các điều kiện để có thể truy cập các thông tin độc quyền.
• Liệu nhà cung cấp hay bên thứ 3 có sẵn lòng cung cấp cho các đơn vị những thông tin đúng đắn để trả lời các câu hỏi.
• Ý kiến chuyên môn cần thiết cho việc đánh giá có cơ sở trên các yêu cầu đánh giá, chi phí liên quan để có được những ý kiến này.
• Các công việc tiền kiểm tra cần thực hiện để sản phẩm phù hợp với phép kiểm tra.
• Giá thành liên quan đến môi trường kiểm tra (ví dụ phần cứng, phần mềm, công cụ và chuyên gia) để thực hiện phép đánh giá.
• Trách nhiệm đối với công việc đánh giá và kế hoạch cần thiết
• Các hạn chế và thiếu sót trong việc đảm bảo chất lượng của phương pháp đánh giá, và liệu những hạn chế và thiếu sót này còn tồn tại ở nơi nào khác nữa trong kế hoạch không.