TIÊU CHUẨN QUỐC GIA CÔNG NGHỆ THÔNG TIN - QUY TRÌNH ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM

TIÊU CHUẨ N QU ỐC GI A TCVN xx1-x-5x1:201009 TCVN xx-xx-5 : 2010 Xuất lần 109/BTTTT TIÊU CHUẨN QUỐC GIA CƠNG NGHỆ THƠNG TIN - QUY TRÌNH ĐÁNH GIÁ SẢN PHẨM PHẦ MỀM - PHẦN 5: QUY TRÌNH ĐÁNH GIÁ CHẤT LƯỢNG TRONG(Các phé đánh giá chất lượng trong) Information technology S- Software Product quality – Part 5: Evaluation Process –for Iinternal met (Chất lượng trong) TCVN xx1-x-5x1:201009 Mục lục Danh mục hình vẽANH MỤC HÌNH VẼ 6 Phạm vi áp dụngHẠM VI ÁP DỤNG Tài liệu viện dẫnÀI LIỆU VIỆN DẪN Thuật ngữ định nghĩaHUẬT NGỮ 10 Quy trìnhHướng dẫn đánh giá sản phẩm phần mềmƯỚNG DẪN ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM 10 4.1 Bước 1: Thiết lập yêu cầu đánh giá 11 4.1.1 Mục đích đánh giá .11 4.1.2 Loại sản phẩm cần đánh giá .11 4.1.3 Xây dựng mơ hình chất lượng 13 4.2 Bước 2: Xác lập chế đánh giá 14 4.2.1 Xác lập đại lượng độ đo 14 4.2.2 Thiết lập mức đo chuẩn 15 4.2.3 Thiết lập tiêu chí đánh giá 16 4.3 Bước 3: Thiết kế kế hoạch đánh giá sản phẩm phần mềm 16 4.3.1 Quản lý mức tổ chức .17 4.3.2 Hỗ trợ việc quản lý dự án 19 4.4 Bước 4: Thực đánh giá 21 Phụ lụcHỤ LỤC A (Tham khảo) .23 Quy trình cho người phát triểnUY TRÌNH CHO NGƯỜI PHÁT TRIỂN 23 A.1 Các khái niệm đánh giá 23 A.1.2 Các khía cạnh chung 23 A.1.3 Nhu cầu người sử dụng .23 A.1.4 Các thuộc tính ngồi 23 A.1.5 Các thuộc tính 24 A.1.6 Các thị chất lượng 24 A.1.7 Quá trình đánh giá 25 A.1.8 Mối quan hệ đánh giá q trình vịng đời .25 TCVN xx1-x-5x1:201009 A.2 Các yêu cầu đánh giá 26 A.2.1 Các yêu cầu chung .26 A.2.2 Thiết lập yêu cầu đánh giá 26 A.2.3 Đặc tính đánh giá 27 A.2.4 Thiết kế đánh giá 29 A.2.5 Thực đánh giá .30 A.2.6 Phản hồi tới tổ chức 31 Phụ lụcHỤ LỤC B (Tham khảo) .32 Danh mục tài liệu tham khảo 33 TCVN xx1-x-5x1:201009 Danh mục hình vẽANH MỤC HÌNH VẼ Hình Quy trình đánh giá sản phẩm phần mềm…………………… …………………………………… Hình Mối quan hệ phép đánh giá ………………………………………………………………… Hình Tiêu chí chất lượng, tiêu chí thuộc tính ………………………………… … …… ……… 10 Hình Các mức đánh giá cho phép đo ………………………………………………………… ………… 12 TCVN xx1-x-5x1:201009 Lời nói đầuỜI NĨI ĐẦU Tiêu Chuẩn Việt Nam TCVN-xxx:2009 "Quy trình đánh giá sản phẩm phần mềm (Các phép đánh giá chất lượng trong)" xây dựng sở chấp thuận hướng dẫn đánh giá sản phẩm phần mềm theo ISO-14598 phần 1, phần phần Tiêu Chuẩn Việt Nam TCVN-xxx:2009 "Quy trình đánh giá sản phẩm phần mềm (Các phép đánh giá chất lượng trong) - Tiêu chuẩn kỹ thuật" Viện Khoa học Ky thuật Bưu điện (RIPT) biên soạn, Bộ Thông tin Truyền thông đề nghị, Tổng cục Tiêu chuẩn Đo lường Chất lượng thẩm định, Bộ Khoa học Công nghệ ban hành theo Quyết định số Bộ thông tin Truyền thông ban hành theo định số TCVN xx1-x-5x1:201009 TIÊU CHUẨN QUỐC GIA TCVN xxx-XXX-5:201009 Cơng nghệ thơng tin - QUY TRÌNHĐánh giá sản phẩm phần mềm ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM – Phần 5: Quy trình đánh giá chất lượng Information technology - (CÁC PHÉP ĐÁNH GIÁ CHẤT LƯỢNG TRONG) Software Product qualilty – Part 5: Evaluation Process –for Iinternal metrics Phạm vi áp dụngHẠM VI ÁP DỤNG Tiêu chuẩn cung cấp khung cho đánh giá chất lượng tất loại sản phẩm phần mềm đưa yêu cầu cho phương pháp đo đánh giá sản phẩm phần mềm Tiêu chuẩn đánh giá sản phẩm phần mềm nhằm xây dựng quy trình đánh giá cho người phát triển sản phẩm phần mềm Các kết đánh giá nhận áp dụng Tiêu chuẩn sử dụng cho người quản lý phát triển/bảo trì để đo mức độ hài lòng với yêu cầu thực cải tiến cần thiết Các kết đánh giá sử dụng cho nhà phân tích thiết lập quan hệ phép đánh giá ngồi Người cải tiến q trình sử dụng kết đánh giá để xác định q trình cải tiến thong qua nghiên cứu kiểm tra thông tin chất lượng sản phẩm dự án Tiêu chuẩn cung cấp yêu cầu khuyến nghị cho triển khai thực tiễn trình đánh giá sản phẩm phần mềm đánh giá tạo lập song song với phát triển thực người phát triển Q trình mơ tả Tiêu chuẩn xác đinh hoạt động cần thiết để phân tích yêu cầu đánh giá, xác định, thiết kế, tạo hoạt động đánh giá kết luận đánh giá loại sản phẩm phần mềm Quá trình đánh giá thiết kế để sử dụng đồng thời với trình phát triển Quá trình đánh giá cần đồng với trình phát triển thực thể đánh giá chúng đưa Tiêu chuẩn sử dụng bởi: - Người quản lý dự án để làm sáng tỏ yêu cầu chất lượng, giám sát kiểm sốt chất lượng phần mềm q trình phát triển đưa định đảm bảo chất lượng yêu cầu xây dựng, TCVN xx1-x-5x1:201009 - Người thiết kế phần mềm xác định đặc tính riêng phải xây dựng phần mềm thay đổi nhằm thỏa mãn yêu cầu chất lượng, - Người có trách nhiệm bảo đảm/kiểm sốt / kiểm toán chất lượng đánh giá yêu cầu chất lượng có đạt khơng, - Người bảo trì đưa định cho việc triển khai thay đổi hay thiết kế lai/ xây dựng lai, - Người mua sản phẩm phần mềm phần thỏa thuận với người phát triển mua sản phẩm (ví dụ trường hợp phát triển phần mềm gia công) không yêu cầu đánh giá độc lập Người mua sản phẩm cá nhân vai trị mua, người phát triển gia công phần sản phẩm phần mềm hay người dung cuối Vai trò người mua sản phẩm phụ thuộc vào thỏa thuận người mua người phát triển Tiêu chuẩn nhằm cho ứng dụng mức độ dự án Để đạt đầy đủ ích lợi từ tiêu chuẩn tổ chức phải tham gia Khía cạnh đưa ISO/IEC 14598-2 Tiêu chuẩn không qui định thị hay phép đo riêng không qui định phương pháp phát triển đặc thù Tài liệu viện dẫnÀI LIỆU VIỆN DẪN [1] ISO 14598 – Part 1, Information Technology - Software Product Evaluation – General Overview ISO/IEC JTC1/SC7 N1914 (ISO 14598 Phần – Công nghệ phần mềm – Đánh giá sản phẩm phần mềm – Tổng quan) [2] ISO 14598 – Part 2, Information Technology - Software Product Evaluation – Planning and Management ISO/IEC JTC1/SC7 N1914 (ISO 14598 Phần – Công nghệ phần mềm – Đánh giá sản phẩm phần mềm – Lập kế hoạch Quản lí) [3] ISO 14598 - Part 3, Information Technology - Software Product Evaluation – Process for Developers ISO/IEC JTC1/SC7 N1914 (ISO 14598 Phần – Công nghệ phần mềm – Đánh giá sản phẩm phần mềm – Quy trình cho người phát triển) [4] TCVN xx-xx-4: 2010, Công nghệ thông tin - Quy trình đĐánh giá sản phẩm phần mềm – Quy trình đánh giá chất lượng (Các phép đánh giá chất lượng ngoài) ISO 14598 phần 1, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 [2] ISO 14598 phần 2, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 [3] ISO 14598 phần 3, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 TCVN xx1-x-5x1:201009 Thuật ngữ định nghĩaHUẬT NGỮ Mơ hình chất lượng: hợp tiêu chí mối quan hệ chúng để cung cấp sở cho việc xác định yêu cầu chất lượng đánh giá chất lượng Chất lượng trong: tổng hợp tất đặc điểm sản phẩm phần mềm từ góc độ người phát triển phần mềm Chất lượng đo lường đánh giá theo yêu cầu chất lượng (sử dụng đo trong) Chất lượng sản phẩm phần mềm cải tiến suốt suốt thời gian lập trình, kiểm thử không bao gồm giai đoạn thiết kế phần mềm Chất lượng ngoài: toàn đặc điểm sản phẩm phần mềm từ góc độ người đánh giá phần mềm độc lập Chất lượng thể phần mềm hoạt động, đánh giá môi trường với liệu giả lập (sử dụng công cụ đo độc lập) Chất lượng sử dụng: cách nhìn người sử dụng chất lượng sản phẩm phần mềm cài đặt môi trường ngữ cảnh cụ thể Chất lượng xác định phạm vi mà người sử dụng đạt mục đích mơi trường cụ thể tính thân phần mềm Mơ hình cho chất lượng ngoài: phân loại chất lượng sản phẩm phần mềm theo sáu tiêu chí: tính năng, độ tin cậy, tiện lợi, tính hiệu quả, khả bảo hành bảo trì tính khả chuyển Quy trìnhHướng dẫn đánh giá sản phẩm phần mềmƯỚNG DẪN ĐÁNH GIÁ SẢN PHẨM PHẦN MỀM Xem mục 4, TCVN xx-xx-4 :2010.Để đánh giá sản phẩm phần mềm, trước hết xác lập yêu cầu đánh giá, sau xác lập chế, thiết kế thực đánh giá Hình đưa quy trình đánh giá chất lượng sản phẩm phần mềm Xác lập mục đích đánh giá Bước Xác lập yêu Xác lập yêu cầu đánh giá cầu đánh giá Xác định loại sản phẩm Xây dựng mơ hình chất lượng Xác lập đại lượng & độ đo Bước Xác lập Xác lập chế đánh giá chế đánh giá Thiết lập mức đo chuẩn Thiết lập tiêu chí đánh giá Bước Thiết kế Thiết kế Kế hoạch đánh giá sản phẩm Thực đo Bước Thực Thực đánh giá đánh giá So sánh với tiêu chí đánh giá Đánh giá kết thu 10 Độ đo Độ đo Độ đo chất lượng sử dụng TCVN xx1-x-5x1:201009 • Nguồn lực người máy móc phù hợp • Các cơng cụ, chuẩn thủ tục hỗ trợ • Kế hoạch đánh giá định lượng xác định rõ ràng, ghi chép thông qua Kế hoạch nên đặc tả phương pháp đạt mục đích định làm nào, phép đo sử dụng để hỗ trợ tiến trình đánh giá Người quản lý hỗ trợ chức chịu trách nhiệm chiến lược đánh giá tổng thể công nghệ tổ chức nên hỗ trợ người quản lý dự án việc triển khai kế hoạch Hỗ trợ việc lên kế hoạch đánh giá Để thành công việc đánh giá sản phẩm phần mềm, kế hoạch đánh giá định lượng nên phát triển lúc bắt đầu dự án bắt đầu đánh giá Mục tiêu kế hoạch giúp người quản lý dự án xác định điều khiển đối tượng chất lượng định lượng Nó giúp tất nhân viên dự án xác định đối tượng chất lượng họ điều khiển tiến trình họ theo đối tượng cách liên tục Khi chuẩn bị kế hoạch cần quan tâm số vấn đề sau: Mục đích cơng dụng kế hoạch: Tất thành viên dự án nên hiểu tính quan trọng kế hoạch đề xuất, chi tiết việc triển khai vấn đề liên quan tới thành viên độc lập dự án Tất điều nên chọn lọc trước bắt đầu hoạt động đánh giá Tính hữu dụng kế hoạch nên thông qua hỗ trợ tất nhân viên dự án quản lý liên quan gián tiếp đến dự án hay tiến trình đánh giá Cải tiến kế hoạch: Kế hoạch dự thảo nên kiểm tra cải tiến người quản lý chịu trách nhiệm chung đánh giá tổ chức Nó nên xem lại để bao trùm yêu cầu đánh giá khác nhau, bao gồm: • Đặc tả phương pháp đạt mục tiêu đề ra, cách định lượng đo lường đối tượng Nó nêu phương thức để phép đo hỗ trợ cho tiến trình đánh giá • Đặc tả phương pháp triển khai quản lý định lượng đánh giá sản phẩm phần mềm • Những mục tiêu chất lượng cụ thể • Chọn lọc nhiệm vụ, gán trách nhiệm tương ứng cho người • Xác định phương thức thu thập, điều khiển sử dụng liệu Nội dung kế hoạch: Nội dung kế hoạch nên bao trùm tất phép đo phù hợp với tiêu chí sản phẩm phần mềm Các mục tiêu xác định kế hoạch nên hỗ trợ tiêu chí chất lượng sản phẩm tương ứng, lựa chọn chuẩn tiến trình chất lượng, chuẩn chọn, phương thức, ky nhân viên, công cụ hỗ trợ quản lý dự án 20 TCVN xx1-x-5x1:201009 Hỗ trợ việc chi tiết hoá kế hoạch: Để hỗ trợ việc lên kế hoạch cho dự án đánh giá, tất thông tin hữu ích cụ thể nên đưa vào dự án Các thông tin bao gồm mẫu kế hoạch công nghệ đánh giá liên quan, chứa thơng tin cụ thể về: • Kinh nghiệm lập kế hoạch cho dự án tương tự • Việc sử dụng cơng nghệ • Chuẩn tổ chức mơ hình chất lượng • Việc sử dụng phép đo khuyến khích hay bắt buộc • Đo đạc số thông tin nội dung thành phần liệu, phương thức đo, công cụ, tần số đo điều kiện đo • Thiết lập mức đánh giá cụ thể Phát triển kế hoạch đánh giá định lượng Để có tin tưởng thành viên dự án tính hữu dụng kế hoạch để khuyến khích họ tham gia tích cực vào việc triển khai kế hoạch đó, cần thực số việc sau thích hợp: • Tổ chức gặp mặt để giải thích vấn đề cơng nghệ kế hoạch • Tổ chức giảng công việc đánh giá chất lượng phần mềm Hỗ trợ dự án đánh giá Các chức hỗ trợ nên giám sát trạng thái triển khai dự án đánh giá theo tiến độ kế hoạch Nếu có bất thường, biện pháp hỗ trợ cần thiết phải tham gia giải ghi lại bất thường với mục đích tích luy kinh nghiệm cho tương lai Thu thập kết đánh giá Các chức hỗ trợ nên thu thập kết đánh giá cuối dự án đánh giá Những kết nên lưu cho mục đích tham chiếu cho dự án tương lai 4.4 Bước 4: Thực đánh giá Tiến hành đo đạc: Thực phép đo chọn sản phẩm phần mềm cần đánh giá Kết giá trị nằm thang chia độ phép đo chọn So sánh với chuẩn: Trong phép đánh giá này, kết đo so sánh với tiêu chuẩn xác định từ trước Đưa kết quả: Đây bước cuối tiến trình đánh giá phần mềm Chất lượng tổng hợp so sánh với yếu tố khác thời gian, giá thành Cuối cùng, định đưa dựa chuẩn Kết định ban quản trị xem chấp nhận hay loại bỏ, đưa vào lưu hành hay không sản phẩm phần mềm Kết quan trọng bước 21 TCVN xx1-x-5x1:201009 vịng đời phần mềm Ví dụ: liệu có cần thay đổi yêu cầu chất lượng, hay có cần thêm tài ngun cho tiến trình phát triển Để đánh giá chất lượng phần mềm cần số công việc hỗ trợ như: thu thập thông tin công cụ phương pháp đánh giá, phát triển kiểm tra phép đo, chuẩn hố tiến trình đánh giá phép đo 22 TCVN xx1-x-5x1:201009 Phụ lụcHỤ LỤC A (Tham khảo) Quy trình cho người phát triểnUY TRÌNH CHO NGƯỜI PHÁT TRIỂN A.1 Các khái niệm đánh giá A.1.2 Các khía cạnh chung Chất lượng sản phẩm phần mềm mơ tả phạm trù tiêu chí chất lượng CHÚ THÍCH: Bộ đặc tính chất lượng định nghĩa ISO/IEC 9126-1 Tuy nhiên, nói chung không thực tế ấn định giá trị đo trực tiếp cho tiêu chí Thay vào đó, thuộc tính chất lượng phần mềm sản phẩm phần mềm chọn để đại diện cho khía cạnh chủ yếu tiêu chí Các giá trị đo thuộc tính đưa biểu diễn định lượng chất lượng phần mềm Tầm quan trọng phụ lục tiêu chuẩn hỗ trợ người phát triển áp dụng đo kiểm phần mềm đánh giá vòng đời phát triển Việc thực cách xác định thuộc tính sản phẩm trung gian công việc phát triển cách đo thuộc tính Cơng việc cung cấp phương tiện cho giám sát định lượng quản lí chất lượng sản phẩm phần mềm phát triển qua strinhf phát triển Mục đích xác định vấn đề để đạt chất lượng mong muốn sớm tốt trình phát triển Kiến thức đo kiểm đánh giá phần mềm không khuyến nghị đơn thuộc tính áp dụng cho sản phẩm phần mềm tổ chức phát triển phần mềm Do đó, lựa chọn thuộc tính sản phẩm phần mềm, sản phẩm trung gian hoạt động phát triển dựa kinh nghiệm tổ chức phát triển phần mềm A.1.3 Nhu cầu người sử dụng Xác định nhu cầu người sử dụng khía cạnh quan trọng việc thiết lập yêu cầu chất lượng chung Nó thực cách xác định nhu cầu người dùng cho chất lượng sử dụng ngữ cảnh đặc thù việc sử dụng Các yêu cầu chung khơng thức mặt chất nhu cầu thức hóa Chúng định lượng đánh giá sử dụng phép đo chất lượng sử dụng CHÚ THÍCH: Bộ phép đo chất lượng sử dụng mô tả ISO/IEC 9126-4 Cách tiếp cận phần tạo lập u cầu chung phạm vi thuộc tính ngồi A.1.4 Các thuộc tính ngồi Các thuộc tính chất lượng ngồi mơ tả đặc tính chất lượng sản phẩm phần mềm Chúng sử dụng để biểu diễn yêu cầu chất lượng cách định lượng Công việc thực cách ấn định giá trị đo mục tiêu cho thuộc tính 23 TCVN xx1-x-5x1:201009 Khi sản phẩm phần mềm phát triển giá trị đo thực thuộc tính thu thập, từ cung cấp biểu diễn định lượng đặc tính chất lượng phần mềm Đánh giá chất lượng thực cách so sánh giá trị đo thực với giá trị mục tiêu tất thuộc tính CHÚ THÍCH: Bộ phép đo chất lượng phần mềm đưa ISO/IEC 9126-2 A.1.5 Các thuộc tính Nhằm mục đích giám sát quản lí chất lượng phần mềm q trình phát triển u cầu chất lượng ngồi chuyển thành yêu cầu sản phẩm trung gian hoạt động phát triển Việc thực cách chuyển giá trị đo mục tiêu thuộc tính ngồi sản phẩm phần mềm thành giá trị đo mục tiêu thuộc tính sản phẩm trung gian hoạt động phát triển Việc lựa chọn thuộc tính chuyển giá trị mục tiêu thành giá trị mục tiêu hoạt động quan trọng Nó phụ thuộc vào kinh nghiệm cá nhân người phát triển tổ chức phát triển cung cấp hạ tầng cho việc thu thập phân tích kinh nghiệm từ dự án hồn thành trước Trong trường hợp này, kinh nghiệm tổ chức phát triển hỗ trợ cho hoạt động CHÚ THÍCH 1: Khía cạnh tổ chức mơ tả ISO/IEC 14598-2 Trong q trình phát triển giá trị thực thuộc tính đo kiểm Các giá trị so sánh với giá trị mục tiêu Nó cung cấp việc quản lí chất lượng phần mềm q trình phát triển Các thuộc tính sử dụng để xác định tượng khơng bình thường phần ngồi (tức giá trị thuộc tính lệch khỏi giá trị bình thường ta mong đợi) Các kinh nghiệm chung cho biết thực thể có giá trị kiểm tra sát thực Một số thuộc tính sử dụng giám sát xu hướng tring trình phát triển chúng đo thường xuyên (ví dụ hàng tuần) Xu hướng đo sử dụng để nhận biết sớm vấn đề, liên quan đến sản phẩm q trình phát triển CHÚ THÍCH 2: Bộ phép đo đề xuất ISO/IEC 9126-3 A.1.6 Các thị chất lượng Các thuộc tính chất lượng sử dụng thị chất lượng Đặc biệt, thuộc tính thường sử dụng thị thuộc tính ngồi; khơng phải qui luật chung, quan hệ trực tiếp thị chất lượng thuộc tính ngồi chưa khẳng định Tuy nhiên, nói chung chấp nhận thị chất lượng cung cấp hướng dẫn có ích sử dụng cách cẩn trọng Sử dụng thị chất lượng cho phép người phát triển phần mềm xác định sớm vấn đề chất lượng xảy q trình phát triển có hành động sửa đổi 24 TCVN xx1-x-5x1:201009 Hiện khơng có thị chất lượng chung thích hợp cho tất hoạt động phát triển phần mềm Tồn khác ứng dụng, phương pháp công cụ phát triển, khác tổ chức dự án văn hóa số ví dụ Do đó, vài thị hữu ích tổ chức, không dùng tổ chức khác A.1.7 Q trình đánh giá Q trình đánh giá mơ tả phần cấu thành từ hoạt động kiểm soát người phát triển Các hoạt động tạo lập dựa sở giá trị đo đạt trình phát triển CHÚ THÍCH 1: Q trình đánh giá chung mơ tả ISO/IEC 14598-1 CHÚ THÍCH 2: Các khía cạnh tổ chức đánh giá mô tả ISO/IEC 14598-2 Quá trình đánh giá bao gồm năm hoạt động sau: Thiết lập yêu cầu đánh giá bao gồm xác định yêu cầu chất lượng chung tương ứng với mơ hình chất lượng thỏa thuận Hoạt động mô tả phần phụ lục A.2 Đặc tính đánh giá bao gồm xác định phép đo giá trị đo mục tiêu (tiêu chuẩn cho đánh giá) Hoạt động mơ tả phần phụ lục A.2 Đặc tính bao gồm xác định phép đo giá trị đo mục tiêu (tiêu chuẩn cho đánh giá) Hoạt động mô tả phần phụ lục A.2 Thiết kế đánh giá bao gồm lập kế hoạch công việc thu thập số liệu Hoạt động mô tả phần phụ lục A.2 Thực đánh giá bao gồm việc thu thập cấc giá trị đo trong trình phát triển so sánh chúng với giá trị mục tiêu (đánh giá q trình phát triển) Các giá trị thuộc tính (các thị chất lượng) sử dụng để ước định chất lượng sản phẩm cuối Việc mơ tả phần phụ lục A.2 Nó bao gồm việc thu thập giá trị đo chúng sẵn sàng so sánh chúng với giá trị mục tiêu (đánh giá chất lượng sản phẩm) Hoạt động mô tả phần phụ lục A.2 Phản hồi tới tổ chức dựa kiểm tra kết đánh giá Hoạt động mô tả phần phụ lục A.2 A.1.8 Mối quan hệ đánh giá q trình vịng đời Đánh giá sản phẩm phần mềm tạo lập phạm vi q trình vịng đời CHÚ THÍCH 1: Các q trình vịng đời định nghĩa ISO/IEC 12207: 1995 Phần liên quan chủ yếu đến trình phát triển CHÚ THÍCH 2: Các q trình phát triển mơ tả ISO/IEC 12207 mục 5.3 Như phát biểu ISO/IEC 12207, đưa đến cần thiết để xem xét trình trì (mục 5.5) hỗ trợ q trình vịng đời (phần 6) 25 TCVN xx1-x-5x1:201009 q trình vịng đời thuộc tổ chức (phần 7) Khi tiêu chuẩn sử dụng trường hợp phát triển phần mềm gia cơng liên quan đến q trình mua sản phẩm q trình cung cấp mơ tả ISO/IEC 12207 mục 5.1 5.2 A.2 Các yêu cầu đánh giá A.2.1 Các yêu cầu chung Các yêu cầu tổ chức Tổ chức phát triển phải xây dựng hạ tầng cho phép tập hợp số liệu thay đổi q trình dựa phân tích số liệu CHÚ THÍCH: Các khía cạnh đánh giá tổ chức mơ tả Tiêu chuẩn ISO/IEC 14598-2 Các yêu cầu dự án Người phát triển phải phát triển phần mềm tuân theo qui trình phát triển chặt chẽ cho phép qui hoạch kiểm soát đo kiểm đánh giá phần mềm CHÚ THÍCH 1: Q trình vịng đời mơ tả Tiêu chuẩn ISO/IEC 12207 Sự phát triển mô tả Tiêu chuẩn ISO/IEC 14598-3, mục 5.3 CHÚ THÍCH 2: Khái quát đánh giá sản phẩm phần mềm xem Tiêu chuẩn ISO/IEC 14598-1 Người phát triển phải liên kết hoạt động đánh giá với q trình hoạt động trợ giúp CHÚ THÍCH 3: Q trình trợ giúp mơ tả Tiêu chuẩn ISO/IEC 12207, bao gồm trình đảm bảo chất lượng, trình thẩm tra, trình phê chuẩn trình kiểm tốn Một số phương pháp phân tích số liệu yêu cầu số liệu từ dự án trước phát triển điều kiện tương tự với yêu cầu chất lượng tương tự Do đó, người phát triển phải áp dụng mơ hình phát triển tương tự sử dụng từ dự án trước tổ chức phát triển Cùng thuộc tính phải áp dụng dự án để thực phân tích số liệu A.2.2 Thiết lập yêu cầu đánh giá Phần đề cập đến việc thiết lập yêu cầu chất lượng chung phân tích tính khả thi chúng Xác nhận yêu cầu chất lượng Người phát triển phải bảo đảm yêu cầu chất lượng chung áp dụng cho hệ thống phần mềm xác nhận Các nhu cầu cần thiết người dùng, kinh nghiệm tổ chức, kinh nghiệm lĩnh vực áp dụng, u cầu tính tồn vẹn phần mềm, tiêu chuẩn cần thiết, qui định, luật pháp, … phải xem xét xác nhận yêu cầu chung CHÚ THÍCH 1: Các mức độ tính tồn vẹn phần mềm mô tả Tiêu chuẩn ISO/IEC 15026 Người phát triển phải bảo đảm tằng mơ hình chất lượng thỏa thuận sử dụng để cấu thành yêu cầu chất lượng CHÚ THÍCH 2: Mơ hình chất lượng mô tả Tiêu chuẩn ISO/IEC 9126-1 26 TCVN xx1-x-5x1:201009 Danh sách yêu cầu hệ thống khác ảnh hưởng tới tính khả thi yêu cầu chất lượng phải tạo lập Các vấn đề liên quan mua hàng, điều kiện giá thành lịch trình thời gian, bảo hành, vấn đề tổ chức phải xem xét Các yêu cầu loại trừ lẫn phải giải CHÚ THÍCH 3: Tại giai đoạn qui trình làm việc phải tập trung vào thuộc tính ngồi sản phẩm Tất thành viên tham gia vào việc tạo thành sử dụng hệ thống phần mềm phải tham gia mơ tả qui trình xác nhận yêu cầu chất lượng Các ưu tiên tương đối yêu cầu phải thảo luận với tất thành viên liên quan Mỗi nhóm phải đo yêu cầu chất lượng yêu cầu điều kiện hệ thống khác Tất quan điểm phải xem xét Các yêu cầu chất lượng xác nhận mâu thuẫn cộng tác Mâu thuẫn yêu cầu phải giải điểm Hơn nữa, lựa chọn yêu cầu chất lượng mâu thuẫn với giá thành, lịch trình hay chức hệ thống, yêu cầu phải bị sửa đổi Người phát triển phải thực phân tích tính khả thi yêu cầu chất lượng Kinh nghiệm từ dự án trước với yêu cầu chất lượng tương tự thực thi tổ chức phát triển phải xem xét Người phát triển phải đảm bảo yêu cầu khả thi, hợp lý, kết hợp, có khả thực có khả kiểm tra mặt ky thuật Các yêu cầu chất lượng phải chuyển thành yêu cầu chất lượng tạo thành tương ứng với mơ hình chất lượng thỏa thuận Thỏa thuận danh sách cuối yêu cầu chung phải đồng ý từ tất thành viên tham gia A.2.3 Đặc tính đánh giá Phần đề cập tới định lượng hóa yêu cầu chất lượng Đối với yêu cầu, thuộc tính ngồi chọn lọc để biểu diễn yêu cầu Các giá trị đo mục tiêu ấn định dùng biểu diễn định lượng yêu cầu (tiêu chuẩn đánh giá) Đối với yêu cầu ngoài, hay số thuộc tính lựa chọn để biểu diễn yêu cầu trình phát triển Các giá trị mục tiêu ấn định thuộc tính sử dụng để quản lý chất lượng trình phát triển Các yêu cầu Người phát triển phải xác định trình vịng đời hoạt động đo kiểm đánh giá thực CHÚ THÍCH 1: Đo kiểm đánh giá thuộc tính ngồi thường thực sau trình phát triển hoàn thành Người phát triển phải xác định thực thể đo kiểm đánh giá 27 TCVN xx1-x-5x1:201009 CHÚ THÍCH 2: Các thực thể thường phần sản phẩm cuối (tức hệ thống hoạt động hướng dẫn sử dụng) Người phát triển phải xác định thuộc tính ngồi phải đo kiểm Người phát triển phải xác nhận phép đo cho yêu cầu chất lượng (từ thuộc tính thực thể ngồi xác định) Người phát triển phải xác định giá trị mục tiêu cho phép đo CHÚ THÍCH 3: Các giá trị mục tiêu đưa biểu diễn định lượng yêu cầu chất lượng CHÚ THÍCH 4: Các giá trị mục tiêu sử dụng tiêu chuẩn đánh giá Người đánh giá phải xác định điều kiện thực đo kiểm Điều có nghĩa xác nhận thuộc tính khác mà giá trị chúng tác động đến đo kiểm xác định giá trị thuộc tính Người phát triển phải thực phân tích tính khả thi yêu cầu chất lượng Kinh nghiệm từ dự án trước với yêu cầu chất lượng tương tự thực thi tổ chức phát triển phải xem xét Người phát triển phải đảm bảo yêu cầu cầu khả thi, hợp lý, kết hợp, có khả thực có khả kiểm tra mặt ky thuật Các giá trị thuộc tính ngồi phụ thuộc vào giá trị thuộc tính khác Các điều kiện phải xác minh để làm cho việc đo kiểm có ý nghĩa CHÚ THÍCH 5: Ví dụ, thời gian phản ứng hệ thống phụ thuộc vào phần cứng, hệ điều hành, chương trình khác chạy hệ thống, tiểu sử người sử dụng, … Các yêu cầu Người phát triển phải xác định q trình vịng đời hoạt động đo kiểm đánh giá thực CHÚ THÍCH 1: Đo kiểm đánh giá thuộc tính thường thực trình phát triển Người phát triển phải xác định thực thể đo kiểm đánh giá CHÚ THÍCH 2: Các thực thể lựa chọn thường sản phẩm hoạt động trung gian Người phát triển phải xác định thuộc tính đo kiểm CHÚ THÍCH 3: Đối với sản phẩm trung gian cần thuộc tính khác Người phát triển phải xác nhận phép đo cho tổ hợp thuộc tính thực thể liên quan Người phát triển phải xác định thuộc tính - Bao hàm sản phẩm hoạt động trung gian liên quan, - Thích hợp với miền ứng dụng với phương pháp sử dụng trình phát triển, - Bao hàm sản phẩm xác định rủi ro phát triển CHÚ THÍCH 4: Ví dụ rủi ro phát triển bao gồm đặc tính khơng ổn định, vấn đề xác định khơng giải quyết, chạy sai lịch trình, … 28 TCVN xx1-x-5x1:201009 Các phép đo kiểm xu hướng thích hợp phải đưa vào CHÚ THÍCH 5: Khi chúng áp dụng thường xuyên, số phép đo hữu ích để xác minh xu hướng trình phát triển phần mềm Ví dụ phép đo xu hướng “số mơ đun hồn thiện”, “số vấn đề giải quyết”, “số yêu cầu thay đổi”, … Người phát triển phải xác định thuộc tính liên quan tới tất thuộc tính ngồi; tức tới tất yêu cầu chất lượng Các thuộc tính sử dụng thị chất lượng CHÚ THÍCH 6: Các sản phẩm trung gian liên quan phải phân tích số liệu đo tập hợp cho hai mục đích: - Đánh giá chất lượng sản phẩm trung gian để tìm số hồn thiện (hoặc khơng hồn thiện) u cầu chất lượng chúng, - Thu biểu (dự báo) chất lượng sản phẩm cuối CHÚ THÍCH 7: ISO/IEC 9126-3 sử dụng hướng dẫn cho thị chọn Người phát triển phải mơ tả mơ hình dự báo cho thị chất lượng xác định; tức mối quan hệ thị thuộc tính chất lượng ngồi CHÚ THÍCH 8: Bộ thị khơng u cầu mối quan hệ chặt chẽ một-một với thuộc tính chất lượng tìm kiếm để đo Tuy nhiên, mối liên hệ thị thuộc tính chất lượng tương ứng phải xác định rõ ràng Để sử dụng quản lý hiệu số lượng thị phải nhỏ Ưu tiên phải cấp cho thị hỗ trợ từ số liệu thu thập từ trình có, quản lý cấu hình hay kiểm tra tích hợp Người phát triển phải thiết lập giá trị mục tiêu cho thuộc tính liên kết Người phát triển phải xác định điều kiện thực đo kiểm Điều có nghĩa xác nhận thuộc tính khác mà giá trị chúng ảnh hưởng đến việc đo kiểm xác định giá trị thuộc tính CHÚ THÍCH 9: Theo định nghĩa giá trị thuộc tính đo độc lập với thuộc tính khác A.2.4 Thiết kế đánh giá Phần đề xuất thiết kế đánh giá Đánh giá liên quan đến yêu cầu chất lượng ngoài, đánh giá liên quan đến giám sát quản lý chất lượng trong q trình phát triển CHÚ THÍCH: Tham chiếu tới kế hoạch đánh giá định lượng xem ISO/IEC 14598-2 Lập kế hoạch đánh giá Người phát triển phải xác định độ xác phép đo Bất mơ hình thống kê áp dụng phải xác minh, bao gồm yêu cầu số liệu đầu vào, chiến lược lấy mẫu, … CHÚ THÍCH: Nếu tổ chức phát triển định nghĩa mơ đun đánh giá hoạt động phải chứa mô đun đánh giá chọn Tài liệu mô tả mô đun đánh giá có ISO/IEC 14598-6 Lập kế hoạch đánh giá 29 TCVN xx1-x-5x1:201009 Người phát triển phải xác định công việc thu thập số liệu (các thủ tục) tạo lập để thu giá trị thực cho phép đo Điều bao gồm đặc tính lịch trình thời gian, trách nhiệm, việc sử dụng tập hợp số liệu công cụ phân tích Nếu việc đào tạo chun mơn cho nhân viên u cầu phải lập kế hoạch Người phát triển phải xác định độ xác phép đo Bất mơ hình thống kê áp dụng phải xác minh, bao gồm yêu cầu số liệu đầu vào, chiến lược lấy mẫu, … Người phát triển phải xác định kiện bất ngờ, đánh giá thêm, kết đo không thuyết phục mức báo động Người phát triển phải xem xét tác động vào hoạt động phát triển phần mềm Bộ đo gây thay đổi trình phát triển, cần thơng qua để thu thập số liệu CHÚ THÍCH 1: Các cơng cụ phần cứng phần mềm phải xác định, đánh giá, mua, làm thích nghi phát triển để ứng dụng đo kiểm Một đo làm thay đổi kết cấu tổ chức sử dụng để tạo hệ thống phần mềm Việc đảm bảo chất lượng / tổ chức quản lí tồn nhóm phát triển cần đào tạo sử dụng thủ tục đo kiểm tập hợp số liệu Nếu việc thực đo kiểm gây thay đổi q trình phát triển, nhóm phát triển cần đào tạo thay đổi CHÚ THÍCH 2: Nếu tổ chức phát triển xác định mơ đun đánh giá, hoạt động bao gồm việc chọn mô đun đánh giá Tài liệu mô đun đánh giá mô tả Tiêu chuẩn ISO/IEC 14598-6 A.2.5 Thực đánh giá Phần đề cập đến thu thập số liệu chất lượng định kế hoạch so sánh với giá trị mục tiêu (tiêu chuẩn đánh giá) Đánh giá Quản lí giám sát chất lượng thực trình phát triển Các giá trị thực cho thuộc tính thu thập Trong trường hợp nhận giá trị không mong muốn, ngun nhân phải phân tích, từ cho phép người phát triển hiểu ứng phó với vấn đề Người phát triển phải thu thập giá trị đo cho thuộc tính xác định tương ứng với hoạt động thu thập số liệu xác định Nếu yêu cầu chất lượng bị thay đổi, người phát triển phải xem xét lại đặc tính đánh giá (phụ lục A.3) thiết kế đánh giá (phụ lục A.4) Người phát triển phải có hành động cần thiết để đảm bảo chất lượng số liệu thu thập Các hoạt động phải, thích hợp, bao gồm công cụ tự động đảm bảo thu thập số liệu kiểm tra số liệu thủ tục thực người Người phát triển phải so sánh giá trị thực với giá trị mục tiêu chúng gán Người phát triển phải sử dụng thực thị xác định để ước lượng chất lượng sản phẩm cuối Kinh nghiệm từ dự án phát triển trước tổ chức với yêu cầu chất lượng tương tự phải đưa vào CHÚ THÍCH: Việc dự báo chất lượng độc lập thị hợp lệ Tổ chức phát triển cần phải thu thập giá trị thị giá trị đo cho loạt dự án để thu thị hợp lệ 30 TCVN xx1-x-5x1:201009 Người phát triển phải sử dụng giá trị thực để giám sát xu hướng nhằm xác minh rủi ro phát triển Người phát triển phải phân tích giá trị thực nhằm xác minh giá trị nằm giới hạn Các giá trị giới hạn thường vấn đề điều kiện khơng bình thường Giải thích giá trị ngồi giới hạn phải luôn cần thiết Trong vài trường hợp có lí tốt cho giá trị ngồi giới hạn Trong trường hợp vậy, khơng cần phải có hoạt động sửa chữa Các hoạt động không định trước phải thực cần thiết Đánh giá sản phẩm cuối Đánh giá sản phẩm phần mềm thực trình phát triển kết thúc Các giá trị thực cho thuộc tính ngồi thu thập CHÚ THÍCH 1: Nếu được, thành phần phần mềm đo trước q trình phát triển hồn tất Người phát triển phải thu thập giá trị đo thực cho thuộc tính ngồi xác định tương ứng với hoạt động thu thập số liệu xác định Nếu yêu cầu chất lượng bị thay đổi, người phát triển phải xem xét lại đặc tính đánh giá (phụ lục A.3) thiết kế đánh giá (phụ lục A.4) Người phát triển phải thực hoạt động cần thiết để đảm bảo chất lượng số liệu thu thập Các hoạt động phải, thích hợp, bao gồm công cụ tự động đảm bảo thu thập số liệu kiểm tra số liệu thủ tục thực người Người phát triển phải so sánh giá trị thực với giá trị mục tiêu (tiêu chuẩn đánh giá) CHÚ THÍCH 2: Q trình đánh giá mơ tả tiêu chuẩn hướng dẫn cho người phát triển Tiêu chuẩn ISO/IEC 14596-5 mơ tả q trình đánh giá độc lập Người phát triển phải tạo lập hoạt động đánh giá cho kết đánh giá Các giá trị thực phải tổng kết so sánh với giá trị khác thời gian giá nhằm hỗ trợ định kết trình phát triển (như cải tiến sản phẩm, kiểm tra lại yêu cầu, .) Người phát triển phải ghi chép tài liệu kết đánh giá A.2.6 Phản hồi tới tổ chức Phần đề cập đến kiểm tra phản hồi đánh giá chất lượng Người phát triển phải làm cho số liệu thu thập sẵn sàng cho tổ chức sử dụng dự án phát triển khác Người phát triển phải kiểm tra kết đánh giá tính tin cậy q trình đánh giá, thị tiêu chí áp dụng Phản hồi từ việc kiểm tra phải sử dụng để cải tiến q trình đánh giá mơ đun đánh giá Khi cần phải cải tiến mô đun đánh giá, thu thập số liệu cho thị thêm phải đưa vào, nhằm xác nhận chúng cho lần sử dụng sau CHÚ THÍCH: Kiểm tra phản hồi đánh giá chất lượng mô tả Tiêu chuẩn ISO/IEC 14598-2 31 TCVN xx1-x-5x1:201009 Phụ lụcHỤ LỤC B (Tham khảo) Danh mục đối chiếu tiêu chuẩn quốc tếANH MỤC ĐỐI CHIẾU CÁC TIÊU CHUẨN VIỆN DẪNQUỐC TẾ Bảng B.1: Đối chiếu tiêu chuẩn quốc tếviện dẫn Tiêu chuẩn quốc gia TCVN …-20097 Tiêu chuẩn quốc tếviện dẫn Sửa đổi, bổ sung Phạm vi áp dụng ISO-14598 phần Đưa quy trình khung cho đánh giá sản phẩm phần mềm Bỏ qua phần mối liên hệ ISO-9126 ISO-14598 Tài liệu viện dẫn Thuật ngữ ISO-14598 phần Chỉ đưa thuật ngữ dùng hướng dẫn đánh giá sản phẩm phần mềm Hướng dẫn đánh giá ISO-14598 Phần 4.1 Bước 1: Thiết lập yêu cầu đánh giá4.1 ISO-14598 Phần 1, mục Chấp thuận nguyên vẹn Chấp thuận nguyên vẹn Bước 1: Thiết lập yêu cầu đánh giá 4.2 Bước 2: Xác lập chế đánh giá4.2 Bước ISO-14598 Phần 1, mục Chấp thuận nguyên vẹn ISO-14598 Phần 1, mục Kết hợp mục phần mục phần thành 2: Xác lập chế đánh giá 4.3 Bước 3: Thiết kế kế hoạch đánh giá sản phẩm phần mềm4.3 Bước 3: Thiết lập kế hoạch ISO-14598 Phần 2, mục phần 4.3 tiêu chuẩn đánh giá sản phẩm phần mềm 4.4 Bước 4: Thực đánh giá4.4 Bước 4: ISO-14598 Phần 1, mục 10 Chấp thuận nguyên vẹn Thực đánh giá Phụ lụcHỤ LỤC A: ISO-14598 Phần 3, mục 5, mục 32 Chấp thuận nguyên vẹn TCVN xx1-x-5x1:201009 Danh mục tài liệu tham khảo [1] ISO 14598-1, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 [2] ISO 14598-2, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 [3] ISO 14598-3, Information Technology - Software Product Evaluation ISO/IEC JTC1/SC7 N1914 33 TCVN xx1-x-5x1:201009 34