XÁC ĐỊNH tập dữ LIỆU HUẤN LUYỆN PHÙ hợp NHẰM HIỆU CHỈNH mô HÌNH COCOMO

LỜI CẢM ƠN Viết lời cảm ơn dễ khối lƣợng tri thức, mối quan hệ, lòng biết ơn sức nặng tình cảm Thật vậy, trang giấy sợ tải hết tơi muốn cảm ơn, khơng nêu lên hết tên muốn nhắc đến, đặc biệt ngày 20/11 gần kề Để hoàn thành luận văn này, không thủ tục luận văn mà lời tri ân chân thành tơi đến: - TS Nguyễn Văn Vũ trực tiếp hƣớng dẫn, tận tình trợ giúp cho tơi suốt q trình triển khai nghiên cứu hoàn thành đề tài “Xác định tập liệu huấn luyện phù hợp nhằm hiệu chỉnh mơ hình COCOMO” - Q Thầy Cơ giảng dạy truyền đạt kiến thức bổ ích suốt q trình học tập Trƣờng Đại học Cơng nghệ Thơng tin, ĐHQG.HCM - Các Anh, Chị Phòng Đào tạo Sau Đại học ln nhiệt tình hỗ trợ tạo điều kiện thuận lợi để học tập nghiên cứu - Và Gia đình tơi, đặc biệt Chồng bên cạnh, quan tâm động viên lúc khó khăn để tơi vƣợt qua hồn thành khóa học Mặc dù có nhiều cố gắng để thực đề tài đƣợc hoàn chỉnh nhất, song buổi đầu làm quen với công việc nghiên cứu khoa học, tiếp cận với tài liệu tiếng nƣớc nhƣ hạn chế kiến thức kinh nghiệm nên tránh khỏi thiếu sót định Rất mong đóng góp, phê bình chân thành Q Thầy Cơ để đề tài đƣợc hoàn chỉnh Sau cùng, xin kính chúc ngƣời đƣợc dồi sức khỏe có nhiều niềm vui sống Chúc Trƣờng Đại học Công nghệ Thông tin, ĐHQG.HCM ngày phát triển Luận văn phần đƣợc tài trợ Quỹ Phát triển Khoa học Công nghệ Quốc gia NAFOSTED qua đề tài “Cải tiến COCOMO dựa Phân tích Xu hƣớng Năng suất Dự án Nhân tố ảnh hƣởng theo thời gian” mã số 02.032014.34 LỜI CAM ĐOAN Tôi xin cam đoan luận văn tơi thực dƣới hƣớng dẫn khoa học TS Nguyễn Văn Vũ, giảng viên Trƣờng Đại học Khoa học Tự nhiên TP.HCM Các số liệu kết nghiên cứu luận văn trung thực, tơi lập trình, phân tích, đánh giá Các thơng tin trích dẫn luận văn đƣợc rõ nguồn gốc Nếu sai, tơi xin chịu hồn tồn trách nhiệm TP.Hồ Chí Minh, tháng 11 năm 2015 Học viên Huỳnh Thị Phƣơng Thủy MỤC LỤC LỜI CẢM ƠN .1 LỜI CAM ĐOAN .2 MỤC LỤC DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BIỂU ĐỒ .7 MỞ ĐẦU .8 Chƣơng 1.1 TỔNG QUAN .10 Tình hình nghiên cứu 10 1.1.1 Tình hình nghiên cứu nƣớc 10 1.1.2 Tình hình nghiên cứu nƣớc 14 1.2 Tính khoa học tính đề tài 15 1.3 Mục tiêu nghiên cứu 16 1.4 Đối tƣợng phạm vi nghiên cứu .17 Chƣơng 2.1 KHẢO SÁT HIỆN TRẠNG 18 Các phƣơng pháp ƣớc lƣợng công thực phần mềm .18 2.1.1 Nhóm phƣơng pháp ƣớc lƣợng dựa vào chuyên gia .18 2.1.2 Nhóm phƣơng pháp ƣớc lƣợng dựa vào cơng thức 19 2.1.3 Nhóm phƣơng pháp ƣớc lƣợng máy học .19 2.2 Mơ hình ƣớc lƣợng công sức COCOMO II 20 2.2.1 Kích thƣớc phần mềm 21 2.2.2 Các yếu tố ảnh hƣởng 21 2.2.3 Số mũ E 22 2.2.4 Thành phần nhân EM 23 Chƣơng CÁCH TIẾP CẬN 24 3.1 Bộ liệu COCOMO 24 3.1.1 Nguồn gốc liệu COCOMO 24 3.1.2 Mô tả liệu: 25 3.2 Hiệu chỉnh COCOMO 27 3.3 Xác định tập huấn luyện để xây dựng mơ hình ƣớc lƣợng 31 3.3.1 Cửa sổ phân tập .31 3.3.2 Xác định tập huấn luyện không dùng cửa sổ phân tập 31 3.3.3 Xác định tập huấn luyện có sử dụng cửa sổ phân tập .32 3.4 Thực hiệu chỉnh A, B tập .35 3.5 Đánh giá độ xác mơ hình COCOMO tập liệu 39 3.5.1 Xác định độ đo 39 3.5.2 Thực so sánh đánh giá mơ hình COCOMO tập 41 Chƣơng KẾT QUẢ .43 4.1 Phân tập theo số năm: 43 4.1.1 So sánh phƣơng pháp ƣớc lƣợng .43 4.1.2 Chọn kích thƣớc cửa sổ (số năm) phù hợp cho năm .54 4.1.3 Chọn kích thƣớc cửa sổ (số năm) phù hợp cho toàn liệu 57 4.2 Phân tập theo số lƣợng dự án 58 4.2.1 So sánh phƣơng pháp ƣớc lƣợng .59 4.2.2 Chọn kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho năm 64 4.2.3 liệu Chọn kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho toàn .65 Chƣơng KẾT LUẬN HƢỚNG PHÁT TRIỂN 67 TÀI LIỆU THAM KHẢO 69 DANH MỤC CÁC BẢNG Bảng 1-1: So sánh mean MRE có khơng có dùng cửa sổ (dữ liệu ISBSG) 12 Bảng 2-1: Yếu tố chi phí COCOMO II .21 Bảng 2-2: Các giá trị SFi COCOMO II .22 Bảng 2-3: Các giá trị EMi COCOMO II 23 Bảng 3-1: Số liệu theo Quốc gia Loại dự án .24 Bảng 3-2: Số liệu dự án thực hiệu chỉnh tham số A, B 29 Bảng 3-3: Các cặp giá trị quan sát Xi , Yi 30 Bảng 3-4: So sánh MRE trƣớc sau hiệu chỉnh A,B .30 Bảng 3-5: Số liệu tập huấn luyện năm 2004, 2005 36 Bảng 3-6: Các cặp giá trị quan sát Xi , Yi 37 Bảng 3-7: Kết ƣớc lƣợng cho Tập kiểm tra Năm 2006 39 Bảng 3-8: Đánh giá kết ƣớc lƣợng cho tập kiểm tra Năm 2006 41 Bảng 4-1: So sánh MMRE.no, MMRE.yes (số năm ) MMRE.old 45 Bảng 4-2: So sánh PRED30.no, PRED30.yes (số năm), PRED30.old .47 Bảng 4-3:Kích thƣớc cửa sổ (số năm) phù hợp 55 Bảng 4-4: So sánh MMRE.no, MMRE.yes (theo số lƣợng dự án) MMRE.old 60 Bảng 4-5: Kích thƣớc cửa sổ (số lƣợng dự án) phù hợp 64 DANH MỤC CÁC HÌNH VẼ Hình 3-1: Mơ tả file liệu trƣớc xử lý .25 Hình 3-2: Các mức giá trị tham số RESL 26 Hình 3-3: Mơ tả file liệu sau xử lý .27 Hình 3-4: Số lƣợng dự án năm liệu COCOMO .27 Hình 3-5: Minh họa ƣớc lƣợng không sử dụng cửa sổ .32 Hình 3-6: Minh họa ƣớc lƣợng có sử dụng cửa sổ 32 Hình 3-7: Minh họa phân tập theo số năm 33 Hình 3-8: Minh họa phân tập theo số lƣợng dự án 35 Hình 4-1: Chia giai đoạn để phân tích 50 Hình 4-2: Chia nhóm dự án để phân tích 61 DANH MỤC CÁC BIỂU ĐỒ Biểu đồ 1-1: Chệnh lệch mức độ lỗi 13 Biểu đồ 4-1: MMRE.no, MMRE.yes (số năm), MMRE.old : 1996-2009 47 Biểu đồ 4-2: PRED30.no, PRED30.yes (số năm), PRED30.old : 1996-2009 49 Biểu đồ 4-3: MMRE.no, MMRE.yes (số năm), MMRE.old: 1987-1990 51 Biểu đồ 4-4: MMRE.no, MMRE.yes (số năm), MMRE.old: 1991-2000 52 Biểu đồ 4-5: MMRE.no, MMRE.yes (số năm), MMRE.old: 2001-2009 52 Biểu đồ 4-6: PRED30.no, PRED30.yes (số năm), PRED30.old: 1987-1990 53 Biểu đồ 4-7: PRED30.no, PRED30.yes (số năm), PRED30.old: 1991-2000 53 Biểu đồ 4-8: PRED30.no, PRED30.yes (số năm), PRED30.old: 2001-2009 54 Biểu đồ 4-9: Kích thƣớc cửa sổ (số năm) phù hợp cho năm .56 Biểu đồ 4-10: MMRE.yes theo năm (2001-2009) wsize khác 57 Biểu đồ 4-11: Kích thƣớc cửa sổ (số năm) phù hợp cho liệu 58 Biểu đồ 4-12: MMRE.no, MMRE.yes (số lƣợng dự án), MMRE.old : dự án 41-70 62 Biểu đồ 4-13: MMRE.no, MMRE.yes (số lƣợng dự án), MMRE.old : dự án 71-100 62 Biểu đồ 4-14: MMRE.no, MMRE.yes (số lƣợng dự án), MMRE.old : dự án 101-341 62 Biểu đồ 4-15:PRED.30.no, PRED.30.yes (số lƣợng dự án), PRED.30.old 63 Biểu đồ 4-16: Kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho năm .65 Biểu đồ 4-17: Kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho liệu dựa vào MMRE 66 Biểu đồ 4-18:Kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho liệu dựa vào PRED.30 .66 MỞ ĐẦU Ngành công nghệ phần mềm phát triển mạnh, với công cụ hỗ trợ kỹ thuật tiên tiến hơn, mơ hình phát triển phần mềm liên tục đời, kế thừa phát triển mơ hình cũ Cũng mà suất phần mềm ngày đƣợc nâng cao Việc ƣớc lƣợng chi phí thời gian phát triển phần mềm đòi hỏi phải có điều chỉnh lại để cải thiện độ xác Ƣớc lƣợng hay dự đốn trƣớc vấn đề ln ln cần thiết quan trọng Trong kinh doanh, ƣớc lƣợng để từ có định đầu tƣ phù hợp tiền bạc, thời gian, ngƣời, v.v… Tuy nhiên, ƣớc lƣợng cao hay thấp mức thực tế làm thiệt hại nhƣ khơng có đƣợc hợp đồng đấu thầu, có đƣợc hợp đồng nhƣng bị thua lỗ tài COCOMO mơ hình ƣớc lƣợng chi phí thời gian phát triển phần mềm Mơ hình Boehm ngƣời xây dựng vào năm 1981, kế phiên COCOMO II vào năm 2000 đƣợc tiếp tục mở rộng phát triển phiên COCOMO III Mơ hình ƣớc lƣợng COCOMO thu hút ý cộng đồng nghiên cứu đƣợc nhiều công ty áp dụng thực tế Mặc dù vậy, cải thiện mức độ xác ln tốn quan trọng đặt cho ngƣời nghiên cứu mong đợi nhà phát triển ngành công nghiệp phần mềm Đề tài này, nghiên cứu mức độ ảnh hƣởng từ liệu khác đƣợc rút trích theo thời gian số lƣợng dự án lên độ xác mơ hình COCOMO Qua đánh giá độ xác mơ hình COCOMO đƣợc hiệu chỉnh dựa liệu huấn luyện đƣợc rút trích thơng qua cửa sổ di động (moving window) Cửa sổ di động kỹ thuật di chuyển cửa sổ theo trục thời gian trục số lƣợng dự án với khoảng cách không đổi Mặc dù có số thách thức nhƣng chúng tơi khơng ngại tiến hành nghiên cứu Nếu độ xác mơ hình ƣớc lƣợng đƣợc cải thiện thành cơng, ngƣợc lại góp phần số liệu minh chứng nhằm khẳng định giá trị vốn có mơ hình ƣớc lƣợng COCOMO Các thách thức là: - Ƣớc lƣợng hay dự đốn trƣớc điều tốn khó, mức độ xác phụ thuộc vào nhiều yếu tố Ƣớc lƣợng phần mềm vậy, dựa vào liệu số nghiên cứu làm ảnh hƣởng đến độ xác ƣớc lƣợng - Càng khó khăn liệu mẫu không ngẫu nhiên đƣợc thu thập từ tổ chức lĩnh vực kinh doanh cụ thể Hơn nữa, đa phần tổ chức, công ty thƣờng không muốn chia sẻ liệu với cộng đồng cơng nghệ phần mềm - Từ liệu có sẵn, việc lựa chọn tập liệu thích hợp khơng phải dễ Các thuật tốn khác mang lại kết khác Cũng xảy tập khác có kích thƣớc lại cho kết Bên cạnh thách thức có thuận lợi thực đề tài, là: - Đề tài phần nhỏ nội dung cơng trình nghiên cứu TS Nguyễn Văn Vũ, với nhóm đồng từ Trƣờng ĐH KHTN TP.HCM Đây hội để chúng tơi có buổi thảo luận cho đề tài - COCOMO mơ hình ƣớc lƣợng phần mềm tiếng mà Thầy Nguyễn Văn Vũ, ngƣời trực tiếp hƣớng dẫn thực đề tài này, nghiên cứu ĐH Nam California tiếp tục nghiên cứu - Cuối nỗ lực thân ngƣời thực đề tài để hoàn thành tốt hết mức Chương Tổng quan Chƣơng TỔNG QUAN 1.1 Tình hình nghiên cứu Nghiên cứu ƣớc lƣợng chi phí phần mềm có lịch sử dài [4] Tuy nhiên, cơng trình tập trung nghiên cứu đến ảnh hƣởng miền liệu lên chi phí phần mềm Các mơ hình ƣớc lƣợng chi phí phát triển phần mềm thƣờng đƣợc xây dựng đƣợc đánh giá từ dự án khứ Câu hỏi quan trọng đƣợc đặt chọn dự án dùng làm liệu huấn luyện để xây dựng mơ hình Nên dùng toàn dự án khứ nên chọn tập dự án đó? Khoảng cách thời gian, tuổi dự án hay số lƣợng dự án yếu tố để chọn lựa dự án đƣợc dùng cho liệu huấn luyện để hiệu chỉnh mơ hình ƣớc lƣợng 1.1.1 Tình hình nghiên cứu ngồi nƣớc Hầu hết nghiên cứu ƣớc lƣợng công sức phần mềm không xem xét đến yếu tố thời gian lựa chọn dự án để huấn luyện kiểm tra Khi ƣớc lƣợng công sức cho dự án p sử dụng liệu huấn luyện tất dự án đƣợc hoàn thành trƣớc thời điểm dự án p bắt đầu Bốn cơng trình nghiên cứu gần nghiên cứu việc chia nhỏ liệu cách sử dụng cửa sổ di chuyển Với cách này, có dự án gần nhất, hoàn thành trƣớc thời điểm dự án p bắt đầu, đƣợc sử dụng nhƣ liệu huấn luyện Ba nghiên cứu (S1-S3) dƣới tìm thấy số chứng có lợi việc sử dụng cửa sổ Cả ba cơng trình xác định kích thƣớc cửa sổ nhƣ số cố định dự án gần Cơng trình S1 [6], Lokan Mandes nghiên cứu việc dùng moving windows liệu 228 dự án tổ chức độc lập, đƣợc lấy từ kho liệu ISBSG Bộ liệu huấn luyện đƣợc xác định N dự án hoàn thành gần Họ nhận thấy N (kích thƣớc cửa sổ) có giá trị lớn ảnh hƣởng tốt so với N có giá trị nhỏ Tốt N nên dƣới 75 dự án 10 Chương Kết Biểu đồ 4-9: Kích thước cửa sổ (số năm) phù hợp cho năm Số lượng dự án Kích thước cửa sổ 60 48 25 50 43 20 40 15 30 10 19 18 13 14 10 98 122 78 232 21 1818 20 14 13 Số lượng dự án Kích thước cửa sổ phù hợp 30 10 66 0 1970 1972 1974 1976 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 Năm Trục tung bên trái Biểu đồ 4-9 cho biết kích thƣớc cửa sổ tốt số năm phù hợp đƣợc chọn để rút trích dự án huấn luyện xây dựng mơ hình ƣớc lƣợng cho dự án năm Trục tung bên phải biểu đồ 4-9 cho biết số lƣợng dự án năm Từ biểu đồ 4-9, kích thƣớc dự án từ năm vào năm 1978 tăng lên 16 năm vào năm 1987 Trong khoảng thời gian 1972-1974 có dự án để khảo sát tƣơng đối năm khơng có dự án suốt năm liên tục từ 1980-1985 nên ƣớc lƣợng cho dự án năm 1987 phải cần huấn luyện gồm dự án nhiều năm hơn, nghĩa kích thƣớc cửa sổ phải lớn độ xác cao Đến năm 1987, 1988, 1989, bắt đầu có dự án trở lại, kích thƣớc cửa sổ nhỏ lại Tƣơng tự nhƣ vậy, kích thƣớc dự án tăng mạnh năm 1990, năm 1997, năm 2000 có chênh lêch số án năm 1989 năm 1990, năm 1996 năm 1997, năm 1999 năm 2000 Không phải kích thƣớc cửa sổ đƣợc chọn sử dụng tốt cho tất năm Với kích thƣớc cửa sổ phù hợp để ƣớc lƣợng cho dự án năm nhƣng lại không phù hợp để ƣớc lƣợng cho dự án năm khác Biểu đồ 4-9 cho thấy kích thƣớc cửa sổ mà cho kết ƣớc lƣợng tốt tăng mạnh số 56 Chương Kết năm giao năm có thƣa dự án với năm có nhiều dự án tƣơng đối đặn Số lƣợng dự án tƣơng đối đặn ổn định hay khơng phần thể tình hình phát triển công nghệ phần mềm giai đoạn Khi có ổn định kích thƣớc cửa sổ phù hợp đƣợc chọn nhỏ 10 năm Từ năm 2001-2009, phải công nghệ phần mềm giai đoạn phát triển nhanh Ƣớc lƣợng công sức phần mềm xác rút trích dự án hoàn thành gần nhất, tốt nên từ đến năm (Biểu đồ 4-10) Kết trả lời câu hỏi nghiên cứu RQ1 nêu phần mục tiêu nghiên cứu (mục 1.3): Độ xác mơ hình COCOMO cải thiện liệu huấn luyện rút trích từ dự án hoàn thành khoảng N năm trước Biểu đồ 4-9 cho thấy N tốt nên nhỏ 10 năm trừ năm có thay đổi đột ngột số lượng dự án năm 1987, 1990, 1997, 2000 2001-2009 1.2 2009 MMRE 1.0 2008 0.8 2007 0.6 2006 0.4 2005 0.2 2004 0.0 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 2003 Kích thước cửa sổ (số năm) 2002 Biểu đồ 4-10: MMRE.yes theo năm (2001-2009) wsize khác 4.1.3 Chọn kích thƣớc cửa sổ (số năm) phù hợp cho toàn liệu Nếu kết cho biết năm thực phân tập với kích thƣớc cửa sổ đƣợc kết tốt (thông qua số MMRE nhỏ năm) kết cho biết dùng kích thƣớc cửa sổ phù hợp cho toàn liệu từ năm 1970 đến năm 2009 Ứng với kích thƣớc cửa sổ, tính mức lỗi MMRE độ xác trung bình PRED.30 cho dự án từ năm 1970 đến năm 2009 57 Chương Kết Kết nghiên cứu thể qua biểu đồ sau: 1972-2009 MMRE MMRE.yes PRED30.yes 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.0 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Kích thước cửa sổ (số năm) Biểu đồ 4-11: Kích thước cửa sổ (số năm) phù hợp cho liệu Biểu đồ 4-11 mức độ lỗi nhỏ kích thƣớc cửa sổ năm có xu hƣớng tăng kích thƣớc cửa sổ tăng Độ xác ƣớc lƣợng giảm nhanh kích thƣớc cửa sổ từ đến 10 năm so với từ 10 đến 20 năm Điều có nghĩa độ xác ƣớc lƣợng khơng thay đổi nhiều chọn kích thƣớc cửa sổ khoảng 10 đến 20 năm Kích thƣớc lớn (lớn 20 năm ) không làm tăng độ xác mơ hình ƣớc lƣợng Kết nhằm trả lời câu hỏi nghiên cứu RQ1 nêu phần mục tiêu nghiên cứu (mục 1.3): Độ xác mơ hình COCOMO cải thiện liệu huấn luyện rút trích từ dự án hồn thành khoảng N năm trước Tính trung bình cho tồn liệu, N năm tốt 4.2 Phân tập theo số lƣợng dự án Chúng thực bƣớc sau để hiệu chỉnh phân tích mơ hình theo phƣơng pháp phân tập theo số lƣợng dự án: B1.1: Chọn kích thƣớc cửa sổ wsize = 10 dự án B1.2: Thực kiểm tra tất dự án có ID từ 11 đến 341 B2.1: Chọn kích thƣớc cửa sổ wsize = 15 dự án B2.2: Thực kiểm tra tất dự án có ID từ 16 đến 341 58 Chương Kết B3.1: Chọn kích thƣớc cửa sổ wsize = 20 dự án B3.2: Thực kiểm tra tất dự án có ID từ 21 đến 341 Lặp lại window size = 100 dự án 4.2.1 So sánh phƣơng pháp ƣớc lƣợng Kết nhằm trả lời việc áp dụng cửa sổ phân tập theo số lƣợng dự án ƣớc lƣợng công sức phần mềm có mang lại độ xác cao hay không so với việc không áp dụng cửa sổ phân tập áp dụng công thức COCOMO II với giá trị A, B không đổi, nghĩa khẳng định độ xác mơ hình COCOMO cải thiện tập huấn luyện rút trích từ K dự án hồn thành trước đó, so với tập huấn luyện toàn dự án hồn thành trước Ngồi dùng phƣơng pháp cửa sổ phân tập theo số lƣợng dự án chúng tơi khảo sát khoảng kích thƣớc cửa sổ làm tăng độ xác mơ hình ƣớc lƣợng nhằm trả lời câu hỏi nghiên cứu RQ2: Độ xác mơ hình COCOMO cải thiện hay khơng liệu huấn luyện rút trích từ K dự án hồn thành trước Giá trị K nằm khoảng nào? Ứng với window size, tính mức lỗi trung bình MMRE độ xác trung bình PRED.30 tất dự án từ số 11 đến số 341 đƣợc xếp theo năm hoàn thành nhằm so sánh kết thu đƣợc từ phƣơng pháp ƣớc lƣợng: Khi không sử dụng cửa sổ phân tập : - Trung bình lỗi dự án MMRE.no, - Tỉ lệ dự án có mức lỗi nhỏ 0.3 PRED.30.no Khi có sử dụng cửa sổ phân tập - Trung bình lỗi dự án MMRE.yes, - Tỉ lệ dự án có mức lỗi nhỏ 0.3 PRED.30.yes Khi áp dụng công thức COCOMO II với giá trị tham số A, B khơng đổi - Trung bình lỗi dự án MMRE.old, - Tỉ lệ dự án có mức lỗi nhỏ 0.3 PRED.30.old a Dựa giá trị lỗi trung bình MMRE 59 Chương Kết Chúng lập bảng để so sánh mức lỗi trung bình tất dự án kiểm tra MMRE.no, MMRE.yes MMRE.old kích thƣớc cửa sổ (kích thƣớc theo số lƣợng dự án) cách tính chệnh lệch (1) MMRE.yes MMRE.no; chênh lệch (2) MMRE.yes MMRE.old Mức chênh lệch đƣợc xác định có hay khơng có ý nghĩa thống kê dựa vào giá trị P-value (1), P-value (2) thông qua phép kiểm định Wilcoxon Chênh lệch đƣợc cho có ý nghĩa thống kê Pvalue nhỏ 0.05 Bảng 4-4: So sánh MMRE.no, MMRE.yes (theo số lượng dự án) MMRE.old wsize (số lượng dự án) 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Số lượng dự án kiểm tra 331 326 321 316 311 306 301 296 291 286 281 276 271 266 261 256 251 246 241 MMRE no 0.5620 0.5674 0.5703 0.5755 0.5814 0.5885 0.5919 0.6007 0.5956 0.5960 0.6001 0.5982 0.6061 0.6126 0.6003 0.6037 0.5751 0.5796 0.5810 MMRE yes 0.5346 0.5056 0.5023 0.5181 0.5154 0.5191 0.5221 0.5331 0.5261 0.5342 0.5445 0.5372 0.5528 0.5625 0.5506 0.5525 0.5279 0.5361 0.5368 MMRE old 0.6109 0.6179 0.6239 0.6308 0.6377 0.6464 0.6510 0.6612 0.6590 0.6604 0.6657 0.6637 0.6735 0.6812 0.6697 0.6734 0.6422 0.6483 0.6510 Chênh lêch (1) Chênh lêch (2) P-value (1) P-value (2) -0.0274 -0.0618 -0.0679 -0.0574 -0.0661 -0.0694 -0.0697 -0.0675 -0.0695 -0.0618 -0.0556 -0.0609 -0.0533 -0.0502 -0.0498 -0.0511 -0.0471 -0.0435 -0.0442 -0.0763 -0.1123 -0.1215 -0.1126 -0.1223 -0.1273 -0.1289 -0.1281 -0.1329 -0.1262 -0.1213 -0.1265 -0.1207 -0.1187 -0.1191 -0.1209 -0.1143 -0.1122 -0.1143 0.192300 0.053470 0.005286 0.017080 0.002792 0.001929 0.001247 0.001139 0.000699 0.004678 0.005855 0.001584 0.008504 0.013410 0.020170 0.004533 0.006168 0.032240 0.011850 0.112500 0.021880 0.001559 0.006736 0.003285 0.001655 0.002228 0.001356 0.000297 0.000951 0.000580 0.000195 0.000132 0.000090 0.000059 0.000042 0.000094 0.000080 0.000040 Trong Bảng 4-4, chêch lệch (1) chênh lệch (2) mang dấu âm, nghĩa MMRE.yes nhỏ MMRE.no MMRE.yes nhỏ MMRE.old Sự chênh lệch có ý nghĩa thống kê p-value (1) p-value (2) có giá trị nhỏ 0.05 Bảng 4-4 phƣơng pháp ƣớc lƣợng có áp dụng cửa sổ phân tập theo số lƣợng dự án có mức lỗi trung bình thấp so với ƣớc lƣợng khơng có áp dụng 60 Chương Kết cửa sổ phân tập ƣớc lƣợng sử dụng công thức COCOMO II với số A, B không đổi Câu hỏi nghiên cứu RQ2 đƣợc trả lời: độ xác mơ hình COCOMO cải thiện tập huấn luyện rút trích từ K dự án hồn thành trước đó, so với tập huấn luyện toàn dự án hồn thành trước Bên cạnh việc so sánh đánh giá độ xác mơ hình COCOMO dựa giá trị lỗi trung bình tồn liệu, thực tƣơng tự nhóm dự án: Nhóm gồm dự án 41-70, nhóm gồm dự án 71-100, nhóm gồm dự án 101-341 nhằm so sánh kết thu đƣợc từ phƣơng pháp ƣớc lƣợng không sử dụng window, có sử dụng window áp dụng cơng thức COCOMO II với giá trị A, B không đổi Việc chia nhóm dự án nhƣ Hình 4-2 nhằm đảm bảo so sánh phạm vi dự án kiểm tra, khác phƣơng pháp phân tập liệu huấn luyện Hình 4-2: Chia nhóm dự án để phân tích Kết tính tốn đƣợc thể qua biểu đồ sau: 61 Chương Kết Dự án: 41-70 MMRE.no MMRE.yes MMRE.old MMRE 0.50 0.45 0.40 0.35 10 15 20 25 30 35 Kích thước cửa sổ (số lượng dự án) 40 Biểu đồ 4-12: MMRE.no, MMRE.yes (số lượng dự án), MMRE.old : dự án 41-70 Dự án: 71-100 MMRE MMRE.no MMRE.yes MMRE.old 0.90 0.85 0.80 0.75 0.70 0.65 0.60 10 15 20 25 30 35 40 45 50 55 60 65 70 Kích thước cửa sổ (số lượng dự án) Biểu đồ 4-13: MMRE.no, MMRE.yes (số lượng dự án), MMRE.old : dự án 71-100 Dự án: 101-341 MMRE MMRE.no MMRE.yes MMRE.old 0.70 0.65 0.60 0.55 0.50 0.45 0.40 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Kích thước cửa sổ (số lượng dự án) Biểu đồ 4-14: MMRE.no, MMRE.yes (số lượng dự án), MMRE.old : dự án 101-341 Các biểu đồ 4-12, 4-13, 4-14 cho thấy đƣờng biểu diễn MMRE.yes nằm dƣới so với đƣờng biểu diễn MMRE.no MMRE.old Điều chứng tỏ việc áp dụng cửa sổ phân tập ƣớc lƣợng làm giảm mức lỗi so với không sử dụng cửa sổ phân tập áp dụng theo công thức với tham số A, B xác định không 62 Chương Kết đổi Khi xem xét nhóm cho độ xác mơ hình COCOMO cải thiện tập huấn luyện rút trích từ K dự án hồn thành trước đó, so với tập huấn luyện tồn dự án hồn thành trước Ngồi ra: Biểu đồ 4-12 cho biết giá trị MMRE.yes giảm kích thƣớc cửa sổ tăng từ 10 đến 15 dự án, sau tăng lên ổn định kích thƣớc cửa sổ tăng Biểu đồ 4-13 cho biết giá trị MMRE.yes giảm kích thƣớc cửa sổ tăng từ 20 đến 30 dự án, sau ổn định kích thƣớc cửa sổ tăng Biểu đồ 4-14 cho biết giá trị MMRE.yes giảm kích thƣớc cửa sổ tăng từ 10 đến 20 dự án, sau ổn định kích thƣớc cửa sổ tăng Nhìn chung, biểu đồ 4-12, 4-13, 4-14 chứng để chúng tơi trả lời câu hỏi nghiên cứu RQ2: Độ xác mơ hình COCOMO đƣợc cải thiện liệu huấn luyện đƣợc rút trích từ K dự án hồn thành trƣớc K tốt 10 đến 30 dự án Độ xác mơ hình COCOMO hầu nhƣ khơng cải thiện thêm số lƣợng dự án nhiều 30 Hai đƣờng biểu diễn MMRE.no MMRE.old song song song song với trục hồnh kích thƣớc cửa sổ khác không làm thay đổi kết hai phƣơng pháp ƣớc lƣợng không sử dụng window ƣớc lƣợng theo công thức b Dựa tỉ lệ số dự án ƣớc lƣợng có mức lỗi dƣới 30% PRED30 PRED30.no PRED30.yes PRED30.old 0.54 0.52 0.5 0.48 0.46 0.44 0.42 0.4 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Kích thước cửa sổ (số lượng dự án) Biểu đồ 4-15:PRED.30.no, PRED.30.yes (số lượng dự án), PRED.30.old 63 Chương Kết Đối với phân tập theo số lƣợng dự án, độ xác (PRED.30) mơ hình COCOMO cải thiện tập huấn luyện rút trích từ K >=15 dự án hồn thành trước đó, so với tập liệu huấn luyện tồn dự án hồn thành trước (Biểu đồ 4-15: đƣờng biểu diễn PRED.30.yes nằm đƣờng biểu diễn PRED.30.no với window sizes >=15) 4.2.2 Chọn kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho năm Bảng 4-5 liệt kê giá trị MMRE nhỏ nhất, tƣơng ứng với kích thƣớc cửa sổ số lƣợng dự án cho năm từ 1970 đến 2009 Kích thƣớc cửa sổ cho giá trị MMRE thấp thay đổi theo năm, với giá trị nhỏ 10 dự án lớn 90 dự án Giai đoạn từ 1980 đến 1986 khơng có dự án tập liệu Bảng 4-5: Kích thước cửa sổ (số lượng dự án) phù hợp Năm 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 MMRE nhỏ 0.37550 0.03479 26499 20062 07358 32843 Kích thước cửa sổ 10 10 10 20 40 40 31005 18635 56939 33699 08454 21236 38165 82564 54574 75018 47027 19406 13704 43408 61244 50 50 20 15 65 45 35 30 40 90 15 10 65 10 20 64 Số lượng dự án 14 khơng có dự án khơng có dự án khơng có dự án khơng có dự án khơng có dự án khơng có dự án 10 18 13 48 19 43 Chương Kết 2001 2002 2003 2004 2005 2006 2007 2008 2009 83541 51279 31964 32429 54672 27669 53614 65639 10119 50 65 85 15 20 25 45 40 10 18 18 14 21 13 6 Kích thước phù hợp Kích thước cửa sổ phù hợp Linear (Kích thước phù hợp nhất) 100 80 60 40 20 Năm Biểu đồ 4-16: Kích thước cửa sổ (số lượng dự án) phù hợp cho năm Với phƣơng pháp phân tập theo số lƣợng dự án, cửa sổ có số lƣợng dự án đƣợc xác định cụ thể cố định (fixed-size windows) Biểu đồ 4-16 cho thấy kích thƣớc cửa sổ phù hợp cho năm dao động, tăng lên giảm xuống sau chu kỳ từ đến năm Kích thƣớc cửa sổ xuống thấp khoảng từ 10 đến 25 dự án, tăng cao khoảng từ 40 đến 90 dự án Chúng tơi cho rằng, có nhiều yếu tố khác theo thời gian tác động lên độ xác mơ hình ƣớc lƣợng, yếu tố cơng nghiệp 4.2.3 Chọn kích thƣớc cửa sổ (số lƣợng dự án) phù hợp cho toàn liệu Ứng với kích thƣớc cửa sổ, tính mức lỗi MMRE độ xác trung bình PRED.30 cho dự án 11 đến 341 Kết nhƣ sau: 65 Chương Kết MMRE.yes (Dự án: 11 - 341) MMRE.yes MMRE.yes 0.60 0.55 0.50 0.45 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Kích thước cửa sổ (số dự án) Biểu đồ 4-17: Kích thước cửa sổ (số lượng dự án) phù hợp cho liệu dựa vào MMRE Biểu đồ 4-17: MMRE giảm nhanh wsize từ 10 -20 dự án, không đổi thay đổi khoảng kích thƣớc 25-50 dự án, sau tăng nhẹ theo kích thƣớc cửa sổ, đến kích thƣớc 75 dự án có khuynh hƣớng giảm xuống kích thƣớc 90 dự án PRED.30.yes (Dự án: 11 - 341) PRED30.yes 0.54 PRED.30.yes 0.52 0.50 0.48 0.46 0.44 0.42 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 Kích thước cửa sổ (số dự án) Biểu đồ 4-18:Kích thước cửa sổ (số lượng dự án) phù hợp cho liệu dựa vào PRED.30 Tỉ lệ dự án có mức lỗi dƣới 0.3 thơng qua đƣờng biểu diễn PRED.30 biểu đồ 4-18 kích thƣớc cửa sổ tốt khoảng 15 đến 35 dự án 66 Chương Kết luận Hướng phát triển Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Việc hiệu chỉnh mơ hình COCOMO thơng qua việc xác định số A, B công thức COCOMO II tập liệu huấn luyện phù hơp kỹ thuật cửa sổ phân tập, làm tăng độ xác so với mơ hình COCOMO tổng quát Kích thƣớc cửa sổ số năm hay số lƣợng dự án cho mức độ lỗi nhỏ so với ƣớc lƣợng không áp dụng cửa sổ phân tập Điều khẳng định độ xác mơ hình COCOMO đƣợc cải thiện liệu huấn luyện đƣợc rút trích từ K dự án hồn thành trƣớc (RQ1), đƣợc rút trích từ dự án hồn thành khoảng N năm trƣớc (RQ2) Yếu tố thời gian nên đƣợc xem xét để chọn K, N cho phù hợp Ở giai đoạn, số lƣợng dự án khác (phản ánh thực tiễn phát triển công nghệ phần mềm) nên chọn K khác nhau, N khác - Khi có ổn định tƣơng đối số lƣợng dự án, nghĩa số lƣợng dự án năm giai đoạn tƣơng đối đồng N tốt nên đƣợc chọn nhỏ 10 năm Mặt khác N nên nhỏ năm ƣớc lƣợng dự án giai đoạn mà công nghệ phần mềm phát triển mạnh, có thay đổi nhanh chóng nhƣ năm từ sau năm 2000 (RQ1) - Nếu liệu huấn luyện đƣợc rút trích từ K dự án hồn thành trƣớc đó, thực nghiệm cho thấy K phù hợp nên từ 15 đến 20 dự án (RQ2) Trái ngƣợc với quan niệm phổ biến, kết cho thấy khơng phải ln ln có lợi để đƣa vào tập huấn luyện nhiều dự án, nghĩa tăng kích thƣớc cửa sổ lên nhiều năm nhiều dự án Thực nghiệm cho thấy độ xác mơ hình COCOMO khơng đƣợc cải thiện huấn luyện đƣợc rút trích từ dự án hoàn thành từ 10 đến 20 năm số dự án 20 (RQ1, RQ2) Ở góc nhìn khác, xem xét độ xác mơ hình ƣớc lƣợng thơng qua tỉ lệ dự án đƣợc ƣớc lƣợng với mức lỗi dƣới 30%, gọi độ xác PRED.30 thực nghiệm cho thấy PRED.30 mơ hình ƣớc lƣợng COCOMO đƣợc cải thiện có áp dụng cửa sổ phân tập theo số lƣợng dự án, tức 67 Chương Kết luận Hướng phát triển liệu huấn luyện đƣợc rút trích từ 15 dự án hồn thành trƣớc (RQ2) Mặt khác, độ xác PRED.30 mơ hình ƣớc lƣợng COCOMO đƣợc cải thiện có áp dụng cửa sổ phân tập theo số năm, tức liệu huấn luyện đƣợc rút trích từ dự án hồn thành khoảng N năm trƣớc (RQ1) N nên đƣợc chọn khác giai đoạn, chẳng hạn N khoảng 10 đến 12 năm dự án năm 1987-1990 Các dự án năm 1996-2009, N nên chọn nhỏ năm Tóm lại, kết đề tài đƣa chứng thực nghiệm cho việc xác định kích thƣớc cửa sổ, tạo tập phù hợp dùng làm liệu huấn luyện kiểm tra Các mơ hình thu đƣợc cung cấp ƣớc lƣợng xác mơ hình COCOMO tổng qt Các cơng ty phân mềm nói chung cơng ty phần mềm Việt Nam nói riêng sử dụng kết đề tài để tham chiếu lựa chọn liệu huấn luyện nhằm thu đƣợc kết ƣớc lƣợng tốt Chúng gửi tham luận đến Diễn đàn quốc tế Mơ hình ƣớc lƣợng phần mềm COCOMO GS Barry W Boehm, cha đẻ mơ hình COCOMO thay mặt chúng tơi trình bày tham luận vào ngày 17/11/2015 vừa qua Hƣớng phát triển đề tài: Kết đề tài đƣa kích thƣớc cửa sổ phù hợp để ƣớc lƣợng cho dự án giai đoạn, năm (trong khứ) Hƣớng nghiên cứu xem xét đƣa thêm vào mơ hình COCOMO yếu tố thời gian t nhƣ yếu tố ảnh hƣởng đến công sức ƣớc lƣợng phần mềm Mỗi giá trị t phản ánh thực tiễn công nghiệp phần mềm, tƣơng ứng với giá trị t chọn kích thƣớc cửa sổ phù hợp để ƣớc lƣợng xác cho dự án tƣơng lai 68 Tài liệu tham khảo TÀI LIỆU THAM KHẢO [1] Albrecht, Allan J., and John E Gaffney Jr "Software function, source lines of code, and development effort prediction: a software science validation." Software Engineering, IEEE Transactions on (1983): 639-648 [2] Amasaki, S , Takahara Y , Yokogawa, T (2011), “Performance evaluation of windowing approach on effort estimation by analogy”, IWSM/Mensura’11, 188– 195 [3] Amasaki, S , Lokan, C (2012), “The effects of moving windows to software estimation: comparative study on linear regression and estimation by analogy”, IWSM/Mensura’12 [4] Jorgensen, M , Shepperd, M J (2007), “A systematic review of software development cost estimation studies”, IEEE Trans Software Eng 33 (1) 33–53 [5] Lefley, M , Shepperd, M J (2003), “Using genetic programming to improve software effort estimation based on general data sets”, GECCO, 2477–2487 [6] Lokan, C , Mendes, E (2009), “Applying moving windows to software effort estimation”, Proceedings of the 2009 3rd International Symposium on Empirical Software Engineering and Measurement, IEEE Computer Society, 111–122 [7] Lokan, C , Mendes, E (2012), “ ”, K R P H Leung, P Muenchaisri (Eds ), APSEC, IEEE, 818–827 [8] Lokan, C and Mendes E (2014), “Investigating the use of duration-based moving windows to improve software effort prediction: A replicated study”, Information and Software Technology [9] MacDonell, S G , Shepperd, M (2010), “Data accumulation and software effort prediction”, Proceedings of the 2010 ACM IEEE International Symposium on Empirical Software Engineering and Measurement, ACM, New York, NY, USA, 31:1–31:4 69 Tài liệu tham khảo [10] Nguyen, V , Huang L , and Boehm, B (2011), “An analysis of trends in productivity and cost drivers over years”, Proceedings of the 7th International Conference on Predictive Models in Software Engineering [11] Park (1992), “Software Size Measurement: A Framework for Counting Source Statements”, SEI [12] Sentas, P , Angelis, L , Stamelos, I , Bleris, G L (2005), “Software productivity and effort prediction with ordinal regression”, Information & Software Technology 47(1), 17–29 ……………………………………………………………………………………… [13] Barry W Boehm, Chris Abts, A Winsor Brown, Sunita Chlani, Bradfod K Clark, Ellis Horowitz, Ray Madachy Donald Rifer, Bert Steece (2000), Software Cost Estimation with COCOMO II, Prentice Hall PTR ……………………………………………………………………………………… [14] http://ebook.net.vn/ebook/uoc-luong-du-an-tren-co-so-cac-ca-su-dung-6561/, ngày 10/11/2015 [15] http://khotailieu.com/luan-van-do-an-bao-cao/tong-hop/mot-so-phuong-phapxay-dung-mo-hinh-uoc-luong-cong-thuc-hien-phan-mem-bang-lap-trinh-ditruyen.html, ngày 10/11/2015 ISBSG: International Software Benchmarking Standards Group Sách Software Cost Estimation With COCOMO II 70 ... nhƣng giữ cấu trúc mơ hình Chúng tơi hiệu chỉnh mơ hình COCOMO tập liệu khác để huấn luyện mô hình xác định số mới, cụ thể số A, B công thức COCOMO II Các tập đƣợc xác định kỹ thuật di chuyển... Cửa sổ phân tập .31 3.3.2 Xác định tập huấn luyện không dùng cửa sổ phân tập 31 3.3.3 Xác định tập huấn luyện có sử dụng cửa sổ phân tập .32 3.4 Thực hiệu chỉnh A, B tập .35... yếu tố thời gian phân chia liệu thành tập liệu huấn luyện tập liệu kiểm tra để so sánh mơ hình ƣớc lƣợng phần mềm Lokan Mendes so sánh mơ hình mà tập liệu huấn luyện tập liệu kiểm tra đƣợc chọn