Nghiên cứu này đánh giá việc áp dụng các thuật toán học có giám sát phổ biến hiện nay vào dự đoán lỗi các phần mềm Java. Tiến hành thử nghiệm với 07 thuật toán phổ biến trên tập dữ liệu tera-Promise, kết quả cho thấy, có hai thuật toán hiệu quả nhất là mạng neuron nhân tạo nhiều lớp (đối với bài toán dự đoán lỗi hướng đối tượng) và Naïve Bayes (đối với bài toán dự đoán lỗi hướng phương thức).
204 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” Đánh giá hiệu kỹ thuật học máy việc dự đoán lỗi cho phần mềm Java Trần Duy Hùng1, Lê Thị Mỹ Hạnh1 Trường Đại học Bách Khoa, Đại học Đà Nẵng Tóm tắt Dự đốn lỗi phần mềm hoạt động vô quan trọng, giúp cho nhà phát triển phát kịp thời lỗi bị bỏ sót q trình kiểm thử phần mềm, làm tăng chất lượng phần mềm, đồng thời giảm rủi ro phát triển sản phẩm Ở nghiên cứu này, chúng tơi đánh giá việc áp dụng thuật tốn học có giám sát phổ biến vào dự đốn lỗi phần mềm Java Chúng tơi tiến hành thử nghiệm với 07 thuật toán phổ biến tập liệu tera-Promise, kết cho thấy, có hai thuật toán hiệu mạng neuron nhân tạo nhiều lớp (đối với toán dự đoán lỗi hướng đối tượng) Nạve Bayes (đối với tốn dự đốn lỗi hướng phương thức) Những kết bước đầu cho nghiên cứu ứng dụng phương pháp học máy vào toán dự đoán lỗi phần mềm Java Từ khóa: Học có giám sát, dự đốn lỗi phần mềm, độ đo phần mềm, Java Giới thiệu Phầm mềm thành phần thiếu lĩnh vực sống: từ giáo dục y tế, từ kinh tế quốc phịng,… có góp mặt phần mềm Nhu cầu sử dụng ngày tăng khiến cho dự án phần mềm ngày trở nên phức tạp Dự án lớn việc kiểm thử phần mềm tốn phức tạp, nguy bỏ sót lỗi nghiêm trọng trình kiểm thử ngày cao tổn thất gây lỗi phần mềm ngày trở nên nghiêm trọng Đảm bảo chất lượng sản phẩm đảm bảo sản phẩm phần mềm đến tay khách hàng khơng cịn lỗi, u cầu khách hàng thỏa mãn, tối ưu nguồn lực thực dự án Do việc kiểm tra để phát lỗi nên thực xuyên suốt trình thực dự án phần mềm Phát lỗi sớm nguồn lực rủi ro dự án phần mềm giảm Trên thực tế công ty phần mềm thường chờ đến kết thúc giai đoạn lập trình tiến hành kiểm tra lỗi chương trinh, lỗi nghiêm trọng dự án phát muộn, tốn nhiều nguồn lực để quay lại thực lập trình từ đầu Việc kiểm tra chương trình giai đoạn lập trình giúp phát sai sót kịp thời: vấn đề tiềm ẩn, lỗi thời gian thực sửa lỗi từ ý tưởng thiết kế trước đóng gói bàn giao tồn chương trình cho nhóm kiểm thử thực Để giúp trình sửa lỗi thực hiệu quả, người quản lý dự án cần có thơng tin xác tốt khả có lỗi thành phần cụ thể hệ thống Mặc dù biết xác thành phần có lỗi vấn đề khó, số nghiên cứu gần (1), (2), (3), (4) cho thấy, dựa thơng tin hệ thống q trình phát triển phần mềm, ta dự đốn với độ xác định khả có lỗi hay số lượng lỗi thành phần hệ thống phần mềm xây dựng Trần Duy Hùng, Lê Thị Mỹ Hạnh 205 Có nhiều phương pháp cách tiếp cận khác việc dự đoán lỗi phần mềm, Naïve Bayes (1), rừng ngẫu nhiên (Random Forest) (2), máy véc-tơ hỗ trợ SVM (3) mạng nơ-ron nhân tạo ANN (4), Hầu hết tất nghiên cứu dự đoán lỗi phần mềm sử dụng độ đo liệu lỗi phiên phần mềm trước để xây dựng mơ hình dự đoán lỗi, gọi cách tiếp cận học có giám sát Để xây dựng mơ hình dự đốn lỗi phần mềm nghiên cứu sử dụng kỹ thuật học máy để dự đoán cách sử dụng phép đo cấu trúc mã nguồn lớp, phương thức, gọi đặc trưng phần mềm Những đặc trưng trích xuất việc phân tích mã nguồn chương trình sở để đánh giá độ phức tạp phần mềm Các phân lớp học máy có giám sát bao gồm 02 giai đọan: giai đoạn huấn luyện giai đoạn kiểm tra; kết giai đoạn huấn luyện mơ hình áp dụng cho liệu kiểm tra để thực vài dự đốn (5) Có vài cách tiếp cận khác phân cụm, dùng khơng có sẵn liệu trước; phương pháp gọi cách tiếp cận học không giám sát Trong nghiên cứu này, bước đầu phân tích dự đốn lỗi cho phần mềm Java sử dụng kỹ thuật học máy có giám sát đánh giá hiệu kỹ thuật toán dự đoán lỗi dựa vào đặc trưng mã nguồn phần mềm Thực nghiệm tiến hành 02 tập liệu NASA với kích thước tập đặc trưng khác Phần nghiên cứu trình bày nội dung sau: Phần trình bày tổng quan dự đốn lỗi dựa vào đặc trưng mã nguồn phần mềm Phần trình bày quy trình huấn luyện mơ hình dự đoán lỗi phần mềm việc áp dụng thuật toán học máy vào toán độ đo đánh giá hiệu thuật toán Phần kết thực nghiệm phần cuối kết luận Dự đoán lỗi dựa vào đặc trưng mã nguồn phần mềm Dự đoán lỗi phần mềm phương pháp đánh giá thành phần hệ thống phần mềm xác định thành phần có khả có lỗi Việc dự đốn lỗi vị trí lỗi, lỗi thành phần phần mềm đơn giản thành phần có khả có lỗi, thành phần chứa nhiều lỗi, thành phần chưa lỗi Các đặc trưng mã nguồn đóng vai trị quan trọng để xây dựng mơ hình dự đốn lỗi trích xuất trực tiếp từ mã nguồn chương trình Mã nguồn phức tạp phần mềm có khả tồn nhiều lỗi Để đo độ phức tạp mã nguồn, nhà nghiên cứu đề xuất nhiều phép đo đặc trưng mã nguồn LOC (Line of Code) - phép đo số dịng mã, phép đo kích thước mã nguồn nhằm xác định chiều dài, số lượng, độ lớn tổng thể sản phẩm Akiyama (6) cho độ dài mã nguồn lớn chương trình phức tạp nguy lỗi cao Vì Akiyama sử dụng độ đo để dự đoán lỗi phần mềm Độ đo Akiyama sử dụng nhiều nghiên cứu xây dựng mơ hình dự đoán khác (7) Tuy nhiên, độ đo Akiyama cịn đơn giản, khơng mơ tả đươc xác độ phức tạp phần mềm Vì vậy, sau Akiyma, Halstead đề xuất số phép đo độ phức tạp sử dụng toán tử, toán hạng (8) Theo Halstead, phần mềm phức tạp số tốn tử, toán hạng lớn Các phép đo đề xuất bao gồm từ vựng chương trình, chiều dài, kích thước, nỗ lực thời gian (8) phép đo liên quan đến kích thước số dịng mã McCabe (9) đề xuất phép đo chu trình để biểu diễn độ phức tạp phần mềm Các phép đo McCabe tính số nút, cung thành phần liên kết đồ thị luồng điều khiển mã nguồn Độ đo Halstead McCabe 206 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” sử dụng mơ hình dự đoán (7) Các độ đo Halstead McCabe độ đo LOC Akiyama xếp vào nhóm độ đo hướng phương thức Từ ngơn ngữ lập trình hướng đối tượng trở nên phổ biến, độ đo hướng đối tượng đề xuất tiêu biểu phép đo Chidamber-Kemerer (CK) (10) Các phép đo thiết kế từ đặc trưng hướng đối tượng tính ghép nối (coupling), tính kết dính (cohension), tính kế thừa (inheritance), tính che dấu liệu Các phép đo CK bao gồm số phương thức có trọng số lớp, độ sâu thừa kế, số con, tính liên kết lớp đối tượng, tính đáp ứng lớp, thiếu hụt tính gắn kết phương thức Bên cạnh phép đo CK, phép đo đặc trưng hướng đối tượng khác đề xuất dựa số biến đối tượng, phương thức lớp, số thuộc tính, số thuộc tính với quyền truy xuất khác (public, private, protected), số dòng mã lớp, số phương thức, số phương thức với quyền truy xuất khác (public, private, protected), số phương thức thừa kế, số lớp sử dụng lớp hay lớp sử dụng lớp (11) Dự đoán lỗi phần mềm sử dụng kỹ thuật học máy Các nghiên cứu dự đoán lỗi phần mềm tập trung vào hai vấn đề để xây dựng mơ hình dự đốn lỗi hiệu quả: (1) đề xuất chọn lựa đặc trưng mã nguồn phù hợp, (2) phát triển ứng dụng thuật toán học máy Các nghiên cứu xây dựng mơ hình để dự đốn lỗi phần mềm yêu cầu phải có kho liệu đầy đủ lỗi phần mềm dự án phát triển trước để xây dựng mối tương quan đặc trưng lỗi Những nghiên cứu mơ hình dự đoán chủ yếu tập trung vào thuật toán học máy để phân lớp thành phần phần mềm thành có lỗi khơng có lỗi Như trình bày phần 2, hầu hết nghiên cứu áp dụng kỹ thuật học máy vào dự đoán lỗi phần mềm Trong nghiên cứu này, bảy thuật toán phổ biến áp dụng vào dự đoán lỗi phần mềm: Logistic Regression (12), Support Vector Machine (3), K-Nearest Neighbors (13), Naive Bayes (1), Random Forest (2), Decision Tree (14), Multilayer Perceptron (4) Quy trình dự đốn lỗi phần mềm sử dụng kỹ thuật học máy chia làm hai giai đoạn chính: Giai đoạn huấn luyện giai đoạn dự đốn lỗi, trình bày Hình Hình Quy trình dự đốn lỗi phần mềm Trần Duy Hùng, Lê Thị Mỹ Hạnh 3.1 207 Tập liệu huấn luyện Công đoạn quan trọng việc dự đoán lỗi phần mềm chuẩn bị liệu Lĩnh vực dự đoán lỗi phần mềm có tập liệu hạn chế nhà phát triển thường không cung cấp thông tin mã nguồn sản phẩm Tập liệu sử dụng nghiên cứu thu thập từ kho liệu tera-Promise - kho liệu miễn phí dành cho nhà nghiên cứu phát triển phần mềm (15) Dữ liệu huấn luyện tổ chức gồm hai phần: liệu dự đoán lỗi hướng đối tượng liệu dự đoán lỗi hướng phương thức: - Tập liệu huấn luyện cho mơ hình dự đoán lỗi hướng đối tượng tập lớn, gồm 10.000 hàng, 24 thuộc tính Mỗi hàng tập liệu ứng với lớp chương trình Java tiếng (như Ant, Log4j,…), thu thập cơng cụ CKJM (16) Trong tỉ lệ liệu có lỗi so với liệu khơng lỗi 3:5 - Đối với mơ hình dự đốn lỗi hướng phương thức, NASA cung cấp tập liệu dành cho Java KC3 (17) gồm 40 thuộc tính Tuy nhiên KC3 tập nhỏ (chỉ 400 hàng) Ở nghiên cứu này, chọn 22 thuộc tính phổ biến để huấn luyện, thuộc tính mơ tả (18) Tỉ lệ liệu có lỗi so với liệu không lỗi tập KC3 1:5 3.2 Tiền xử lý Dữ liệu huấn luyện thu thập liệu thơ, có từ việc phân tích mã nguồn phần mềm sẵn có Dữ liệu tồn nhiều giá trị thiếu nhiễu, gây ảnh hưởng đến q trình huấn luyện mơ hình dự đốn lỗi Để tăng độ xác việc dự đốn lỗi, liệu thô cần tiền xử lý trước đưa vào huấn luyện Quá trình tiền xử lý liệu gồm bước sau: - Xử lý giá trị thiếu: Các vấn đề phát sinh xảy q trình thu thập dẫn đến thiếu giá trị số thuộc tính tập liệu Các giá trị thường biểu diễn “?” “N/A”, thay giá trị trung bình cột chứa giá trị thiếu - Chuẩn hóa liệu: Mỗi cột tập liệu có miền giá trị khác Cột có miền giá trị lớn gây nhiều ảnh hưởng đến q trình huấn luyện cột có miền giá trị nhỏ Việc chuẩn hóa nhằm đưa cột miền giá trị thống nhất, đảm bảo tính cơng cho cột tập liệu - Giảm số chiều: Như trình bày Phần 3.1, liệu sử dụng báo có số chiều lớn (tập liệu hướng phương thức có 22 thuộc tính tập liệu hướng đối tượng có 24 thuộc tính), dễ dẫn đến tình trạng overfitting underfitting q trình huấn luyện, giảm tính xác mơ hình dự đốn Vì vậy, kĩ thuật trích chọn đặc trưng (PCA) sử dụng để giảm số chiều liệu 3.3 Đánh giá thuật toán Để đánh giá hiệu thuật toán phân lớp, người ta thường so khớp kết dự đoán với kết thực tế Tuy nhiên, tốn phân lớp lỗi, số lượng liệu có lỗi nhỏ nhiều so với số lượng liệu không lỗi khiến cho việc so khớp kết không phản ánh hiệu thuật toán Thay vào đó, độ đo Precision, Recall, F1 sử dụng Những độ đo có việc phân tích ma trận nhầm lẫn: - Preicsion: Trong số lớp/ hàm phân loại có lỗi, lớp / hàm thực có lỗi Precision = TP TP + FP = TP #dự đốn có lỗi 208 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” - Recall: Thuật toán dự đốn có lỗi lớp/ hàm tổng số lớp/ hàm thực tế có lỗi Recall = TP TP + FN = TP #thực tế có lỗi - Precision tượng trưng cho độ xác thuật tốn, cịn Recall tượng trưng cho độ nhạy Đối với tốn u cầu độ xác cao (như phân loại phim dành cho trẻ em), Precision ưu tiên hơn, ngược lại yêu cầu độ nhạy cao (như phần mềm chống trộm khơng phép bỏ sót trộm), người ta quan tâm nhiều đến Recall - F1 kết hợp độ đo Precision Recall Độ đo F1 lớn hai độ đo precision recall lớn Ở toán dự đoán lỗi, bên cạnh việc quan tâm đến độ nhạy với lỗi (recall) , cịn cần phải ý đến độ xác việc dự đoán để hạn chế báo động giả (precision) Vì nghiên cứu này, độ đo F1 sử dụng để đánh giá độ hiệu thuật toán Bên cạnh Precision Recall, đường cong ROC tiêu chí sử dụng rộng rãi việc đánh giá độ hiệu thuật toán phân lớp nhị phân (Binary Classifiers) Phần diện thích phía đường cong ROC (gọi AUC - area under the curve) sử dụng để đánh giá thuật toán Thuật toán phân lớp hồn hảo có AUC 1, ngược lại thuật tốn tồi tệ có AUC 0,5 Kết thử nghiệm Trong nghiên cứu này, thuật toán học máy cài đặt thư viện sklearn Python Kết thử nghiệm tính phương pháp 10-fold cross validation Theo tập liệu chia làm 10 phần xấp xỉ cho tỉ lệ có lỗi/ khơng lỗi phần Việc huấn luyện mơ hình dự đốn lỗi lặp 10 lần, vòng lặp, tập dùng làm tập kiểm tra tập lại dùng làm tập huấn luyện Kết thử nghiệm kết trung bình 10 vịng lặp 4.1 Kết dự đốn lỗi hướng đối tượng Dựa vào thử nghiệm, chọn tham số cho thuật toán sau: LogisticRegression: c = 0,2, max_iter = 1.000; K-nearest Neighbor: n_neighbors = 1, weight = 'uniform'; Decision Tree: min_samples_leaf = 3, min_samples_split = 4; Random Forest: min_samples_leaf = 1, min_samples_leaf = 2, n_estimators = 10; SVM: c = 0,9, kernel=’sigmoid’; Multilayer Perceptron: activation=’relu’, alpha=0,0002 Bảng Kết dự đoán lỗi hướng đối tượng STT Độ đo Precision Thuật toán Logistic Regression 0,59 K-nearest Neighbors 0,43 Decision Tree 0,43 Random Forest 0.,46 Naïve Bayes 0,58 SVM 0,60 Multilayer Perceptron 0,56 Recall F1 AUC Accuracy 0,25 0,44 0,40 0,39 0,23 0,30 0,41 0,36 0,44 0,41 0,42 0,33 0,43 0,47 0,57 0,55 0,54 0,56 0,57 0,6004 0,6030 0,66 0,58 0,57 0,6 0,65 0,67 0,66 Trần Duy Hùng, Lê Thị Mỹ Hạnh 209 Hình Đường cong ROC thuật toán việc dự đoán lỗi hướng lớp Ở toán dự đoán lỗi hướng đối tượng, thuật tốn SVM dự đốn xác nhiều lỗi (Precision 0,6), cịn thuật tốn K-nearest Neighbor nhạy với lỗi (Recall 0,44) Tuy nhiên, thuật tốn có cân độ nhạy độ xác mạng neuron nhân tạo nhiều lớp (F1 0,47) Thuật tốn có diện tích đường cong ROC lớn (AUC 0,604) 4.2 Kết dự đoán lỗi hướng phương thức Cũng thử nghiệm, tham số sau cho kết tốt thuật toán: LogisticRegression: c = 1,0, max_iter = 1.000; K-nearest Neighbor: n_neighbors = 5, weight = 'uniform'; Decision Tree: min_samples_leaf = 1, min_samples_split = 2; Random Forest: min_samples_leaf = 1, min_samples_leaf = 2, n_estimators = 10; SVM: c = 0,9, kernel = 'sigmoid'; Multilayer Perceptron: activation = 'tanh', alpha = 0,0002 Bảng Kết dự đoán lỗi hướng phương thức STT Độ đo Thuật tốn Logistic Regression K-nearest Neighbors Decision Tree Random Forest Nạve Bayes SVM Multilayer Perceptron Precision Recall F1 AUC Accuracy 0,67 0,70 0,38 0,65 0,41 0,00 0,64 0,18 0,27 0,35 0,26 0,37 0,00 0,21 0,29 0,38 0,36 0,37 0,39 0,00 0,32 0,58 0,63 0,64 0,62 0,66 0,50 0,60 0,91 0,82 0,88 0,92 0,89 0,90 0,91 Hình Đường cong ROC thuật toán việc dự đoán lỗi hướng phương thức 210 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” Ở tốn dự đốn lỗi hướng phương thức, tập liệu KC3 Nasa nhỏ nên thuật tốn khơng đạt độ xác mong muốn Trong tất thuật tốn trên, Nạve Bayes dự đoán lỗi với kết tốt (F1 0,39, AUC 0,66) Kết luận Trong nghiên cứu này, chúng tơi cài đặt sử dụng thuật tốn học máy phổ biến để dự đoán lỗi cho phần mềm Java Kết thử nghiệm cho thấy thuật toán mạng nơ-ron nhân tạo nhiều lớp đạt kết tốt toán dự đoán lỗi hướng đối tượng thuật tốn Nạve Bayes đạt kết tốt toán dự đoán lỗi hướng phương thức Trong tập liệu huấn luyện, số mẫu có lỗi số mẫu không lỗi nhiều Điều làm ảnh hưởng kết thử nghiệm mơ hình phân lớp có xu hướng nghiêng lớp có số mẫu nhiều Trong tương lai, chúng tơi thu thập thêm liệu có lỗi phần mềm để giảm chênh lệch này, tăng độ xác cho thuật tốn Ngồi ra, phương pháp học máy mạng nơ-ron tích chập (CNNs) (19) nghiên cứu áp dụng hướng Tài liệu tham khảo Pai, Ganesh J., Dugan, Bechta Joanne Empirical Analysis of Software Fault Content and Fault Proneness Using Bayesian Methods 10, IEEE Transactions on Software Engineering, Vol 33, pp 675-686, 2007 Ma, Y., Guo, L., Cukic, B., A Statistical framework for the prediction of fault-proneness Advances in Machine Learning Applications in Software Engineering s.l : Idea Group, 2007 Elish, Karim O.; Elish, Mahmoud O.; Predicting defect-prone software modules using support vector machines Journal of Systems and Software, Vol 81, pp 649-660, 2008 Kanmani, S.; Rhymend Uthariaraj, V.; Sankaranarayanan, V.; Thambidurai, P.; Objectoriented software fault prediction using neural networks Information and Software Technology, Vol 49, pp 483-492, 2007 Xie, X., Ho, J.W.K., Murphy, C., Kaiser, G., Xu, B., Chen, T.Y Testing and validating machine learning classifiers by metamorphic testing, Journal of System and Software, Vol 84, pp 544-558, 2011 Akiyama, F An Example of Software System Debugging Proceedings of the International Federation of Information Processing Societies Congress 1971 Song, Q., Jia, Z., Shepperd, M., Ying, S Liu, J A general software defect-proneness prediction framework3, IEEE Transactions on Software Engineering, Vol 37, pp 356-370 2011 Halstead, M H Elements of Software Science USA : Elsevier Science, 1977 McCabe, T J A Complexity Measure 4, IEEE Transactions on Software Engineering, Vol 2, pp 308-320 1976 10 A Metrics Suite for Object Oriented Design Chidamber, S R.; Kemerer, C F IEEE Transactions on Software Engineering, Vol 20, pp 476-493 1994 11 Are popular classes more defect prone? Bacchelli, A.; D'Ambros, M.; Lanza, M Berlin : s.n., FASE'10 Proceedings of the 13th international conference on Fundamental Approaches to Software Engineering 2010 12 Peng, C Y J.; Lee, K L Ingersoll, G M An Introduction to Logistic Regression Analysis and Reporting 1, The Journal of Educational Research, Vol 96, pp 3-14 2002 Trần Duy Hùng, Lê Thị Mỹ Hạnh 211 13 Govil, S Chugh, N Prediction of Defects in Software Using K-Nearest Neighbour Algorithm for Cost Reduction International Journal of Advanced Research in Computer Science & Technology, Vol 2015 14 Quinlan, J R Induction of Decision Trees 1, Machine Learning, Vol 1, pp 81-106 1986 15 Menzies, T., Krishna, R., Pryor, D The Promise Repository of Empirical Software Engineering Data 2015 16 Jureczko, M.; Spinellis, D.; Using Object-Oriented Design Metrics to Predict Software Defects Models and Methodology of System Dependability Poland : Oficyna Wydawnicza Politechniki Wroclawskiej, pp 69-81, 2010 17 Shepperd, M.; Song, Q.; Sun, Z Data Quality: Some Comments on the NASA Software Defect Datasets 9, IEEE Transactions on Software Engineering, Vol 39, pp 1208 - 1215, 2013 18 Sandhu, P S., Singh, S., Budhija, N Prediction of Level of Severity of Faults in Software Systems using Density Based Clustering Singapore: s.n., International Conference on Software and Computer Applications 2011 19 Li, J.; He, P.; Zhu, J.; Lyu, M R.; Software Defect Prediction via Convolutional Neural Network Prague : s.n., 2017 IEEE International Conference on Software Quality, Reliability and Security pp 318 - 328 2017 ... chúng tơi bước đầu phân tích dự đốn lỗi cho phần mềm Java sử dụng kỹ thuật học máy có giám sát đánh giá hiệu kỹ thuật toán dự đoán lỗi dựa vào đặc trưng mã nguồn phần mềm Thực nghiệm tiến hành 02... toán học máy vào toán độ đo đánh giá hiệu thuật toán Phần kết thực nghiệm phần cuối kết luận Dự đoán lỗi dựa vào đặc trưng mã nguồn phần mềm Dự đoán lỗi phần mềm phương pháp đánh giá thành phần. .. độ đo liệu lỗi phiên phần mềm trước để xây dựng mơ hình dự đốn lỗi, gọi cách tiếp cận học có giám sát Để xây dựng mơ hình dự đốn lỗi phần mềm nghiên cứu sử dụng kỹ thuật học máy để dự đoán cách