5 Thực nghiệm
3.18 Giải thuật random walk (nguồn [3])
• Graph Embedding: tương tự như trên, nhưng là ánh xạ cả 1 đồ thị thành 1 vector duy nhất. Hiện nay, mạng nơ-ron tích chập trên đồ thị đang tồn tại hai hướng tiếp cận chính. Một là mạng nơ-ron tích chập đồ thị quang phổ (Spectral GCN), mạng sử dụng phép phân rã trị riêng (eigen-decomposition) nhằm tách đồ thị thành các thành phần độc lập tuyến tính (trực giao). Hai là mạng nơ-ron tích chập đồ thị không gian (Spatial GCN), thực hiện phép tích chập trực tiếp trên đồ thị bằng cách tổng hợp thông tin từ các đỉnh láng giềng. Trong đó, mạng nơ-ron tích chập đồ thị không gian được sử dụng phổ biến hơn vì thực hiện tính toán trên từng vùng nhỏ thay vì cả đồ thị, phù hợp cho các đồ thị lớn như dữ liệu mạng xã hội.
3.3 Phương pháp đánh giá
3.3.1 Accuracy
Đây là độ đo đơn giản nhưng lại được sử dụng phổ biến nhất. Phương pháp này tính tần suất dự đoán đúng trên toàn bộ tập dữ liệu.
Độ chính xác= Số mẫu dự đoán đúng Kích thước tập đánh giá
Tuy nhiên phương pháp này chỉ cho biết tổng số dự đoán đúng, coi các lớp có độ quan trọng ngang nhau mà không chỉ ra mô hình đang dự đoán yếu ở lớp nào. Với các bài toán có dữ liệu bị lệch (lượng dữ liệu chênh lệch lớn giữa các lớp), độ đo này thường không đánh giá đúng chất lượng mô hình.
3.3.2 Precision và recall
Với các tập dữ mà có sự chênh lệch lớn về số lượng giữa các class, thì độ đo accuracy thường khó đánh giá chính xác. Ví dụ như tập dữ liệu chó và mèo với 90% là chó, và mô hình dự đoán 100% các mẫu là chó và đạt accuracy là 90%, một con số mới nhìn qua thường tưởng quá tốt.
Precision và recall có thể khắc phục yếu điểm nêu trên. Trong những bài toán này, người ta thường định nghĩa lớp dữ liệu quan trọng hơn cần được xác định đúng là lớp Positive (P-dương tính), lớp còn lại được gọi là Negative (N-âm tính).
• TP (True Positive): Số lượng mẫu positive được dự đoán là positive.
• TN (True Negative): Số lượng mẫu negative được dự đoán là negative.
• FP (False Positive): Số lượng mẫu negative được dự đoán là positive.
• FN (False Negative): Số lượng mẫu positive được dự đoán là negative.
Precision được định nghĩa là tỉ lệ số điểm true positive trong số những điểm được phân loại là positive.
precision= T P
T P+FP
Recall được định nghĩa là tỉ lệ số điểm true positive trong số những điểm thực sự là positive.
recall= T P
3.3.3 F1 Score
F1-score là hàm trung bình điều hòa của Precision và Recall, được tính bằng công thức:
F1=2× precision×recall
precision+recall
F1-score có giá trị nằm trong khoảng (0, 1]. F1-score cao khi cả Precision và Recall đều cao. Ngược lại, F1-score thấp khi ít nhất một trong hai phép đo Precision và Recall thấp. F1-score càng cao, bộ phân lớp càng chính xác và bao phủ tốt.
3.4 Vấn đề thường gặp của học máy
Overfitting
Trong học máy, để một mô hình (model) có thể hoạt động được, ta cần một quá trình giúp mô hình thu nạp kiến thức cần thiết cho việc hoạt động của mô hình, đó được gọi là quá trình học. Quá trình học giúp mô hình có thể cải thiện mức độ khớp (fit) giữa input và output trong tập dữ liệu huấn luyện (training set). Việc một mô hình có mức độ khớp vượt quá mức cần thiết (overfit) sẽ mang lại hiệu quả không cao, vì lúc này tính tổng quát của mô hình bị giảm đáng kể. Khi một mô hình bị overfit, các tham số của mô hình có xu hướng mô tả chính xác tập dữ liệu huấn luyện nhưng không có khả năng đưa ra phán đoán tốt cho những dữ liệu input mà nó chưa được thấy, đây là điều cần tránh trong học máy.
Trái với hiện tượng này là underfitting, đây là trường hợp mà mô hình chưa được thu nạp đủ kiến thức cho việc đưa ra phán đoán, do đó dẫn tới hiện tượng phán đoán sai trên ngay cả tập dữ liệu huấn luyện và dữ liệu kiểm thử.
Một số phương pháp để giảm hiện tượng overfitting có thể kể tới là validation (hoặc cross- validation nếu tập dữ liệu hạn chế), regularization và early stopping (được trình bày trong tham khảo [33]).
Variance - bias
Trong học máy, hai khái niệm quan trọng cần biết để giúp việc điều chỉnh mô hình tốt hơn đó làbiasvàvariance. Hai khái niệm này còn được gọi là sai số dự đoán (prediction errors). Để
đơn giản, lấy ví dụ trong bài toán Hồi quy tuyến tính (linear regression), giả sử ta có tập dữ liệu huấn luyện với mối quan hệ input, output như sau:
Trong đó e là phần sai số (error term), thông thường tuân theo một phân phối với giá trị mean bằng không (E(e) =0), X,Y là input và output tương ứng trong tập dữ liệu huấn luyệnτ. Xét bài toán hồi quy tuyến tính nhằm tìm xấp xỉ bf(X) của f(X). Hàm lỗi được chọn là trung bình bình phương (mean square error) như sau:
Error(fb,τ) =E(Y−fb(X))2)
=E(f(X) +e−bf(X))2) (3.12) Lúc này giá trị Bias và Variance lần lượt:
Bias(bf,τ) =E((f(X)−E(bf(X)))2) (3.13)
Variance(bf,τ) =E((E(fb(X))−fb(X))2) (3.14)
Thay các giá trị tương ứng từ 3.13 và 3.14 vào 3.12 ta được:
Error(fb,τ) =Bias(bf,τ) +Variance(bf,τ) +E(e2) (3.15)
Trong đóE(e2)là lượng không thay đổi được, từ đó cho thấy giá trị bias và variance ảnh hưởng trực tiếp tới sai số dự đoán của mô hình.
Một cách trực quan có thể xem hình 3.19 mô tả về variance và bias.
Một vấn đề khi cố gắng giảm bias thì variance sẽ tăng, và ngược lại, vấn đề này gọi là variance-bias tradeoff. Trong khi xây dựng mô hình, cần lựa chọn đánh đổi phù hợp để chọn được mô hình tốt nhất cho bài toán.