Hình 2.1 mô tả mô hình xử lý log truy nhập, mô hình gồm các pha chính: Pha tiền xử lý và chuẩn hóa; Pha nhận dạng mẫu; Pha phân tích mẫu; Pha dự đoán hành vi người dùng. Do luận văn này chủ yếu thực hiện các thực nghiệm trên web log, nên các mục của chương này tập trung trình bày về các kỹ thuật xử lý và phân tích web log.
Hình 2.1: Mô hình xử lý log truy nhập
Tiền xử lý và chuẩn hóa:
Trong pha này, hệ thống nhận dữ liệu log từ các nguồn khác nhau, trích xuất các thông tin cần thiết và đưa về một định dạng thống nhất. Ngoài ra, pha này còn chịu trách nhiệm tiền xử lý một số thông tin như: người dùng, phiên làm việc… Pha này gồm các bước sau: làm sạch và hợp nhất dữ liệu, nhận dạng người dùng, nhận
dạng phiên làm việc. Trong xử lý web log, còn bổ sung thêm bước nhận dạng pageview, hoàn thiện đường dẫn.
Nhận dạng mẫu:
Pha này sử dụng các phương pháp và thuật toán như: thống kê, học máy, khai phá dữ liệu, nhận dạng mẫu để xác định các mẫu của người dùng. Trong phân tích web log, các mẫu cơ bản cần xác định bao gồm: các trang web ưa thích, thời gian xem trung bình mỗi trang web, các lĩnh vực quan tâm… Pha này có thể sử dụng các kỹ thuật phân tích dữ liệu như: phân tích thống kê, phân cụm, phân lớp, luật kết hợp, các mẫu tuần tự, hay mô hình hóa phụ thuộc.
Phân tích mẫu:
Pha này có nhiệm vụ phân tích các mẫu đã tìm được ở pha trước, chỉ ra các mẫu không có nhiều giá trị và loại bỏ chúng khỏi quá trình phân tích log. Pha này được thực hiện nhờ các câu truy vấn SQL, hoặc sử dụng phân tích xử lý trực tuyến hay cũng có thể nhờ các kỹ thuật hiển thị hóa dữ liệu để lọc và phân tích mẫu.
Dự đoán hành vi người dùng:
Sau khi đã phân tích và lọc các mẫu, những mẫu còn lại sẽ được dùng để đưa ra các kết luận về hành vi người dùng. Với phân tích web log, các hành vi người dùng điển hình gồm: các trang web thường xuyên truy cập, các lĩnh vực quan tâm, thời gian trung bình xem mỗi trang web…