Để khai phá sử dụng Web đạt hiệu quả cao thì Web log cần được làm sạch, định nghĩa, tích hợp và biến đổi. Dựa vào đó để phân tích và khai phá.
Những vấn đề tồn tại:
- Cấu trúc vật lý của các Web site khác nhau từ những mẫu người dùng truy xuất.
- Rất khó có thể tìm ra những người dùng, các phiên làm việc, các giao tác. Vấn đề chứng thực phiên người dùng và truy cập Web:
Các phiên chuyển hướng của người dùng: Nhóm các hành động được thực hiện bởi người dùng từ lúc họ truy cập vào Web site đến lúc họ rời khỏi Web site đó. Những hành động của người dùng trong một Web site được ghi và lưu trữ trong file đăng nhập (log file) (file đăng nhập chứa địa chỉ IP của máy khách, ngày, thời gian từ khi yêu cầu được tiếp nhận, các đối tượng yêu cầu và nhiều thông tin khác như các giao thức của yêu cầu, kích thước của đối tượng…).
2.2.3.1. Chứng thực phiên ngƣời dùng
Chứng thực người dùng: Mỗi người dùng với cùng một Client IP được xem là cùng một người.
Chứng thực phiên làm việc: Mỗi phiên làm việc mới được tạo ra khi một địa chỉ mới được tìm thấy hoặc nếu thời gian thăm một trang quá ngưỡng thời gian cho phép (ví dụ 30 phút) đối với mỗi địa chỉ IP.
2.2.3.2. Đăng nhập Web và xác định phiên chuyển hƣớng ngƣời dùng
Dịch vụ file đăng nhập Web: Một file đăng nhập Web là một tập các sự ghi lại những yêu cầu người dùng về các tài liệu trong một Website
Hình 2.2 Minh họa nội dung logs file
2.2.3.3. Các vấn đề đối với việc xử lý Web log
- Thông tin được cung cấp có thể không đầy đủ, không chi tiết. . - Không có thông tin về nội dung các trang đã được thăm.
- Có quá nhiều sự ghi lại các đăng nhập do yêu cầu phải phục vụ bởi các proxy.
. - Sự ghi lại các đăng nhập không đầy đủ do các yêu cầu phải phục vụ bởi proxy.
- Đặc biệt là việc lọc các mục đăng nhập: Các mục đăng nhập với tên filemở rộng như gif, jpeg, jpg. Các trang yêu cầu tạo ra bởi các tác nhân tự động và các chương trình gián điệp.
- Ước lượng thời gian thăm trang: Thời gian dùng để thăm một trang là một độ đo tốt cho vấn đề xác định mức độ quan tâm của người dùng đối với trang Web đó, nó cung cấp một sự đánh giá ngầm định đối với trang Web đó.
- Khoảng thời gian thăm trang: Đó là khoảng thời gian giữa hai yêu cầu trang khác nhau liên tiếp.
- Quy lui: Nhiều người dùng rời trang bởi họ đã hoàn thành việc tìm kiếm và họ không muốn thời gian lâu để chuyển hướng.
2.2.3.4. Phƣơng pháp chứng thực phiên làm việc và truy cập Web
Chứng thực phiên làm việc: Nhóm các tham chiếu trang của người dùngvào một phiên làm việc dựa trên những phương pháp giải quyết heuristic:
Phương pháp heuristics dựa trên IP và thời gian kết thúc một phiên làmviệc (ví dụ 30 phút) được sử dụng để chứng thực phiên người dùng. Đây là phương pháp đơn giản nhất.
Các giao tác nội tại của phiên làm việc có thể nhận được dựa trên mô hình hành vi của người dùng (bao hàm phân loại tham chiếu “nội dung” hoặc “chuyển hướng” đối với mỗi người dùng)
Trọng số được gán cho mỗi trang Web dựa trên một số độ đo đối với sự quan tâm của người dùng (ví dụ khoảng thời gian xem một trang, số lần lui tới trang)