4.4 Thiết kế, cài đặt tác tử di động tìm kiếm và trích rút thông tin
4.4.1 Mô hình hệ thống
Hình 4-3 Mô hình hoạt động của tác tử tìm kiếm, trích rút tài liệu trên Web
Hình 4-3 cho thấy chu trình hoạt động của tác tử di động tìm kiếm, trích rút tài liệu trên Web. Trong mô hình này tác tử di động tìm kiếm tài liệu trên những Website được chỉ định từ trước. Người dùng có thể thiết lập danh sách các Website có khả năng cung cấp tài liệu. Đến mỗi điểm nút đích trong hành trình định sẵn, tác tử thực hiện công việc tìm kiếm trên từng Website một. Trước khi có thể tìm kiếm trên một Website, tác tử cần khảo duyệt Website đó, phân tích tìm ra mẫu biểu tìm kiếm thích hợp, rồi truy vấn theo tiêu chuẩn người dùng đã chọn trước khi tác tử xuất phát. Tiêu chuẩn tìm kiếm trong trường hợp này nói chung là theo từ khóa mô tả tài liệu như tiêu đề, tên tác giả, năm xuất bản,... chứ không theo tên file. Kết quả truy vấn, Website trả về một trang HTML chứa thông tin về các tài liệu cần tìm cùng liên kết đến từng file tương ứng. Tác tử cần trích rút các thông tin và liên kết này. Một số Website cho phép tìm kiếm từ bất kỳ máy tính nào, nhưng chỉ cho phép tải file tài liệu từ một số máy tính có quyền truy nhập. Vì vậy, tác tử cần thử nghiệm tải file xem có được phép không. Nếu xác định được điểm nút đích hiện tại có quyền truy nhập đầy đủ vào một Website, tác tử sẽ lưu giữ các thông tin và liên kết trích rút được, đồng thời loại bỏ Website vừa khảo duyệt khỏi danh sách các Website cần tiếp tục tìm kiếm. Vì nếu từ một điểm nút đích đã truy nhập được vào một Website, thì không cần thiết lặp lại công việc tìm kiếm, trích rút liên kết đối với Website đó trên các điểm nút đích tiếp theo trong hành trình di chuyển của tác tử di động. Sau chuyến đi lần thứ nhất, tác tử trở về điểm nút nguồn với danh sách các thông tin kèm theo liên kết tới các file đáp ứng tiêu chuẩn tìm kiếm. Bước tiếp theo trở thành đơn giản sau khi người dùng lựa
chọn chính xác tài liệu cần lấy về, tác tử di động sẽ di chuyển tới điểm nút đã được xác định ở bước trước đo để download tài liệu và sau đó di chuyển trở về điểm nút nguồn.
Phần tiếp theo sẽ trình bày một số khái niệm và thuật toán cơ bản trong việc trích rút thông tin.