CHƯƠNG 3: XÂY DỰNG VÀ LÀM GIÀU DỮ LIỆU CHỈ MỤC VỚI WEB CRAWLER.
3.5 Các luồng xử lý dữ liệu trong hệ thống 1 Luồng xử lý chung của hệ thống
3.5.1 Luồng xử lý chung của hệ thống
Với chức năng cập nhật và xây dựng dữ liệu chỉ mục. Hệ thống cho phép người dùng tìm kiếm và cập nhật các bài báo mới trên thư viện số cũng như duyệt các bài báo đã có trong hệ thống vì vậy khi hệ thống được khởi động sẽ có hai luồng khác nhau.
- Thứ nhất, nếu người sử dụng muốn quản lý các bài báo có trong cơ sở dữ liệu thì chọn quá trình 3- Quản lý cơ sở dữ liệu (Quá trình này được mô tả rõ trong phần 4.4.4).
- Thứ hai, nếu muốn thực hiện chức năng thu thập các bài báo mới từ trên các thư viện số. Theo luồng xử lý này, việc thực hiện cập nhật có thể tiến hành theo quyết định của người dùng là: do người dùng thu thập, hay đặt chế độ cho hệ thống tự động thu thập theo thời gian định trước. Để thu thập, trước tiên hệ thống phải kiểm tra xem máy tính đã được kết nối Internet hay chưa.
+ Nếu hệ thống chưa kết nối với Internet, thì hệ thống sẽ gửi thông báo cho người dùng và kết thúc xử lý.
+ Nếu hệ thống có kết nối với Internet, thì hệ thống chuyển sang quá trình 2 thu thập Metadata (Quá trình này được mô tả rõ trong phần 4.4.2). Sau khi kết thúc quá trình thu thập hệ thống sẽ kiểm tra có kết quả trả về hay không.
Nếu không có kết quả thì xuất thông báo và kết thúc hoạt động. Nếu có kết quả trả về thì chuyển sang quá trình 3 xử lý kết quả
thu thập (Quá trình này được mô tả rõ trong phần 4.4.3). Sau đó kết thúc luồng xử lý.
Hình 3.8 mô tả các luồng chính của hệ thống. Trong đó bao gồm các luồng phụ sau:
- Luồng 1: Quá trình thu thập Metadata từ các thư viện số.
- Luồng 2: Quá trình xử lý những kết quả đã được thu thập.
Hình 3.8- Các luồng xử lý chính của chương trình.