Nghiên cứu một số vấn đề về khai thác và tìm kiếm dữ liệu trên cổng thông tin điện tử

TỔNG QUAN VỀ CỔNG THÔNG TIN ĐIỆN TỬ PORTAL

Các đặc trƣng cơ bản của portal

1.2.1.Chức năng tìm kiếm (search function)

Chức năng tìm kiếm là dịch vụ thiết yếu cho mọi Portal, cho phép người dùng mô tả thông tin cần tìm thông qua từ khóa hoặc tổ hợp từ khóa Dịch vụ này tự động tìm kiếm thông tin trên các website liên quan, mang lại kết quả chính xác và nhanh chóng.

Internet và trả lại kết quả cho người dùng Thời gian thực hiện của dịch vụ tìm kiếm này rất nhanh, do vậy rất tiện lợi cho người dùng

1.2.2.Dịch vụ thƣ mục (Directory service) Đối với những người dùng không muốn tìm kiếm thông tin qua các từ khoá, họ có nhu cầu tìm kiếm thông tin theo một chủ đề, lĩnh vực nào đó, thì có thể sử dụng dịch vụ thƣ mục phân loại thông tin Dịch vụ thƣ mục là dịch vụ thực hiện phân loại và sắp xếp thông tin trên các website theo chủ đề có thể có nhiều chủ đề con trong một chủ đề và có thể tiếp tục phân tách xuống các mức thấp hơn

1.2.3.Ứng dụng trực tuyến(Online desktop application)

Bao gồm các ứng dụng phổ biến nhất của Internet, hiện nay có các ứng dụng điển hình nhƣ :

Các cổng thông tin lớn như Yahoo và Excite cung cấp tài khoản email miễn phí cho người dùng, mang lại tiện ích lớn khi cho phép người dùng gửi và nhận thư điện tử từ bất kỳ đâu trên Internet.

Nhiều cổng thông tin hiện nay cung cấp dịch vụ lịch cá nhân miễn phí, cho phép người dùng truy cập và quản lý lịch cá nhân của họ mọi lúc, mọi nơi trên Internet.

Hội thoại trực tuyến là dịch vụ cho phép người dùng giao tiếp trực tiếp qua Internet, không bị ràng buộc bởi khoảng cách địa lý Dịch vụ này có thể bao gồm nhiều hình thức khác nhau, chẳng hạn như hỗ trợ kỹ thuật trực tuyến giữa nhà sản xuất và khách hàng.

Dịch vụ bưu thiếp điện tử ngày càng trở nên phổ biến, cho phép người dùng gửi lời chúc mừng đến người thân một cách nhanh chóng và tiện lợi qua Internet, thay vì sử dụng bưu điện truyền thống.

1.2.4.Cá nhân hoá dịch vụ (Personalization or Customization)

Cá nhân hóa là một dịch vụ quan trọng của Portal, cho phép nhà cung cấp tạo ra các dịch vụ phù hợp với yêu cầu và sở thích riêng biệt của từng khách hàng dựa trên thông tin cụ thể của họ.

Các nhà cung cấp có thể củng cố mối quan hệ với khách hàng và duy trì sự tín nhiệm của họ thông qua việc cải thiện chất lượng dịch vụ và giao tiếp hiệu quả.

Cá nhân hoá dịch vụ dựa trên dữ liệu thông tin cá nhân của khách hàng, như nghề nghiệp, thói quen và sở thích Thông qua những thông tin này, nhà cung cấp có thể giới hạn các dịch vụ và thông tin mà khách hàng thực sự quan tâm, từ đó tránh cung cấp những nội dung không cần thiết, gây khó chịu cho khách hàng và có thể dẫn đến việc họ ngừng sử dụng dịch vụ.

1.2.5.Cộng đồng ảo (Virtual community or Collaboration)

Cộng đồng ảo là một không gian trực tuyến nơi cá nhân và doanh nghiệp có thể tụ tập, hỗ trợ và hợp tác trong các hoạt động thương mại.

Cộng đồng ảo tạo ra cơ hội hợp tác cho cá nhân và tổ chức doanh nghiệp mà không bị ràng buộc bởi ranh giới địa lý Dưới đây là một số ví dụ về cộng đồng ảo.

Hội thoại trực tuyến, hay còn gọi là online chat, cho phép tổ chức các hội nghị mà không cần tập trung toàn bộ nhân viên từ khắp nơi trong cả nước về một địa điểm cụ thể.

Hỗ trợ trực tuyến giúp khách hàng nhận được tư vấn và hỗ trợ trực tiếp từ các nhà sản xuất về sản phẩm đã chọn.

1.2.6.Một điểm tích hợp thông tin duy nhất (Comporate Portal) Đặc trưng này cho phép đơn vị cung cấp cho người sử dụng dùng một điểm truy nhập duy nhất để thu thập và xử lý thông tin từ các nguồn khác nhau, hoặc sử dụng các ứng dụng để khai thác kho tài nguyên thông tin chung Nhƣ chúng ta đã biết, có rất nhiều thông tin hàng ngày cần phải được xử lý và chuyển đến người dùng dưới nhiều nguồn khác nhau, ví dụ nhƣ E-mail, news, tài liệu, báo cáo, các bài báo, audio và các video files, v.v… sẽ rất khó khăn cho người dùng nếu các thông tin này được xử lý một cách riêng rẽ; Comporate Portal cho phép sử dụng các công cụ tích hợp để xử lý các nguồn thông tin này, do vậy năng suất lao động xử lý các thông tin của người dùng sẽ đƣợc nâng cao

Portal cũng cho phép xây dựng các liên kết (connector) tới các ứng dụng hoặc

Portal khác là một nền tảng cho phép các website cung cấp nội dung thông tin của mình thông qua kênh thông tin của Portal Kênh thông tin là một tính năng mới, giúp xây dựng dịch vụ truy cập và xử lý thông tin trong mạng Intranet của tổ chức Kết quả xử lý thông tin sau đó được hiển thị trên kênh thông tin của Portal, mang lại sự tiện lợi và hiệu quả trong việc quản lý thông tin.

Phân loại portal

Việc phân loại Portal có thể có nhiều cách khác nhau Nếu căn cứ vào đặc trƣng của

Portal người ta chia Portal thành các loại như sau :

Cung cấp đa dạng lựa chọn cho việc tìm kiếm, chuyển tiếp email, tự động sửa định dạng, lựa chọn tin tức, quản lý lịch, địa chỉ liên hệ, cuộc hẹn, ghi chú, liên kết website, trò chuyện trực tiếp và các chức năng Intranet, v.v.

Chuyên cung cấp các thông tin và dịch vụ cho một lĩnh vực chuyên môn, khoa học, kinh tế cụ thể nào (mang tính chuyên ngành)

Nội dung đa dạng và phong phú, đáp ứng nhiều mối quan tâm khác nhau, hỗ trợ các dịch vụ đa dạng cho cộng đồng và tổ chức hành chính.

Cơ sở Portal theo chiều ngang

Cơ sở hệ thống Portal theo chiều ngang

Portal cho người lao động

Portal cho các nhà đầu tư

Chúng tôi cung cấp dịch vụ truy xuất thông tin từ tất cả các nguồn tài nguyên trong mạng Intranet của tổ chức, thông qua một cổng truy cập duy nhất.

Cung cấp các dịch vụ định hướng theo mối quan hệ tương tác thông tin hai chiều giữa các doanh nghiệp (B2B) trong môi trường thương mại điện tử

Cung cấp dịch vụ hành chính công thông qua mối quan hệ tương tác thông tin hai chiều giữa các cơ quan hành chính nhà nước (G2G) trong môi trường điện tử.

Các kỹ thuật của hệ thống portal

Portlet là các module giao diện người dùng tương tác, cho phép tích hợp nhiều ứng dụng web vào Portal Các Portlet này tạo ra các đoạn trang riêng biệt, và Portal sẽ ghép nối những đoạn trang này để hình thành một trang hoàn chỉnh.

Các thành phần của một trang Portal

Portlet thực thi trong môi trường thời gian thực được gọi là Portlet Container, các

Portlet hiển thị nội dung trong một cửa sổ trên trang Portal, tương tự như cửa sổ trên màn hình máy tính Cửa sổ của Portlet có thanh tiêu đề và các nút điều khiển cho phép người dùng mở rộng hoặc thu nhỏ nội dung.

Một Portlet là một thành phần hiển thị trên trang web, hoạt động như một cửa sổ cá nhân nhỏ Nội dung bên trong Portlet chính là thông tin mà nó cung cấp, không phải là bản thân cửa sổ.

Các Portlet bao gồm nhiều mức, cho phép người sử dụng giao tiếp với nó để thực hiện công việc trong môi trường Portal

Các mức của Portlet có thể có trong Portal

1.4.2.Phân loại portlet và các dịch vụ web

Giống như dịch vụ web hướng dữ liệu, Portlet dựa trên kiến trúc dịch vụ cho phép các công ty tái sử dụng các thành phần phần mềm, từ đó nhanh chóng xây dựng ứng dụng cho các Portal mới.

Khác với các dịch vụ web tập trung vào dữ liệu, Portlet cung cấp cái nhìn tổng quan về các dịch vụ tác nghiệp ở mức cao, bao gồm tương tác người dùng, lưu đồ và các trình diễn tùy chỉnh.

Các Portlet địa phương là những thành phần hoạt động bên trong máy chủ Portal, chịu trách nhiệm tạo ra các trang và nội dung cần thiết Khi máy chủ Portal xây dựng một trang, nó sẽ gọi mã Portlet và sử dụng giao diện đã được định nghĩa JSR168 cung cấp một tiêu chuẩn cho giao diện này.

Portlet địa phương chuẩn cho môi trường J2EE

Các Portlet địa phương gọi tới Code Portlet

Portlet từ xa là các Portlet hoạt động bên ngoài máy chủ Portal, có thể nằm trong một máy chủ của tổ chức hoặc ở vị trí từ xa Khi một Portal cần hiển thị nội dung, nó sẽ gọi Portlet từ xa qua giao thức SOAP.

Trang Portal gọi đến từ một Portlet từ xa

Giao thức WSRP cung cấp định nghĩa một chuẩn giao diện SOAP cho các Portlet từ xa

Vấn đề quan trọng của Portlet từ xa là tách các Portlet ra khỏi tổ chức và môi trường

Khung làm việc của hệ thống Portal

Hình ảnh về khung làm việc của hệ thống Portal đƣợc mô tả nhƣ sau:

Khung làm việc hệ thống Portal

1: Là các nguồn dữ liệu có cấu trúc, không cấu trúc, dữ liệu ứng dụng hoặc nội dung đƣợc cung cấp

2: Tầng truy cập thông tin, làm nhiệm vụ truy cập tới mọi nguồn tài nguyên dữ liệu

3: Tầng dịch vụ Portal, những dịch vụ đặc trƣng tiêu biểu của Portal nhƣ: cá nhân hóa, tích hợp, dịch vụ tìm kiếm và phân loại, dịch vụ xuất bản và đặt báo, dịch vụ hợp tác, các ứng dụng, xử lý, quản trị và bảo mật

4: Tầng trình diễn, ở đó Portal có nhiệm vụ tổng hợp thông tin thành một trang web và hiển thị theo yêu cầu của người dùng

5: Các thiết bị truy cập mạng; Các thiết bị này truy cập Portal thông qua các kênh của Portal đó là các kênh dành cho mạng Intranet, mạng Internet, mạng không dây, v.v…

TỔ CHỨC DỮ LIỆU, CƠ CHẾ CHUYỂN ĐỔI DỮ LIỆU TRONG CỔNG THÔNG TIN PHỤC VỤ CHO VIỆC KHAI THÁC VÀ TÌM KIẾM DỮ LIỆU

Cơ chế chuyển đổi thông tin giữa các Server trong portal

Thông tin trong Portal có cấu trúc đa dạng và được tích hợp từ nhiều nguồn trong hệ thống máy chủ phân tán Để thực hiện chuyển đổi thông tin hiệu quả trong hệ thống Portal, việc chuẩn hóa dữ liệu là cần thiết Đây là xu hướng quan trọng trong quá trình trao đổi thông tin trong các hệ thống phân tán.

Hiện nay, nhiều phương thức đã được áp dụng trên toàn cầu để chuẩn hóa thông tin trong quá trình trao đổi Trong số các công cụ này, một số công cụ nổi bật giúp cải thiện tính chính xác và hiệu quả của thông tin được sử dụng rộng rãi.

XML và XSLT đƣợc sử dụng nhiều nhất Vậy XML và XSLT là gì ? Tại sao chúng đƣợc sử dụng khá phổ biến ?

XML (Ngôn ngữ Đánh dấu Mở rộng) được xem là một giải pháp tiêu chuẩn hóa thông tin, giúp trao đổi dữ liệu hiệu quả trong hệ thống cơ sở dữ liệu phân tán.

Văn bản XML có cấu trúc dữ liệu đơn giản dạng flat-text, dễ dàng xử lý bởi các trình soạn thảo ASCII thông thường và có thể được con người đọc hiểu một cách dễ dàng Một trong những ưu điểm nổi bật của XML là tính khả dụng và tính dễ tiếp cận của nó.

Tách phần dữ liệu khỏi sự thể hiện giúp nhiều ứng dụng và thiết bị có thể hiển thị một văn bản XML đồng nhất Ví dụ, khi truy cập thông tin thể thao, người dùng trên máy PC có thể xem chi tiết phong phú, trong khi trên thiết bị di động, chỉ cần thông tin ngắn gọn về tỉ số trận bóng đá mà không cần hình ảnh hay chi tiết phức tạp.

XML được thiết kế để chuẩn hóa cấu trúc dữ liệu, giúp trao đổi thông tin hiệu quả giữa các module trong hệ thống phân tán Điều này cho phép các đối tác phần mềm khác nhau giao tiếp mà không cần lo lắng về cách thức mà bên nhận xử lý thông tin Khi nhận thông tin, văn bản XML thường được chuyển đổi thành định dạng phù hợp hơn cho quá trình xử lý tiếp theo.

Công nghệ XSLT (eXtensible Stylesheet Language Transformations)

XSLT, được phát triển bởi W3C, là ngôn ngữ chuyên dụng để chuyển đổi dữ liệu XML từ mô hình này sang mô hình khác, bao gồm cả các định dạng không phải XML Đây là một phần quan trọng của một ngôn ngữ khác, giúp nâng cao khả năng xử lý và trình bày dữ liệu.

XSL (eXtensible Stylesheet Language) is designed to format and present XML data in various forms The remaining component of XSL is XSL-FO, which is used for formatting objects.

(XSL Formatting Objects) có nhiệm vụ làm nốt chức nǎng định dạng dữ liệu trong vǎn bản XML

XSLT cho phép chuyển đổi dữ liệu từ XML sang các định dạng khác như HTML, giúp hiển thị nội dung XML trên trình duyệt Việc chuyển đổi giữa các mô hình dữ liệu XML khác nhau được ứng dụng trong các hệ thống thương mại điện tử phân tán, mang lại hiệu quả cao trong việc quản lý và trình bày thông tin.

XSLT is created as a simple flat-text document known as a stylesheet, which contains multiple templates that function similarly to programming functions.

XPath là một ngôn ngữ độc lập, nhưng được sử dụng phổ biến trong các XSL stylesheet và được xem như một ngôn ngữ con của XSLT Nếu nguồn dữ liệu không ở định dạng XML, nó cần được chuyển đổi thành cấu trúc tương thích.

Trước khi sử dụng XSLT, cần hiểu rõ về XML và các thư viện hỗ trợ chuyển đổi, chẳng hạn như chuyển đổi HTML thành XML hoặc định dạng các cấu trúc dữ liệu cũ XSLT có những đặc điểm cơ bản quan trọng giúp xử lý và chuyển đổi dữ liệu hiệu quả.

- Cú pháp của XSL/XSLT tuân theo cú pháp XML

Các ngôn ngữ lập trình không gây ảnh hưởng phụ là một đặc điểm quan trọng nhưng ít được nhắc đến, vì phần lớn các ngôn ngữ lập trình thông thường đều có tính năng side-effect.

Các hàm trong XSLT không có tính chất side-effect, nghĩa là chúng không thay đổi giá trị của các biến trong stylesheet Kết quả trả về của các hàm này luôn cố định và không phụ thuộc vào số lần hoặc thứ tự được gọi.

Template dựa trên luật trong XSLT stylesheet bao gồm nhiều template, mỗi template sử dụng luật để xác định các thành phần dữ liệu XML cụ thể cần xử lý Các luật này được xây dựng dựa trên biểu thức Xpath, cho phép mỗi node trong văn bản XML phù hợp với tiêu chí xử lý của một template trong stylesheet.

- Kết quả chuyển đổi không phụ thuộc vào ngôn ngữ lập trình:

XSLT là một chuẩn công nghệ, các nhà cung cấp muốn sản phẩm của mình hỗ trợ

Một số thuật toán tìm kiếm dữ liệu trong hệ thống thông tin phân tán

2.4.1.Cấu trúc cơ bản của máy tìm kiếm

Máy tìm kiếm bao gồm các thành phần cơ bản sau đây:

Bộ tìm duyệt (Crawler) là chương trình quan trọng giúp các máy tìm kiếm hoạt động hiệu quả Nó đảm nhận nhiệm vụ thu thập dữ liệu từ các trang web, thực hiện việc duyệt web và xác định mối liên hệ giữa các trang Bộ tìm duyệt bắt đầu bằng cách nhận địa chỉ URL, sau đó đọc và phân tích nội dung của trang web để tìm ra các URL khác Những URL này sẽ được gửi đến bộ điều khiển tìm duyệt (Crawl control), nơi quyết định URL nào sẽ được duyệt tiếp theo Cuối cùng, các trang web đã được duyệt sẽ được lưu trữ trong kho trang web.

Repository), các bộ tìm duyệt tiếp tục đi thăm các trang web khác trên Internet cho đến khi các nguồn chứa cạn kiệt

Mô hình cấu trúc máy tìm kiếm

Bộ tạo chỉ mục (Indexer module) khảo sát tất cả từ khoá trên các trang web trong kho dữ liệu, ghi lại địa chỉ URL của từng trang chứa từ khoá Kết quả tạo ra một bảng chỉ mục lớn, giúp máy tìm kiếm cung cấp nhanh chóng các URL liên quan khi người dùng tìm kiếm từ khoá Chỉ mục này được gọi là chỉ mục nội dung Tuy nhiên, việc tạo chỉ mục cho một hệ thống web là thách thức lớn do quy mô khổng lồ của nó.

Bộ phân tích tập (Collection analysis module) hoạt động dựa trên thuộc tính của bộ truy vấn (Query Engine) để tối ưu hóa quá trình tìm kiếm Khi bộ truy vấn yêu cầu tìm kiếm trong một số website cụ thể, việc xây dựng bảng chỉ mục liên kết tên miền với danh sách trang web sẽ giúp tăng tốc độ và hiệu quả Công việc này được thực hiện bởi bộ phân tích tập, sử dụng thông tin từ hai loại chỉ mục cơ bản là chỉ mục nội dung và chỉ mục cấu trúc, cùng với thông tin từ khoá trang web Những thông tin này được áp dụng trong phương pháp tính hạng (ranking) để tạo ra các chỉ mục tiện ích.

Bộ truy vấn (Query Engine) nhận yêu cầu từ người dùng và hoạt động dựa vào bảng chỉ mục và kho trang web Với số lượng lớn trang web, người dùng chỉ nhập một hoặc vài từ khóa, dẫn đến tập kết quả rộng lớn Do đó, bộ xếp hạng sắp xếp kết quả theo độ liên quan giảm dần và hiển thị danh sách cho người dùng.

2.4.2.Phương pháp biểu dữ liệu trong máy tìm kiếm

Biểu diễn chỉ mục nội dung

Chỉ mục nội dung hỗ trợ việc tìm kiếm thông tin, cho phép máy tìm kiếm áp dụng các phương pháp truy cập truyền thống để tìm trong dữ liệu Máy tìm kiếm sử dụng chỉ mục liên kết ngược để biểu diễn tài liệu một cách hiệu quả.

Biểu diễn chỉ mục cấu trúc

Trong quá trình tạo chỉ mục, bộ tạo chỉ mục phân tích các siêu liên kết trên các trang web và lưu trữ thông tin quan trọng trong file neo Các file này ghi lại nguồn gốc và đích đến của siêu liên kết, cùng với cụm từ mô tả Một chương trình con của bộ tạo chỉ mục chuyển đổi địa chỉ quan hệ của siêu liên kết thành địa chỉ tuyệt đối và lưu vào thành phần trang web (docID), đồng thời tạo ra cơ sở dữ liệu (CSDL) chứa các định danh trang web tương ứng với từng siêu liên kết CSDL siêu liên kết được sử dụng để tính hạng cho tài liệu.

2.4.3.Hoạt động của máy tìm kiếm Google

Thuật ngữ “Cỗ máy tìm kiếm ” đƣợc dùng chung để chỉ 2 hệ thống tìm kiếm: Một do các chương trình máy tính tự động tạo ra (Crawler-Based Search

Engines) và dạng thư mục internet do con người quản lý (Human-Powered

Directories).Hai hệ thống tìm kiếm này tìm và lập danh mục website theo 2 cách khác nhau a Crawler-Based Search Engines - Hệ thống tìm kiếm trên nền tự động

Các cỗ máy tìm kiếm tự động như Google sử dụng các chương trình máy tính gọi là "robots", "spiders" hay crawlers để thu thập thông tin trên internet Khi người dùng thực hiện tìm kiếm, các chương trình này sẽ lần tìm và tạo ra danh sách kết quả phù hợp.

Các công cụ tìm kiếm nhanh chóng hiển thị thông tin lưu trữ liên quan Khi bạn thay đổi trang web của mình, các máy tìm kiếm sẽ tự động phát hiện những thay đổi này, ảnh hưởng đến thứ hạng của bạn Tiêu đề trang, nội dung văn bản và các yếu tố khác đều đóng vai trò quan trọng Thêm vào đó, các thư mục do con người quản lý và cập nhật cũng góp phần vào việc tối ưu hóa tìm kiếm.

Các thƣ mục Internet - ví dụ nhƣ Dự án thƣ mục mở - Open Directory Project

Dmoz.org hoàn toàn dựa vào sự quản lý của con người, nơi bạn có thể đăng ký website của mình vào các thư mục với một mô tả ngắn gọn Các biên tập viên của thư mục sẽ viết phần mô tả phù hợp với nội dung và chủ đề của từng danh mục, đảm bảo tính chính xác và liên quan.

Việc thay đổi trang web của bạn không ảnh hưởng đến danh mục của bạn Những yếu tố hữu ích để cải thiện vị trí xếp hạng trên công cụ tìm kiếm không liên quan đến việc nâng cao vị trí trong danh mục Ngoại lệ duy nhất là một trang web chất lượng với nội dung tốt có thể được xem xét cao hơn so với một trang web kém chất lượng.

Trước đây, mỗi cỗ máy tìm kiếm đều sử dụng những thuật toán riêng biệt để tạo sự khác biệt Hệ thống tìm kiếm tự động không đi kèm với một thư mục internet và ngược lại Tuy nhiên, hiện nay, hầu hết các hệ thống tìm kiếm đều kết hợp giữa tìm kiếm tự động và thư mục do con người quản lý, như ví dụ của Yahoo với Yahoo Directory.

Google có Google Directory, dựa trên thư mục DMOZ, cùng với MSN và các hệ thống tìm kiếm khác Các thành phần của một cỗ máy tìm kiếm tự động bao gồm các yếu tố quan trọng giúp tối ưu hóa quá trình tìm kiếm thông tin.

Các cỗ máy tìm kiếm tự động bao gồm ba phần tử chính, trong đó spider (hay còn gọi là crawlers) là phần quan trọng nhất Các spider sẽ truy cập vào trang web, đọc nội dung và theo dõi các liên kết đến các trang khác trong website Khi người dùng tìm kiếm thông tin, các spider ghi nhớ trang đó và sẽ quay lại sau mỗi 1-2 tháng Do đó, nếu trang web được truy cập nhiều, tần suất quay lại của các spider sẽ tăng lên, từ đó cải thiện kết quả tìm kiếm của bạn.

Mọi thông tin mà spider tìm thấy sẽ được lưu trữ trong phần chỉ mục (the index) của cỗ máy tìm kiếm, nơi đây chứa bản sao của tất cả các trang web Khi một trang web thay đổi, danh sách trong chỉ mục sẽ được cập nhật để phản ánh thông tin mới Tuy nhiên, quá trình lập chỉ mục có thể mất thời gian, dẫn đến việc một trang đã được spider phát hiện nhưng chưa được lập chỉ mục, khiến trang web đó không hiển thị trên công cụ tìm kiếm trong thời gian này.

Phần mềm tìm kiếm đóng vai trò quan trọng trong cỗ máy tìm kiếm, hoạt động như một chương trình máy tính giúp lọc thông tin từ hàng triệu trang web tương tự Chức năng chính của nó là sắp xếp thứ hạng các trang web dựa trên độ phù hợp, giúp người dùng dễ dàng tìm thấy thông tin cần thiết.

SEO khai thác để đƣa một website nào đó lên vị trí Top khi đƣợc tìm kiếm với một hay nhiều từ khóa chỉ định.

ÁP DỤNG NGHIÊN CỨU CHƯƠNG TRÌNH GIẢI QUYẾT BÀI TOÁN KHAI THÁC VÀ TÌM KIẾM THÔNG TIN TRONG CỔNG THÔNG TIN NGÀNH GIÁO DỤC VÀ ĐÀO TẠO

Tối ƣu hoá hệ thống cơ sở dữ liệu

server các Sở Giáo dục và Đào tạo

Việc tìm kiếm thông tin trên Cổng thông tin giáo dục có thể được minh họa qua ví dụ sau: Một cơ quan muốn tìm hiểu thông tin về một học sinh có thể sử dụng cổng thông tin này để truy cập và thu thập dữ liệu cần thiết.

Internet kết nối đến cổng thông tin ngành Giáo dục và Đào tạo, cho phép người dùng dễ dàng tìm kiếm và khai thác thông tin Khi có yêu cầu, máy chủ của Bộ Giáo dục và Đào tạo sẽ lập tức liên hệ với các máy chủ của các Sở để thu thập thông tin cần thiết, sau đó tổng hợp kết quả và trả lại cho người sử dụng một cách nhanh chóng.

Các cơ quan quản lý giáo dục có thể dễ dàng lập báo cáo theo yêu cầu bằng cách chọn thông tin cần thiết Hệ thống máy chủ sẽ tự động thu thập các số liệu thống kê liên quan từ các nguồn dữ liệu khác nhau.

Sở Giáo dục và Đào tạo Rất nhanh chóng có ngay một báo cáo tổng hợp

3.2.Tối ƣu hoá hệ thống Cơ Sở Dữ Liệu

Từ các yêu cầu quản lý tại các cấp chúng ta thấy:

80% yêu cầu tìm kiếm và thống kê thông tin được xử lý trực tiếp tại máy chủ của các đơn vị cơ sở, cụ thể là cấp Sở Giáo dục và Đào tạo.

15% yêu cầu tìm kiếm thống kê đƣợc xử lý phân tán trên hệ thống máy chủ của

Bộ Giáo dục và Đào tạo

5% là các yêu cầu khác

Hệ thống cơ sở dữ liệu (CSDL) chi tiết sẽ được triển khai chủ yếu tại các máy chủ của Sở Giáo dục và Đào tạo, nơi cũng sẽ cài đặt các CSDL thống kê để đáp ứng nhanh chóng nhu cầu thống kê tổng thể.

Từ đó chúng tôi đã tiến hành tổ chức, phân tích, thiết kế xây dựng một hệ thống

CSDL đóng vai trò quan trọng trong việc hỗ trợ quản lý giáo dục, từ Bộ Giáo dục và Đào tạo đến các Sở Giáo dục và Đào tạo, với cấu trúc CSDL được tổ chức một cách khoa học và hợp lý.

3.2.1 Tại Bộ Giáo dục và Đào tạo :

Có CSDL HOSOBO.MDF với các bảng cấu trúc nhƣ sau:

Bảng 3.1 Thông tin về danh mục các Sở GD&ĐT (DMSOGD_DT)

STT Tên trường Mô tả

1 MA_SO Mã Sở Giáo dục và Đào tạo

2 TEN_SO Tên Sở Giáo dục và Đào tạo

3 URL Địa chỉ máy chủ của các Sở Giáo dục và Đào tạo

4 DIEN_THOAI Số điện thoại trực thi, báo cáo của các Sở

5 DIA_CHI Địa chỉ liên hệ của các cơ sở Giáo dục và Đào tạo

Bảng 3.2 Thông tin về cấp học (caphoc)

1 MA_CH Mã cấp học

2 TEN_CH Tên cấp học

Bảng 3.3 Thông tin về năm học (namhoc)

1 MA_NH Mã năm học

2 TEN_NAMHOC Tên năm học

Bảng 3.4 thông tin về loại hình trường(truong)

STT Tờn trường Mô tả

1 MA_DT Mã đào tạo

2 TEN_DT Tên loại hình đào tạo

Bảng 3.5 Thông tin về vùng ƣu tiên(vung)

1 MA_VUNG Mã vùng ƣu tiên

2 TEN_VUNG Tên vùng ƣu tiên

Bảng 3.6 Thông tin về dân tộc (dantoc)

1 MA_DT Mã dân tộc

2 TEN_DT Tên dân tộc

Bảng 3.7 Thông tin về môn học (Mon hoc)

2 TEN_MON Tên môn học

Bảng 3.8 Thông tin về số liệu thống kê theo Sở Giáo dục và Đào tạo

TT Tên trường Mô tả

1 MA_SO Mã sở Giáo dục và Đào tạo

2 SL_TRUONG Số lượng trường

3 TRUONG_CHUYEN Số lượng trường chuyên

4 TRUONG_CONG LAP Số lượng trường công lập

5 TRUONG_BAN CONG Số lượng trường bán công

6 TRUONG_DANLAP Số lượng trường dân lập

7 TRUONG_TUTHUC Số lượng trường tư thục

8 SL_LOP Số lƣợng lớp

9 LOP_CHUYEN Số lƣợng lớp chuyên

10 LOP_CONG LAP Số lƣợng lớp công lập

11 LOP_BAN CONG Số lƣợng lớp bán công

12 LOP_DANLAP Số lƣợng lớp dân lập

13 LOP_TUTHUC Số lƣợng lớp tƣ thục

14 SL_HS Số lƣợng học sinh

15 HS_CHUYEN Số lượng học sinh trường chuyên

16 HS_CONG LAP Số lượng học sinh trường công lập

17 HS_BAN CONG Số lượng học sinh trường bán công

18 HS_DANLAP Số lượng học sinh trường dân lập

19 HS_TUTHUC Số lượng học sinh trường tư thục

20 SHS_NU Số lƣợng học sinh nữ

21 SHS_DANTOC Số học sinh người dân tộc ít người

22 SL_XA_01 Số xã thuộc vùng 01

25 SL_HK_YEU Số lƣợng học sinh hạnh kiểm Yếu

26 SL_HK_TB Số lƣợng học sinh hạnh kiểm Trung bình

27 SL_HK_KHA Số lƣợng học sinh hạnh kiểm Khá

28 SL_HK_TOT Số lƣợng học sinh hạnh kiểm Tốt

29 SL_HL_YEU Số lƣợng học sinh học lực Yếu

30 SL_HL_TB Số lƣợng học sinh học lực Trung bình

31 SL_HL_KHA Số lƣợng học sinh học lực Khá

32 SL_HL_GIOI Số lƣợng học sinh học lực Giỏi

33 SL_LOP01 Số lƣợng lớp năm thứ nhất (THCS lớp 5, THPT lớp

34 SL_LOP02 Số lƣợng lớp năm thứ hai (6,11)

35 SL_LOP03 Số lƣợng lớp thứ ba (7,12)

36 SL_LOP04 Số lƣợng lớp thứ tƣ (8)

37 SL_LOP05 Số lƣợng lớp thứ năm (9)

Bảng 3.9.Thông tin về học sinh (hosohs)

Số TT Tên trường Mô tả

2 HOCSINH_ID Chỉ số học sinh

3 HO_TEN Họ tên học sinh

6 HS_LOP Học sinh lớp

7 DIA_CHI Địa chỉ nhà riêng

9 MA_DTOC Mã dân tộc

11 VUNG_MIEN Vùng miền ƣu tiên

12 DTB_TOAN Điểm trung bình môn Toán

13 DTB_LY Điểm trung bình môn Vật lý

14 DTB_HOA Điểm trung bình môn Hoá học

15 DTB_SINH Điểm trung bình môn Sinh học

16 DTB_VĂN Điểm trung bình môn Văn

17 DTB_SỬ Điểm trung bình môn Lịch sử

18 DTB_DIA Điểm trung bình môn Địa lý

19 DTB_TIN Điểm trung bình môn Tin học

20 DTB_TD Điểm trung bình môn Thể dục

21 DTB_GDCD Điểm trung bình môn Giáo dục công dân

22 DTB_NN Điểm trung bình môn Tiếng nước ngoài

23 DTB_KH1 Điểm trung bình các môn học kỳ 1

24 DTB_HK2 Điểm trung bình các môn học kỳ 2

25 DTB_CN Điểm trung bình môn chung cả năm

26 XL_HK1 Xếp loại hạnh kiểm học kỳ 1

27 XL_HL1 Xếp loại học lực học kỳ 1

32 NTS Năm Vào đầu cấp

34 XL_TN Xếp loại tốt nghiệp

36 KHEN_KY Khen thưởng, kỷ luật

37 NHAN_XET Nhận xét của GV chủ nhiệm về học sinh

Bảng 3.10 Thông tin về giáo viên (TK_Giaovien)

Số TT Tên trường Mô tả

2 TONG_SO Tổng số cán bộ, cán bộ công nhân viên

3 TREN_CHUAN Trình độ đạt trên chuẩn

4 DAT_CHUAN Trình độ đạt chuẩn

5 CHUA_CHUAN Trình độ chƣa đạt chuẩn

6 SL_TOAN Số lƣợng giáo viên Toán

7 SL_LY Số lƣợng giáo viên Vật lý

8 SL_HOA Số lƣợng giáo viên Hoá học

9 SL_SINH Số lƣợng giáo viên Sinh học

10 SL_VAN Số lƣợng giáo viên Văn

11 SL_SU Số lƣợng giáo viên Lịch Sử

12 SL_DIA Số lƣợng giáo viên Địa lý

13 SL_TIN Số lƣợng giáo viên Tin

14 SL_GDCD Số lƣợng giáo viên GDCD

15 SL_TD Số lƣợng giáo viên Thể dục

16 SL_ANH Số lƣợng giáo viên Tiếng Anh

17 SL_NGA Số lƣợng giáo viên Tiếng Nga

18 SL_PHAP Số lƣợng giáo viên Tiếng Pháp

19 SL_TRUNG Số lƣợng giáo viên Tiếng Trung

20 HIEU_TRUONG Số lượng hiệu trưởng

21 HIEU_PHO Số lƣợng hiệu phó

22 DOAN_DOI Số lƣợng cán bộ đoàn đội

23 THU_VIEN Số lƣợng cán bộ thƣ viện

24 THI_NGHIEM Số lƣợng cán bộ thí nghiệm

25 KT_NV Số kỹ thuật viên kỹ thuật nghiệp vụ

26 PHUC_VỤ Số nhân viên phục vụ còn lại

3.2.2 Tại Sở Giáo dục và Đào tạo :

Cã CSDL HOSOSO.MDF với các bảng cấu trúc đƣợc thiết kế nhƣ sau:

Bảng 3.11 Thông tin về danh mục các trường : (Truong)

4 MA_DT Mã loại hình đào tạo của nhà trường

5 DIEN_THOAI Số điện thoại thường trực thi hoặc lập báo cáo

6 DIA_CHI Địa chỉ liên hệ

7 TEN_HT Tên hiệu trưởng

8 TEN_HP Tên các hiệu phó

Bảng 3.12 Thông tin về cấp học (caphoc)

STT Tên tr-ờng Mô tả

2 TEN_CH Tên cấp học

Bảng 3.13 Thông tin về năm học (namhoc)

1 MA_NH Mã cấp học

2 TEN_NAMGOC Tên năm học

Bảng 3.14 Thông tin về loại hình tr-ờng (loaihinhtruong)

1 MA_DT Mã đào tạo

2 TEN_DT Tên loại hình đào tạo

Bảng 3.15 Thông tin về vùng miền (vungut)

1 MA_VUNG Mã vùng ƣu tiên

2 TEN_VUNG Tên vùng -u tiên

Bảng 3.16 Thông tin về dân tộc (dantoc)

1 MA_DT Mã dân tộc

2 DAN_TOC Tên dân tộc

Bảng 3.17.Thông tin về môn học (monhoc)

Số Tên tr-ờng Mô tả

Bảng 3.18 Thông tin về thống kê theo Sở GD&ĐT (hososo)

TT Tên tr-ờng Mô tả

2 SL_TRUONG Số lượng trường

3 TRUONG_CHUYEN Số lượng trường chuyên

4 TRUONG_CONG LAP Số lượng trường công lập

5 TRUONG_BAN CONG Số lượng trường bán công

6 TRUONG_DANLAP Số lượng trường dân lập

7 TRUONG_TUTHUC Số lượng trường tư thục

8 SL_LOP Số lƣợng lớp

9 LOP_CHUYEN Số lƣợng lớp chuyên

10 LOP_CONG LAP Số lƣợng lớp công lập

11 LOP_BAN CONG Số lƣợng lớp bán công

12 LOP_DANLAP Số lƣợng lớp dân lập

13 LOP_TUTHUC Số lƣợng lớp tƣ thục

14 SL_HS Số lƣợng học sinh

15 HS_CHUYEN Số lượng học sinh trường chuyên

16 HS_CONG LAP Số lượng học sinh trường công lập

17 HS_BAN CONG Số lượng học sinh trường bán công

18 HS_DANLAP Số lượng học sinh trường dân lập

19 HS_TUTHUC Số lượng học sinh trường tư thục

20 SHS_NU Số lƣợng học sinh nữ

21 SHS_DANTOC Số học sinh người dân tộc ít người

25 SL_HK_YEU Số lƣợng học sinh hạnh kiểm Yếu

26 SL_HK_TB Số lƣợng học sinh hạnh kiểm Trung bình

27 SL_HK_KHA Số lƣợng học sinh hạnh kiểm Khá

28 SL_HK_TOT Số lƣợng học sinh hạnh kiểm Tốt

29 SL_HL_YEU Số lƣợng học sinh học lực Yếu

30 SL_HL_TB Số lƣợng học sinh học lực Trung bình

31 SL_HL_KHA Số lƣợng học sinh học lực Khá

32 SL_HL_GIOI Số lƣợng học sinh học lực Giỏi

33 SL_LOP01 Số lƣợng lớp năm thứ nhất (THCS lớp 5, THPT lớp

34 SL_LOP02 Số lƣợng lớp năm thứ hai (6,11)

35 SL_LOP03 Số lƣợng lớp thứ ba (7,12)

36 SL_LOP04 Số lƣợng lớp thứ tƣ (8)

37 SL_LOP05 Số lƣợng lớp thứ năm (9)

Bảng 3.19.Thông tin về học sinh (hosohs)

1 MA_HS Mã học sinh

3 HO_TEN Họ tên học sinh

6 HS_LOP Học sinh lớp

9 MA_DTOC Mã dân tộc

12 DTB_TOAN Điểm trung bình môn Toán

13 DTB_LY Điểm trung bình môn Vật lý

14 DTB_HOA Điểm trung bình môn Hoá học

15 DTB_SINH Điểm trung bình môn Sinh học

16 DTB_VAN Điểm trung bình môn Văn

17 DTB_SU Điểm trung bình môn Lịch sử

18 DTB_DIA Điểm trung bình môn Địa lý

19 DTB_TIN Điểm trung bình môn Tin học

20 DTB_TD Điểm trung bình môn Thể dục

21 DTB_GDCD Điểm trung bình môn Giáo dục công dân

22 DTB_NN Điểm trung bình môn Tiếng nước ngoài

23 DTB_KH1 Điểm trung bình các môn học kỳ 1

24 DTB_HK2 Điểm trung bình các môn học kỳ 2

25 DTB_CN Điểm trung bình môn chung cả năm

30 NTS Năm truyển sinh vào đầu cấp

32 XL_TN Xếp loại tốt nghiệp

34 BANG_TN Số hiệu bằng tốt nghiệp đƣợc cấp

35 NHAN_XET Nhận xét của giáo viên chủ nhiệm

Bảng 3.20 Thông tin về lượt truy cập của học sinh (luotID)

Bảng 3.21.Thông tin về giáo viên (HOSOGV)

1 MA_GV Mã giáo viên

2 GV_ID Chỉ số giáo viên

3 HO_TEN Họ tên giáo viên

7 MA_TRUONG_CT Mã trường đang giảng dạy

8 MA_TRUONG_DT Mã trường nơi đào tạo

9 Ma_TOC Mã dân tộc

11 NAM_CT Năm bắt đầu vào biên chế chính thức

12 DH_TD Danh hiệu thi đua

13 HS_LUONG Hệ số lƣợng cơ bản hiện tại

14 MA_MON Giảng dạy môn (mã môn)

15 CHUC_VU Chức vụ đang đảm trách

17 KT_KL Khen thưởng, kỷ luật trong quá trình giảng dạy

18 TD_CM Trình độ chuyên môn

Xây dựng chương trình

3.3.1.Các modul sẽ đƣợc xây dựng

Chương trình phục vụ tìm kiếm và xử lý thông tin giáo dục trong hệ thống thông tin giáo dục đƣợc chúng tôi chia làm các module sau :

1) Module cài đặt tại các Sở Giáo dục và Đào tạo :

Module này đƣợc cài đặt vào trang web của Sở Giáo dục và Đào tạo bao gồm các chức năng sau :

+ Cập nhật về danh sách các trường

+ Cập nhật về danh sách học sinh từ các trường

+ Cập nhật về danh sách giáo viên từ các trường

+ Cập nhật các thông tin liên quan quản lý từ các trường

2) Module cài đặt tại Bộ Giáo dục và Đào tạo, đƣợc thiết kế giao diện web bao gồm các chức năng sau :

+ Trang chủ: Đƣa thông tin hoạt động của ngành Giáo dục và Đào tạo

+ Tìm kiếm: Tìm kiếm thông tin về học sinh, giáo viên

- Cập nhật tự động số liệu thống kê từ các Sở Giáo dục và Đào tạo

- Thông tin chi tiết về giáo viên của các Sở Giáo dục và Đào tạo

- Thông tin chi tiết về học sinh, trường, lớp các Sở Giáo dục và Đào tạo

- Lập báo cáo: lập các báo cáo của ngành Giáo dục và Đào tạo

- Thảo luận chuyên môn của giáo viên các bộ môn (định kỳ)

- Thảo luận quản lý của các lãnh đạo (họp trực tuyến)

+ Lịch làm việc : của Bộ và các Sở Giáo dục và Đào tạo

+ Thƣ viện điện tử: bài giảng, sách giáo khoa, thời khoá biểu, tranh ảnh đồ dùng dạy học và các sách tham khảo, E-learning

+ Văn bản chỉ đạo : Các văn bản hướng dẫn chỉ đạo ngành Giáo dục của Bộ

Giáo dục và Đào tạo

+ Hỗ trợ trực tuyến : Các hỗ trợ về công nghệ, giải đáp các thắc mắc trong tổ chức hoạt động của ngành

3.3.2 Giao diện cổng thông tin Giáo dục a) Giao diện trang chủ của cổng thông tin giáo dục

Giao diện trang chủ Cổng thông tin giáo dục b) Giao diện trang tìm kiếm học sinh theo tên

Giao diện trang tìm kiếm học sinh c) Giao diện trang kết quả tìm kiếm học sinh theo tên

Giao diện trang tìm kiếm học sinh d) Giao diện trang thông tin chi tiết về một học sinh

Giao diện trang thông tin chi tiết về một học sinh e) Giao diện trang tìm kiếm nâng cao:

Giao diện trang tìm kiếm học sinh nâng cao cung cấp thông tin chi tiết về giáo viên từ các Sở Giáo dục và Đào tạo trên toàn quốc, giúp người dùng dễ dàng tiếp cận và tìm kiếm thông tin cần thiết.

Giao diện trang khai thác thông tin giáo viên g) Giao diện trang thông tin chi tiết về giáo viên của Sở Giáo dục và Đào tạo thành phố

Giao diện trang thông tin tổng hợp về giáo viên của Sở Giáo dục và Đào tạo thành phố Hà Nội cung cấp cái nhìn tổng quan về đội ngũ giáo viên Bên cạnh đó, giao diện trang thông tin về trường và lớp của các Sở GD&ĐT giúp người dùng dễ dàng tra cứu thông tin liên quan đến các cơ sở giáo dục và lớp học.

Giao diện trang thông tin chi tiết về học sinh, trường, lớp j) Giao diện lựa chọn thông tin để lập báo cáo

Giao diện trang lựa chọn thông tin để lập báo cáo k) Giao diện báo cáo về các thông tin đã đƣợc chọn

Giao diện trang thông tin báo cáo

Tiêu đề	Nghiên Cứu Một Số Vấn Đề Về Khai Thác Và Tìm Kiếm Dữ Liệu Trên Cổng Thông Tin Điện Tử
Người hướng dẫn	Thạc sĩ: Vừ Văn Tựng
Trường học	Đại Học Dân Lập Hải Phòng
Thể loại	đồ án
Năm xuất bản	2009
Thành phố	Hải Phòng

Định dạng
Số trang	72
Dung lượng	1,51 MB