(LUẬN VĂN THẠC SĨ) Một số phương pháp khai phá dữ liệu và ứng dụng trong bài toán lập thời khoá biểu

Tổng quan về cơ sở dữ liệu và khai phá dữ liệu

Tổ chức và khai thác cơ sở dữ liệu truyền thống

Từ những năm 60, việc sử dụng công nghệ thông tin để khai thác cơ sở dữ liệu (CSDL) đã phát triển mạnh mẽ Hiện nay, hàng triệu CSDL đã được xây dựng và ứng dụng trong nhiều lĩnh vực khác nhau của xã hội Mỗi 24 tháng, lượng thông tin trên thế giới tăng gấp đôi, nhờ vào sự tiến bộ của công nghệ bán dẫn và các hệ thống có dung lượng lớn cùng bộ xử lý tốc độ cao Những công nghệ truyền hiện đại đã giúp tạo ra các hệ thống thông tin hiện đại, hỗ trợ hoạt động kinh doanh, đồng thời tạo ra khối lượng dữ liệu khổng lồ cần được xử lý, bao gồm các CSDL lớn lên đến gigabytes và terabytes.

Nhiều hệ quản trị cơ sở dữ liệu (CSDL) và công cụ mạnh mẽ đã ra đời, giúp con người khai thác hiệu quả nguồn tài nguyên dữ liệu Mô hình CSDL quan hệ cùng với ngôn ngữ truy vấn cấu trúc (SQL) đóng vai trò quan trọng trong việc tổ chức và khai thác CSDL Hiện nay, không có tổ chức kinh tế nào không sử dụng các hệ quản trị CSDL và công cụ báo cáo, ngôn ngữ hỏi đáp để phục vụ cho hoạt động nghiệp vụ của mình.

Với sự phát triển của các hệ thống cơ sở dữ liệu, các hệ thống thông tin đã trở nên chuyên môn hóa và sâu sắc hơn trong các lĩnh vực như sản xuất, kinh doanh và tài chính Điều này dẫn đến nhu cầu khai thác dữ liệu không chỉ dừng lại ở việc xử lý thông tin mà còn cần chuyển hóa dữ liệu thành tri thức có giá trị cho quyết định kinh doanh Sự gia tăng nhanh chóng của khối lượng dữ liệu đã làm khó khăn cho việc ra quyết định kịp thời và chính xác, trong khi các mô hình cơ sở dữ liệu truyền thống không đủ khả năng đáp ứng yêu cầu này Do đó, kỹ thuật tạo kho dữ liệu (Data Warehousing) đã được phát triển để hợp nhất và ổn định hóa dữ liệu từ nhiều nguồn khác nhau Tuy nhiên, việc khai thác dữ liệu truyền thống vẫn chưa đủ để cung cấp tri thức từ dữ liệu, và các công nghệ như OLAP hay học máy chưa thể khai thác hiệu quả dữ liệu lớn Điều này tạo ra khoảng trống trong việc phân tích dữ liệu và khiến nhiều thông tin quý giá vẫn chưa được khai thác Ngày càng nhiều người nhận ra rằng nếu được phân tích đúng cách, dữ liệu sẽ trở thành một nguồn tài nguyên quý giá trong cạnh tranh thương mại, dẫn đến sự ra đời của công nghệ Khai phá dữ liệu.

Khai phá dữ liệu và quá trình phát hiện tri thức

Trong 60 năm qua, việc sử dụng cơ sở dữ liệu trong tổ chức đã phát triển mạnh mẽ, dẫn đến nhu cầu khai thác tri thức từ dữ liệu thu thập được Bài toán Phát hiện tri thức từ cơ sở dữ liệu ra đời nhằm khám phá những tri thức tiềm ẩn mà chúng ta chưa nhận ra Nhiệm vụ của chúng ta là phát hiện và khai thác các tri thức này để phục vụ cho nhu cầu thông tin cao hơn, chẳng hạn như trong các hệ chuyên gia và hệ hỗ trợ quyết định.

Khai phá dữ liệu là quá trình chắt lọc tri thức từ một lượng lớn dữ liệu, tương tự như việc tìm kiếm vàng từ đá và cát Thuật ngữ này chỉ việc tìm kiếm một tập hợp nhỏ có giá trị từ dữ liệu thô khổng lồ Ngoài ra, còn nhiều thuật ngữ khác như khai phá tri thức, chắt lọc tri thức, phân tích dữ liệu/mẫu, khảo cổ dữ liệu và nạo vét dữ liệu, đều mang ý nghĩa tương tự với khai phá dữ liệu.

Nhiều người thường nhầm lẫn giữa khai phá dữ liệu và khai phá tri thức (KDD) Trên thực tế, khai phá dữ liệu chỉ là một giai đoạn trong quy trình KDD Quy trình KDD bao gồm các bước được thực hiện theo một thứ tự nhất định.

1 Làm sạch dữ liệu: Loại bỏ nhiễu và các dữ liệu không cần thiết

2 Tích hợp dữ liệu: Các nguồn dữ liệu khác nhau tích hợp lại

3 Lựa chọn dữ liệu: Các dữ liệu có liên quan tới quá trình phân tích đƣợc lựa chọn từ cơ sở dữ liệu

4 Chuyển đổi dữ liệu: Các dữ liệu đƣợc chuyển đổi sang các dạng phù hợp cho quá trình xử lý

5 Khai phá dữ liệu: Là một trong nhưng bước quan trọng nhất, trong đó sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu

6 Ước lượng mẫu: Quá trình đánh giá các kết quả tìm đƣợc thông qua các độ đo nào đó

7 Biểu diễn tri thức: Quá trình này sử dụng các kĩ thuật biểu diễn và thể hiện trực quan các tri thức cho người dùng

Khai phá dữ liệu là giai đoạn quan trọng trong quá trình phát hiện tri thức từ cơ sở dữ liệu Công đoạn này diễn ra sau khi dữ liệu đã được thu thập và tinh lọc, nhằm tìm kiếm các mẫu hình tri thức có ý nghĩa trong tập dữ liệu có hy vọng, thay vì phân tích toàn bộ cơ sở dữ liệu như các phương pháp thống kê truyền thống.

Khai phá dữ liệu là quá trình tìm kiếm mô hình phù hợp và các mẫu hình tri thức từ dữ liệu Chỉ những mẫu phù hợp với mục đích tìm kiếm mới được xem là tri thức Để đánh giá các tiêu chí mẫu, chúng ta sử dụng các hàm số như độ mới, lợi ích và tính đáng xem xét Độ mới của mẫu hình phụ thuộc vào khung phạm vi quy chiếu, có thể là đối với hệ thống hoặc người dùng Ví dụ, một luật khai phá dữ liệu như “Lợi tức thu được giảm vào mùa thu ở vùng phía Bắc” có thể rất mới đối với hệ thống, nhưng lại dễ dàng nhận ra bởi các cán bộ lập kế hoạch thông qua báo cáo tài chính.

Mẫu có tính hữu dụng cao khi liên quan trực tiếp đến mục đích tìm kiếm Đối với cán bộ phụ trách bảo trì máy tính tại công ty, luật này không mang lại giá trị thực tế, mặc dù nó có thể là điều mới mẻ với anh ta.

Trong quá trình khai phá tri thức, không phải tất cả các mẫu được rút ra đều có giá trị; một số có thể mới mẻ và hữu ích nhưng lại tầm thường, đặc biệt khi áp dụng các kỹ thuật thống kê Do đó, cần thiết phải thiết lập các tiêu chí và hàm đánh giá để xác định những mẫu đáng xem xét và không tầm thường.

Khai phá dữ liệu là quá trình xác định mẫu từ các Datawarehouse, áp dụng các kỹ thuật như học máy, nhận dạng, thống kê và phân loại Ngoài ra, nó còn sử dụng các công nghệ tiên tiến từ nghiên cứu trí tuệ nhân tạo, bao gồm mạng nơ-ron nhân tạo, thuật toán di truyền và quy nạp luật.

Ta có thể xét đến một số bài toán chính đối với nghiên cứu về Khai phá dữ liệu [9]:

 Bài toán phân lớp (classification): Tìm một ánh xạ (phân loại) từ một mẫu dữ liệu vào một trong các lớp cho trước

 Bài toán hồi quy (regression): Tìm một ánh xạ hồi quy từ một mẫu dữ liệu vào một biến dự đoán có giá trị thực

 Bài toán lập nhóm (clustering): Là việc mô tả chung để tìm ra các tập xác định hữu hạn các nhóm hay các loại để mô tả dữ liệu

 Bài toán tổng kết (summarization): Là việc đi tìm kiếm một mô tả chung tóm tắt cho một tập con dữ liệu.

Kho dữ liệu

Sự cần thiết của kho dữ liệu

Việc ứng dụng công nghệ thông tin trong môi trường nghiệp vụ hiện nay đã mang lại hiệu quả to lớn, với sự phát triển không ngừng của công nghệ và mở rộng quy mô áp dụng từ các ứng dụng đơn lẻ đến hệ thống thông tin lớn Các hệ thống thông tin không chỉ xử lý công việc hàng ngày mà còn đáp ứng yêu cầu cao hơn, giúp nhà quản lý nắm bắt tình hình hiện tại và dự đoán tương lai, từ đó cung cấp thông tin phân tích và hỗ trợ quyết định Tuy nhiên, việc xây dựng hệ thống thông tin gặp nhiều hạn chế kỹ thuật, đặc biệt khi kích thước và độ phức tạp của môi trường thông tin gia tăng Các hệ thống thông tin theo phương pháp truyền thống thường không đáp ứng được nhu cầu của người sử dụng và nhà quản lý.

1 Không thể tìm thấy dữ liệu cần thiết:

Dữ liệu phân tán trên nhiều hệ thống với các giao diện và công cụ khác nhau gây tốn thời gian khi chuyển đổi giữa các hệ thống.

Trong thời đại thông tin hiện nay, có nhiều nguồn dữ liệu khác nhau có thể đáp ứng nhu cầu của người dùng Tuy nhiên, những nguồn này thường có sự khác biệt lớn và việc xác định thông tin chính xác và cần thiết trở nên khó khăn Điều này dẫn đến việc người dùng không thể trích xuất dữ liệu cần thiết một cách hiệu quả.

Việc thường xuyên cần sự trợ giúp từ chuyên gia dẫn đến tình trạng công việc bị dồn đống Một số loại thông tin không thể truy xuất nếu không mở rộng khả năng của hệ thống hiện tại Điều này khiến cho việc hiểu dữ liệu tìm thấy trở nên khó khăn.

- Mô tả dữ liệu nghèo nàn và thường xa rời với thuật ngữ nghiệp vụ quen thuộc

2 Không thể sử dụng được dữ liệu tìm thấy:

- Kết quả tìm thấy thường không đáp ứng về bản chất dữ liệu và thời gian tìm kiếm

- Dữ liệu phải chuyển đổi bằng thủ công vào môi trường làm việc của người sử dụng

3 Các vấn đề về hệ thống thông tin- Phát triển các chương trình khác nhau là không đơn giản :

- Một chức năng được thể hiện ở rất nhiều chương trình, nhưng việc tổ chức và sử dụng lại nó là khó khăn do hạn chế về kỹ thuật

Chuyển đổi dữ liệu từ các khuôn dạng tác nghiệp khác nhau để phù hợp với người sử dụng là một thách thức lớn Việc duy trì các chương trình này thường gặp nhiều vấn đề khó khăn.

- Mỗi thay đổi ở một ứng dụng sẽ ảnh hưởng đến tất cả các ứng dụng khác có quan hệ

- Thông thường sự phụ thuộc lẫn nhau giữa các chương trình không rõ ràng hoặc không xác định đƣợc

Do tính phức tạp trong công việc chuyển đổi và quy trình bảo trì, mã nguồn của các chương trình trở nên rất phức tạp Đồng thời, khối lượng dữ liệu lưu trữ cũng tăng nhanh chóng.

Khả năng chồng chéo dữ liệu không được kiểm soát trong các môi trường thông tin đã dẫn đến sự gia tăng nhanh chóng về khối lượng dữ liệu, tạo ra thách thức lớn trong quản trị dữ liệu.

- Thiếu những định nghĩa chuẩn, thống nhất về dữ liệu dẫn đến việc mất khả năng kiểm soát môi trường thông tin

- Một thành phần dữ liệu tồn tại ở nhiều nguồn khác nhau

Giải pháp cho các vấn đề quản lý và phân tích thông tin trong môi trường cạnh tranh cao là xây dựng kho dữ liệu Kho dữ liệu, xuất hiện đầu tiên ở các nước công nghiệp phát triển, giúp các tổ chức quản lý hoạt động hàng ngày hiệu quả hơn và đưa ra quyết định kịp thời cho tương lai Thông tin trở thành tài sản quan trọng cần được quản lý và khai thác, và kho dữ liệu đáp ứng nhu cầu này, từ đó nâng cao hiệu quả và sức mạnh cạnh tranh Sự phát triển mạnh mẽ của công nghệ thông tin cũng đóng vai trò quan trọng trong sự ra đời và phát triển của kho dữ liệu.

- Khả năng lưu trữ và xử lý khối lượng lớn thông tin

- Sự phát triển nhanh chóng của mạng máy tính, đặc biệt là mô hình tính toán Client/server

Sự phát triển của các công cụ xây dựng chương trình ứng dụng, bao gồm ngôn ngữ lập trình, công cụ trợ giúp xây dựng và thiết kế CASE, cũng như các hệ quản trị cơ sở dữ liệu tiên tiến, đã dẫn đến việc hình thành các dự án Kho dữ liệu từ năm 1984 đến 1988 Đến năm 1994, các dự án này đã phát triển mạnh mẽ ở các nước phát triển và hiện nay, Kho dữ liệu vẫn là một thị trường sôi động Ban đầu, các dự án Kho dữ liệu chủ yếu được triển khai tại các tổ chức lớn như ngân hàng và hãng hàng không Tại Việt Nam, với nhu cầu nâng cao hiệu quả quản lý và xu hướng hội nhập toàn cầu, các dự án Kho dữ liệu đang dần được triển khai tại các cơ quan nhà nước lớn Đồng thời, sự quan tâm ngày càng tăng đến hệ thống hỗ trợ quyết định đã làm cho Kho dữ liệu trở thành cơ sở hạ tầng quan trọng cung cấp dữ liệu cho các hệ thống này.

Định nghĩa kho dữ liệu

Kho dữ liệu có thể đƣợc định nghĩa bằng nhiều cách khác nhau nhƣng không nghiêm ngặt lắm, ta có thể định nghĩa kho dữ liệu nhƣ sau [9]:

Kho dữ liệu (Data Warehouse - DW) là một hệ thống lưu trữ dữ liệu có tính chất chủ đề, được tích hợp và gắn với thời gian, nhằm hỗ trợ quá trình ra quyết định một cách hiệu quả.

Kho dữ liệu là một công trình tổng hợp các dữ liệu từ nhiều nguồn không đồng nhất, bao gồm dữ liệu quá khứ và hiện tại, cũng như báo cáo phân tích và hỗ trợ quyết định Do đó, kho dữ liệu thường có kích thước lớn, lên tới hàng trăm hoặc thậm chí hàng nghìn Gigabyte.

Theo W H Inmon và R D Hackathom [9] định nghĩa : Kho dữ liệu là một s- ưu tập dữ liệu trợ giúp ra quyết định trong quản lý, với các đặc điểm:

Hướng chủ đề (subject - oriented), Tích hợp(integrated), Đa dạng thời gian (time-variant) Không hay thay đổi (nonvolatile)

Trong Data Warehouse, việc mô hình hóa và thiết kế dữ liệu tập trung vào các chủ đề chính như khách hàng, sản phẩm và bán hàng, thay vì các giao tác riêng lẻ hay xử lý hàng ngày Điều này giúp cung cấp cái nhìn rõ ràng và súc tích về các chủ đề quan trọng, đồng thời loại bỏ các dữ liệu không cần thiết, hỗ trợ quá trình ra quyết định hiệu quả hơn.

Tích hợp : Trong Kho dữ liệu, các thông tin cần phải:

Dữ liệu đƣợc tích hợp từ nhiều nguồn hỗn tạp nhƣ: cơ sở dữ liệu quan hệ, các file, các bản ghi giao tác

Công nghệ làm sạch và tích hợp dữ liệu là cần thiết để xử lý các dữ liệu không nhất quán về kiểu mã hóa và đơn vị khi đưa vào kho dữ liệu Trong môi trường kinh doanh hiện đại, quyết định thường được đưa ra trực tuyến, yêu cầu dữ liệu phải chính xác tại thời điểm ra quyết định Tuy nhiên, dữ liệu trong kho chỉ chính xác tại thời điểm nạp vào và có thể không hoàn toàn đúng ở các thời điểm khác Mỗi dữ liệu trong kho chỉ đúng tại một thời điểm nhất định, do đó, thời gian trở thành một thuộc tính quan trọng Dữ liệu thường được lưu trữ trong khoảng thời gian từ 5 đến 10 năm, giống như những bức ảnh chụp liên tiếp qua thời gian.

Kho dữ liệu thường không thay đổi, vì việc cập nhật dữ liệu (chèn, xóa, sửa) thường xuyên diễn ra trên các bản ghi Dữ liệu trong kho không được cập nhật liên tục mà chỉ được nạp vào theo lịch trình do người dùng xác định Với cách tiếp cận này, dữ liệu chủ yếu được nạp một lần và sau đó chỉ được truy cập để lấy ra khi cần thiết.

Việc cập nhật dữ liệu không thường xuyên xảy ra, do đó, các kỹ thuật như phục hồi dữ liệu, đảm bảo toàn vẹn tham chiếu, phát hiện và giải quyết tắc nghẽn thường không cần thiết.

So sánh Kho dữ liệu và hệ quản trị cơ sở dữ liệu truyền thống

1.2.3.1 Vấn đề tích hợp cơ sở dữ liệu hỗn tạp

1 Xây dựng hoán đổi hoặc vật dàn xếp trên đỉnh của cơ sở dữ liệu hỗn tạp

2 Áp dụng các điều khiển Query:

Khi một khách hàng yêu cầu xây dựng một trang web, siêu từ điển sẽ được sử dụng để chuyển đổi yêu cầu của họ thành các truy vấn phù hợp Những truy vấn này sẽ được tổng hợp từ nhiều trang web khác nhau, và kết quả cuối cùng sẽ được tích hợp vào một bộ câu trả lời chung.

Vấn đề phức tạp trong lọc thông tin và tranh chấp tài nguyên

*Kho dữ liệu: Sử dụng công cụ update và khả năng thực thi cao

Thông tin từ các nguồn hỗn tạp được tích hợp và lưu trữ trong các kho dữ liệu, phục vụ cho việc truy vấn và phân tích trực tiếp.

* Dùng OLTP (on-line transaction processing)- Xử lý các giao tác trực tuyến

- Thực hiện nhiệm vụ chính trong CSDL quan hệ truyền thống

- Phục vụ các hoạt đồng hàng ngày: mua, bán, đăng ký, thanh toán, lập bảng lương, báo cáo…

* Dùng OLAP (on-line analytical processing) – Xử lý phân tích trực tuyến

- Dùng cho các nhiện vụ chính của hệ thống Kho dữ liệu

- Phục vụ phân tích dữ liệu và hỗ trợ ra quyết định

* Sự khác biệt trong khả năng của OLPT và OLAP [9]:

Nội dung dữ liệu Hiện tại, chi tiết Lịch sử và hợp nhất Thiết kế CSDL Mô hình ER và ứng dụng Mục tiêu và chủ đề

Tổng quan Hiện tại cục bộ Tiến hoá, tích hợp

Xử lý Update Chỉ đọc nhƣng truy vấn không phức tạp Người sử dụng Chuyên gia công nghệ thông tin

Công nhân có tri thức (Công nhân bậc cao)

Chức năng Công việc hàng ngày Hỗ trợ ra quyết định

Có tính lặp đi lặp lại Đặc biệt, không dự tính đƣợc trước

Truy cập Bằng khoá chính Bằng nhiều cách Đơn vị công việc Các giao tác ngắn và đơn giản Truy vấn phức tạp

Số lƣợng bản ghi có thể đƣợc truy cập

Số người dùng Hàng trăm Hàng nghìn Độ lớn CSDL 100MB - GB 100GB – TB Đơn vị đo Số lƣợng giao tác Số lƣợng truy vấn và trả lời

So sánh hệ thống cơ sở dữ liệu tác nghiệp và hệ thống kho dữ liệu

Trước khi xây dựng Kho dữ liệu, các tổ chức thường đã tin học hóa các hoạt động hàng ngày thông qua hệ tác nghiệp (Online Transaction Processing - OLTPL), với nguồn dữ liệu chủ yếu từ hệ thống này Tuy nhiên, việc xây dựng Kho dữ liệu là cần thiết vì hệ tác nghiệp chỉ phục vụ cho tự động hóa các tác vụ hàng ngày, trong khi Kho dữ liệu hỗ trợ môi trường thông tin ra quyết định Kho dữ liệu được thiết kế để hỗ trợ quá trình phân tích và ra quyết định, mang lại những đặc điểm khác biệt quan trọng.

Hệ thống tác nghiệp mang tính hướng tác vụ với những đặc điểm chính sau [9]:

1 Trợ giúp các công việc tức thời hàng ngày

2 Chứa dữ liệu hiện thời, thể hiện trạng thái thực công việc

3 Các hoạt động xảy ra trong hệ thống thường đơn giản, giới hạn trong phạm vi nhất định, và kết quả gây ra thường là việc cập nhập dữ liệu

4 Được tối ưu hoá cho việc xử lý nhanh các tác vụ định trước, đặc biệt tập trung vào các hoạt động cập nhật

5 Người dùng chủ yếu là những người làm những công việc Ở mức độ chi tiết, cụ thể như thư kí, người bán hàng,

6 Thiết kế thường khó hiểu và che dấu với người dùng

Kho dữ liệu được thiết kế hướng trợ giúp quá trình phân tích và ra quyết định, và mang những đặc điểm khác như sau [9]:

1 Trợ giúp quá trình quản lý và điều khiển công việc

2 Chứa dữ liệu mang tính lịch sử, thể hiện cách nhìn ổn định của công việc trong một giai đoạn hay tại một thời điểm cụ thể đã qua

3 Đƣợc tối ƣu hoá cho các câu hỏi truy vấn, chứ không phải các các hoạt động cập nhật Các câu hỏi có thể được xác định trước cho tới hoàn toàn không được xác định trước

4 Người dùng chủ yếu là đội ngũ quản lý để hiểu, phân tích, đánh giá và ra quyết định hên quan tới công việc

5 Phải được thiết kế dễ hiểu và dễ sử dụng đối với người dùng

Tóm lại : Kho dữ liệu và cơ sở dữ liệu tác nghiệp có những điểm khác nhau chủ yếu sau :

Hướng chủ thể của kho dữ liệu tổ chức là cung cấp dữ liệu từ góc nhìn của người dùng cuối, trong khi các cơ sở dữ liệu tác nghiệp tổ chức dữ liệu từ góc nhìn của ứng dụng, nhằm tối ưu hóa khả năng truy cập dữ liệu cho ứng dụng.

Quản lý khối lượng lớn thông tin là một thách thức trong các Kho dữ liệu, nơi chứa nhiều dữ liệu quá khứ thường bị loại bỏ bởi các hệ thống tác nghiệp Để đáp ứng nhu cầu phân loại và tóm tắt dữ liệu khổng lồ, Kho dữ liệu cần cung cấp các thủ tục hỗ trợ Việc tích hợp dữ liệu quá khứ với dữ liệu hiện tại làm cho Kho dữ liệu trở nên lớn hơn nhiều so với cơ sở dữ liệu tác nghiệp.

Kho dữ liệu lưu trữ thông tin trên nhiều phương tiện khác nhau để quản lý khối lượng dữ liệu lớn.

Ghép nối nhiều phiên bản của lược đồ cơ sở dữ liệu là một yếu tố quan trọng trong việc quản lý kho dữ liệu Kho dữ liệu cần phải lưu trữ và quản lý thông tin quá khứ, vốn đã được xử lý qua nhiều thời điểm và phiên bản lược đồ khác nhau Do đó, việc tổng hợp các thông tin này là cần thiết để đảm bảo tính toàn vẹn và chính xác của dữ liệu trong kho.

Mức độ chi tiết trong thông tin lưu trữ của cơ sở dữ liệu tác nghiệp rất lớn, ảnh hưởng đến quá trình ra quyết định Kho dữ liệu tóm tắt và kết hợp thông tin để trình bày theo cách dễ hiểu cho người dùng.

Tích hợp và liên kết thông tin từ nhiều nguồn dữ liệu khác nhau là rất quan trọng, bởi vì các tổ chức thường sử dụng nhiều cơ sở dữ liệu và ứng dụng phần mềm để quản lý công việc Do đó, việc xây dựng kho dữ liệu cần thiết để thu thập và tổ chức thông tin mà các ứng dụng này đã tích lũy qua nhiều năm là điều không thể thiếu.

Dữ liệu trong Kho dữ liệu

Xây dựng Kho dữ liệu là quá trình kỹ thuật quan trọng, bao gồm việc thu thập, quản lý và khai thác tài liệu một cách hợp lý từ nhiều nguồn khác nhau để tạo ra một kho dữ liệu hiệu quả.

Kho dữ liệu cung cấp thông tin dễ hiểu và phù hợp cho việc quản lý nghiệp vụ của tổ chức Để xây dựng Kho dữ liệu, cần xác định các loại dữ liệu cần thiết Có ba cách phân chia các kiểu dữ liệu dựa trên cách xem xét khác nhau.

Phân chia theo ngữ nghĩa của dữ liệu : theo ngữ nghĩa của dữ liệu thì Kho dữ liệu có 3 kiểu dữ liệu [9],[5]:

Dữ liệu nghiệp vụ là thông tin quan trọng được sử dụng để điều hành và quản lý công việc hoặc tổ chức, phản ánh các hoạt động cần thực hiện và các đối tượng trong thế giới thực như khách hàng, địa điểm và sản phẩm Dữ liệu này được tạo ra và sử dụng thông qua hệ thống xử lý giao dịch và hệ thống hỗ trợ quyết định.

Dữ liệu thành phẩm mang giá trị thực chất riêng, với nội dung biểu đạt là yếu tố quan trọng nhất Nó được tạo ra, mua bán giống như các sản phẩm vật lý khác, chẳng hạn như phim ảnh và sách báo, và thường được lưu trữ dưới dạng số hoá.

Siêu dữ liệu (Meta data) là thông tin mô tả cấu trúc và ý nghĩa của dữ liệu trong kho dữ liệu, giúp xác định cách thức dữ liệu được tạo ra, truy cập và sử dụng Nó đóng vai trò quan trọng trong việc định nghĩa và mô tả dữ liệu nghiệp vụ cũng như dữ liệu thành phẩm.

Dữ liệu có thể được phân chia thành ba loại chính dựa trên cấu trúc: dữ liệu cấu trúc cao, bao gồm các trường hoặc bản ghi có mối quan hệ rõ ràng; dữ liệu phi cấu trúc, với các cấu trúc bên trong thường xuyên thay đổi; và dữ liệu bán cấu trúc, nằm giữa hai loại trên.

Dữ liệu được phân chia thành hai loại chính: dữ liệu cá nhân, mà người sở hữu có quyền thay đổi theo ý muốn, và dữ liệu công cộng, nơi việc sử dụng được chia sẻ trong cộng đồng, yêu cầu quản lý cẩn thận cho mỗi sự thay đổi.

Kiến trúc kho dữ liệu

* Cách nhìn tổng quan về thiết kế Kho dữ liệu

Khi thiết kế Kho dữ liệu người ta đưa ra bốn cách nhìn tổng quan như sau:

1 Cách nhìn từ trên xuống (Top – down): Chia Kho dữ liệu thành các phần có thông tin liên quan mật thiết với nhau

2 Nguồn dữ liệu: Bỏ đi các thông tin bị lưu trữ và quản lý bởi hệ điều hành

3 Kho dữ liệu: chỉ chứa các bảng thực và các bảng ra quyết định

4 Các truy vấn giao dịch: đƣa ra viễn cảnh của dữ liệu dựa trên cái nhìn của người sử dụng

* Quy trình thiết kế Kho dữ liệu

1 Dùng cách tiếp cận top-down hoặc bottom – up hoặc trộn lẫn cả hai phương pháp Trong đó, phương pháp tiếp cận top-down bắt đầu với thiết kế và kế hoạch còn bottom-up bắt đầu với các thử nghiệm và nguyên mẫu

2 Dựa trên quan điểm đánh giá kỹ nghệ phần mềm(công trình học phần mềm):

- Mô hình thác nước: Phân tích cấu trúc và hệ thống của từng bước trước khi bước sang bước khác

- Mô hình xoắn ốc: Nhanh chóng đƣa ra các chức năng hệ thống với thời gian trả lời ngắn và nhanh

3 Các quy trình thiết kế Kho dữ liệu điển hình

- Thiết kế theo quy trình giao dịch

- Thiết kế theo quy trình hạt nhân

- Thiết kế theo kích thước dữ liệu

- Thiết kế theo các đơn vị đo của dữ liệu

* Kiến trúc đa tầng của Kho dữ liệu [9]

Hình 1.1 Mô Kho dữ liệu

Mô tả các thành phần :

1 Data sources (Dữ liệu nguồn) bao gồm :

- Dữ liệu sản phẩm: đó là các dữ liệu đƣợc chắt lọc từ các phần mềm ứng dụng và các hệ CSDL tác nghiệp

Dữ liệu kế thừa là loại dữ liệu có tính chất lịch sử, đóng vai trò quan trọng trong quá trình phân tích dữ liệu Ngoài ra, các phương pháp khai thác dữ liệu thường được áp dụng trên loại dữ liệu này để rút ra những thông tin giá trị.

2 Data Storage (Các hệ thống dữ liệu bên trong)

Bộ biến đổi và tích hợp dữ liệu (Extract, Transform, Load, Refresh) thực hiện các nhiệm vụ quan trọng như thu thập, chuẩn hoá, làm sạch, và sàng lọc dữ liệu Nó tích hợp các loại dữ liệu khác nhau, đồng thời thực hiện tính toán, tổng hợp và kết xuất dữ liệu theo yêu cầu của người sử dụng.

Analysis Query Reports Data mining

Data mart (Kho dữ liệu cục bộ hay dữ liệu theo chủ đề) là nơi lưu trữ dữ liệu được tổ chức theo chủ đề cụ thể, cho phép điều chỉnh để đáp ứng nhu cầu của từng bộ phận người dùng Các kho dữ liệu này có thể được xây dựng theo cách tiếp cận từng giai đoạn, từ việc kết hợp nhiều kho dữ liệu thông minh để tạo ra một kho dữ liệu lớn hơn, hoặc phân tích một kho dữ liệu thành nhiều kho dữ liệu cục bộ Chức năng của data mart bao gồm mô hình hóa, sàng lọc, tích hợp dữ liệu vào các lĩnh vực có chủ đề cụ thể, tổng hợp và kết nối dữ liệu.

Siêu dữ liệu (metadata) là kho dữ liệu về dữ liệu, đóng vai trò quan trọng trong việc định nghĩa và xác định các loại dữ liệu cũng như các phương pháp xử lý và quản lý dữ liệu trong Kho dữ liệu Do tính đa dạng của các kiểu loại dữ liệu và các phương pháp quản lý dữ liệu mới, siêu dữ liệu giúp tối ưu hóa quy trình quản lý và khai thác thông tin hiệu quả hơn Các chức năng chính của siêu dữ liệu bao gồm việc cung cấp thông tin chi tiết về nguồn gốc, cấu trúc và quy trình xử lý dữ liệu, từ đó hỗ trợ người dùng trong việc truy cập và sử dụng dữ liệu một cách chính xác và hiệu quả.

+ Định nghĩa dữ liệu ( định nghĩa kỹ thuật và miêu tả nghiệp vụ) của các dữ liệu lưu trữ trong Kho dữ liệu

+ Mô tả các báo cáo và các chất vấn

+ Mô tả qui định sao chép, cập nhật và nạp lại dữ liệu

+ Mô tả cách thức truy nhập dữ liệu

3 OLAP Engine: Bản thân Kho dữ liệu là một hệ thống thông tin lớn và có một khối lƣợng rất lớn các dữ liệu lịch sử và hiện tại, mà các loại dữ liệu này bao gồm nhiều kiểu loại khác nhau và đa dạng, do đó việc quản trị dữ liệu đóng một vai trò rất quan trọng Việc Quản trị dữ liệu này tạo môi trường hoạt động cho chính Kho dữ liệu Quản trị kho có những chức năng nhƣ nạp vào, nạp lại, trích đoạn dữ liệu, tuân thủ an toàn, lưu trữ, khôi phục dữ liệu

- Hệ thống phân phối thông tin:

Lớp chuyền tải dữ liệu có nhiệm vụ chính là chuyển tải thông tin, sử dụng các phương thức nạp, sao chép và chuyển tải dữ liệu qua các hệ thống mạng và phần mềm trung gian Lớp này đảm bảo an toàn và phân quyền cho các yêu cầu liên quan đến việc chuyển tải dữ liệu.

+ Lớp kết cấu hạ tầng : Bao gồm các thành phần sau:

Thành phần quản lý hệ thống cung cấp khả năng tìm kiếm và quản lý phần mềm chuẩn cũng như phần mềm ứng dụng, hỗ trợ người thiết kế hệ thống và người sử dụng trong công việc của họ.

Thành phần thứ hai trong lớp này hỗ trợ tích hợp và quản lý các phần mềm chuẩn, ứng dụng, và các hoạt động khác nhằm sao chép, cập nhật, kết nối và tổng hợp dữ liệu hiệu quả.

Thành phần thứ ba phục vụ cho công việc lưu trữ Nó cũng cung cấp các dịch vụ quản lý cho khối các nguồn dữ liệu

Thành phần cuối cùng của lớp này bao gồm các hệ thống xử lí Chúng tạo ra các môi trường làm việc cho Kho dữ liệu

4 Front-End Tools (Các công cụ vấn đáp, báo cáo, phân tích trực tiếp và khai phá dữ liệu) Đây chính là các cách khai thác kho dữ liệu để đem lại những "tri thức" hơn là đem lại chính những dữ liệu thô

- Truy nhập trực tiếp vào Kho dữ liệu/ kho cục bộ

- Tạo ra các công cụ đề tạo báo cáo, phân tích dữ liệu, mô hình hoá tác nghiệp

- Tạo ra các công cụ phân tích trữ tuyến, trợ giúp ra quyết định

- Tạo ra các công cụ khai phá dữ liệu.

Ba mô hình của Kho dữ liệu

1 Mô hình xí nghiệp: Tập hợp tất cả các thông tin về kế hoạch của các ban trong toàn tổ chức

2 Dữ liệu chủ đề: Tập con của dữ liệu chung sao cho giá trị của chúng là quan trọng, hữu ích cho nhóm hoặc người sử dụng, ví dụ như dữ liệu về maketing

3 Kho ảo: Chứa tập các cái nhìn tổng quan về hoạt động của cơ sở dữ liệu Tuy nhiên, chỉ một vài kết luận trong đó có thể thực hiện đƣợc.

Hướng tiếp cận đề nghị khi phát triển Kho dữ liệu [9]

Hình 1.2 Hướng phát triển kho dữ liệu

Từ Kho dữ liệu đến khai phá dữ liệu

1.2.9.1 Sử dụng Kho dữ liệu

Kho dữ liệu sử dụng cho ba loại ứng dụng sau:

1 Xử lý thông tin: trợ giúp truy vấn, phân tích thông tin tĩnh và cơ bản, tạo báo cáo sử dụng crosstabs, bảng, biểu đồ và đồ thị

2 Xử lý các phân tích: Phân tích nhiều loại kích thước của dữ liệu trong Kho dữ liệu Trợ giúp các hoạt động cơ bản của xử lý phân tích trực tuyến

3 Khai phá dữ liệu (data mining): Khai phá tri thức từ các mẫu ẩn Trợ giúp các mô hình phân tích xây dựng và kết hợp, biểu diễn phân loại và dự báo, đƣa ra các kết quả khai phá bằng các công cụ trực quan

Define a high-level corporate data model

1.2.9.2 Công nghệ xử lý phân tích trực tuyến dùng cho khai phá dữ liệu

Khai phá dữ liệu liên quan chặt chẽ đến xử lý thông tin và xử lý phân tích trực tuyến (OLAP) Xử lý thông tin dựa trên truy vấn có thể cung cấp những thông tin hữu ích, nhưng các câu trả lời từ truy vấn chỉ phản ánh dữ liệu trực tiếp trong cơ sở dữ liệu hoặc các bảng tính toán thông qua các chức năng tập hợp Điều này có nghĩa là chúng không thể phản hồi thông tin từ các mẫu tinh vi hoặc các quy tắc trong cơ sở dữ liệu Vì vậy, xử lý thông tin không đồng nghĩa với khai phá dữ liệu.

Xử lý thông tin trực tuyến là bước quan trọng trong việc khai thác dữ liệu, cho phép tổng hợp và điều khiển thông tin từ Kho dữ liệu một cách hiệu quả.

Các chức năng của OLAP và khai phá dữ liệu có thể được phân chia thành hai phần chính: OLAP tập trung vào việc tổng kết và phân tích dữ liệu một cách đơn giản, trong khi khai phá dữ liệu cho phép phát hiện tự động các mẫu và tri thức ẩn trong khối lượng lớn dữ liệu Công cụ OLAP nhằm mục đích đơn giản hóa và hỗ trợ việc phân tích dữ liệu tương tác, trong khi công cụ khai phá dữ liệu hướng tới việc tự động hóa quy trình xử lý, đồng thời cho phép người dùng can thiệp khi cần thiết Sự kết hợp giữa hai phương thức này giúp khai phá dữ liệu vượt qua các phương pháp phân tích trực tuyến truyền thống.

Hệ thống OLAP cho phép người dùng trực tiếp tổng kết và so sánh dữ liệu trong Kho dữ liệu, nhưng khai phá dữ liệu lại có chức năng rộng hơn, bao gồm phân tích kết hợp, phân lớp, dự đoán, bó cụm và nhiều bài toán phân tích khác.

Khai phá dữ liệu cho phép phân tích thông tin chi tiết hơn so với phương pháp phân tích dữ liệu tổng hợp từ Kho dữ liệu, giúp khai thác tối đa giá trị của dữ liệu.

Kể từ khi khai thác dữ liệu, chế độ hoạt động tự động và sâu hơn của OLAP đã trở thành kỳ vọng của nhiều ứng dụng lớn.

1.2.9.3 Từ xử lý phân tích trực tuyến đến khai phá phân tích trực tuyến

Khai phá phân tích trực tuyến (OLAM) kết hợp giữa OLAP, khai phá dữ liệu và khai phá tri thức, cho phép phân tích hiệu quả các cơ sở dữ liệu với kích thước đa dạng.

* Lý do để dùng OLAM:

- Tạo dữ liệu chất lƣợng cao trong Kho dữ liệu (Kho dữ liệu chứa dữ liệu tích hợp, thích đáng và sạch)

- Có khả năng xử lý thông tin xung quanh kiến trúc của Kho dữ liệu

- Dựa trên cơ sở OLAP nhƣng phân tích mang tính chất thám hiểm

- Lựa chọn trực tuyến các chức năng khai phá dữ liệu: tích hợp và hoán đổi các chức năng, thuật toán và bài toán khai phá dữ liệu

KHAI PHÁ DỮ LIỆU

Khai phá dữ liệu là gì ?

Khai phá dữ liệu là quá trình phát hiện tri thức trong cơ sở dữ liệu, giúp rút ra những thông tin tiềm ẩn, chưa được biết đến và có giá trị từ các tập dữ liệu lớn.

Tuy nhiên, cần nhấn mạnh rằng các hệ thống xử lý truy vấn, hệ chuyên gia và các hệ thống thống kê nhỏ không được coi là khai phá dữ liệu.

Động cơ thúc đẩy dùng khai phá dữ liệu

Chúng ta có một số thực trạng nhƣ sau:

1 Nhiều tổ chức đã cảnh báo từ các doanh nghiệp tƣ nhân đến chính phủ việc các bộ máy quan liêu đã mất mát một số lƣợng kinh khủng những tài nguyên trong việc xây dựng và bảo trì thông tin của cơ sở dữ liệu trong cả những thập niên gần đây, bao gồm sự phát triển lớn về quy mô các Kho dữ liệu

2 Dữ liệu không được phân tích thường xuyên bởi các phương thức thống kê chuẩn, nguyên nhân là do mất các bản ghi hoặc các mẫu dữ liệu đƣợc thu thập theo dạng định tính hơn là định lƣợng

3 Trong môt số trường hợp thông tin chứa trong các cơ sở dữ liệu lại ít giá trị và không dùng đƣợc bởi vì dữ liệu không thể dễ dàng truy nhập hoặc phân tích

4 Một vài cơ sở dữ liệu lại qua lớn đến mức quản trị hệ thống không thể biết thông tin nào có thể đƣa ra hoặc cái nào là thích đáng cho thời điểm hiện tại

5 Các tổ chức có thể nắm giữ nhiều lợi ích từ các Kho dữ liệu lớn chứa đựng các thông tin hoặc các mẫu có giá trị

6 Có rất nhiều phương pháp khai phá dữ liệu có thể dùng để phân tích nguồn dữ liệu trong yêu cầu khám phá ra các mẫu mới và các khuyng hướng mới

Sự bùng nổ dữ liệu hiện nay được thúc đẩy bởi việc tự động hóa trong việc thu thập dữ liệu và sự phát triển của công nghệ cơ sở dữ liệu, dẫn đến khối lượng lớn thông tin được lưu trữ trong các cơ sở dữ liệu, kho dữ liệu và các kho chứa thông tin khác.

Mặc dù chúng ta đang sống trong một thời đại bùng nổ thông tin và có thể nói rằng chúng ta đang bội thực dữ liệu, nhưng thực tế là chúng ta lại đang thiếu hụt dữ liệu có tri thức.

Giải pháp đƣa ra ở đây là chúng ta dùng Kho dữ liệu(data warehousing) và khai phá dữ liệu(data mining).

Các ứng dụng của khai phá dữ liệu

2.2.1 Phân tích cơ sở dữ liệu và trợ giúp ra quyết định:

* Phân tích và quản lý thị trường: Quản lý quan hệ giữa bán hàng và khách hàng, phân tích quá trình bán hàng, phân đoạn quá trình bán hàng

Nguồn dữ liệu để phân tích bao gồm giao dịch bằng thẻ tín dụng, kiểm tra thẻ, các chương trình giảm giá, ý kiến phản hồi từ khách hàng và nghiên cứu về phong cách sống của cộng đồng.

- Mục tiêu tiếp thị, bán hàng: Tìm kiếm nhóm khách hàng có cùng đặc trƣng nhƣ: sở thích, thu nhập, thói quen tiêu tiền

- Phân tích thị trường: Sự kết hợp, liên kết các sản phẩm bầy bán Dự báo trước dựa trên tổng hợp thông tin

Xác định nhu cầu của khách hàng là bước quan trọng trong việc khai thác dữ liệu, giúp nhận diện các nhóm khách hàng và loại sản phẩm mà họ có khả năng mua Phân cụm và phân lớp dữ liệu sẽ cho phép doanh nghiệp hiểu rõ hơn về hành vi tiêu dùng của khách hàng, từ đó tối ưu hóa chiến lược tiếp thị và tăng cường hiệu quả bán hàng.

Xác định nhu cầu của khách hàng là bước quan trọng để tìm ra sản phẩm phù hợp nhất cho từng nhóm khách hàng Việc sử dụng các dự đoán sẽ giúp nhận diện những yếu tố có thể thu hút thêm khách hàng mới.

- Cung cấp các thông tin tổng hợp: Các báo cáo khác nhau về số lƣợng, các báo cáo tổng hợp thống kê (xu hướng và thay đổi dữ liệu)

* Quản lý và phân tích rủi ro: Dự báo, giữ khách hàng, phát triển bảo hiểm, quản lý chất lƣợng, phân tích cạnh tranh

Lập kế hoạch tài chính và ước lượng tài sản là bước quan trọng, bao gồm việc phân tích và dự báo chu kỳ quanh vốn Cần thực hiện phân tích vốn phát sinh để đưa ra ước lượng tài sản chính xác Đồng thời, việc phân tích tỷ lệ tài chính và xu hướng phát triển cũng giúp xác định tình hình tài chính và khả năng tăng trưởng trong tương lai.

- Kế hoạch về nguồn vốn: tổng hợp và so sánh giữa nguồn vốn và ciệc chi tiêu

Phân tích cạnh tranh là việc theo dõi tình hình thị trường và điều chỉnh chiến lược kinh doanh phù hợp Cần phân loại khách hàng thành các nhóm dựa trên mức giá sản phẩm, từ đó xây dựng chiến lược giá cả hiệu quả trong giai đoạn cạnh tranh.

* Quản lý và phát hiện gian lận

- Các ứng dụng: Dùng rộng rãi trong các lĩnh vực chăm sóc sức khoẻ, bán lẻ, dịch vụ thanh toán bằng thẻ, kết nối viễn thông…

Sử dụng dữ liệu lịch sử để phát triển chiến lược ứng phó với gian lận, đồng thời áp dụng khai phá dữ liệu nhằm nhận diện các trường hợp tương tự trong tương lai.

 Chiếm đoạt tiền bảo hiểm: phát hiện những người đóng kịch tai nạn để lấy tiền bảo hiểm vào một loại hợp đồng bảo hiểm

 Rửa tiền: Dò tìm các giao dịch đáng ngờ

 Bảo hiểm y tế: phát hiện các khách hàng chuyên dùng y tế để kiếm tiền bảo hiểm

- Dò tìm các gian lận trong điện thoại:

- Bán lẻ: Phân tích đã cảnh bảo 38% số lƣợng doanh thu trong bán lẻ đã rơi vào túi nhân viên không trung thực

Khai phá dữ liệu trong quá trình phát hiện tri thức

* Mô hình quá trình phát hiện tri thức (knowledge discovery process – KDD)[9]

Hình 2.1 Quá trình phát hiện tri thức

Các bước phát hiện tri thức:

1 Tìm hiểu các miền ứng dụng: ƣu tiên các tri thức thích đáng và mục tiêu của ứng dụng

2 Tạo các tập dữ liệu đích: Chọn lọc dữ liệu

3 Xử lý và làm sạch dữ liệu: công việc này có thể mất 60% công sức

4 Thu nhỏ và biến đổi dữ liệu: Tìm kiếm các đặc điểm hữu dụng, xác định thành phần có thể thu nhỏ, thành phần bất biến

5 Lựa chọn chức năng của khai phá dữ liệu: Tổng kết, phân loại, hồi quy, bó cụm, kết hợp

6 Lựa chọn phương pháp khai phá

7 Khai phá dữ liệu: tìm kiếm các mẫu quan tâm

Tích hợp dữ liệu cơ sở dữ liệu

Chọn lọc Khai phá dữ liệu ước lượng mẫu Tri thức

8 Ƣớc lƣợng mẫu và trình bày tri thức: nhìn nhận, biến đổi và loại bỏ các mẫu dƣ thừa

9 Sử dụng tri thức phát hiện được: Lưu trữ tri thức đã được phát hiện,

Kết hợp các tri thức thành hệ thống Giải quyết các xung đột tiềm tàng trong tri thức khai thác đƣợc

Ngoài ra ta chú ý theo mô hình trên có rất nhiều bước có thể được lặp đi lặp lại

Phát hiện tri thức từ cơ sở dữ liệu (CSDL) là một quá trình chủ yếu dựa vào con người, sử dụng nhiều phương pháp và công cụ tin học nhằm giải quyết các nhiệm vụ cụ thể trong một lĩnh vực nhất định Quá trình này mang tính chất hướng nhiệm vụ, tập trung vào việc phát hiện tri thức cần thiết để hoàn thành nhiệm vụ, không phải là phát hiện mọi tri thức Khai phá dữ liệu là giai đoạn quan trọng trong quá trình này, bao gồm việc tìm kiếm mô hình phù hợp và các mẫu đáng chú ý trong tập dữ liệu Khai phá dữ liệu giúp phát hiện các mẫu mới, tương quan có ý nghĩa và xu hướng thông qua việc khai thác dữ liệu trong kho dữ liệu, sử dụng các kỹ thuật khai phá hiệu quả.

Nhƣ vậy, khai phá dữ liệu là cốt lõi của quá trình phát hiện tri thức.

Khai phá dữ liệu và tin tức kinh doanh

Ta có thể biểu diễn mối quan hệ thông qua mô hình sau:[9]

Hình 2.2 Mô hình kinh doanh

2.5 KIẾN TRệC ĐIỂN HèNH CỦA HỆ THỐNG KHAI PHÁ DỮ LIỆU

Hình 2.3 Kiến trúc hệ thống khai phá dữ liệu

Hướng tăng trợ giúp ra quyết định

Phân tích thống kê, truy vấn và báo cáo

Kho dữ liệu / dữ liệu hướng chủ đề

Giấy tờ, File, thông tin, hệ thống cơ sở dữ liệu, OLTP

Tích hợp và làm sạch dữ liệu Lọc dữ liệu

Cơ sở dữ liệu hoặc quản trị Kho dữ liệu

Phương tiện khai phá dữ liệu ước lượng mẫu Giao diện người sử dụng

2.6 KHAI PHÁ DỮ LIỆU NƠI HỘI TỤ CỦA RẤT NHIỀU KIẾN THỨC:

Khai phá dữ liệu là lĩnh vực giao thoa giữa nhiều ngành học và kiến thức khác nhau, tạo nên một ngã ba sông đa dạng và phong phú.

Hình 2.4 Khai phá dữ liệu và tri thức

2.7 TRỌNG TÂM CHÍNH TRONG KHAI PHÁ DỮ LIỆU

 Các phương pháp khai phá và tương tác người sử dụng

- Khai phá các loại tri thức khác nhau của cơ sở dữ liệu

- Khai phá tương tác các tri thức ở nhiều mức trừu tượng khác nhau

- Hợp nhất các nền tảng tri thức

- Ngôn ngữ truy vấn khai phá dữ liệu và khai phá dữ liệu không theo thể thức (khai phá dữ liệu đặc biệt)

- Đưa ra kết quả khai phá dữ liệu dưới dạng trực quan hoặc biểu thức

- Điều khiển dữ liệu phức tạp và không đầy đủ

 Tính khả thi và khả năng

- Hiệu năng và khả năng thực thi của các thuật toán khai phá dữ liệu

Công nghệ cơ sở dữ liệu

- Hoạt động song song, phân tán và sự lớn mạnh của các phương pháp khai phá

 Liên kết các kiểu dữ liệu đa dạng

- Điều khiển các kiểu dữ liệu phức tạp và có liên hệ với nhau

- Khai phá thông tin từ các cơ sở dữ liệu hỗn tạp và hệ thống thông tin toàn cầu

2.8 NHỮNG VẤN ĐỀ KHÔNG CẦN DÙNG KHAI PHÁ DỮ LIỆU

Quá trình khai phá dữ liệu tập trung vào việc khám phá các mẫu và khuynh hướng ẩn giấu trong dữ liệu Khi một mẫu đặc biệt được xác định, nó có thể chứa các đặc trưng quan trọng, giúp người khai thác dữ liệu tiếp tục tìm kiếm Mẫu này có thể được mô tả như chất lượng tri thức và được áp dụng trong nhiều lĩnh vực như báo cáo chuẩn, huấn luyện mạng nơron, hoặc quy tắc trong hệ chuyên gia Tuy nhiên, khi mẫu đã được xác định, nó trở thành mẫu đã biết trong quá trình khai phá dữ liệu Những yêu cầu về mẫu đã biết chỉ xuất hiện khi cần xác định tính hợp lệ hoặc sự biến đổi của chúng Các phương pháp phân tích dựa trên mẫu đã biết không được coi là khai phá dữ liệu, mặc dù chúng có thể sử dụng dữ liệu từ các bài toán khai phá trước đó Do đó, các kỹ thuật như huấn luyện có sẵn hoặc học có giám sát không cấu thành khai phá dữ liệu, mặc dù chúng vẫn có giá trị trong nhiều trường hợp.

 Khai phá dữ liệu khác với kiểm tra thông tin

Chúng ta cần phân biệt giữa xử lý dữ liệu bằng khai phá dữ liệu và bằng kiểm tra định lƣợng

Phần lớn các ứng dụng khai phá dữ liệu tập trung vào phân tích thông tin từ các tập dữ liệu đã được thu thập trước đó, với dữ liệu tĩnh phản ánh trạng thái của thế giới thực trong một khoảng thời gian nhất định Việc xem xét lại các thông tin có sẵn giúp xác nhận độ chính xác của dữ liệu và xác định các quyết định quan trọng Trong quá trình phân tích, dữ liệu không thay đổi, đảm bảo rằng kết quả thu được là đáng tin cậy cho tập dữ liệu đó, do đó không cần lo lắng về thời gian chi phí để đưa ra quyết định.

Sự kiểm tra thường liên quan đến việc so sánh các mẫu trực tuyến với các điều kiện hoặc đường biên nhất định, diễn ra trong thời gian thực và xử lý dữ liệu cập nhật Hệ thống kiểm tra được áp dụng trong các lĩnh vực như thị trường tài chính, kiểm soát không lưu và lò phản ứng hạt nhân, giúp tăng tốc độ phản hồi và khai thác thông tin hiệu quả Mô hình dự báo và người dự báo hỗ trợ xác định các giá trị tới hạn, các hoạt động bất thường và tiêu chuẩn dữ liệu Tuy nhiên, các hệ thống này hiện tại không thường xuyên sử dụng khai phá dữ liệu, không khám phá các mẫu mới hoặc phân loại, mà chủ yếu dựa vào các mẫu đã được phát sinh trước đó.

2.9 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU

2.9.1 Truy cập và chuẩn bị dữ liệu

Trước khi phát triển hệ thống phân tích và tạo báo cáo thông minh, dữ liệu cần phải được chuẩn bị sẵn sàng Tuy nhiên, yêu cầu này không phải lúc nào cũng được thực hiện Trong một số trường hợp, người dùng có thể truy cập trực tiếp vào các hệ thống cơ sở dữ liệu và file trực tuyến mà không cần thủ tục hay quyền truy cập đặc biệt Hầu hết dữ liệu trong nhiều lĩnh vực thường được lưu trữ trong các cấu trúc quan hệ, cho phép truy vấn dễ dàng để lấy thông tin mong muốn.

Mặc dù kho dữ liệu ngày càng trở nên phổ biến, việc xây dựng và bảo trì chúng đòi hỏi một chi phí cao Nếu bạn không thuộc nhóm công nghệ của một tổ chức lớn, khả năng truy cập vào các hệ thống thông tin phức tạp sẽ hạn chế Thông tin trong nhiều trường hợp khai phá dữ liệu thường được lấy từ các nguồn không dự tính trước và việc truy cập, tích hợp, trình bày không cần phải sử dụng các phương pháp tiên tiến như trong kho dữ liệu.

Khi truy cập dữ liệu từ kho dữ liệu trực tuyến hoặc bằng các phương pháp khác, điều quan trọng là phải trích xuất một phần dữ liệu để đưa vào môi trường khai phá dữ liệu.

 Truy vấn nguồn dữ liệu

Bước đầu tiên trong khai phá dữ liệu là xác định tập con dữ liệu để phân tích Cấu trúc dữ liệu của tập hợp này cần phản ánh mẫu mà chúng ta muốn nghiên cứu Việc trích xuất mẫu là một trong những phương pháp hiệu quả nhất để tạo ra các lát cắt dữ liệu phục vụ cho các ứng dụng khai phá dữ liệu.

 Các thao tác có ích thực hiện trong quá trình truy cập dữ liệu

1 Chuyển đổi chữ: Chuyển tất cả các ký từ trong luồng dữ liệu thành chữ hoa hoặc chữ thường Sự trợ giúp này giúp ngăn ngừa bất kỳ sự thay đổi có thể xảy ra giữa các nguyên tố dữ liệu khác nhau

2 Ghép nối thông tin: trong nhiều hệ thống dữ liệu đƣợc cất giữ riêng biệt trong các trường, thực thể Mặc dù, các hệ thống này đã cung cấp kỹ thuật đủ cho mô hình trong quá trình phân tích nhƣng các thành phần đơn lẻ phải đƣợc kết hợp lại để tạo dữ liệu duy nhất Do đó, cần ghép nối thông tin từ các trường khác nhau vào một đơn vị duy nhất

3 Định dạng cách trình bày: đặt ra các khuôn dạng đại diện các kiểu nhất định

4 Làm giàu dữ liệu: dữ liệu thông thường chứa đựng nhiều đặc tính khác nhau, chúng có thể bị loại bỏ từ luồng dữ liệu Sự giải thoát những đặc tính này có thể trở thành rất quan trọng với ứng dụng dưới dạng lựa chọn những kiểu dữ liệu sẵn có cho các trình diễn

5 Trừu tượng hoá: trong một vài trường hợp rất hữu ích nếu ta giảm bớt trình diễn thông tin trong các trường thành các giá trị đơn giản là Yes/No Điều này cho phép ta truyền chắc chắn các kiểu thông tin mà không cần có sự trình bày ở trên đầu của các giá trị duy nhất đơn

6 Quá trình chuyển đổi các đơn vị: Ta cần chấp nhận một đơn vị chuẩn cho mỗi trường xuất hiện trong tập dữ liệu

7 Loại trừ: Vì quá trình xử lý cần làm tăng giá trị dữ liệu, do đó cần có các tiêu chuẩn loại trừ để bỏ đi các dữ liệu không cần thiết

Dữ liệu trong phân tích không chỉ đến từ một nguồn duy nhất; mỗi lần truy cập dữ liệu cần tích hợp cả dữ liệu vật lý và logic để đáp ứng các yêu cầu phát triển Người phân tích cần xác định các khía cạnh quan trọng từ nhiều nguồn dữ liệu khác nhau và làm thế nào để khai thác chúng nhằm đạt được mục tiêu khảo sát Có nhiều cách để xác định cấu trúc dữ liệu cần lấy từ nguồn, cùng với nhiều phương pháp và kỹ thuật thông tin giúp phát hiện sự thật, sự tương đồng và dị thường trong tập dữ liệu Do đó, các lược đồ dữ liệu cần được quản lý một cách hiệu quả và chắc chắn.

Trong khai phá dữ liệu, các ràng buộc thường tạo ra những trường hợp đặc biệt, giúp đảm bảo rằng dữ liệu hoạt động mà không xảy ra xung đột Tuy nhiên, khi thay đổi tập dữ liệu trong nhiều miền khác nhau, người dùng có thể gặp phải những phiền phức không mong muốn khi muốn khôi phục dữ liệu về trạng thái ban đầu Để phục vụ cho phân tích, dữ liệu cần được thay đổi và tinh chế, nhưng điều quan trọng là phải xây dựng lại nguồn dữ liệu nguyên thủy và mô tả rõ ràng những thay đổi sẽ xảy ra, nhằm đảm bảo quá trình chuyển đổi dữ liệu diễn ra suôn sẻ.

Khai phá dữ liệu nơi hội tụ của rất nhiều kiến thức

Khai phá dữ liệu là điểm giao thoa của nhiều lĩnh vực và kiến thức khác nhau, thể hiện sự đa dạng và phong phú trong nghiên cứu và ứng dụng của nó.

Hình 2.4 Khai phá dữ liệu và tri thức.

Trọng tâm chính trong khai phá dữ liệu

 Các phương pháp khai phá và tương tác người sử dụng

- Khai phá các loại tri thức khác nhau của cơ sở dữ liệu

- Khai phá tương tác các tri thức ở nhiều mức trừu tượng khác nhau

- Hợp nhất các nền tảng tri thức

- Ngôn ngữ truy vấn khai phá dữ liệu và khai phá dữ liệu không theo thể thức (khai phá dữ liệu đặc biệt)

- Đưa ra kết quả khai phá dữ liệu dưới dạng trực quan hoặc biểu thức

- Điều khiển dữ liệu phức tạp và không đầy đủ

 Tính khả thi và khả năng

- Hiệu năng và khả năng thực thi của các thuật toán khai phá dữ liệu

Công nghệ cơ sở dữ liệu

- Hoạt động song song, phân tán và sự lớn mạnh của các phương pháp khai phá

 Liên kết các kiểu dữ liệu đa dạng

- Điều khiển các kiểu dữ liệu phức tạp và có liên hệ với nhau

- Khai phá thông tin từ các cơ sở dữ liệu hỗn tạp và hệ thống thông tin toàn cầu.

Những vấn đề không cần dùng khai phá dữ liệu

Quá trình khai phá dữ liệu tập trung vào việc khám phá những mẫu và khuynh hướng ẩn giấu Khi một mẫu đặc biệt được xác định, nó có thể chứa đựng các đặc trưng giúp người khai thác dữ liệu tiếp tục khám phá Mẫu này có thể được mô tả như chất lượng tri thức và ứng dụng trong nhiều lĩnh vực như báo cáo chuẩn, huấn luyện mạng nơron, hoặc mã hóa thành quy tắc trong hệ chuyên gia Sau khi mẫu được xác định, quá trình khám phá coi đó là mẫu đã biết Tuy nhiên, yêu cầu về mẫu đã biết chỉ phát sinh khi cần xác định tính hợp lệ hoặc biến đổi của chúng Các phương pháp phân tích dựa trên mẫu đã biết không thực sự là khai phá dữ liệu, mặc dù có thể sử dụng dữ liệu từ khai phá dữ liệu để phù hợp với mục đích Điều này không có nghĩa là các kỹ thuật này không hữu ích, nhưng chúng không cấu thành quá trình khai phá dữ liệu thực sự.

 Khai phá dữ liệu khác với kiểm tra thông tin

Chúng ta cần phân biệt giữa xử lý dữ liệu bằng khai phá dữ liệu và bằng kiểm tra định lƣợng

Hầu hết các ứng dụng khai phá dữ liệu tập trung vào việc phân tích thông tin từ các tập dữ liệu đã được thu thập trước đó, với dữ liệu tĩnh phản ánh trạng thái thực tế trong một khoảng thời gian nhất định Việc xem xét lại thông tin đã có cho phép xác nhận độ chính xác và xác định mẫu quyết định quan trọng Trong quá trình phân tích, dữ liệu không thay đổi, đảm bảo rằng kết quả thu được là đáng tin cậy và chắc chắn cho tập dữ liệu đó, do đó, chúng ta không cần lo lắng về thời gian chi phí để đưa ra quyết định.

Sự kiểm tra thường liên quan đến việc so sánh các mẫu trực tuyến với các điều kiện hoặc đường biên đã định, diễn ra trong thời gian thực và xử lý dữ liệu cập nhật Các hệ thống kiểm tra đã được phát triển cho nhiều ứng dụng như thị trường tài chính, kiểm soát không lưu và lò phản ứng hạt nhân, giúp tăng tốc độ phản hồi để tận dụng thông tin kịp thời Mô hình dự báo và người dự báo hỗ trợ xác định các giá trị tới hạn, các vận hành bất thường và tiêu chuẩn dữ liệu Tuy nhiên, các hệ thống này hiện chưa thường xuyên áp dụng khai phá dữ liệu, do đó không khám phá ra các mẫu mới hoặc phân loại, và phần lớn các mẫu cần chú ý đã được phát sinh từ trước.

quá trình khai phá dữ liệu

2.9.1 Truy cập và chuẩn bị dữ liệu

Trước khi phát triển hệ thống phân tích và tạo báo cáo thông minh, dữ liệu phải được chuẩn bị sẵn sàng Tuy nhiên, yêu cầu này không phải lúc nào cũng được đáp ứng Trong một số trường hợp, chúng ta có thể dễ dàng truy cập các hệ thống cơ sở dữ liệu và tệp trực tuyến mà không cần thủ tục hay quyền truy cập đặc biệt Đặc biệt, trong nhiều lĩnh vực, dữ liệu thường được lưu trữ trong các cấu trúc quan hệ, cho phép truy vấn để lấy thông tin cần thiết.

Mặc dù kho dữ liệu ngày càng phổ biến, việc xây dựng và duy trì chúng đòi hỏi chi phí cao Nếu không thuộc nhóm công nghệ của tổ chức lớn, chúng ta khó có thể tiếp cận cấu trúc này Thông tin trong nhiều trường hợp khai phá dữ liệu thường được lấy từ các nguồn không dự tính trước, và việc truy cập, tích hợp, cũng như trình bày thông tin có thể thực hiện bằng các phương pháp đơn giản hơn so với kho dữ liệu.

Khi truy cập dữ liệu từ kho dữ liệu trực tuyến hoặc qua các phương pháp khác, điều quan trọng là phải trích xuất một phần dữ liệu để đưa vào môi trường khai phá dữ liệu.

 Truy vấn nguồn dữ liệu

Bước đầu tiên trong khai phá dữ liệu là xác định tập con dữ liệu để phân tích Cấu trúc dữ liệu của tập hợp này cần phải có mẫu rõ ràng cho việc phân tích Việc trích xuất mẫu là một phương pháp hiệu quả để tạo ra các lát cắt dữ liệu, phục vụ cho các ứng dụng khai phá dữ liệu.