Cỏc giải thuật khai phỏ dữ liệu tự động vẫn mới chỉ ở giai đoạn phỏt triển ban đầu. Hiện ngƣời ta vẫn chƣa đƣa ra đƣợc một tiờu chuẩn nào trong việc quyết định sử dụng phƣơng phỏp nào vào trong trƣờng hợp cụ thể thỡ cú hiệu quả [3].
Hầu hết cỏc kỹ thuật khai phỏ dữ liệu đều mới đối với lĩnh vực kinh doanh.
Hơn nữa lại cú rất nhiều kỹ thuật, mỗi kỹ thuật đƣợc sử dụng cho nhiều baiài toỏn
khỏc nhau. Vỡ vậy, ngay sau cõu hỏi khai phỏ dữ liệu là gỡ sẽ là cõu hỏi vậy thỡ dựng kỹ thuật nào? Cõu trả lời tất nhiờn là khụng đơn giản. Mỗi phƣơng phỏp đều cú điểm mạnh và điểm yếu cú thể khắc phục đƣợc. Vậy thỡ phải làm nhƣ thế nào để ỏp
dụng kỹ thuật một cỏch đơn giản, hiệu quả, dễ sử dụng để khụng cảm thấy những phức tạp vốn cú của kỹ thuật đú.
Hệ thống khai phỏ dữ liệu cú thể sinh ra hàng nghỡn hoặc thậm chớ hàng triệu mẫu hoặc luật. Do vậy, cú một cõu hỏi: Cú phải tất cả đều là đỏng quan tõm? Cõu trả lời là chỉ cú một phần nhỏ trong cỏc mẫu hoặc luật là đỏng quan tõm và hữu ớch đối với ngƣời sử dụng.
Cú một vài cõu hỏi đặt ra cho hệ thống khai phỏ dữ liệu:
- Cỏi gỡ tạo ra mẫu đỏng quan tõm?
- Hệ thống DM cú thể sinh ra tất cả cỏc mẫu đỏng quan tõm khụng?
- Hệ thống DM chỉ cú thể sinh ra cỏc mẫu quan tõm khụng?
Trả lời cõu hỏi thứ nhất: Mẫu là đỏng quan tõm nếu
- Dễ hiểu đối với con ngƣời
- Hợp lệ hoặc đƣợc dữ liệu kiểm tra với độ chắc chắn nào đú.
- Cú khả năng (tiềm năng) hữu ớch.
- Mới lạ (novel)
- Mẫu cũng là đỏng quan tõm nếu nú là giả thiết hợp lệ đƣợc ngƣời dựng xỏc
nhận. Mẫu quan tõm biểu diễn sự hiểu biết (tri thức).
Cú vài độ đo cho cỏc mẫu quan tõm, nú dựa trờn cấu trỳc của cỏc mẫu đó khỏm phỏ và thống kờ trờn chỳng. Chẳng hạn, độ đo cho cỏc luật kết hợp dạng
XY là độ hỗ trợ và độ tin cậy của luật. Đú là xỏc xuất P(XY) và xỏc xuất cú
điều kiện P(Y/X). Về hỡnh thức, độ hỗ trợ và độ tin cậy là xỏc định nhƣ sau:
Support(XY) = P(XY)
Confidence(XY) = P(Y/X)
Nhỡn chung độ đo này cú thể đƣợc ngừời dựng điều khiển.
Điều đú liờn quan đến tớnh hoàn thiện của một thuật toỏn khai phỏ. Nú thƣờng khụng thực hiện đƣợc và khụng cú khả năng đối với cỏc hệ thụng khai phỏ dữ liệu để sinh ra cỏc mẫu cú thể tồn tại. Thay cho tiền đề đú, ngƣời ta tập trung vào mục tiờu tỡm kiếm. Khai phỏ luật kết hợp là một vớ dụ mà ở đú sử dụng cỏc độ đo cú thể đảm bảo khai phỏ trọn vẹn, cú ý nghĩa là với ngƣỡng độ hỗ trợ và độ tin cậy nhỏ nhất xỏc định trƣớc thỡ cú thể tỡm đƣợc.
Cõu hỏi cuối cựng: Hệ thống khai phỏ dữ liệu cú thể sinh ra cỏc mẫu cần quan tõm khụng? – đú là vấn đề tối ƣu trong khai phỏ dữ liệu. Nú là mong muốn cao cho hệ thống khai phỏ dữ liệu chỉ sinh ra cỏc mẫu quan tõm. Điều đú cũn là sự thỏch thức trong khai phỏ dữ liệu.
CHƢƠNG 3
KHAI PHÁ DỮ LIỆU SỬ DỤNG LUẬT KẾT HỢP