1. Tổ chức và khai thỏc cơ sở dữ liệu truyền thống
4.1.2. Khi nào thỡ sử dụng phõn tớch thống kờ:
Để dựng phƣơng phỏp phõn tớch thống kế ta cần cú một số điều kiện sau: - Cú một vị trớ để quan sỏt những hiệu ứng thống kờ đỏng tin cậy trong sự
phõn tớch của mỡnh.
Sự khỏc bịờt nhúm Sự mõu thuẫn lỗi
- Dữ liệu phải trong mẫu dạng số và đƣợc chia cắt vào trong những nhúm cho sự phõn tớch.
- Ta phải cú giả thuyết về giỏ trị mà ta chờ đợi để tỡm thấy nú trong một sự phõn tớch. Giỏ trị đú, ta phải biết trƣớc.
- Để phõn loại những sự khỏc nhau thỡ ta quan tõm đến bờn trong và do đú phải biết làm sao để chia cắt thụng tin trong tập dữ liệu thành cỏc nhúm thuận lợi cho mục đớch so sỏnh.
Trong trƣờng hợp lý tƣởng, vấn đề này cần thực hiện trờn bất kỳ tập dữ liệu nào. Trong những trƣờng hợp đú, sự so sỏnh thống kờ đƣợc lập kế hoạch để cú thể trực tiếp đƣợc làm giữa những nhúm. Ngoài ra khi cần cú nhiều so sỏnh thỡ cần xỏc định mức tiờu chuẩn anpha chớnh xỏc để trỏnh cỏc sai lầm.
Ngoài ra, khi sử dụng phƣơng phỏp thống kờ ta cũn cần để ý đến vấn đề độ lớn của mẫu. Nếu giữa cỏc mõu thuẫn và mẫu là khụng tƣơng đồng thỡ cần thay đổi lại kớch thƣớc của mẫu.
Điểm cuối cựng ta cần phải chỳ ý đú là phải để ý đến bối cảnh toàn bộ của khai phỏ dữ liệu. Ta cần sử dụng phƣơng phỏp thống kờ để lập dự đoỏn khuynh hƣớng cho tƣơng lai.
4.2. PHƢƠNG PHÁP CÂY QUYẾT ĐỊNH VÀ LUẬT. 4.2.1. Phƣơng phỏp cõy quyết định và luật.
Cõy quyết định là cụng cụ phõn tớch để khỏm phỏ ra cỏc luật và mối quan hệ bằng phƣơng phỏp phõn tớch thống kờ hoặc phõn chia thành cỏc phần nhỏ cỏc thụng tin chứa trong tập dữ liệu.
Cõy quyết định là một mụ tả tri thức dạng đơn giản nhằm phõn cỏc đối tƣợng dữ liệu thành một số lớp nhất định. Cỏc nỳt của cõy đƣợc gỏn nhón là tờn cỏc thuộc tớnh, cỏc cạnh đƣợc gỏn cỏc giỏ trị cú thể của cỏc thuộc tớnh, cỏc lỏ miờu tả cỏc lớp khỏc nhau. Cỏc đối tƣợng đƣợc phõn lớp theo cỏc đƣờng đi trờn cõy, qua cỏc cạnh tƣơng ứng với giỏ trị của thuộc tớnh của đối tƣợng tới lỏ[6].
Tỏch riờng dữ liệu.
Những giải thuật chia nhỏ ra dữ liệu trong mụ hỡnh cõy quyết định chớnh là việc tỡm kiếm cỏc biến hoặc cỏc trƣờng cho phộp cỏc tập dữ liệu tỏch ra là cực đại.
Theo lý thuyết bất kỳ lĩnh vực nào trong tập dữ liệu cũng cú thể đƣợc chọn, nhƣng lĩnh vực chỉ hữu ớch khi nú chia cắt những bản ghi.
Sử dụng cõy quyết định để xõy dựng cỏc luật.
Với việc xõy dựng cõy quyết định đƣợc mụ tả nhƣ trờn, với một giả thuyết ban đầu đi theo cỏc nhỏnh của cõy ta sẽ cú cỏc kết luận tại vị trớ cỏc lỏ của cõy.
Đỏnh giỏ cỏc luật
Một lần cú cõy quyết định đỳng chỗ, ta cần ƣớc lƣợng hiệu quả thực hiện nú. Việc này này thụng thƣờng đƣợc hoàn thành bởi việc kiểm tra hệ thống với một tập dữ liệu mới chƣa đƣợc sử dụng cho huấn luyện. Với mỗi luật ta cú thể kiểm tra qua sự phõn loại thụng thƣờng của cỏc bản ghi. Đồng thời, ta cú thể tớnh toỏn tỷ lệ số lỗi của toàn bộ cõy nhƣ là tổng cỏc trọng số lỗi của cỏc thành phần riờng. Tỷ lệ lỗi và và hiệu quả tớnh toỏn cú thể đƣợc cải thiện khi bỏ bớt cỏc nhỏnh của cõy, khi đú cỏc luật sẽ hữu ớch hơn.
Việc đỏnh giỏ cỏc luật cũng cú thể thực hiện bằng chủ quan khi ta cần cỏc tiện ớch chung hoặc những quy tắc đại diện bởi cõy quyết định. Một vài quy tắc cú thể rất quan trọng cho sự phõn tớch, một vài quy tắc khỏc cú thể vụ lý trong ngữ cảnh của ứng dụng, trong những trƣờng hợp này những quy tắc đú cú thể đƣợc loại trừ bằng tay nếu mong muốn.
Trong một số trƣờng hợp cần đỏnh giỏ lại cỏc luật mà ta cho rằng là sai. Việc làm này cú thể dẫn ta đến cỏc kết quả rất bất ngờ, ở đõy chớnh là một trong cỏc cỏch ta thay đổi hệ số để đến đƣợc kết quả, khi đú phƣơng hƣớng của phõn tớch sẽ thay đổi đỏng kể.
Phõn chia cỏc nỳt và hiệu lực hệ số phõn đầu ra.
Việc phõn chia số lƣợng cỏc nhỏnh trờn cỏc nỳt là rất khú khăn. Một mặt, nếu biểu diễn tất cả cỏc mức của cỏc biến ở cỏc nỳt thỡ sẽ giỳp ớch rất nhiều trong phõn
tớch. Mặt khỏc, nếu biểu diễn tất cả thỡ hệ số phõn đầu ra rất nhiều, khi đú hiệu lực của chỳng tất giảm xuống.
Nhỡn chung ở đõy ta trỏnh việc cỏc bản ghi đƣợc phõn loại quỏ rộng rói vỡ khi đú việc đỏnh giỏ là rất khú khăn và khụng chớnh xỏc. Để đạt đƣợc vấn đề này ta cần chỳ ý đến hiệu lực của hệ số đầu ra.
4.2.2. Khi nào dựng cõy quyết định
Cõy quyết định là phƣơng phỏp thƣờng dựng trong cỏc bài toỏn phõn loại hoặc dự đoỏn dữ liệu theo một tiờu chuẩn nào đú, dựa theo mức độ khỏc nhau của thuộc tớnh. Cõy quyết định và luật cú ƣu điểm là hỡnh thức miờu tả đơn giản, mụ hỡnh suy diễn khả dễ hiểu đối với ngƣời sử dụng. Cõy quyết định cú lẽ tốt nhất cho cỏc ứng dụng trong đú cú cỏc cõu hỏi tiờn nghiệm. Tuy nhiờn, giới hạn của nú là miờu tả cõy và luật chỉ cú thể biểu diễn đƣợc một số dạng chức năng và vỡ vậy giới hạn cả về độ chớnh xỏc của mụ hỡnh vớ dụ nhƣ trong trƣờng hợp dựng cho cỏc dự đoỏn định lƣợng cần độ chớnh xỏc tuyệt đối.
4.3. CÁC LUẬT KẾT HỢP 4.3.1. Luật kết hợp.
Những luật kết hợp đƣợc dẫn xuất ra từ sự phõn tớch cỏc thụng tin trựng hợp. Phƣơng phỏp luận này cho phộp khỏm phỏ những tƣơng quan, hoặc những biến cố trong giao dịch là cỏc sự kiện.
Cỏc luật kết hợp là một dạng biểu diễn tri thức, hay chớnh xỏc hơn là dạng mẫu của hỡnh thành tri thức. Phƣơng phỏp này nhằm phỏt hiện ra cỏc luật kết hợp giữa cỏc thành phần dữ liệu trong cơ sở dữ liệu. Mẫu đầu ra của giải thuật khai phỏ dữ liệu là tập luật kết hợp tỡm đƣợc[6].
Cho một lƣợc đồ R = [A1 ,... Ap] với miền giỏ trị {0,1} và một quan hệ r trờn R. Ta gọi một luật kết hợp trờn quan hệ r đƣợc mụ tả nhƣ sau X=> B với XR và BR\X. Cho W R, đặt s(W,r) là tần số xuất hiện của W trong r đƣợc tớnh bằng tỷ lệ của cỏc hàng trong r cú giỏ trị 1 tại mỗi cột thuộc tớnh. Khi đú ta định nghĩa tần số xuất hiện và độ tin cậy của luật X => B trong r nhƣ sau[6] :
+ Tần số xuất hiện: = s( X{B}, r). + Độ tin cậy = s( X{B}, r) \ s(X,r).
với X gồm nhiều thuộc tớnh, B là giỏ trị khụng cố định.
Nhiệm vụ của việc phỏt hiện cỏc luật kết hợp là phải tỡm tất cả cỏc luật X => B sao cho tần số của luật khụng nhỏ hơn ngƣỡng cho trƣớc và độ tin cậy của luật khụng nhỏ hơn ngƣỡng cho trƣớc.
4.3.2. Khi nào dựng cỏc luật kết hợp
Sự phõn tớch cỏc luật kết hợp đa số hữu ớch khi bạn đang thăm rũ cỏc phõn tớch, tỡm kiếm cỏc mối quan hệ cú thể tồn tại bờn trong một tập dữ liệu, chỳng cũng cú thể sử dụng để dự bỏo trƣớc. Tuy nhiờn, nếu cú hai thành phần xuất hiện gần nhau thỡ điều đú cũng khụng đảm bảo chắc chắn chỳng cú quan hệ với nhau hoặc cú một ý nghĩa quan trọng nào đú. Do đú, khi dựng phƣơng phỏp này cần cú sự nghiờn cứu kỹ trƣớc khi sử dụng.
4.4. MẠNG NƠ RON. 4.4.1. Mạng Nơ ron. 4.4.1. Mạng Nơ ron.
Mạng nơ ron là một tiếp cận tớnh toỏn mới liờn quan đến việc phỏt triền cỏc cấu trực toỏn học với khả năng học. Cỏc phƣơng phỏp là kết quả của việc nghiờn cứu mụ hỡnh học của hệ thống thần kinh con ngƣời. Mạng nơ ron cú thể đƣa ra ý nghĩa từ cỏc dữ liệu phức tạp hoặc khụng chớnh xỏc và cú thể đƣợc sử dụng để chiết xuất cỏc mẫu và phỏt hiện ra cỏc xu hƣớng quỏ phức tạp mà con ngƣời cũng nhƣ cỏc kỹ thuật mỏy tớnh khỏc khụng thể hoặc khú phỏt hiện đƣợc. Mạng Nơ ron đƣợc định nghĩa : "Là một hệ thống bao gồm rất nhiều phần tử xử lý đơn giản cựng hoạt động song song. Tớnh năng hoạt động của hệ thống này phụ thuộc vào cấu trỳc của hệ thống, vào cường độ liờn kết giữa cỏc phần tử trong hệ thống và Vào quỏ trỡnh xử lý bờn trong cỏc phần tử đú. Hệ thống này cú thể học từ' cỏc dữ liệu và cú khả năng tổng quỏt hoỏ cỏc dữ liệu đú [6]"
Trong mụ hỡnh mạng Neutron cú hai mụ hỡnh học đú là học cú giỏm sỏt (học cú thầy) và học khụng cú giỏm sỏt (học khụng giỏm sỏt).
Học cú thầy.
Trong phƣơng phỏp học cú giỏm sỏt, việc huấn luyện mạng neutron dựa trờn một tập hợp cỏc giỏ trị cú sẵn, cỏc giỏ trị này chớnh là đớch hay mục tiờu cần đạt đƣợc của việc huấn luyện. Với một tập giỏ trị đầu vào hệ thống cung cấp đỏp ỏn đầu ra, nếu sau khi huấn luyện kết quả khụng giống đỏp ỏn thỡ kết quả đƣợc phản hồi lại để sửa trong lần huấn luyện tiếp theo. Khi kết quả đầu ra đạt yờu cầu thỡ việc huấn luyện kết thỳc và khi đú mạng Neutron dựng để phỏt hiện và phõn loại cỏc mẫu mới nhập vào. Nhƣ vậy, với cỏc mạng thần kinh đó huấn luyện cú thể sử dụng tự động để dũ tỡm mẫu và bỏo cho ngƣời sử dụng biết mẫu đầu vào phự hợp với đỏp ỏn đầu ra.
Trong phƣơng phỏp này ta cú thể dễ dàng nhận thấy mạng Neutron đƣợc huấn luyện cú giỏm sỏt rất hữu ớch trong cỏc hệ thống hỗ trợ quyết định và theo dừi cỏc mẫu đó đƣợc xỏc định. Tuy nhiờn, đõy lại khụng phải phƣơng phỏp dựng trong khai phỏ dữ liệu vỡ nú khụng tỡm ra đƣợc cỏi mới.
Học khụng cú thầy.
Học khụng thầy là phƣơng phỏp đƣợc sử dụng trong khai phỏ dữ liệu. Với phƣơng phỏp học khụng cú thầy, khụng cú thụng tin phản hồi từ mụi trƣờng bờn ngoài để chỉ ra rằng đầu ra của mạng là đỳng hay sai. Mạng nơ ron phải tự khỏm phỏ cỏc đặc trƣng, cỏc mối tƣơng quan, tớnh cõn xứng của cỏc mẫu, hay học một cỏch tự động. Núi một cỏch khỏc, học khụng cú thầy luụn thực hiện một cụng việc
Dữ liệu huấn luyện
Mạng
Giải thuật luyện ( Ph-ơng pháp tối -u)
Hàm Mục tiêu Đầu vào Đầu ra mong muốn
Vào Ra Thay đổi Trọng số Đích Sai số + -
tƣơng tự nhƣ một mạng tự liờn hợp, cụ đọng thụng tin từ dữ liệu đầu vào và đƣợc rỳt ra bởi chớnh mạng nơ ron.
4.4.2. Khi nào sử dụng phƣơng phỏp học khụng cú thầy.
Núi chung phƣơng phỏp học khụng cú thầy của mạng nơ ron đƣợc ỏp dụng vào khai phỏ dữ liệu khi ta tỡm cỏc đƣờng lối mới (lạ) hoặc phõn chia tập dữ liệu thành cỏc tập con. Phƣơng thức này cú thẻ sử dụng để khỏm phỏ ra những nhúm dữ liệu nhỏ hoặc cỏc dữ liệu đó cú mục tiờu xỏc định từ trƣớc và phõn bố lại dữ liệu.
4.5. GIẢI THUẬT DI TRUYỀN 4.5.1. Giải thuật di truyền. 4.5.1. Giải thuật di truyền.
Giải thuật di truyền đƣợc phỏt triển mụ phỏng lại hệ thống tiến hoỏ trong tự nhiờn, chớnh xỏc hơn đú là cỏc giải thuật chỉ ra tập cỏc cỏ thể đƣợc hỡnh thành, đƣợc ƣớc lƣợng và biến đổi nhƣ thế nào. Giải thuật cũng mụ phỏng lại yếu tố gen trong nhiễm sắc thể sinh học trờn mỏy tớnh để cú thể giải quyết nhiều bài toỏn thực tế khỏc nhau.
Cỏc giải thuật mà chỳng ta đề cập đến bờn trờn chủ yếu núi về vấn đề phõn loại và dự đoỏn trong khi Giải thuật di truyền là một giải thuật tối ƣu hoỏ. Nú đƣợc sử dụng rất rộng rói trong việc tối ƣu hoỏ cỏc kỹ thuật khai phỏ dữ liệu trong đú cú kỹ thuật mạng neuron. Sự liờn hệ của nú với cỏc giải thuật khai phỏ dữ liệu là ở chỗ việc tối ƣu hoỏ cần thiết cho cỏc quỏ trỡnh khai phỏ dữ liệu. Nhƣ đó đề cập ở phần trƣớc, cỏc luật mụ hỡnh hoỏ dữ liờu chứa cỏc tham số đƣợc xỏc định bởi cỏc giải thuật phỏt hiện tri thức. Giai đoạn tối ƣu hoỏ là cần thiết để xỏc định cỏc giỏ trị tham số nào tạo ra cỏc luật tốt nhất. Vỡ vậy, giải thuật di truyền đƣợc sử dụng trong cụng cụ khai phỏ.
Giải thuật di truyền dựa trờn ba cơ chế cơ bản: Chọn lọc, tƣơng giao chộo và đột biến[6].
Sự Chọn lọc
Quỏ trỡnh chọn lọc trong giải thuật di truyền dựa trờn sự chọn lọc tự nhiờn trong quỏ trỡnh tiến hoỏ. Sự chọn lọc này sẽ chọn ra cỏc cỏ thể cú sự tồn tại thớch hợp nhất trong mụi trƣờng và truyền lại cho thế hệ sau. Những giỏ trị thớch hợp đƣợc tớnh toỏn cho tất cả cỏc cỏ thể nhõn hoặc gen bờn trong quần thể, và những giỏ
trị cao nhất đƣợc cho phộp để tỏi sản xuất. Cỏc Gen cú sự thớch hợp thấp thỡ ớt đƣợc sao chộp đến cỏc thế hệ tiếp theo. Phƣơng phỏp chọn gen cho cỏc thế hệ liờn tiếp thụng thƣờng đƣợc làm theo phƣơng phỏp xỏc suất. Sự chọn lọc gen cho thế hệ tiếp theo đƣợc tiến hành ngẫu nhiờn trờn một quần thể với số lƣợng cỏ thể đại diện.
Tƣơng giao chộo
Tƣơng giao chộo xuất hiện khi hai cỏ thể đƣợc chọn ngẫu nhiờn từ quần thể. Khi một chu trỡnh lai giống xuất hiện cỏc gen đƣợc ghộp đụi ngẫu nhiờn với nhau và tỏi di truyền theo một xỏc suất đƣợc gỏn cho sự lai ghộp. Xỏc suất này là một tham số cú thể thay đổi đƣợc theo nhịp độ thay đổi xuất hiện trong quần thể. Khi tƣơng giao chộo xảy ra, con cỏi đƣợc hƣởng cỏc gen di truyền ở cả bố và mẹ, số lƣợng cỏc thụng tin đƣợc đƣa vào trong gen của con bởi điểm lai giống bị giỏn đoạn.
Đột biến.
Trong lai ghộp thƣờng cú sự di truyền hoàn hảo của cha mẹ tới con. Bờn trong cỏch này dần dần xuất hiện cỏc bậc thang thay đổi, tuy nhiờn cú cỏc thay đổi đột ngột, những thay đổi này xảy ra khi cú lỗi trong sự di truyền thụng tin chung từ cha, mẹ đến con. Cỏc thay đổi này cú thể tốt hoặc xấu.
4.5.2. Khi nào sử dụng giải thuật Di truyền.
Giải thuật di truyền rất hữu ớch trong trƣờng hợp tỡm ra cỏc giỏ trị tối ƣu ngay cả trong trƣờng hợp dữ liệu nguồn thụng tin và dữ liệu ta cú đƣợc là từ nhiều nguồn khỏc nhau.
Giải thuật di truyền cũng đƣợc ỏp dụng trong kinh doanh nhằm tỡm ra lợi nhuận tối ƣu bằng cỏch kết hợp cỏc đặc tớnh của sản phẩm. Ngoài ra chỳng cũn đƣợc sử dụng thành cụng trong lập lịch và chuỗi thời gian.
Giải thuật di truyền cũng cú cỏc hiệu ứng tốt cú thể đƣợc dựng kết hợp với mạng nơ ron tại đầu ra của mạng này.
4.6. CÁC PHƢƠNG PHÁP KHAI PHÁ DỮ LIỆU KHÁC. 4.6.1. Phõn nhúm và phõn đoạn.
Kỹ thuật phõn nhúm và phõn đoạn là những kỹ thuật phõn chia dữ liệu sao cho mỗi phần hoặc mỗi nhúm giống nhau theo một tiờu chuẩn nào đú. Mỗi quan hệ
thành viờn của cỏc nhúm cú thể dựa trờn mức độ giống nhau của cỏc thành viờn và từ đú xõy dựng nờn cỏc luật ràng buộc giữa cỏc thành viờn trong nhúm[6].
Mẫu đầu ra của quỏ trỡnh khai phỏ dữ liệu sử dụng kỹ thuật này là cỏc tập mẫu chứa cỏc dữ liệu cú chung những tớnh chất nào đú đƣợc phõn tớch từ cơ sở dữ liệu. Khi cỏc mẫu đƣợc thiết lập, chỳng cú thể đƣợc sử dụng để tỏi tạo cỏc tập dữ liệu ở dạng dễ hiểu hơn, đồng thời cũng cung cấp cỏc nhúm dữ liệu cho cỏc hoạt động cũng nhƣ cụng việc phõn tớch. Đối với cơ sở dữ liệu lớn, việc lấy ra cỏc nhúm