Lý thuyết phương pháp học bằng xây dựng cây định danh

ĐẶT VẤN ĐỀ 0 Từ những hệ máy tính đầu tiên ra đời cho đến các hệ máy tính ngày nay cũng như những hệ siêu máy tính, các nhà khoa học đã không ngừng nghiên cứu sáng tạo để máy tính có thể tự suy nghó như con người nhằm thay con người giải quyết các công việc trong cuộc sống hàng ngày hay những tính toán dự báo cho tương lai. Khả năng tự phân tích, tính toán, tự suy nghó của máy tính – đó là trí tuệ nhân tạo, là sản phẩm trí tuệ của con người sáng tạo ra, cụ thể là những hệ phần mềm, hệ chương trình chuyên gia ngày càng hoàn thiện càng thông minh hơn có khả năng giải quyết vấn đề thực tế như cách giải quyết của con người. Trí tuệ nhân tạo bao gồm rất nhiều lónh vực, trong đó tiêu biểu là lónh vực Máy học - làm sao cho các hệ chương trình có thể tích lũy kiến thức thông qua việc học từ các sai lầm, từ những quan sát ngẫu nhiên, hay từ các yêu cầu đặt ra của con người. Bánùi cách khác là làm cho các chương trình có khả năng rút kinh nghiệm từ những quan sát thực tế. Bài thu hoạch này là một khảo sát nhỏ về một phương pháp học trong trí tuệ nhân tạo, đó là việc học bằng phương pháp xây dựng cây đònh danh. Bài toán được đặt ra là từ một mẫu cơ sở dữ liệu có sẳn, máy tính có thể phát hiện ra tính quy luật trong mẫu dữ liệu đó bằng phương pháp xây dựng cây đònh danh và nhờ đó giúp con người đưa ra các quyết đònh nhanh chóng và chuẩn xác. Ví dụ : Bảng dữ liệu dưới đây được rút trích ra từ cơ sở dữ liệu lưu trữ hồ sơ bệnh án tại phòng khám ĐHYD TP. HCM gồm các thuộc tính như sau: Nhóm tuổi : dựa trên số tuổi bệnh nhân mà chia thành 4 nhóm tuổi - Dưới 20 tuổi. - Từ 20 – 49 tuổi. - Từ 50 – 60 tuổi. - Trên 60 tuổi. 1 Loại BMI (Body Mass Index) : Chỉ số cơ thể được sử dụng để xác đònh tình trạng cơ thể của một người nào đó có bò béo phì, thừa cân hay quá gầy hay không. Thông thường người ta dùng để tính toán mức độ béo phì . (m) cao Chiều*cao Chiều (Kg) lượng Trọng BMI = Căn cứ vào chỉ số BMI đo được mà ta phân loại BMI • Gầy : < 18,5 • Bình thường : 18,5 – 24.9 • Thừa cân : 25 - 30 • Béo phì : >30 Hoạt động thể thao : Có chơi thể thao; Không chơi thể thao. Tiền sử bệnh nội khoa : Có / Không bệnh nội khoa trước khi khám sức khỏe. Kết quả : sau khi khám là Bình thường hoặc là bò Tim mạch; thì một người khi khám sức khỏe có nguy cơ bệnh tim mạch hay không? Dữ liệu rút trích được trong bảng như sau: Mã hồ sơ Nhóm tuổi Loại BMI Hoạt động thể thao Tiền sử bệnh nội khoa Kết quả BN1 Dưới 20 t Gầy Không Không Bình thường BN2 Từ 20 - 49t Bình thường Có Không Bình thường BN3 Từ 50 - 60t Bình thường Có Có Tim mạch BN4 Dưới 20 t Béo phì Không Không Bình thường BN5 Trên 60t Gầy Có Có Tim mạch BN6 Từ 50 - 60t Béo phì Có Không Tim mạch BN7 Từ 20 - 49t Gầy Có Không Bình thường BN8 Trên 60t Béo phì Có Không Tim mạch BN9 Từ 20 - 49t Béo phì Có Không Bình thường BN10 Từ 20 - 49t Bình thường Không Không Bình thường BN11 Từ 50 - 60t Bình thường Có Không Tim mạch 2 BN12 Trên 60t Béo phì Không Không Tim mạch BN13 Từ 20 - 49t Béo phì Không Không Bình thường BN14 Dưới 20 t Gầy Không Có Bình thường BN15 Dưới 20 t Béo phì Không Có Bình thường BN16 Dưới 20 t Bình thường Không Không Bình thường BN17 Từ 50 - 60t Bình thường Không Không Tim mạch BN18 Dưới 20 t Gầy Có Có Bình thường BN19 Trên 60t Gầy Có Không Tim mạch BN20 Từ 20 - 49t Béo phì Không Không Bình thường BN21 Từ 50 - 60t Bình thường Không Có Tim mạch BN22 Trên 60t Béo phì Không Có Tim mạch BN23 Từ 50 - 60t Gầy Không Có Tim mạch BN24 Trên 60t Béo phì Có Có Tim mạch BN25 Từ 20 - 49t Bình thường Không Có Bình thường BN26 Từ 50 - 60t Gầy Có Có Bình thường BN27 Từ 50 - 60t Béo phì Có Có Tim mạch BN28 Từ 20 - 49t Gầy Không Không Bình thường BN29 Dưới 20 t Bình thường Có Không Bình thường BN30 Trên 60t Gầy Không Có Tim mạch BN31 Từ 20 - 49t Béo phì Có Có Bình thường Sau khi dữ liệu này được đưa vào chương trình máy vi tính thì chương trình sẽ trả lời các tính quy luật như sau: 1. Người trên 60 tuổi → hay mắc bệnh Tim mạch 2. Người tuổi từ 50 – 60, béo phì → mắc bệnh Tim mạch 3. Người dưới 20 tuổi → Bình thường Tại sao máy vi tính đưa ra được các quy luật này ? Ta hãy nghiên cứu kỹ hơn trong phần lý thuyết cơ sở của phương pháp học bằng xây dựng cây đònh danh. 3 LÝ THUYẾT PHƯƠNG PHÁP HỌC BẰNG XÂY DỰNG CÂY ĐỊNH DANH I- ĐỊNH NGHĨA VỀ CÂY ĐỊNH DANH : Cây đònh danh là cây mà khi ta thực hiện phép duyệt đi từ nút gốc đến các nút lá thì ta sẽ có một quyết đònh hay một quy luật, những quy luật này dựa vào các thuộc tính trên nút mà phép duyệt đi qua. Như vậy mỗi đường đi sẽ cho ra một quy luật, do vậäy người ta còn gọi cây đònh danh là cây quyết đònh. Với ví dụ ở trên thì cây đònh danh được xác đònh như sau : Nhóm tuổi {bn1, bn4, bn14, bn5, bn16, bn18, bn29} {bn2, bn7, bn9, bn10, bn13, bn20, bn25, bn28, bn31} {bn5, bn8, bn12, bn19, bn24, bn30} Loại BMI Hoạt động thể thao Dưới 20 tuổi Từ 20 – 49 tuổi Từ 50 – 60 tuổi Trên 60t { bn3 , bn21, bn11, bn17 } Béo phì Gầy Bình thường { bn27, bn6 } { bn23 } { bn26} Có Không 4 II- PHÂN TÍCH BÀI TOÁN : Bài toán học bằng phương pháp xây dựng cây đònh danh được phân tích và khai thác qua các bước sau đây, dựa vào bảng dữ liệu ở phần đặt vấn đề. Người ta dựa vào ý tưởng tiếp cận hình học là phân chia không gian bài toán tạo thành một cây đònh danh sau đó xây dựng các phương pháp học dựa trên cây đònh danh đó. Cây đònh danh được xây dựng bằng cách tìm các quy luật của dữ liệu. Gọi P là tập hợp mẫu các đối tượng quan sát được : 1- Ta xét ngẫu nhiên qua từng thuộc tính rồi phân nhóm kết quả theo từng giá trò của thuộc tính. Quan sát thuộc tính nhóm tuổi ta có: P dưới 20 tuổi = {bn1, bn4, bn14, bn5, bn16, bn18, bn29} P từ 20–49tuổi = {bn2, bn7, bn9, bn10, bn13, bn20, bn25, bn28, bn31} P từ 50 – 60 tuổi = {bn26, bn3, bn6 , bn11, bn17, bn21, bn23, bn27} P trên 60 tuổi = {bn5 , bn8 , bn12 , bn19 , bn24 , bn30 } Bệnh nhân được gạch dưới và in đậm là bò tim mạch, ta có sơ đồ sau: Ta thấy P từ 50 – 60 tuổi giá trò kết quả còn lẫn lộn giữa bình thường và Tim mạch, tiếp tục quan sát thuộc tính kế tiếp là Loại BMI với các tập hợp còn lẫn lộn này ta có: P từ 50 – 60 tuổi, = {BN26, BN3, BN6, BN11, BN17, BN21, BN23, BN27} Nhóm tuổi {bn1, bn4, bn14, bn5, bn16, bn18, bn29} {bn2, bn7, bn9, bn10, bn13, bn20, bn25, bn28, bn31} {bn5, bn8, bn12, bn19, bn24, bn30} {bn26, bn3, bn6, bn11, bn17, bn17, bn21, bn23, bn27 } Dưới 20 tuổi Từ 20 – 49 tuổi Từ 50 – 60 tuổi Trên 60t 5 2- Thực hiện quá trình như số 1 cho đến khi tất cả các nút lá của cây không còn lẫn lộn gía trò kết quả giữa trò số bình thường & tim mạch. Qua mỗi bước phân hoạch như vậy cây ngày càng phình ra đến khi ta xét hết các thuộc tính thì cây cuối cùng là cây đònh danh có khả năng cho ta các kết luận cuối cùng. Nhận xét: Như vậy nếu ta chọn các thuộc tính ngẫu nhiên khác nhau thì kết quả cuối cùng sẽ cho ra cây đònh danh cuối cùng khác nhau. Với nhận xét này ta thấy nếu ta chọn thuộc tính đầu tiên theo một cách nào đó thông minh hơn dựa vào tần xuất xuất hiện của giá trò dữ liệu trên thuộc tính thì có thể sẽ cho ta một cây đònh danh đơn giản hơn. Việc chọn thuộc tính như thế nào là thông minh hơn ta sẽ xem thuật toán Quinlan sau đây: III- THUẬT TOÁN QUINLAN : 1) Thuật toán : Loại BMI { bn3 , bn21, bn11, bn17 } Béo phì Gầy Bình thường { bn27, bn6 } { bn26, bn23 } Hoạt động thể thao { bn23 } Có Không { bn26} 6 - Với mỗi thuộc tính dẫn xuất A còn có thể sử dụng để phân hoạch thì ta tính V A (j) = (T(j, r 1 ), T(j, r 2 ), …, T(j, r n ), ) j là A làxuất dẫn tính thuộc trò giá có hoạch phântrong tử phầnsố Tổng rlà tiêu mục tính thuộc trò giá có và j là A là xuất dẫn tính thuộc trò giá có hoạch phântrong tử phầnsố Tổng )rT(j, i i = - Trong đó r 1 , r 2 , …, r n là các giá trò thuộc tính mục tiêu. Như vậy nếu một thuộc tính A có thể nhận một trong 5 giá trò khác nhau thì nó sẽ có 5 vector đặc trưng. - Một vector V(A j ) được gọi là vector đơn vò nếu nó có duy nhất một thành phần có giá trò 1 và những thành phần khác có giá trò 0. - Thuộc tính được chọn để phân hoạch là thuộc tính có nhiều vector đơn vò nhất. 2) Minh họa thuật toán : Bước 1: + Xét thuộc tính Nhóm tuổi - Xét giá trò : Dưới 20 tuổi V Nhóm tuổi (dưới 20 tuổi) = {T(dưới 20t, BT), T(dưới 20t, TM)} Dưới 20 tuổi : 7 người Dưới 20 tuổi ; kết quả Bình thường : 7 người Dưới 20 tuổi ; kết quả Tim mạch : 0 người ⇒ V Nhóm tuổi (dưới 20 tuổi) = (7/7 , 0/7) = (1 , 0)  vector đơn vò - Tương tự xét giá trò : từ 20 – 49 tuổi V Nhóm tuổi (từ 20 – 49 tuổi) = {T(từ 20 – 49t, BT), T(từ 20 – 49t, TM)} Từ 20 - 49 tuổi : 9 người Từ 20 - 49 tuổi, kết quả BT : 9 người Từ 20 - 49 tuổi, kết quả TM : 0 người ⇒ V Nhóm tuổi (từ 20 – 49 tuổi) = (9/9 , 0/9) = (1 , 0)  vector đơn vò 7 - Tương tự xét giá trò : từ 50 – 60 tuổi V Nhóm tuổi (từ 50 – 60 tuổi) = {T(từ 50 – 60t, BT), T(từ 50 – 60t, TM)} Từ 50 – 60 tuổi : 8 người Từ 50 – 60 tuổi, kết quả BT : 1 người Từ 50 – 60 tuổi, kết quả TMù : 7 người ⇒ V Nhóm tuổi (từ 50 – 60 tuổi) = (1/8 , 7/8) - Tương tự xét giá trò : trên 60 tuổi V Nhóm tuổi (trên 60 tuổi) = {T(trên 60 tuổi, BT), T(trên 60 tuổi, TM)} Trên 60 tuổi : 7 người Trên 60 tuổi, kết quả BT : 0 người Trên 60 tuổi, kết quả TM : 7 người ⇒ V Nhóm tuổi (trên 60 tuổi) = (0/7 , 7/7) = (0 , 1)  vector đơn vò ⇒ thuộc tính Nhóm tuổi có 3 véctor đơn vò + Xét thuộc tính Loại BMI - Xét giá trò : Gầy V Loại BMI (gầy) = {T(gầy, Bình thường), T(gầy, Tim mạch)} Gầy : 10 người Gầy , kết quả Bình thường : 6 người Gầy , kết quả Tim mạch : 4 người ⇒ V Loại BMI (gầy) = (6/10 , 4/10) = (1.5 , 1) - Tương tự xét giá trò : Bình thường V Loại BMI (Bình thường) = {T(Bình thường, BT), T(Bình thường, TM)} Bình thường : 9 người Bình thường , kết quả BT : 5 người Bình thường , kết quả TM : 4 người ⇒ V Loại BMI (Bình thường) = (5/9 , 4/9) 8 - Tương tự xét giá trò : Béo phì V Loại BMI (Béo phì) = {T(Béo phì , BT), T(Béo phì , TM)} Béo phì : 12 người Béo phì , kết quả Bình thường : 6 người Béo phì , kết quả Tim mạch : 6 người ⇒ V Loại BMI (Béo phì) = (6/12, 6/12) = (0.5 , 0.5) + Xét thuộc tính Hoạt động thể thao - Xét giá trò : Có V hoạt động thể thao (Có) = {T(Có, Bình thường), T(Có, Tim mạch)} Có hoạt động thể thao : 15 người Có hoạt động thể thao , kết quả Bình thường : 7 người Có hoạt động thể thao , kết quả Tim mạch : 8 người ⇒ V hoạt động thể thao (Có) = (7/15 , 8/15) - Tương tự xét giá trò : Không V hoạt động thể thao (Không) = {T(Không, BT), T(Không, TM)} Không hoạt động thể thao : 16 người Không hoạt động thể thao, kết quả Bình thường : 10 người Không hoạt động thể thao, kết quả Tim mạch : 6 người ⇒ V hoạt động thể thao (Không) = (10/16 , 6/16) + Xét thuộc tính Tiền sử bệnh nội khoa - Xét giá trò : Có V Tiền sử bệnh nội khoa (Có) = {T(Có, Bình thường), T(Có, Tim mạch)} Có Tiền sử bệnh nội khoa : 14 người Có Tiền sử bệnh nội khoa, kết quả Bình thường : 6 người Có Tiền sử bệnh nội khoa, kết quả Tim mạch : 8 người ⇒ V Tiền sử bệnh nội khoa (Có) = (6/14 , 8/14) 9 - Tương tự xét giá trò : Không V Tiền sử bệnh nội khoa (Không) = {T(Không, BT), T(Không, TM)} Không Tiền sử bệnh nội khoa : 17 người Không Tiền sử bệnh nội khoa, kết quả Bình thường : 11 người Không Tiền sử bệnh nội khoa, kết quả Tim mạch : 6 người ⇒ V Tiền sử bệnh nội khoa (Không) = (11/17 , 6/17) Như vậy : thuộc tính nhóm tuổi có số vector đơn vò nhiều nhất (3 vector đơn vò) nên sẽ được chọn đầu tiên để phân hoạch. Sau khi phân hoạch theo nhóm tuổi ta có các tập phân hoạch: Nhóm dưới 20 tuổi Mã hồ sơ Nhóm tuổi Loại BMI Hoạt động thể thao Tiền sử bệnh nội khoa Kết quả BN1 Dưới 20 t Gầy Không Không Bình thường BN4 Dưới 20 t Béo phì Không Không Bình thường BN14 Dưới 20 t Gầy Không Có Bình thường BN15 Dưới 20 t Béo phì Không Có Bình thường BN16 Dưới 20 t Bình thường Không Không Bình thường BN18 Dưới 20 t Gầy Có Có Bình thường BN29 Dưới 20 t Bình thường Có Không Bình thường Nhóm từ 20 - 49 tuổ Mã hồ sơ Nhóm tuổi Loại BMI Hoạt động thể thao Tiền sử bệnh nội khoa Kết quả BN2 Từ 20 - 49t Bình thường Có Không Bình thường BN7 Từ 20 - 49t Gầy Có Không Bình thường BN9 Từ 20 - 49t Béo phì Có Không Bình thường BN10 Từ 20 - 49t Bình thường Không Không Bình thường BN13 Từ 20 - 49t Béo phì Không Không Bình thường BN20 Từ 20 - 49t Béo phì Không Không Bình thường BN25 Từ 20 - 49t Bình thường Không Có Bình thường BN28 Từ 20 - 49t Gầy Không Không Bình thường BN31 Từ 20 - 49t Béo phì Có Có Bình thường 10 [...]... của chương trình máy tính đó là Học bằng phương pháp xây dựng cây đònh danh Phương pháp học này đã được áp dụng trong thực tế và đã giải được một số bài toán quan trọng trong việc tìm ra tri thức trong một tập hợp dữ liệu có sẵn Đặc biệt là trong thời đại công nghệ thông tin hiện nay, sự bùng nổ thông tin với nền kinh tế thò trường thì việc nghiên cứu phương pháp học này của chương trình máy tính... khi học xong môn Công nghệ tri thức do GS.TSKH Hoàng Kiếm tận tình giảng dạy, tôi đã rút ra được rất nhiều điều lý thú đặc biệt là các vấn đề có liên quan đến trí tuệ nhân tạo và công nghệ tri thức ngày nay Do thời gian có hạn, vừa phải xin dữ liệu vừa phải xử lý và viết bài… nên chưa kòp viết code thực hiện chương trình minh hoạt ứng dụng Bài thu hoạch này chỉ mới mô tả khái quát lên một cách học. .. thúc Ta có cây đònh danh cuối cùng: Dưới 20 tuổi {bn1, bn4, bn14, bn5, bn16, bn18, bn29} Từ 50 – 60 tuổi Từ 20 – 49 tuổi {bn2, bn7, bn9, bn10, bn13, bn20, bn25, bn28, bn31} { bn27, bn6 } Trên 60t Nhóm tuổi Loại BMI Bình thường Béo phì Gầy Hoạt động thể thao Có { bn26} Không { bn23 } {bn5, bn8, bn12, bn19, bn24, bn30} { bn3 , bn21, bn11, bn17 } 15 3) Nhận xét (độ đo hỗn loạn) : Thay vì phải xây dựng vector... bảng (mọi giá trò T đều bằng 0) nên ta sẽ tăng j lên 1 và thực hiện lại bước 2 Với j = 2, có 3 tổ hợp mỗi tổ hợp gồm 3 thuộc tính là : {Khối lượng giao dòch, Tín hiệu CK}, {Khối lượng giao dòch, Mã Chứng khoán}, {Tín hiệu CK, Mã Chứng khoán} Ta có: T(Khối lượng giao dòch“Lagre”, Tín hiệu CK“Đỏ”û) T(Tín hiệu CK“Đỏ”û,Mã Chứng khoán“PNJ”) =1 =1 Chọn trường hợp đầu tiên để xây dựng luật ta có luật sau... động thể thao = 0 ) để phân hoạch kế tiếp Cuối cùng ta được cây đònh danh IV- THUẬT TOÁN ILA 1 Thuật toán: Bước 1: Chia mẫu ban đầu thành n bảng con Mỗi bảng con ứng với một giá trò của thuộc tính quyết đònh của tập mẫu Thực hiện lần lượt các bước từ 2 đến 8 cho mỗi bảng con có được Bước 2: j = 1 Bước 3: Trên mỗi bảng con đang khảo sát, chia danh sách các thuộc tính thành các tổ hợp khác nhau, mỗi tổ... số lần xuất hiện nhiều nhất là tổ hợp lớn nhất Bước 5: Nếu tổ hợp lớn nhất có giá trò bằng 0, tăng j lên 1, quay lại bước 3 Bước 6: Loại bỏ các dòng thỏa tổ hợp lớn nhất ra khỏi bảng con đang xử lý Bước 7: Thêm luật mới vào tập luật R, với vế trái là tập các thuộc tính của tổ hợp lớn nhất (kết hợp các thuộc tính bằng toán tử AND) và vế phải là giá trò thuộc tính quyết đònh tương ứng Bước 8: Nếu tất... toán các giá trò T cho dữ liệu còn lại ta được: T(Khối lượng giao dòch“Trung bình”) =1 T(Tín hiệu CK“Blue Chip”) =1 T(Mã Chứng khoán“SAM”) =1 Ta chọn trường hợp T(Khối lượng giao dòch“Trung bình”) để xây dựng ta được : IF ( Khối lượng giao dòch = “Trung bình” ) { Quyết đònh giao dòch = “Mua” } Kế tiếp, loại bỏ dòng ứng với Khối lượng giao dòch = “Trung bình” ra khỏi bảng ta được Stt Khối lượng giao dòch... phì Gầy Hoạt động thể thao Có { bn26} Không { bn23 } {bn5, bn8, bn12, bn19, bn24, bn30} { bn3 , bn21, bn11, bn17 } 15 3) Nhận xét (độ đo hỗn loạn) : Thay vì phải xây dựng vector đặc trưng theo như phương pháp Quinlan, ứng với mỗi thuộc tính dẫn xuất ta chỉ cần tính ra độ đo hỗn loạn và lựa chọn thuộc tính nào có độ đo hỗn loạn là thấp nhất Người ta tính được công thức như sau : Gọi TA là độ đo hỗn... 2; thuộc tính “PNJ” xuất hiện trên cả hai bảng T(Mã Chứng khoán“BAF”) = 1 T(Mã Chứng khoán“SAM”) = 2 T(Mã Chứng khoán“PNJ”) = 0 21 ⇒ Ta có T(Tín hiệu CK“Xanh”) và T(Mã Chứng khoán“SAM”) lớn nhất và đều bằng 2 do đó mặc đònh chọn T(Tín hiệu CK“Xanh”) và ta sẽ có luật: IF (Tín hiệu CK = “Xanh” ) { Quyết đònh giao dòch = “Mua” } Kế tiếp, loại bỏ hai dòng ứng với Tín hiệu CK = “Xanh” ra khỏi bảng ta được... chiến lược cho công nghệ tri thức hiện nay Tuy nhiên do thời gian và kiến thức còn hạn chế bài viết khó tránh được những sai sót Rất mong nhận được sự thông cảm và đóng góp của Quý thầy cô và các bạn học 25 TÀI LIỆU THAM KHẢO 0 1 2 Bài giảng Công nghệ tri thức và ứng dụng Tác giả : GS TSKH Hoàng Kiếm Giáo trình điện tử Cơ sở dữ liệu nâng cao, Công nghệ tri thức và Trí tuệ nhân tạo Biên soạn : Trung . trong phần lý thuyết cơ sở của phương pháp học bằng xây dựng cây đònh danh. 3 LÝ THUYẾT PHƯƠNG PHÁP HỌC BẰNG XÂY DỰNG CÂY ĐỊNH DANH I- ĐỊNH NGHĨA VỀ CÂY ĐỊNH DANH : Cây đònh danh là cây mà khi. phân chia không gian bài toán tạo thành một cây đònh danh sau đó xây dựng các phương pháp học dựa trên cây đònh danh đó. Cây đònh danh được xây dựng bằng cách tìm các quy luật của dữ liệu. Gọi. thực tế. Bài thu hoạch này là một khảo sát nhỏ về một phương pháp học trong trí tuệ nhân tạo, đó là việc học bằng phương pháp xây dựng cây đònh danh. Bài toán được đặt ra là từ một mẫu cơ sở dữ liệu