Bài giảng Các hệ thống dựa trên tri thức: Phần 1

Bài giảng Các hệ thống dựa trên tri thức là một trong những hệ thống của chuyên ngành Hệ thống Thông tin. Bài giảng này là những hệ thống ứng dụng cụ thể và mở rộng của lĩnh vực Trí tuệ Nhân tạo. Phần 1 trình bày các nội dung về các hệ thống tri thức dựa trên xác suất; Hệ mờ; Mạng nơ ron nhân tạo;... Mời các bạn cùng tham khảo để nắm nội dung chi tiết.

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG  KHOA CÔNG NGHỆ THÔNG TIN BÀI GIẢNG CÁC HỆ THỐNG DỰA TRÊN TRI THỨC NGUYỄN QUANG HOAN HàNội 2017 MỤC LỤC BẢNG KÝ HIỆU VIẾT TẮT/GIẢI NGHĨA LỜI NÓI ĐẦU CHƯƠNG 1: CƠ BẢN VỀ HỆ THỐNG DỰA TRÊN TRI THỨC 1.1 Khái niệm tri thức 1.2 Biểu diễn tri thức 1.2.1 Mô tả tri thức mạng ngữ nghĩa 10 1.2.2 Các vấn đề mạng tính tốn 11 1.2.3 Ví dụ minh họa mạng tính toán Thuật toán vết dầu loang 11 1.3 Mục đích xây dựng hệ thống dựa tri thức 14 1.4 Các thành phần hệ thống dựa tri thức 15 1.5 Phân loại hệ thống dựa tri thức 15 1.6 Các khó khăn xây dựng hệ thống dựa tri thức 16 1.6.1 Xây dựng hệ dựa tri thức 16 1.6.2 Đặc tính tri thức 16 1.6.3 Độ lớn sở tri thức 17 1.6.4 Thu thập tri thức 17 1.6.5 Học chậm phân tích 17 1.7 Lập trình thơng minh 17 1.8 Các ngôn ngữ, công cụ sử dụng cho hệ sở tri thức 17 CHƯƠNG 2: 19 CÁC HỆ THỐNG TRI THỨC DỰA TRÊN XÁC SUẤT 19 2.1 Thuật toán độ hỗn loạn 19 2.1.2 Thuật toán độ lộn xộn 20 2.2 Thuật toán Bayes 22 2.2.1 Định lý Bayes 22 2.2.2 Bài toán thuật toán Bayes đơn giản 22 CHƯƠNG 3: 26 HỆ MỜ 26 3.1 Tập mờ 27 3.2 Các khái niệm liên quan đến tập mờ 28 3.3 Hàm thuộc (hàm thành viên) 30 3.4 Hệ mờ gì? 31 3.5 Các phép tính mờ 32 3.6 Mờ hóa 33 3.7 Giải mờ 34 CHƯƠNG 4: 41 MẠNG NƠ-RON NHÂN TẠO 41 4.1 Nguồn gốc mạng nơ ron 41 4.1.1 Quá trình phát triển nghiên cứu mạng nơ ron 41 4.1.2 Mơ hình tổng qt nơ ron sinh vật 42 4.2 Mơ hình mạng nơ ron nhân tạo luật học 44 4.2.1 Mơ hình tổng qt nơ ron nhân tạo 44 4.2.2 Mạng nơ ron nhân tạo 46 4.3 Các mạng truyền thẳng 50 4.3.1 Mạng lớp truyền thẳng - Mạng Perceptron 50 4.3.2 Mạng nơ ron Adaline (Adaptive Linear Element) 52 4.3.3 Mạng nhiều lớp lan truyền ngược (Back Propagation) 53 4.4 Các mạng phản hồi 55 4.4.1 Mạng Hopfield rời rạc 56 4.4.2 Mơ hình mạng Hopfield liên tục chuẩn 57 4.4.3 4.5 Mạng liên kết hai chiều 61 Mạng nơ ron tự tổ chức 67 4.5.1 Mơ hình cấu trúc mạng Kohonen 67 4.5.2 Học ganh đua 69 4.5.3 Thuật toán SOM 71 4.5.4 SOM với toán phân cụm 74 CHƯƠNG 5: 78 GIẢI THUẬT DI TRUYỀN 78 5.1 Khái niệm giải thuật di truyền 78 5.2 Các toán tử giải thuật di truyền 79 5.3 Giải thuật di truyền 80 5.4 Ví dụ giải thuật di truyền 84 CHƯƠNG 6: 92 CÁC HỆ CƠ SỞ TRI THỨC LAI 92 6.1 Đặc tính hệ tính tốn mềm 92 6.2 Hệ lai nơ ron mờ 95 6.3 Biểu diễn luật If-Then theo cấu trúc mạng nơ ron 97 6.4 Nơ ron mờ 98 6.5 Huấn luyện mạng nơ ron mờ 100 6.6 Phân loại kết hợp mạng nơ ron và logic mờ 102 6.7 Hệ lai tiến hóa mờ 107 6.8 Hệ lai tiến hóa nơ ron 113 BẢNG KÝ HIỆU VIẾT TẮT/GIẢI NGHĨA VIẾT TẮT/ TÊN RIÊNG NGHĨA THEO TIẾNG ANH ADALINE Adaptive Linear Element A/D AI ANFIS Analog to Digital Conveter Artificial Intelligence Adaptive Neuro Fuzzy Inference System Bidirectional Associative Memory Best Matching Unit Boltzmann Content Addressable Memory Computer-Based Information Systems Genetic Algorithm BAM BMU Boltzmann CAM CBIS GA CLIPS DỊCH RA TIẾNG VIỆT/GIẢI NGHĨA Phần tử (nơ ron) tuyến tính thích nghi, tên mạng nơ ron Widrow đề xuất năm 1960 Bộ chuyển đổi tương tự/số Trí tuệ nhân tạo Hệ thống nơ ron-mờ thích nghi Bộ nhớ liên kết hai chiều: tên mạng nơ ron hồi quy hai lớp (Roselblatt) Đơn vị (nơ ron) khớp tốt Mạng nơ ron lấy tên Boltzmann Bộ nhớ nội dung địa hoá Hệ thống thông tin dựa máy tính Giải thuật di truyền C Language Integrated Hệ thống sản xuất (nhân quả) tích hợp theo ngôn ngữ C Production System Hopfield Hopfield KBS LMS NFS NST MISO OAV Perceptron Knowledge Base System Least Mean Square Neuro-Fuzzy Systems (Chromosome) Multi Input Single Output Object Atribute Value Perceptron VLSI RBF SISO SVM Very Large Scale Integration Radian Basic Function Single Input Single Output Support Vector Machine Tên mạng nơ ron truy hồi (mạng rời rạc, 1982; liên tục, 1984) Hopfield đề xuất Hệ thống dự tri thức Trung bình bình phương nhỏ nhất: Các hệ thống nơ ron-mờ Nhiễm sắc thể Hệ thống nhiều đầu vào đầu Giá trị thuộc tính đối tượng Bộ cảm nhận: tên mạng nơ ron truyền thẳng Rosenblatt đề xuất năm 1960 Mạch tích hợp mật độ cao Hàm xuyên tâm Hệ thống đầu vào đầu Máy vec tơ hỗ trợ LỜI NĨI ĐẦU Giáo trình “Các hệ thống dựa tri thức” là hệ thống chuyên ngành Hệ thống Thơng tin Giáo trình này là hệ thống ứng dụng cụ thể và mở rộng lĩnh vực Trí tuệ Nhân tạo Nói cách khác, hệ thống dựa trí thức xây dựng dựa nguyên lý nào trí tuệ nhân tạo để xây dựng hệ thống ứng dụng riêng Các hệ thống dựa tri thức có nguồn gốc xuất xứ từ số hệ thống hệ chuyên gia Hệ thống sử dụng tính toán mềm là hệ gần gũi với hệ thông dựa tri thức chủ yếu gồm hệ mờ, mạng nơ ron, giải tḥt di truyền và lập trình tiến hóa, hệ thống dựa theo xác suất Hệ thống dựa theo trí thức có quy mơ rộng miễn là tri thức Giáo trình gồm sáu chương Chương mang tính giới thiệu, cho số khái niệm bản, phân loại hệ dựa tri thức, số công cụ hỗ trợ thực hệ thống dựa tri thức Những khái niệm giới thiệu trí tuệ nhân tạo, để tránh trùng lặp, giáo trình khơng nhắc lại nhiều Chương hai, giới thiệu tḥt tốn mang tính xác suất điển hình Một số hệ thống khác có tính xác suất hệ mờ, sử dụng nhiều nguyên tắc khác tập hợp, logic, tính toán mờ tách thành hệ riêng Chương ba là hệ mờ, chủ ́u trình bày có tính hệ thống và quy trình hướng tới giải bài tốn, không sâu lý thuyết Chương bốn đề cập tới mạng nơ ron gồm cấu trúc và luật học và vài ứng dụng mạng nơ ron cụ thể Chương năm giới thiệu thuyết tiến hóa và giải thuật di truyền Chương sáu nêu số hệ lai hệ mờ với nơ ron, mờ với hệ tiến hóa, hệ tiến hóa với mạng nơ ron Một số hệ thống khác hệ thống dựa theo trí thức không giới thiệu khn khổ giáo trình có hạn Những vấn đề hệ thống dựa trí thức là tiên tiến và tiến trình phát triển, hoàn thiện Nhiều quan điểm phân loại hay định nghĩa bàn ḷn Do vậy, giáo trình khơng tránh khỏi thiếu sót chưa đủ cập nhật Mong đóng góp từ tất bạn đồng nghiệp và độc giả CHỦ BIÊN CHƯƠNG 1: CƠ BẢN VỀ HỆ THỐNG DỰA TRÊN TRI THỨC Tri thức hệ sở tri thức 1.1 1.1.1 Khái niệm tri thức Tri thức (Knowdge) là hiểu biết lý thuyết hay thực tế đối tượng, việc, hoàn cảnh, kiện hay lĩnh vực định Tri thức là tổng tất hiểu biết thời, là khái niệm trừu tượng đời thường Chuyên gia (ExpertS) là người tập hợp nhiều tri thức người bình thường khác Để đưa tri thức vào máy tính (giống ta mô tả liệu cho máy tính để máy tính giúp ta giải qút bài tốn), khái niệm tri thức trừu tượng càn phải phải mô tả cụ thể Trong cách cụ thể hóa tri thức, người ta thơng chia tri thức làm phần, là: i) ii) iii) kiện (Events hay Facts); mối quan hệ, quy tắc, quy luật liên quan kiện hay gọi tắt luật (Rules) kiện đó; tri thức có tính heuristic Heuristic xuất phát từ tḥt ngữ ơ-ric-ca thuật ngữ khó dịch tiếng Việt; hàm ý rút từ kinh nghiệm, từ suy diễn mang tính may rủi (khơng hoàn toàn chính xác, dùng tốt theo số nghĩa nào đó) Heuristic tạm dịch tìm ra, phát (to Find hay to Discovery) Ví dụ kiện Giả sử có hai kiện “trời mưa” (ký hiệu (hay gán) là biến A); kiện “đất ướt” (ký hiệu (hay gán) là biến B) Những tượng đó, người trưởng thành nhận thức được, gọi là kiện Các kiện tương đương với liệu mà ta biết và là dạng đơn giản trí thức Nhưng chưa hoàn toàn đủ để gọi là tri thức, tương đương với kiện (hay liệu) Ở mức tri thức, người rút mối liên quan kiện qua đúc rút kinh nghiệm, qua thực tế Giữa kiện đó, người muốn hiểu sâu hơn, tìm hiểu kiện có mối quan hệ nào không? Mối quan hệ kiện có tồn khơng? Gắn hai kiên vừa nêu, ta thấy: có “trời mưa” dẫn tới (kéo theo) kiện “đất ướt”, chúng có mối liên hệ, mối liên hệ A→B Đây là mối quan hệ mà mơ tả logic mệnh đề Ta mơ tả A→B quy tắc hay là luật IF…THEN (NẾU…THÌ) sau: NẾU “trời mưa” NẾU A IF “trời mưa” IF A THÌ “đất ướt” THÌ B THEN “đất ướt” THEN B Trong ngơn ngữ lập trình, “IF…THEN” là cấu trúc Trong trí tuệ nhân tạo gọi luật “IF…THEN” hay luật nhân quả, hay luật sinh (tiếng Anh: Production Rule) Các mối quan hệ này chính là quy luật (Rule) thể mối liên hệ kiện 1.1.2 Tháp liệu hệ thống dựa máy tính Hệ thống dựa tri thức (Knowledge-Based Systems) Các hệ thống thông minh nhân tạo sử dụng kỹ tḥt trí tuệ nhân tạo, thơng qua kỹ tḥt đó, hệ thống thơng minh có khả giải toán lĩnh vực riêng Những hệ thống vậy sử dụng kiến thức nhiều chuyên gia gọi hệ thống dựa tri thức (Knowledge-Based Systems) hay hệ chuyên gia (Expert System) [1] Các hệ thống giải bài toán máy tính truyền thống từ trước tới dựa liệu (Data) và/hoặc thông tin (Information) gọi là hệ thống thơng tin dựa máy tính (Computer-Based Information Systems: CBIS) Mơ hình Un thâm Quy ḷt Tri thức Khái niệm Dữ liệu Sáng tạo (Novelty) Thông tin Làm (Experience) Dữ liệu Hiểu (Understading) Nghiên cứu Hấp thụ Tương tác Tác động lại Hình 1.1 Biểu đồ mơ tả từ liệu đến trí tuệ Hình 1.1 mơ tả đồ thị phát triển trí tuệ từ liệu, thông tin, tri thức đến thông minh (hay uyên thâm) mối quan hệ giữ bốn khái niệm Khi thực hoạt động: nghiên cứu, tiếp thu (hấp thụ), tương tác (trao đổi), phản ảnh (tương tác lại) mô tả trục x người đạt (kết quả) hiểu biết, thực hành được, tiến tới làm sáng tạo sản phẩm q trình tư Trục y coi mức (hội tụ) mô tả: từ liệu (nguyên liệu thô), xử lý (xác định hay không xác định từ liệu để có thơng tin) thành khái niệm, sau rút thành quy luật (luật) tiếp theo mô hình mơ tả Hình 1.2 cho thấy phát triển tháp (quản lý) liệu Mức thấp nhất: mức thao tác liệu hoạt động với môi trường sử dụng thủ tục (chương trình), ví dụ hệ thơng xử lý giao tác (Transaction Processing System: TPS) nhằm tạo chương trình giao tác với hoạt động (kinh doanh) Các nhà chiến lược tạo sách WBS Quản lý mức cao tạo tri thức KBS Quản lý mức dùng thông tin Thao tác xử lý liệu Độ lớn Uyên thâm: thực Tri thức: tổng hợp DSS, MIS Thơng tin: phân tích TPS Dữ liệu; chế biến thô Độ thông minh và phức tạp Hình 1.2 Tháp quản lý liệu, thơng tin, tri thức trí tuệ (un thâm) Các thơng tin từ mức thao tác phân tích, chế biến, tạo báo cáo giúp nhà quản lý quyết định (Decision Support System: DSS) mức thứ hai (mức quản lý trung gian: Management Information System: MIS) Ở mức cao (quản lý), từ kết tiến hành qua quyết định mức hai, kết hợp với định mức, luật lệ để khái quát hóa, chuyển thơng tin thành trí thức Các hệ thống thực chức này là hệ dựa tri thức (KnowledgeBased Systems: KBS) hệ dựa kiến thức uyên thâm (Wisdom-Based Systems) 1.3 Hệ sở tri thức gì? Hệ CSTT là hệ thống dựa tri thức (một tập hợp tri thức và tập quan hệ), cho phép mơ hình hóa tri thức chuyên gia, dùng tri thức này để giải quyết vấn đề phức tạp lĩnh vực Hai yếu tố quan trọng hệ sở tri thức là: kiện và lập luận hay suy diễn) Sự kiện Lập luận (suy diễn) Sự kiện Lập luận Sự kiện Lập luận …… ……… Sự kiện n 1.2 Lập luận m Biểu diễn tri thức Tri thức phân làm hai nhóm chính:  Mô tả tri thức theo kiện (Factual Knowledge Representation) ▪ Hằng (Constant) ▪ Biến (Variables) ▪ Hàm (Functions) ▪ Vị từ (Predicates) ▪ Các công thức (Well-Formed Formulas) ▪ Logic vị từ cấp (First Order Logic)  Mô tả tri thức theo thủ tục (Procedural Knowledge Representation) Trong chương trình trí tuệ nhân tạo, ta biết số phương pháp mô tả tri thức theo kiện như: - Phương pháp kinh điển: mô tả tri thức logic hình thức: Logic mệnh đề Ví dụ: A B; Logic vị từ (xem giáo trình trí tuệ nhân tạo) - Phương pháp mô tả luật IF…THEN hay luật nhân - Mô tả tri thức cặp ba: OAV (Object Atribute Value); - Mô tả tri thức băng khung (Frame) - Mô tả tri thức mạng ngữ nghĩa Đây là phương pháp mô tả có nhiều ứng dụng và thành cơng; biến thể là mạng tính tốn, mạng Bayes, mạng nơ-ron nhân tạo… Bởi vậy, tìm hiểu f (.) là hàm ngưỡng Vector y’ cung cấp cho lớp X vector x’ cung cấp đầu vào cho lớp Y cho đầu y’’.Quá trình tiếp tục cập nhật x y dừng lại Q trình truy hồi đệ quy gồm bước sau y(1)=a(Wx(0)) (qua hướng lần thứ nhất) x(2)=a(WTy(1)) (qua hướng lần thứ nhất) ……………………………………………… y(k-1)=a(Wx(k-2)) (qua hướng lần thứ k/2) x(k)=a(WTy(k-1)) (qua hướng lần thứ k/2) Trạng thái cập nhật là đồng không đồng Thuật toán lưu trữ Với p cặp vector liên kết lưu trữ BAM: {(x1,y1), (x2, y2), …, (xn, yn)} xk=(x1k,x2k,…,xmk)T y=(y1k, y2k,…, ynk)T p W=  (ykxk)T cho vector lưỡng cực : {1, -1} k 1 p W=  (2yk-1)(2xk-1)T cho vector nhị phân : {0, 1} k 1 p wij=  ykixkj Cho vector lưỡng cực :{1, -1} k 1 p wij =  (2yki-1)(2xkj-1) cho vector nhị phân :{0, 1} k 1 Tính ổn định BAM (được chứng minh dùng định lý Lyapunov) Hàm lượng: E(x,y)=-1/2xTWTy-1/2yTWx=-yTWx Xem xét ∆E sinh ∆y theo 11.36 ta có ∆Eyi= E ∆yi=Wx∆yi=-( wijxj)∆yi yi j 1 m  Có trường hợp xảy ra: m yi(k)=-1 yi(k+1)=+1→  wijxj>0, ∆yi=2 Do ∆Eyi (0 1 0) = N 1 3  3 Sử dụng công thức, ví dụ xác định lại:  1 1 3   3 3 1 1   LW= [1 1 1]  3 3 1 1 = [4 -4 -4 4]T => (1 1)=A    1 1 3   1 1 3  Như vậy (A, L), (B, M), (C < N) là điểm cố định cho BAM công thức và ma trận trọng W xác định nhờ công thức Hơn nếu cho vector (A+S) (thay đổi chỳt vector A) vào BAM, hội tụ gần tới lỗi nhóm L Vớ dụ S = (0 0 0); A+S = (1 1 1); (A+S) WT = (2 2 2) => (1 1 1)=L Chú ý việc học với BAM là cố định, vậy khơng đủ mạnh trường hợp đẩy bit mẫu kết hội tụ là sai BAM là ví dụ mạng ánh xạ 66 4.5 Mạng nơ ron tự tổ chức Mạng nơ ron tự tổ chức SOM (Self-Organizing Map) đề xuất giáo sư Teuvo Kohonen vào năm 1982 Nó cịn gọi là: Bản đồ/Ánh xạ đặc trưng tự tổ chức (SOFM-Self Organizing Feature Map) hay đơn giản là mạng nơ ron Kohonen SOM coi là mạng nơ ron hữu ích cho việc mơ q trình học não người Nó không giống với mạng nơ ron khác quan tâm đến giá trị và dấu hiệu thông tin đầu vào, mà có khả khai thác mối liên hệ có tính chất cấu trúc bên khơng gian liệu thông qua đồ đặc trưng Bản đồ đặc trưng bao gồm nơ ron tự tổ chức theo giá trị đầu vào định; huấn luyện để tìm quy luật và tương quan giá trị nhập vào, từ dự đốn kết tiếp theo Có thể nói, nếu hệ thống mơ q trình học não người thực đồ đặc trưng SOM đóng vai trò trái tim hệ thống Tính tự tổ chức SOM thực nguyên tắc học cạnh tranh, không giám sát nhằm tạo ánh xạ liệu từ không gian nhiều chiều không gian ít chiều (thường là hai chiều), đảm bảo quan hệ mặt hình trạng liệu Điều này có nghĩa là liệu có đặc trưng tương đồng đại diện nơ ron nơ ron gần và nơ ron gần tương đồng với so với nơ ron xa Kết là hình thành đồ đặc trưng tập liệu Đây thực chất là phép chiếu phi tuyến tạo “ánh xạ đặc trưng” cho phép phát và phân tích đặc trưng khơng gian đầu vào; đó, SOM là công cụ hiệu cho việc phân cụm trực quan và phân tích liệu nhiều chiều 4.5.1 Mô hình cấu trúc mạng Kohonen Mạng nơ ron SOM có cấu trúc đơn lớp, bao gồm: tín hiệu vào và lớp Kohonen (Hình 4.9), tất đầu vào kết nối đầy đủ với mọi nơ ron lớp Kohonen Kiến trúc mạng SOM thuộc đồng thời hai nhóm mạng truyền thẳng và mạng phản hồi, liệu truyền từ đầu vào tới đầu và có ảnh hưởng nơ ron lớp Kohonen Lớp Kohonen thường tổ chức dạng ma trận chiều nơ ron theo dạng lưới hình chữ nhật hình lục giác Mỗi đơn vị i (nơ ron) lớp Kohonen gắn vector trọng số wi= [wi,1, wi,2, …, wi,n], với n là kích thước (số chiều) vector đầu vào; wi,j là trọng số nơ ron i ứng với đầu vào j 67 Hình 4.9 Cấu trúc mạng SOM với lớp Kohonen chiều Các nơ ron lớp xếp mảng chiều Mảng này gọi là lớp Kohonen Lớp đầu này khác với lớp đầu mạng nơ ron truyền thẳng Đối với mạng truyền thẳng, nếu có mạng nơ ron với nơ ron đầu ra, chúng cho kết bao gồm giá trị Còn mạng nơ ron Kohonen có nơ ron đầu cho giá trị Giá trị này là sai Dữ liệu đầu từ mạng nơ ron Kohonen thường là số nơ ron Trong trường hợp lưới hai chiều, nơ ron nằm đồ tồn hai loại cấu trúc liên kết là hình lục giác hình chữ nhật Tuy nhiên, cấu trúc liên kết hình lục giác tốt tác vụ trực quan hố nơ ron có nơ ron lân cận với cấu trúc hình chữ nhật là Hình 4-10: Cấu trúc hình lục giác đều và cấu trúc hình chữ nhật đó: - Lớp vào (Input Layer): dùng để đưa liệu huấn luyện vào mạng Kohonen Kích thước lớp vào tương ứng với kích thước mẫu học - Lớp (Output Layer): nơ ron lớp xếp mảng hai chiều Mảng gọi lớp Kohonen 68 - Tất noron lớp vào nối với nơ ron lớp Mỗi liên kết đầu vào và đầu mạng Kohonen tương ứng với trọng số Kích thước véc tơ trọng số kích thước lớp vào Nói cách khác, nơ ron lớp Kohonen có thêm vector trọng số n chiều (với n là số đầu vào) 4.5.2 Học ganh đua SOM là kỹ thuật mạng nơ ron truyền thẳng sử dụng tḥt tốn học khơng giám sát (học ganh đua) và qua trình “tự tổ chức”, xếp đầu cho thể hình học liệu ban đầu Học không giám sát liên quan đến việc dùng phương pháp quy nạp để phát tính quy chuẩn thể tập liệu Mặc dù có nhiều tḥt tốn mạng nơ ron cho học khơng giám sát, có tḥt tốn học ganh đua (Conpetitive Learning, Rumelhart & Zipser, 1985) Học ganh đua coi thuật tốn học mạng nơ ron khơng giám sát thích hợp khai phá liệu, minh họa cho phù hợp phương pháp học mạng nơ ron lớp Nhiệm vụ học xác định học ganh đua phân chia ví dụ huấn luyện cho trước vào tập cụm liệu Các cụm liệu thể luật biểu diễn tập liệu minh hoạ giống ánh xạ vào lớp giống Biến thể học ganh đua mà xét gọi học ganh đua đơn điệu, liên quan đến việc học mạng nơ ron lớp Các đơn vị đầu vào mạng có giá trị liên quan đến lĩnh vực xét, k đơn vị đầu thể k lớp ví dụ đầu vào phân cụm 69 Hình 4-11: Đơn vị (nơ ron) xử lý ganh đua Giá trị đầu vào cho đầu phương pháp tổ hợp tuyến tính đầu vào: (4.48) Trong đó:  xi đầu vào thứ i; i = 1,2,…,n  wji trọng số liên kết đầu vào thứ i với đầu thứ j, j = 1,2, …,m Gọi S(netj ) là hàm chuyển tín hiệu (hàm tương tác hay hàm kích hoạt đầu ra), là hàm đơn điệu khơng giảm liên tục hàm Sigmoid hàm bước nhẩy đơn vị sau: (4.49) Đơn vị đầu có giá trị đầu vào lớn coi là chiến thắng, và kích hoạt coi (thắng cuộc), kích hoạt khác đầu lại cho (thua cuộc) Quá trình vậy gọi là ganh đua Quá trình huấn luyện cho học ganh đua liên quan đến hàm chi phí: (4.50) đó:  aj kích hoạt đầu thứ j  xi là đầu vào thứ i  wji trọng số từ đầu vào thứ i với đầu thứ j Luật cập nhật trọng số là: (4.51) với α là số, tốc độ học Ý tưởng chính học ganh đua là đầu là lấy “độ tin cậy” cho tập ví dụ huấn luyện Chỉ đầu là chiến thắng số ví dụ đưa ra, và vectơ trọng số cho đơn vị chiến thắng di chuyển phía vectơ đầu vào Giống trình huấn luyện, vectơ trọng số đầu di chuyển phía trung tâm ví dụ Huấn luyện 70 xong, đầu đại diện cho nhóm ví dụ, và vectơ trọng số cho đơn vị phù hợp với trọng tâm nhóm Học ganh đua có liên quan mật thiết với phương pháp thống kê tiếng là phương pháp phân cụm K thành phần Khác hai phương pháp là học ganh đua là phương pháp trực tuyến, nghĩa là suốt trình học cập nhập trọng số mạng sau ví dụ đưa ra, thay sau tất ví dụ đưa làm phương pháp phân cụm K thành phần chính Học ganh đua phù hợp với tập liệu lớn, tḥt tốn trực tún thường có giải pháp nhanh mọi trường hợp 4.5.3 Thuật toán SOM Về chất, SOM biết đến kỹ thuật nén liệu dựa vecto trọng số (trực quan hóa liệu) Hình 4-12: Khơng gian ban đầu và không gian sau thực thuật toán SOM Input: Dữ liệu huấn luyện gồm tập n vectơ: V={V1, V2, …, Vi, …, Vn}, vectơ ứng với nơ ron (nút) đầu vào; Trong đó, vecto Vi gồm p chiều: Vi={v1, v2, …, vp} Khởi tạo tham số số lần lặp t=1  Bước 1: Khởi tạo vecto trọng số cho nơ ron Tương ứng với vector Vi, vecto trọng số Wi gồm p chiều Wi={w1, w2, …, wp} Và tập vecto trọng số có m bộ: W={W1, W2, …, Wi, …, Wm}  Bước 2: Chọn ngẫu nhiên vecto Vi 𝜖 V làm mẫu huấn luyện  Bước 3: Tìm mẫu khớp tốt BMU (Best Matching Unit)–phần tử nơ ron chiến thắng Tìm phần tử khớp vecto trọng số Wi𝜖W và vecto đầu vào Vi Nơ ron nào có vecto trọng số Wi gần với vecto đầu vào Vi nơ ron chọn là BMU 71 Để xác định BMU, ta tính khoảng cách Euclid vecto trọng số Wi với vecto Vi chọn Bước theo công thức sau: 𝑝 𝐷𝑖𝑠𝑡1 = √∑𝑖=1(𝑉𝑖 − 𝑊𝑖 )2 (4.52) đó:  Dist1: khoảng cách vecto trọng số Wi và vecto đầu vào Vi  𝑉𝑖 : vecto đầu vào xét  𝑊𝑖 : vecto trọng số phần tử chọn  Dist1 nơ ron có vecto trọng số tương ứng chọn BMU  Bước 4: Xây dựng phần tử lân cận Bước này xác định nơ ron nào thuộc vùng lân cận BMU Để xác định vùng lân cận BMU, tính bán kính lấy tâm là BMU tới nơ ron lại, gọi là bán kính lân cận Nơ ron nào có khoảng cách tới BMU nằm bán kính lân cận nơ ron là phần tử lân cận BMU Bán kính lân cận xác định lớn thường là bán kính tính theo kích thước mạng, sau giá trị này giảm dần sau số bước thực Bán kính lân cận BMU thời điểm t xác định công thức: 𝑡 𝜎(𝑡 ) = 𝜎0 exp (− ) 𝜆 (4.53) đó:  𝜎(𝑡 ): bán kính lân cận BMU thời điểm t  𝜎0 : bán kính lân cận BMU thời điểm t0  𝜎0 tính cơng thức: 𝜎0 = max(𝑤𝑖𝑑𝑡ℎ, ℎ𝑒𝑖𝑔ℎ𝑡 ) /2  Width: chiều rộng mạng Kohonen (do người dùng tự định nghĩa)  Height: chiều dài mạng Kohonen (do người dùng tự định nghĩa)  t: bước lặp  𝜆: số thời gian Trong đó: 𝜆 = 𝑁 log(𝜎0 )  N: số lần lặp để chạy thuật toán Sau tính bán kính lân cận, ta tính khoảng cách từ BMU tới nơ ron lại để xác định nơ ron nào là phần tử lân cận BMU Nếu khoảng cách nhỏ bán kính nơ ron tương ứng là phần tử lân cận BMU Khoảng cách từ BMU tới nơ ron tính theo công thức Euclid: 𝑝 𝐷𝑖𝑠𝑡2 = √∑𝑖=1(𝐵𝑀𝑈𝑖 − 𝑊𝑖 )2 72 (4.54) Dist2: khoảng cách từ BMU tới nơ ron lại Các phần tử lân cận bao gồm BMU cập nhật lại trọng số bước tiếp theo Hình 4-13: Bán kính lân cận và phần tử lân cận sau một số lần lặp a) Lưới hình chữ nhật; b) Lưới hình lục giác  Bước 5: Hiệu chỉnh trọng số phần tử lân cận – Quá trình học SOM Trọng số phần tử lân cận xác định bước bao gồm BMU hiệu chỉnh để chúng có giá trị gần giống với giá trị vecto đầu vào xét Các vecto trọng số hiệu chỉnh theo cơng thức: W(t+1)=W(t) + 𝜃(𝑡)L(t)(V(t)-W(t)) (4.55) đó:  W(t+1): vecto trọng số bước lặp (t+1)  W(t): vecto trọng số bước lặp t  𝜃(𝑡): hàm nội suy theo thời gian học, thể tác động khoảng cách trình học Hàm nội suy 𝜃(𝑡 ) tính theo công thức: 𝜃(𝑡 ) = 𝑒𝑥𝑝(− 𝐷𝑖𝑠𝑡2 ) (4.56) 2𝜎2 (𝑡) đó:  Dist2: khoảng cách từ BMU tới phần tử lân cận  L(t): hàm nội suy tốc độ học cho bước lặp tính theo công thức: L(t)=L0 exp(- (4.57) 73 𝑡 𝜆 )  L0: giá trị khởi tạo ban đầu tốc độ học Tốc độ học nội suy dần sau số lần lặp và giá trị hàm tiền dần số lần lặp đạt tới bước cuối  Bước 6: Tăng t, lấy mẫu huấn luyện tiếp theo Lặp lại bước cho đến giải thuật tối ưu tức W(t+1)=W(t) đạt đến số lần lặp xác định N cho trước (t=N) Thuật toán dừng thực đủ số lần lặp thay đổi nào vecto trọng số Q trình thực tḥt tốn SOM tóm tắt sau:  Bước 1: Khởi tạo giá trị cho vecto trọng số  Bước 2: Chọn vecto từ tập vecto đầu vào  Bước 3: Tìm mẫu khớp tốt (Best Matching Unit - BMU) Tính tốn khoảng cách vecto đầu vào với tất vecto trọng số theo công thức Euclid: 𝑝 𝐷𝑖𝑠𝑡 = √∑𝑖=1(𝑉𝑖 − 𝑊𝑖 )2 (4.58) Dist nơ ron có vecto trọng số tương ứng chọn làm BMU  Bước 4: Tìm phần tử lân cận  Bước 5: Cập nhật lại trọng số phần tử lân cận BMU W(t+1)=W(t) + 𝜃(𝑡)L(t)(V(t)-W(t))  Bước 6: Tăng t, lặp tiếp bước 4.5.4 SOM với toán phân cụm Với khả mạnh mẽ việc biểu diễn liệu từ không gian nhiều chiều khơng gian ít chiều mà bảo tồn quan hệ hình trạng liệu không gian đầu vào, nên chức chính SOM là trình diễn cấu trúc toàn tập liệu và giúp quan sát trực quan cấu trúc phân bố tương quan mẫu liệu không gian tập liệu Do đó, SOM ứng dụng nhiều bài tốn thực tế, từ bài tốn có tính chất tảng khai phá liệu phân cụm, phân lớp bài toán ứng dụng lĩnh vực khác Cụ thể, từ năm 1980 đến nay, có hàng nghìn bài báo, cơng trình nghiên cứu liên quan đến SOM, liệt kê “Bibliography of selforganizing map (SOM) papers Trong năm gần đây, kể số nghiên cứu ứng dụng SOM đại diện lĩnh vực như: thị giác máy và phân tích ảnh, nhận dạng và phân tích tiếng nói, phân tích liệu y tế, xử lý tín hiệu viễn thông, công nghiệp và liệu thế giới thực khác, xử lý liệu video giao thông, xử lý loại liệu liên tục theo thời gian 74 SOM là phương pháp phân cụm theo cách tiếp cận mạng nơ ron và thuật toán học ganh đua Vectơ trọng số ma trận SOM trọng tâm cụm, việc phân cụm cho kết tốt cách kết hợp đơn vị ma trận để tạo thành cụm lớn Một điểm thuận lợi phương pháp này là vùng Voronoi đơn vị ma trận là lồi, cách kết hợp số đơn vị ma trận với tạo nên cụm không lồi Việc sử dụng độ đo khoảng cách khác và chuẩn kết liên kết khác tạo thành cụm lớn Ma trận khoảng cách: chiến lược chung phân cụm đơn vị SOM tìm ma trận khoảng cách vectơ tham chiếu và sử dụng giá trị lớn ma trận là số đường biên cụm Trong không gian ba chiều, cụm thể “các thung lũng” Vấn đề là làm để quyết định đơn vị ma trận thuộc cụm nào cho trước Để giải quyết vấn đề này, người ta thường sử dụng thuật toán tích tụ (Agglomerative Algorithm), gồm bước: Quy cho đơn vị ma trận cụm riêng Tính toán khoảng cách tất cụm Ghép hai cụm gần Nếu số cụm tồn số cụm người dùng định nghĩa trước dừng, nếu khơng lặp lại từ bước SOM áp dụng phân cụm tập liệu khơng chuẩn hố Dùng ḷt học ganh đua, vectơ trọng số điều chỉnh theo hàm phân bố xác suất vectơ đầu vào Sự tương đồng vectơ đầu vào x và vectơ trọng số w tính toán khoảng cách Ơclit Trong suốt trình huấn luyện vectơ trọng số wj tuỳ ý cập nhập thời điểm t là: (4.59) Với (t) tỷ lệ học giảm dần trình huấn luyện, hci(t) hàm lân cận vectơ trọng số chiến thắng wc, vectơ trọng số wj , hci(t) giảm dần trình huấn luyện Mối quan hệ lân cận xác định cấu trúc hình học mối quan hệ cố định suốt trình học Kết thúc q trình học, điều chỉnh lại bán kính lân cận đủ nhỏ để cập nhập lại cho vectơ trọng số chiến thắng wc lân cận gần chúng Đối với cấu trúc chiều biểu diễn luật huấn luyện Công thức sấp xỉ hàm đơn điệu phân bố xác suất vectơ đầu vào Trong cấu trúc hai chiều kết trả tương quan độ xấp xỉ bình 75 phương lỗi tối thiểu vectơ lượng tử Ưu điểm, nhược điểm của thuật toán SOM a) Ưu điểm - Ưu điểm tốt ḥt tốn SOM dễ hiểu SOM cài đặt đơn giản làm việc tốt - Tḥt tốn SOM có ưu điểm biểu diễn trực quan liệu đa chiều vào khơng gian chiều và đặc trưng liệu giữ lại đồ - Tḥt tốn SOM có hiệu q trình phân tích địi hỏi trí thơng minh để đưa quyết định nhanh chóng thị trường Nó giúp cho người phân tích hiểu vấn đề tập liệu tương đối lớn - Thuật toán SOM xác định cụm liệu giúp cho việc tối ưu phân bổ nguồn lực - Thuật toán SOM ứng dụng nhiều nhận dạng tiếng nói, điều khiển tự động, hóa-sinh trắc học, phân tích tài chính và xử lý ngôn ngữ tự nhiên… b) Nhược điểm - Chi phí cho việc tính tốn lớn số chiều liệu tăng lên - Việc xác định ranh giới nhóm lớp Kohonen gặp nhiều khó khăn, trường hợp liệu biến thiên liên tục, phân chia nhóm nhỏ - Khối lượng tính tốn tḥt tốn SOM là tương đối lớn, vậy tốc độ xử lý giải thuật là thách thức cần xét tới Xét mạng Kohonen sử dụng thuật toán SOM với kích thước 20x30=600 nơ ron, độ phân giải ảnh đầu vào tính đơn vị megapixel tức có tới hàng triệu điểm ảnh Như vậy, riêng trình huấn luyện, việc tìm BMU phải duyệt qua khoảng 600 triệu lần nơ ron mà chưa tính đến phép tính khoảng cách, so sánh, cập nhật trọng số… - Một vấn đề lần chạy tḥt tốn SOM, ta tìm thấy độ tương tự khác vecto mẫu Các vecto mẫu thường bao quanh mẫu tương tự, nhiên mẫu tương tự lúc nào gần Nếu có nhiều sắc thái màu tím, lúc nào thu tập lớn tất màu tìm cụm, đơi cụm phân chia có hai nhóm màu tím Sử dụng liệu màu sắc, ta nói hai cụm liệu này là tương tự với hầu hết liệu khác, hai cụm trơng hồn tồn khơng liên quan tới Vì vậy, cần lưu ý nhiều để xây dựng đồ tốt cuối CÂU HỎI VÀ BÀI TẬP Cơ sở nơ ron nhân tạo là gì? Hãy mô tả thành phần nơ ron sinh học? Mô tả thành phần nơ ron nhân tao 76 Mơ tả mơ hình mạng Perceptron và luật học Mô tả mạng lan truyền ngược và luật học Mô tả mạng BAM và thuật học Cho tập liệu đầu vào (véc tơ đặc trưng đầu vào), liệu đầu (véc tơ đặc trưng đầu ra) Vector đặc trưng Vector nhãn A=(1 11) A'=(1-1 1-1 1) B=(1 0 0) B'=(1-1 1-1-1-1) C=(0 1 1) C'=(-1 1-1 1 1) L=(1 1 1) L'=(1 1 11) M=(0 1 0) M'=(-1 1 -1-1) N=(1 0 1) N'=(1 -1 -1 11) a) Thiết kế mạng BAM; vẽ sơ đồ chi tiết b) Tính đầu N đầu vào C=(0 1 1) có sai số bit trở thành R= (0 0 0) từ đưa kết luận Hãy thiết kế và tính toán thuật toán Perceptron để xác định tham số cho nơ ron nhân tạo dùng làm mạch OR theo sơ đồ biểu diễn và tham số khởi đầu sau Bảng chân lý hàm OR STT x1 x2 d(=y)= x1 OR x2 0 1 1 1 Trọng số khơi tạo (cho ban đầu) w0= 0,2; w1= 0,4; w2= 0,5; x0=+1 Tốc độ học:  = 0,3; Sai số cần đat: e=0 77 ... -1 -1 -1 -1 -1 Bước 3: Kích hoạt biến cho (bằng cách đổi -1 thành +1) bảng 12 Biếnhàm f1 f2 f3 f4 f5 f6 f7 a +1 +1 +1 +1 +1 +1 b +1 0 +1 +1 +1 c -1 0 -1 -1 +1 +1 +1 0 0 -1 -1 0 0 -1 -1 -1. .. -1; biến và hàm khơng có liên kết nhận giá trị bảng Biếnhàm a b c ℎ