Quản lý thư viện trường CĐVHNT&DL Sài Gòn

http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN MỤC LỤC KIL OBO OK S CO M I: MẠNG NƠRON I.1 Giới Thiệu Mạng Nơron I.1.1 Lịch sử phát triển I.1.2 Căn ngun sinh học I.1.3 Đơn vị xử lý I.1.4 Hàm xử lý I.1.5 Ứng dụng 11 I.2 Mạng Norn Một Lớp 11 I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network) 12 II: MẠNG NƠRON MỜ: 12 III: GIẢI THUẬT DI TRUYỀN 15 1: Các tốn tử giải thật di truyền 16 1.1 Chọn lọc 16 1.2 Lai ghép 17 1.3 Đột biến 19 1.4 Hàm thích nghi 20 2: Xét mối quan hệ mạng nơron giải thuật di truyền 21 2.1 Cross-over (Lai ghép) 22 2.2 Mutation (Đột biến) 23 2.3 Fitness function (Hàm thích nghi) 23 2.4 Selection (chọn lọc) 25 3: Chiến lược điều chỉnh mờ tự động 25 IV: KẾT LUẬN 26 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: TỐI ƯU HỐ CẤU TRÚC CỦA MẠNG NƠRON MỜ BẰNG GIẢI THUẬT DI TRUYỀN MỞ ĐẦU Lý chọn đề tài: Gần suy diễn mờ ứng dụng nhiều vấn đề khác như: điều khiển máy móc hay hệ thống sản xuất Một suy diễn mờ mạng nơron mờ Có lẽ mạng noron khơng hấp dẫn người u thích cơng nghệ thơng tin khả người huấn luyện, mà ứng dụng thực tiễn sống Chúng ta hồn tồn nhận dạng dấu vết vân tay tội phạm hình sự, dự đốn thị trường chứng khốn, dự đốn thời tiết, dự tốn chi phí cho dự án đường cao tốc, khơi phục ảnh, hay xe lăn dành cho người khuyết tật nhận mệnh lệnh điều khiển cử chỉ, hành động, chí suy nghĩ người ngồi xe v.v… nhờ có mạng noron nhân tạo Mạng nơron ban đầu có cấu trúc thơ, vấn đề quan trọng phải cho cấu trúc thơ trở thành cấu trúc tương đối thích hợp Do vấn đề tối ưu hố cấu trúc mạng nơron cần thiết Một giải thuật dùng để tối ưu hố cấu trúc mạng nơron giải thuật di truyền giải thuật di truyền xem thích hợp Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền I: MẠNG NƠRON I.1 Giới Thiệu Mạng Nơron KIL OBO OKS CO M I.1.1 Lịch sử phát triển Sự phát triển mạng nơron trải qua q trình đưa khái niệm lẫn thực thi khái niệm Dưới mốc đáng ý lịch sử phát triển mạng nơron * Cuối kỷ 19, đầu kỷ 20, phát triển chủ yếu cơng việc có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học, nhà khoa học Hermann von Hemholtz, Ernst Mach, Ivan Pavlov Các cơng trình nghiên cứu họ chủ yếu sâu vào lý thuyết tổng qt HỌC (learning), NHÌN (vision) LẬP LUẬN (conditioning),…và khơng đưa mơ hình tốn học cụ thể mơ tả hoạt động nơron * Mọi chuyện thực bắt đầu vào năm 1940 với cơng trình Warren McCulloch Walter Pitts Họ ngun tắc, mạng nơron nhân tạo tính tốn hàm số học hay logic * Tiếp theo Donald Hebb, ơng phát biểu việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) thực thuộc tính nơron riêng biệt Ơng nêu phương pháp học nơron nhân tạo * Ứng dụng thực nghiệm nơron nhân tạo có vào cuối năm 50 với phát minh mạng nhận thức (perceptron network) luật học tương ứng Frank Rosenblatt Mạng có khả nhận dạng mẫu Điều mở nhiều hy vọng cho việc nghiên cứu mạng nơron Tuy nhiên có hạn chế giải số lớp hữu hạn tốn * Cùng thời gian đó, Bernard Widrow Ted Hoff đưa thuật tốn học sử dụng để huấn luyện cho mạng nơron tuyến tính thích nghi, mạng có cấu trúc chức tương tự mạng Rosenblatt Luật học Widrow-Hoff sử dụng Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M * Tuy nhiên Rosenblatt Widrow-Hoff vấp phải vấn đề Marvin Minsky Seymour Papert phát ra, mạng nhận thức có khả giải tốn khả phân tuyến tính Họ cố gắng cải tiến luật học mạng để vượt qua hạn chế họ khơng thành cơng việc cải tiến luật học để huấn luyện mạng có cấu trúc phức tạp * Do kết Minsky-Papert nên việc nghiên cứu mạng nơron gần bị đình lại suốt thập kỷ ngun nhân khơng có máy tính đủ mạnh để thực nghiệm * Mặc dù vậy, có vài phát kiến quan trọng vào năm 70 Năm 1972 Teuvo Kohonen James Anderson độc lập phát triển loại mạng hoạt động nhớ Stephen Grossberg tích cực việc khảo sát mạng tự tổ chức (Self organizing network) * Vào năm 80, việc nghiên cứu mạng nơron phát triển mạnh mẽ với đời PC Có hai khái niệm liên quan tới hồi sinh này, là: + Việc sử dụng phương pháp thống kê để giải thích hoạt động lớp mạng hồi quy (recurrent network) dùng nhớ liên hợp (associative memory) cơng trình nhà vật lý học Johh Hopfield + Sự đời thuật tốn lan truyền ngược (backpropagation) để luyện mạng nhiều lớp vài nhà nghiên cứu độc lập tìm như: David Rumelhart, James McCelland,…Đó câu trả lời cho Minsky-Papert I.1.2 Căn ngun sinh học Bộ não người chứa khoảng 1011 phần tử liên kết chặt chẽ với (khoảng 104 liên kết phần tử) gọi nơron Dưới mắt người làm tin học, nơron cấu tạo thành phần: tế bào hình (dendrite), tế bào thân (cell body) sợi trục thần kinh Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (sum) phân ngưỡng (threshold) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ngồi Điểm tiếp xúc sợi trục thần kinh nơron tế bào hình nơron khác gọi khớp thần kinh (synapse) xếp nơron mức độ mạnh yếu khớp thần kinh định q trình hố học phức tạp, thiết lập chức mạng nơron Một vài nơron có sẵn từ sinh ra, phần khác phát triển thơng qua việc học, có thiết lập liên kết loại bỏ liên kết cũ Cấu trúc mạng nơron ln ln phát triển thay đổi Các thay đổi sau có khuynh hướng bao gồm chủ yếu việc làm tăng hay giảm độ mạnh mối liên kết thơng qua khớp thần kinh Mạng nơron nhân tạo khơng tiếp cận đến phức tạp não Mặc dù có hai tương quan mạng nơron nhân tạo sinh học Thứ nhất, cấu trúc khối tạo thành chúng thiết bị tính tốn đơn giản (mạng nơron nhân tạo đơn giản nhiều) liên kết chặt chẽ với Thứ hai, liên kết nơron định chức mạng Cần ý mạng nơron sinh học hoạt động chậm so với linh kiện điện tử (10-3 so với 10-9 giây) não có khả thực nhiều cơng việc nhanh nhiều so với máy tính thơng thường Đó phần cấu trúc song song mạng nơron sinh học: tồn nơron hoạt động cách đồng thời thời điểm Mạng nơron nhân tạo chia sẻ đặc điểm Mặc dù nay, mạng nơron chủ yếu thực nghiệm máy tính số, cấu trúc song song chúng khiến thấy cấu trúc phù hợp thực nghiệm chúng vi Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M mạch tích hợp lớn (VLSI: very large scale integrated circuit), thiết bị quang xử lý song song Mạng nơron đơi xem mơ hình liên kết (connectionist models), mơ hình phân bố song song (parallel-distributed models) có đặc trưng phân biệt sau: * Tập đơn vị xử lý; * Trạng thái kích hoạt đầu đơn vị xử lý; * Liên kết đơn vị Xét tổng qt, liên kết định nghĩa trọng số wjk cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k; * Một luật lan truyền định cách tính tín hiệu đơn vị đầu vào nó; * Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; * Một đơn vị điều chỉnh (độ lệch) (bias, offset) đơn vị; * Phương pháp thu thập thơng tin (luật học- learning rule); * Mơi trường hệ thống hoạt động I.1.3 Đơn vị xử lý Một đơn vị xử lí (Hình 1) gọi nơron hay nút (node), thực cơng việc đơn giản: nhận tín hiệu vào từ đơn vị phía trước hay nguồn bên ngồi sử dụng chúng để tính tín hiệu lan truyền sang đơn vị khác Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN KIL OBO OKS CO M Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền Trong đó: xi : đầu vào wji : trọng số tương ứng với đầu vào θj : độ lệch (bias) aj : đầu vào mạng (net-input) zj : đầu nơron g(x) : hàm chuyển (hàm kích hoạt) Trong mạng nơron có ba kiểu đơn vị: * Các đơn vị đầu vào (input units), nhận tín hiệu từ bên ngồi; * Cá đơn vị đầu (output units), gửi liệu bên ngồi; * Các đơn vị ẩn (hidden units), tín hiệu vào (input) (output) nằm mạng Mỗi đơn vị j có nhiều đầu vào: x0, x1, x2,…xn, có đầu zj Một đầu vào tới đơn vị liệu từ bên ngồi mạng, đầu đơn vị khác, đầu I.1.4 Hàm xử lý • Hàm kết hợp Mỗi đơn vị mạng kết hợp giá trị đưa vào thơng qua liên kết với đơn vị khác, sinh giá trị gọi net-input Hàm thực nhiệm vụ gọi hàm kết hợp (combination Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M function), định nghĩa luật lan truyền cụ thể Trong phần lớn mạng nơron, giả sử đơn vị cung cấp cộng đầu vào cho đơn vị mà có liên kết Tổng đầu vào đơn vị j đơn giản tổng trọng số đầu riêng lẻ từ đơn vị kết nối cộng thêm ngưỡng hay độ lệch θj aj = n ∑w x +θ j ji i i =1 Trường hợp wji > 0, nơron coi trạng thái kích thích Tương tự, wji < 0, nơron trạng thái kiềm chế Chúng ta gọi đơn vị với luật lan truyền sigma units Trong vài trường hợp người ta sử dụng luật lan truyền phức tạp Một số luật sigma-pi, có dạng sau: aj = m n ∑w x ∏x ji i i =1 ik +θ j k =1 Rất nhiều hàm kết hợp sử dụng “độ lệch” hay “ngưỡng” để tính net-input tới đơn vị Đối với đơn vị đầu tuyến tính, thơng thường θj chọn số tốn xấp xỉ đa thức θj =1 • Hàm kích hoạt (hàm chuyển) Phần lớn đơn vị mạng nơron chuyển net-input cách sử dụng hàm vơ hướng (scalar-to-scalar function) gọi hàm kích hoạt, kết hàm giá trị gọi mức độ kích hoạt đơn vị (unit’s activation) Loại trừ khả đơn vị thuộc lớp ra, giá trị kích hoạt đưa vào hay nhiều đơn vị khác Các hàm kích hoạt thường bị ép vào khoảng giá trị xác định, thường gọi hàm bẹp (squashing) Các hàm kích hoạt hay sử dụng là: + Hàm đồng (Linear function, Identity function) g(x) = x Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M Nếu coi đầu vào đơn vị chúng sử dụng hàm Đơi số nhân với net-input để tạo hàm đồng + Hàm bước nhị phân (binary step function, hard limit function) Hàm biết đến với tên “hàm ngưỡng” Đầu hàm giới hạn vào hai giá trị: (x ≥ 0) g(x) = (x ≤ 0) Dạng hàm sử dụng mạng có lớp Trong hình vẽ sau, θ chọn Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền + Hàm sigmoid (Sigmoid function (logsig)) 1 + e− x KIL OBO OKS CO M g ( x) = Hàm đặc biệt thuận lợi sử dụng cho mạng huấn luyện (trained) thuật tốn lan truyền ngược (back-propagation) dễ lấy đạo hàm, giảm đáng kể tính tốn q trình huấn luyện Hàm ứng dụng chương trình ứng dụng mà đầu mong muốn rơi vào khoảng [0,1] + Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig)) g ( x) = − e− x + e− x Hàm có thuộc tính tương tự hàm sigmoid Nó làm việc tốt ứng dụng có đầu u cầu khoảng [-1,1] Sinh viên: Trần Thị Thu Hồi_K54C_CNTT http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền • Mạng Kiểu Bộ Nhớ Hai Chiều Kết Hợp Thích Nghi (Adaptive Bidirectional Associative) • … KIL OBO OKS CO M • Mạng Kohonen I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network) Mạng nơron có từ lớp trở lên gọi mạng nơron nhiều lớp Mạng nơron nhiều lớp bao gồm lớp vào, lớp ra, nhiều lớp ẩn • Mạng noron nhiều lớp lan truyền ngược sai số(Back- propagation Neural Network) • Mạng noron nhiều lớp ngược hướng (Counter – propagation Neural Network) • … II: MẠNG NƠRON MỜ: Việc tích hợp kỹ thuật mạng nơron logic mờ cho phép kết hợp ưu điểm hai Một mặt, mạng nơron cung cấp cấu trúc tính tốn dựa liên kết (dung thứ lỗi tính chất biểu diễn phân tán) khả học cho hệ logic mờ Mặt khác, hệ logic mờ đưa vào mạng nơron chế suy diễn dựa luật “if…then”, kết hợp phong phú cho phép xây dựng hệ thống tích hợp: Hệ mờ nơron, mạng nơron mờ hệ lai Trong mạng nơron mờ tín hiệu vào, tín hiệu hay trọng số số mờ Cũng có trường hợp mạng nơron mờ với tất yếu tố * Mạng nơron cơng cụ suy diễn Nói mạng nơron cơng cụ suy diễn vì: mạng nơron có khả suy diễn Với tín hiệu vào mạng nơron cho đầu tương ứng * Suy diễn mờ dựa mạng nơron: • Biểu diễn luật mờ: Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 12 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền Lớp vào Lớp kiểm tra mệnh đề KIL OBO OKS CO M Keller (1992) đề xuất mơ hình mạng nơron truyền thẳng nhiều lớp biểu diễn luật suy diễn sở: then Y = B If X1 = A1 a11' a1m1' an1' w11 w1m1 wn1 wnm d1 Kết hợp mệnh đề Lớp anmn' dn 1-t u1 b1' uk bk' Mạng noron biểu diễn luật mờ Giả sử véc tơ độ thuộc Ai {ai1,…, aimi}, I = 1… n Có hai cách xác định trọng số: Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 13 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền Cách 1: w ij = - aij Khi lớp ẩn đo bất cập KIL OBO OKS CO M thơng tin vào với Ai Ta xác định di di = max{(1- aij ) aij ' } Hoặc di = max{min(1- aij ), a 'ij } Ở Ai’ = {ai1’,…,aimi’}là véc tơ vào tương ứng với mệnh đề X= Ai’ Cách : w ij = aij Khi đó, dj = max{| aij = aij ' |} Các hệ số xác định trọng số mệnh đề X = Ai luật (ai người thiết kế cung cấp đọc từ liệu) Ta thấy t = max {aidi} Giả sử B tương ứng với tập mờ có độ thuộc {b1,…, bk} Khi trọng số ui xác định ui = 1- bi Cuối với đầu vào (A1’,…, An’) ta có kết quả: µ B ( y j ), j = 1, p (*) Từ (*) dễ dàng thấy t=0 (tức đầu vào (A1’,…, An’) trùng với (A1, …, An) bi’= bi) với i nghĩa Y=B Ngược lại, tổng bất cập thơng tin vào với mệnh đề bi’ = i, nghĩa hệ đưa kết luận: Y = “khơng biết” • Suy diễn mờ: Mơ hình suy diễn mờ dựa mạng nơron Takagi Hayaki đề nghị biến thể chế suy diễn mờ Takagi-Sugeno-Kang bao gồm bước sau: + Lựa chọn biến vào tệp mẫu học + Chia tập mẫu học thành hai phần: phần huấn luyện phần kiểm tra Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 14 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M + Xây dựng mạng NNmemb để biểu thị hàm phụ thuộc cho phần IF luật Huấn luyện mạng NNmemb tương ứng với phần IF luật mờ + Đơn giản phần THEN luật theo phương pháp loại bỏ ngược + Xác định kết diễn giải mờ III: GIẢI THUẬT DI TRUYỀN Giải thuật di truyền (Genetic Algorithsm- GA) kĩ thuật giúp giải tốn cách mơ theo tiến hố người hay sinh vật nói chung (Dựa thuyết tiến hố người Darwin) điều kiện mơi trường sống ln thay đổi Thuật giải di truyền hướng tiếp cận tính tốn gần đúng, nghĩa mục tiêu thuật giải di truyền khơng nhằm đưa lời giải xác tối ưu mà đưa lời giải tương đối tối ưu Lý thuyết Johm Henry Holland (Giáo sư trường đại học Michigan- Mỹ) đề xướng vào thập niên 70, kỉ XX Thuật giải di truyền chất thuật tốn tìm kiếm dựa theo quy luật q trình tiến hố tự nhiên Giải thuật kết hợp sống sót cấu trúc khoẻ số cấu trúc biểu diễn nhiễm sắc thể với trao đổi thơng tin lựa chọn ngẫu nhiên để tạo thành thuật tốn tìm kiếm Giải thuật di truyền nằm lĩnh vực tính tốn tiến hố, sử dụng biểu diễn nhị phân sơ đồ để mơ hình hố chọn lọc, lai ghép đột biến Giải thuật di truyền giải vấn đề máy tính nhờ vào chương trình tin học để thực ý tưởng nêu Khơng giống phương pháp giải tích dựa cơng thức tốn học hay phương pháp suy luận dựa kinh nghiệm chun gia để ý tới số có giới hạn lời giải Giải thuật di truyền xét đến tồn lời giải, cách xét trước số lời giải, sau loại bỏ số thành phần khơng thích hợp Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 15 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M chọn thành phần thích nghi để chọn lọc biến hố nhằm mục đích tạo nhiều lời giải có hệ số thích nghi ngày cao 11000 15 30 23 00100 25 1: Các tốn tử giải thật di truyền Giải thuật di truyền sử dụng ba tốn tử sau đây: • Chọn lọc • Lai ghép • Đột biến 1.1 Chọn lọc Chọn lọc q trình cá thể chép sở độ thích nghi Độ thích nghi hàm gán giá trị thực cho cá thể quần thể Q trình mơ tả sau: * Tính độ thích nghi cá thể quần thể hành, lập bảng cộng dồn giá trị thích nghi (theo số thứ tự gán cho cá thể) Giả sử quần thể có n cá thể, gọi độ thích nghi cá thể thứ I Fi, tổng dồn thứ i Fti, tổng độ thích nghi tồn quần thể Fm * Tạo số ngẫu nhiên F đoạn từ đến Fm * Chọn cá thể k thoả mãn Ftk-1 ≤ F ≤ Ftk đưa vào quần thể hệ Ví dụ: Giả sử quần thể ban đầu chuỗi nhiễm sắc thể Tổng giá trị hàm mục tiêu 50 bảng sau: STT Chuỗi nhiễm sắc thể Hàm mục tiêu % total total 01110 16 Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 16 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền 10010 10 30 01100 12 24 42 00010 16 50 KIL OBO OKS CO M Sau ta tạo số ngẫu nhiên khoảng (0, 50), với số, việc chọn lọc nhiếm sắc thể với giá trị hàm mục tiêu lớn hay số ngẫu nhiên Bảy số ngẫu nhiên tạo chuỗi chọn thể bảng sau: Số ngẫu nhiên 26 49 15 40 36 Chuỗi nhiễm sắc thể 5 Ví dụ chứng tỏ chuỗi có giá trị hàm mục tiêu cao có nhiều cháu hệ sau Khi chuỗi chọn cho q trình tái tạo đưa vào để lai ghép nhằm tạo chuỗi 1.2 Lai ghép Tốn tử chọn lọc nhằm tìm cá thể tồn tốt khơng tạo cá thể Tuy vậy, tự nhiên, thừa hưởng đặc tính tốt từ cha lẫn mẹ chúng Tốn tử tác động cá thể cha mẹ để tạo lai tốt gọi lai ghép Chúng áp dụng lên cặp cha mẹ chọn lựa với xác suất lai ghép pcross Xác suất cho ta số lượng pcross* popsize (popsize kích thước quần thể lai tạo) nhiễm sắc thể lai ghép Với nhiễm sắc thể quần thể: • Phát sinh số ngẫu nhiên r miền [0;1] • Nếu r < pcross, chọn nhiễm sắc thể để lai ghép Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 17 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M Sau đó, ta kết hợp nhiễm sắc thể chọn cách ngẫu nhiên lại Mỗi cặp nhiễm sắc thể, phát sinh số ngẫu nhiên pos từ miền [1;L] (L tổng số bít nhiễm sắc thể) Số pos cho ta vị trí điểm lai ghép Ví dụ ta có nhiễm sắc thể: (a1 a2 …aposapos+1…aL) (b1 b2 …bposbpos+1…bL) Sau lai ghép, thay cặp cháu (a1 a2 …apos bpos+1…bL) (b1 b2 …bpos apos+1…aL) Như tốn tử sau thực cho hai chuỗi mới, chuỗi thừa hưởng đặc tính lấy từ cha mẹ chúng Chọn lọc cá thể lai ghép cho phép giải thuật di truyền sử dụng thơng tin có để tìm kiếm trực tiếp vùng tốt Các ví dụ thể hình thức lai ghép: Ví dụ Trước lai ghép 1001101 0000110 Sau lai ghép vị trí số thứ tự 5, có: (A) 100| 1101 (B) 000| 0110 000| 1101 (B’) 100| 0110 (A’) Ví dụ Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 18 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M Trước lai ghép 1001101 0000110 Sau lai ghép vị trí số thứ tự 4, có: (A) (B) 1001| 101 0000| 110 0000| 101 (B’’) 1001| 110 (A’’) 1.3 Đột biến Là việc thay đổi trị số số dãy số, thí dụ thành thành 0, cho trường hợp dùng dãy số theo hệ nhị phân So với lai ghép, tốn tử xảy Theo kết nghiên cứu Kenneth De Jong tỉ lệ lai ghép trung bình 0.6 tỉ lệ đột biến 0.001, phần lại 0.399 chọn lọc Lai ghép dùng lại tin tức có sẵn thành phần hệ trước truyền lại cho hệ sau, đột biến tạo tin tức hồn tồn Các tốn tử đột biến nhằm tạo thơng tin quần thể đem lai tạo vị trí bít (gen) (quần thể mà ta xem xét có popsize cá thể, cá thể biểu thị qua L bít/gen) Đột biến áp dụng với xác suất pmu Số lượng bít đột biến pmu*L*popsize bít Mỗi bít có hội đột biến Tốn tử xử lý sau: Với nhiễm sắc thể quần thể bít nhiễm sắc thể : • Phát sinh số ngẫu nhiên r miền [0;1] • Nếu r < pmu, tiến hành đột biến bít Các thao tác xử lý áp dụng lặp lại cá thể con, cháu chúng tăng trưởng tới kích cỡ mong muốn quần thể Ví dụ 1: Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 19 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền Ví dụ 2: KIL OBO OKS CO M 100111 đột biến thành 100110, số hàng cuối (tính từ trái) đổi thành 110110 biến đổi thành 111110, số vị trí thứ (tính từ trái) đổi thành 1.4 Hàm thích nghi I.4.1 Ánh xạ giá trị hàm mục tiêu sang giá trị thích nghi Vì hàm thích nghi phải nhận giá trị khơng âm, cần phải xây dựng ánh xạ hàm mục tiêu xét tốn sang hàm thích nghi thơng qua nhiều lần ánh xạ Nếu tốn tối ưu cực tiểu hàm đánh giá g(x), việc chuyển từ hàm đánh giá sang hàm thích nghi để sử dụng với giải thuật di truyền sau: Cmax – g(x) g(x) < Cmax f(x) = trường hợp khác Ở đây, Cmax tham số đầu vào Ví dụ, lấy Cmax giá trị lớn g(x) quần thể giá trị lớn sau k vòng lặp Nói chung Cmax khác tuỳ thuộc vào giá trị biến quần thể Nếu hàm mục tiêu gốc tăng xét tốn cực đại hố hàm u(x) đó, ta chuyển sang hàm thích nghi sau: Cmin + u(x) u(x) < Cmin Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 20 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền f(x) = trường hợp khác KIL OBO OKS CO M Ở đây, Cmin tham số đầu vào, trị tuyệt đối u(x) bé quần thể k vòng lặp cuối hàm biến quần thể I.4.2 Điều chỉnh độ thích nghi Một vấn quan trọng điều chỉnh số cháu Điều đặc biệt quan trọng cho vài vòng lặp đầu tiên, vài cá thể “siêu” có tiềm chiếm lĩnh phần lớn quần thể làm cho hội tụ sớm Điều chỉnh độ thích nghi giúp giải vấn đề Có nhiều kiểu điều chỉnh khác nhau, nhiên điều chỉnh tuyến tính hay gặp Gọi f độ thích nghi gốc, f’ độ thích nghi biến đổi Độ thích nghi theo điều chỉnh tuyến tính xác định theo quy tắc: f’ = a*f + b Trong đó, hệ số a, b xác định cho: f’avg = favg Và f’max = Cmult*favg Ở đây, Cmult số cần thiết thành viên tốt Với lượng biến tương đối nhỏ (n = 50 đến 100) 2: Xét mối quan hệ mạng nơron giải thuật di truyền Các tốn tử lai ghép, đột biến, chọn lọc hàm thích nghi áp dụng cách cụ thể Một cá thể bao gồm thơng tin: hàm thuộc hình tam giác giá trị thực Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 21 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M 2.1 Cross-over (Lai ghép) Tốn tử lai ghép nghĩa thay đổi vị trí đỉnh hàm thành viên thơ Cách thức làm việc tốn tử thể hình Có hai chuỗi (cha, mẹ) mẫu lựa chọn Sử dụng chuỗi lựa chọn này, điểm lai ghép lựa chọn giá trị để xây dựng nên vị trí đỉnh Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 22 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M hàm thành viên Cấu trúc thay đổi chuỗi dựa điểm lai, kết quả, chúng phải trải qua tốn tử lai tạo kiểu (1) giá trị bên phải chuỗi kế thừa từ chuỗi (A) giá trị bên cạnh kế thừa từ chuỗi khác (B), giá trị tổng giá trị chuỗi (2) Các giá trị bên phải chuỗi kế thừa từ chuỗi (B) giá trị bên cạnh kế thừa từ chuỗi (A), giá trị tổng giá trị chuỗi (3) Cũng giống cách thức trên, giá trị bên trái chuỗi kế thừa từ chuỗi (A) (4) giá trị bên trái chuỗi kế thừa từ chuỗi (B) Như thể hình 4, đỉnh hàm thành viên thay đổi kết Kết kế thừa thơng tin di truyền mức cao từ hai cha mẹ tốn tử lai ghép Các giá trị thứ hai thứ ba thao tác mã hố thừa kế mà khơng thay đổi 2.2 Mutation (Đột biến) Tốn tử đột biến xuất chuỗi, chúng trải qua tốn tử đột biến, với xác suất Pm Tốn tử đột biến có nghĩa hàm thành viên lựa chọn cắt bớt, thể hình Chúng ta mong để làm giảm bớt số luật mờ thu cấu trúc nhỏ mơ hình mờ thao tác Theo cách này, chuỗi sinh thao tác lai ghép đột biến Các thao tác nhằn đưa cấu trúc thích hợp mơ hình mờ, tương ứng với q trình điều chỉnh thơ 2.3 Fitness function (Hàm thích nghi) Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 23 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN KIL OBO OKS CO M Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền Chúng ta đặt hàm thích nghi để đánh giá chuỗi liệu có mong muốn hay khơng Hàm thích nghi bao gồm số hàm thành viên tổng bình phương lỗi giá trị mơ hình mờ giá trị mong muốn Chúng ta xác định hàm F sau: F(si) = E + A*N Trong đó, si chuỗi thứ i, E tổng bình phương lỗi giá trị mơ hình mờ giá trị mong muốn, A số, N số hàm thành viên Chúng ta xác định chuỗi có độ thích nghi nhỏ hay lớn Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 24 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M 2.4 Selection (chọn lọc) Dựa vào giá trị thích nghi, chuỗi lựa chọn hay khơng hệ Chúng ta chấp nhận trì chiến lược chuỗi có độ thích nghi cao tồn hệ chiến lược lấy mẫu chuỗi lựa chọn tồn cách ngẫu nhiên hệ Các chuỗi trải qua phép tốn di truyền nhiều có độ thích nghi cao, chúng tiếp tục tồn hệ phép chọn lọc Phép chọn lọc này, chúng thay đổi mẫu chuỗi, thực “sự tiến hố.” 3: Chiến lược điều chỉnh mờ tự động Thuật tốn điều chỉnh để thu mơ hình mờ tối ưu Thủ tục thể hình (1) Thế hệ khởi tạo có vài chuỗi chuỗi bao gồm tham số để xây dựng mơ hình mờ sinh cách ngẫu nhiên (2) Các tốn tử đột biến lai ghép thực việc tạo chuỗi Thuật tốn di truyền xác định cấu trúc mơ hình mờ thơ số luật Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 25 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc mạng nơron mờ giải thuật di truyền KIL OBO OKS CO M mờ nhỏ Các tốn tử phù hợp với q trình điều chỉnh thơ, đề cập trước (3) Sử dụng chuỗi trải qua tốn tử di truyền, hàm thành viên giá trị thực chuỗi ăn khớp với luật delta [8] Luật delta xác định cấu trúc mơ hình mờ tốt.Thao tác phù hợp với q trình điều chỉnh thơ (4) Mỗi chuỗi đánh giá sở hàm thích nghi để đạt biện pháp định hướng (5) Dựa giá trị thích nghi, chuỗi trải qua thao tác lựa chọn, chúng thay đổi mẫu chuỗi thực “sự tiến hố” (6) Nếu thu chuỗi mục tiêu tìm kiếm đạt đến hệ giới hạn, tìm kiếm q rộng; nói cách khác quay trở lại tốn tử di truyền(2) Chúng ta xác định chuỗi mục tiêu độ thích nghi chuỗi hội tụ lỗi đích IV: KẾT LUẬN Đề tài: Tối ưu hố cấu trúc mạng nơron đề tài khó q trình tiếp tục nghiên cứu Mong đóng góp thầy bạn để đề tài hồn thiện Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 26 [...]... được xử lý như sau: Với mỗi nhiễm sắc thể trong quần thể và mỗi bít trong nhiễm sắc thể : • Phát sinh một số ngẫu nhiên r trong miền [0;1] • Nếu r < pmu, tiến hành đột biến tại bít đó Các thao tác xử lý này được áp dụng lặp lại cho tới khi các cá thể con, cháu của chúng tăng trưởng tới kích cỡ mong muốn của quần thể Ví dụ 1: Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 19 http://kilobooks.com THƯ VIỆN ĐIỆN... số là những số mờ Cũng có trường hợp mạng nơron mờ với tất cả các yếu tố * Mạng nơron như một cơng cụ suy diễn Nói mạng nơron như một cơng cụ suy diễn vì: mạng nơron có khả năng suy diễn Với mỗi tín hiệu vào thì mạng nơron sẽ cho một đầu ra tương ứng * Suy diễn mờ dựa trên mạng nơron: • Biểu diễn luật mờ: Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 12 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề... chung (Dựa trên thuyết tiến hố con người của Darwin) trong điều kiện mơi trường sống ln thay đổi Thuật giải di truyền là một hướng tiếp cận tính tốn gần đúng, nghĩa là mục tiêu của thuật giải di truyền khơng nhằm đưa ra lời giải chính xác tối ưu mà là đưa ra lời giải tương đối tối ưu Lý thuyết này do Johm Henry Holland (Giáo sư của trường đại học Michigan- Mỹ) đề xướng vào giữa thập niên 70, thế kỉ XX... ghép pcross Xác suất này cho ta số lượng pcross* popsize (popsize kích thư c của quần thể được lai tạo) nhiễm sắc thể được lai ghép Với mỗi nhiễm sắc thể trong quần thể: • Phát sinh một số ngẫu nhiên r trong miền [0;1] • Nếu r < pcross, chọn nhiễm sắc thể đó để lai ghép Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 17 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ... http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ bằng giải thuật di truyền KIL OBO OKS CO M Trước khi lai ghép 1001101 0000110 Sau khi lai ghép tại vị trí giữa số thứ tự 3 và 4, chúng ta sẽ có: (A) (B) 1001| 101 0000| 110 0000| 101 (B’’) 1001| 110 (A’’) 1.3 Đột biến Là việc thay đổi trị số của một số trong dãy số, thí dụ 0 thành 1 hoặc 1 thành 0, cho trường hợp dùng...http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN KIL OBO OKS CO M Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ bằng giải thuật di truyền Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự phi tuyến vào trong mạng Lý do là hợp thành của các hàm đồng nhất là một hàm đồng nhất Mặc dù vậy nhưng nó mang tính... nào đó, ta có thể chuyển sang hàm thích nghi như sau: Cmin + u(x) khi u(x) < Cmin Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 20 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ bằng giải thuật di truyền f(x) = trong các trường hợp khác KIL OBO OKS CO M 0 Ở đây, Cmin là tham số đầu vào, có thể là trị tuyệt đối của u(x) bé nhất trong quần thể hiện tại hoặc trong... phân tích ngun nhân hỏng chip, nhận dạng tiếng nói, mơ hình phi tuyến • Entertaiment: Hoạt hình, các hiệu ứng đặc biệt, dự báo thị trường • Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thư ng mại qua giấy tờ, phân tích tài chính liên doanh, dự báo tỉ lệ tiền tệ • Insurance: Đánh giá việc áp dụng chính sách, tối ưu... thuật di truyền xét đến tồn bộ các lời giải, bằng cách xét trước nhất một số lời giải, sau đó loại bỏ một số thành phần khơng thích hợp Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 15 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ bằng giải thuật di truyền 2 KIL OBO OKS CO M và chọn những thành phần thích nghi hơn để chọn lọc và biến hố nhằm mục đích tạo ra nhiều... chuỗi nhiễm sắc thể Tổng giá trị của hàm mục tiêu là 50 như bảng sau: STT Chuỗi nhiễm sắc thể Hàm mục tiêu % của total total 1 01110 8 16 8 Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 16 http://kilobooks.com THƯ VIỆN ĐIỆN TỬ TRỰC TUYẾN Đề tài: Tối ưu hố cấu trúc của mạng nơron mờ bằng giải thuật di truyền 10010 5 10 30 5 01100 12 24 42 6 00010 8 16 50 KIL OBO OKS CO M 4 Sau đó ta sẽ tạo các số ngẫu nhiên trong ... thức θj =1 • Hàm kích hoạt (hàm chuyển) Phần lớn đơn vị mạng nơron chuyển net-input cách sử dụng hàm vơ hướng (scalar-to-scalar function) gọi hàm kích hoạt, kết hàm giá trị gọi mức độ kích hoạt... thuật di truyền Cách 1: w ij = - aij Khi lớp ẩn đo bất cập KIL OBO OKS CO M thơng tin vào với Ai Ta xác định di di = max{( 1- aij ) aij ' } Hoặc di = max{min( 1- aij ), a 'ij } Ở Ai’ = {ai1’,…,aimi’}là... mờ Takagi-Sugeno-Kang bao gồm bước sau: + Lựa chọn biến vào tệp mẫu học + Chia tập mẫu học thành hai phần: phần huấn luyện phần kiểm tra Sinh viên: Trần Thị Thu Hồi_K54C_CNTT 14 http:/ /kilobooks. com