Đang tải... (xem toàn văn)
Trong bài báo này, chúng tôi đề xuất thuật toán HA-(2+2)M-PAES xây dựng MFRBS dựa trên phương pháp luận của ĐSGT và lược đồ tiến hóa (2+2)M-PAES ((2+2)Modify-Pareto Archive Evolution Str[r]
(1)Journal of Computer Science and Cybernetics, V.30, N.3 (2014), 227–238 DOI:10.15625/1813-9663/30/3/3236
MỘT PHƯƠNG PHÁP SINH HỆ LUẬT MỜ MAMDANI CHO BÀI TOÁN HỒI QUI VỚI NGỮ NGHĨA ĐẠI SỐ GIA TỬ1
NGUYỄN CÁT HỒ1, HOÀNG VĂN THƠNG2,†, NGUYỄN VĂN LONG2,‡ 1Viện Cơng nghệ thơng tin,Viện Khoa học Công nghệ Việt Nam
ncatho@gmail.com
2Trường Đại học Giao thông Vận tải
†thonghoangvan@yahoo.com;‡nvlongdt@yahoo.com.vn
Tóm tắt Trong báo này, chúng tơi đề xuất thuật tốn tiến hóa HA-(2+2)M-PAES sinh hệ luật mờ Mamdani (MFRBS) đạt độ thỏa hiệp khác hai mục tiêu độ phức tạp độ xác Thuật toán phát triển dựa lược đồ tiến hóa (2+2)M-PAES đề xuất [6] Điểm thuật toán thực học đồng thời sở luật, phân hoạch mờ hạng từ ngôn ngữ với tập mờ chúng dựa phương pháp luận Đại số gia tử (ĐSGT) Thuật toán cho phép sinh luật từ mẫu liệu sử dụng thông tin phân hoạch tập mờ cá thể Thêm vào đó, chúng tơi đề xuất phương pháp mã hóa cá thể theo hướng tiếp cận Đại số gia tử để giải toán toán Thuật toán thử nghiệm sáu toán hồi qui mẫu lấy từ [10] cộng đồng nghiên cứu chấp nhận, kết cho thấy thuật toán sinh MFRBS tốt so với thuật tốn sử dụng lược đồ tiên hóa [8] hai mục tiêu độ phức tạp độ xác
Từ khóa.Hệ luật mờ Mamdani, hồi qui, đại số gia tử, tính dễ hiểu
Abstract.In this paper, we propose an evolutionary algorithm to generate Mamdani Fuzzy Rule-based Systems (MFRBS) with different trade-offs between complexity and accuracy The algorithm was developed by taking the idea of the schema evolution (2+2)M-PAES proposed in [6] The main novelty of the algorithm is to learn concurrently rule bases, fuzzy partitions and linguistic terms along with their fuzzy sets by using hedge algebra (HA) based methodology The algorithm allows to generate generating rules from pattern data utilizing new information of partitions and fuzzy sets in the same individual In addition, we propose a new method for encoding individuals that can be realized in the hedge algebra approach to solving regression problems The computer simulation is carried out with six standard regression problems in [10], accepted by the research community and the obtained results show that the MFRBSs generated by the proposed algorithm are better than those examined in [8] with respect to two objectives, the complexity and the accuracy
Keywords.Mamdani Fuzzy Rule-based system, regression, hedge algebra, interpretability
1This research is funded by Vietnam National Foundation for Science and Technology Development
(NAFOSTED) under grant number 102.05-2013.34
c
(2)228 NGUYỄN CÁT HỒ, HOÀNG VĂN THÔNG, NGUYỄN VĂN LONG
1 MỞ ĐẦU
Hệ luật mờ (FRBS: Fuzzy Rule-Based System) có ứng dụng thành công nhiều lĩnh vực khác như: điều khiển [9], phân lớp [1, 2, 3] hồi qui [5, 6, 7, 8] Nhiều kiểu hệ mờ khác đề xuất, nhiên hệ luật mờ dạng Mamdani (MFRBS) có vai trị trội dạng khác nhờ MFRBS định nghĩa mệnh đề if-then tương tự ngôn ngữ tự nhiên [8] Khi xây dựng FRBS, hai mục tiêu cần đạt hệ luật tính dễ hiểu độ xác Đây toán tối ưu đa mục tiêu với mục tiêu xung đột nhau, địi hỏi phải có giải pháp thỏa hiệp hai mục tiêu Với FRBS cho tốn hồi qui, độ xác thường đo giá trị trung bình phương sai (MSE: Mean Squared Error) Tính dễ hiểu FRBS khó hình thức hóa, nhà nghiên cứu thường tập trung vào số đặc trưng khái niệm đưa ràng buộc để thỏa mãn đặc trưng Trong [11] tác giả đưa số đặc trưng: 1) rõ ràng phân hoạch (số tập mờ, khả phân biệt tập mờ, phân hoạch có phủ tồn vũ trụ); 2) độ phức tạp hệ luật (số luật, chiều dài luật)
Yếu tố 1) dễ dàng đạt sử dụng phân hoạch mờ với tập mờ tam giác biểu thị ngữ nghĩa nhãn ngôn ngữ gán với chúng [3,6] Tuy nhiên sử dụng phân hoạch thường làm giảm độ xác hệ luật Một số nghiên cứu thực điều chỉnh tham số tập mờ để nâng cao độ xác, làm gia tăng khơng gian tìm kiếm làm giảm tính dễ hiểu hệ luật Để đạt yếu tố 2), hệ luật phải có luật độ dài luật phải ngắn Điều dẫn đến luật phải có tính khái qt cao chúng làm giảm độ xác hệ luật Để cân độ xác độ phức tạp, số nghiên cứu phát triển thuật tốn tiến hóa đa mục tiêu thực học đồng thời sở luật, điều chỉnh tập mờ lựa chọn số tập mờ để phân hoạch thuộc tính q trình xây dựng FRBS [8]
Trong báo này, chúng tơi đề xuất thuật tốn HA-(2+2)M-PAES xây dựng MFRBS dựa phương pháp luận ĐSGT lược đồ tiến hóa (2+2)M-PAES ((2+2)Modify-Pareto Archive Evolution Strategy) đề xuất [6] giải toán hồi qui đạt cân độ xác yếu tố 1) 2) Để thỏa mãn yếu tố 1) sử dụng phân hoạch mờ xây dựng dựa tập từ ngôn ngữ sinh ĐSGT Thực điều chỉnh tập mờ dựa vào điều chỉnh ngữ nghĩa từ ngôn ngữ thông qua điều chỉnh tham số mờ ĐSGT Với cách làm này, phân hoạch ln đảm bảo phủ tồn vũ trụ Để thỏa yếu tố 2), thực chọn phân hoạch cho thuộc tính cách chọn chiều dài tối đa từ, nhằm đạt cân tính khái quát (generality) tính riêng (specificity) hệ luật Bên cạnh đó, chúng tơi đề xuất phương pháp mã hóa cá thể phương pháp sinh luật từ mẫu liệu sử dụng thông tin phân hoạch cá thể Thuật toán thử nghiệm sáu toán hồi qui mẫu [10] Kết thử nghiệm đối sánh với kết thuật toán phát triển dựa lược đồ tiến hóa (2+2)M-PAES [8] (2+2)M-PAES(C) (2+2)M-PAES(I) Mặt Pareto đạt trội hơn, độ phức tạp hệ luật tương đương độ xác cao Các luật có tính khái qt cao có độ dài ngắn làm tăng tính dễ hiểu hệ luật, đồng thời dễ hiểu với người dùng sử dụng từ ngơn ngữ có ngữ nghĩa tự nhiên
(3)AN EVOLUTIONARY METHOD TO GENERATE MAMDANI RULE-BASED SYSTEMS 229
tiến hóa dựa ĐSGT; phần trình bầy kết thử nghiệm phân tích đánh giá; phần rút số kết luận
2 BÀI TOÁN HỒI QUI VÀ HỆ LUẬT MỜ MAMDANI
VỚI NGỮ NGHĨA ĐSGT
Bài toán hồi qui: cho tập mẫu liệu D = {(xi, yi), i = 1, , N}, xi ∈ U =
U1 ×U2 × .×UF tích Đề-các miền tương ứng F biến (thuộc tính) độc
lập X1, , XF, yi ∈ UF+1 biến phụ thuộc, N số mẫu liệu thông thường Ui với
i= 1, , F+ 1là tập số thực Từ tập mẫuDxây dựng mô hình cho phép dự đốn giá trị y ứng với giá trịx
Giải toán hồi qui hệ luật mờ dạng Mamdani với ngữ nghĩa ĐSGT xây dựng hệ luật mờ Mamdani từ tập mẫu liệuD Với luật mờ có dạng sau:
Rm: If X1 is A1,jm and and XF is AF,jm then Y is AF + 1,jm (1)
trong đó:
- Af,jm ∈ {{Af,0∪X(kf) = {Af,0,Af,1, ,Af,|X(kf)|}}, f = 1, , F tập hạng từ
có độ dài khơng q kf sinh ĐSGT dùng để phân hoạch thuộc tính thứ
f, Af,0 kí hiệu giá trịDon’tcare với giá trị hàm thuộc đồng
- AF + 1,jm ∈ X(kF + 1) = { AF + 1,1, , AF + 1,|X(kF + 1)|} , X(kF + 1) tập hạng từ có độ dài không kF+1 ĐSGT dùng để phân hoạch biến phụ thuộc Y
- m= 1, , M vớiM số luật
Như trình bầy phần 1, mục tiêu xây dựng MFRBS cho toán hồi qui hệ luật phải dễ hiểu có độ xác cao Độ phức tạp (complexity) hệ luật xem yếu tố quan trọng thể tính dễ hiểu xác định tổng độ dài luật hệ luật Độ xác hệ luật đo giá trị trung bình phương sai theo cơng thức:
M SE=
2N
N
X
i=1
(ˆyi−yi)2 (2)
trong đóyˆilà giá trị suy diễn từ hệ luật điểm liệu(xi, yi)theo phương pháp trung bình
trọng số, tính sau:yˆi= M P m=1
µm(xi)AF+1,jm M
P m=1
µm(xi)
i= N, vớiµm(xi) =QFf=1µAf,jm(xif)
là độ đốt cháy luật thứm mẫu liệuxi, A¯F+1,jm giá trị định lượng từ ngơn ngữ AF+1,jm vàµAf,jm(.) hàm thuộc từ ngôn ngữAf,jm
Lưu ý: PM
m=1µm(xi) = 0, có nghĩa mẫu liệu xi khơng đốt cháy luật thìyˆi
(4)230 NGUYỄN CÁT HỒ, HỒNG VĂN THƠNG, NGUYỄN VĂN LONG
3 THIẾT KẾ PHÂN HOẠCH MỜ
Trong nghiên cứu sử dụng từ ngôn ngữ sinh ĐSGT để xây dựng phân hoạch, ngữ nghĩa từ tập mờ dạng tam giác (xem hình 1) định nghĩa ba giá trị định lượng(ν(Af,j−1), ν(Af,j), ν(Af,j+1)), đóAf,j−1 vàAf,j+1 từ bên trái bên phải từ Af,j X(kf) Để điều chỉnh ngữ nghĩa từ
ngôn ngữ ta cần điều chỉnh tham số µL, µc−, số lượng tham số khơng phụ thuộc vào số lượng tập mờ sử dụng phân hoạch Như vậy, theo tiếp cận ĐSGT không gian tìm kiếm cho việc điều chỉnh phân hoạch tốn có F chiều 2∗(F + 1) chiều Tiếp cận theo tập mờ [8], việc điều chỉnh phân hoạch thông qua điều chỉnh đỉnh tam giác, số lượng tham số phụ thuộc vào số từ ngôn ngữ sử dụng Giả sử số từ ngôn ngữ sử dụng cho phân hoạch Tmax (với ≤ Tmax ≤ 9) khơng gian tìm kiếm
(Tmax−2)∗(F+ 1)chiều Như vậy, theo tiếp cận ĐSGT khơng gian tìm kiếm giảm
Tmax−2>2
0 0
0 Vc- c- Lc- W Lc+ c+ Vc+ 1111
0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Hình Một thiết kếphân hoạch tập mờ dạng tam giác với tham số k = 2, µL=0.4020657, µc−=0.6768686 Hình 1: Một thiết kế phân hoạch tập mờ dạng tam giác với tham sốk= 2,µL= 0.4020657, µc−= 0.6768686
4 THUẬT TỐN TIẾN HĨA DỰA TRÊN ĐSGT
Hình 2: Phân hoạch với tập mờ tập mờ Khi thiết kế thuật tốn tiến hóa, mã
hóa cá thể cơng việc quan trọng Dựa cấu trúc mã hóa thiết kế tốn tử lai ghép, đột biến nhằm tìm kiếm lời giải tốt sau hệ Trong [8] phát triển thuật toán (2+2)M-PAES(I) (2+2)M-PAES(C) dựa trện lược đồ tiến hóa (2+2)M-PAES đề xuất [6] Để thực học đồng thời
sở luật, phân hoạch mờ điều chỉnh ngữ nghĩa nhãn ngôn ngữ, tác giả thực mã hóa cá thể gồm phần: sở luật, phân hoạch mờ, hàm tuyến tính khúc Mỗi luật mã hóa véc tơ F + chiều với phần tử số nhãn ngôn ngữ phân hoạch Cơ sở luật mã hóa khơng phải sở luật thực cần xây dựng mà sở luật xây dựng phân hoạch có số tập mờ đồng Tmax Cơ sở luật
(5)AN EVOLUTIONARY METHOD TO GENERATE MAMDANI RULE-BASED SYSTEMS 231
là nhãn ngôn ngữ L2, đâyL2 nằm tận phía phải phân hoạch Sau lai ghép, cá thể có véc tơ luậtR= (1,2,2,5)và thuộc tính thứ phân hoạch tập mờ (L1, L2, L3, L4, L5 – Hình 2), tiền điều kiện thứ R nhãn ngôn ngữ L2 lúc nàyL2 lại nằm gần sát phía trái phân hoạch (tức ngữ nghĩa nhãn ngơn
ngữ thay đổi hồn tồn)
Với cách mã hóa dựa sở luật ảo, để tính tốn giá trị hàm mục tiêu, tác giả phải thực chuyển đổi sở luật ảo thành sở luật thực Quá trình làm mát ngữ nghĩa nhãn ngôn ngữ làm tăng thời gian tính tốn
Chúng tơi tiến hành mã hóa thể gồm phần: tham số mờ gia tử, chiều dài tối đa hạng từ, sở luật Mỗi luật mã hóa véc tơ, phần tử từ ngôn ngữ sinh ĐSGT giá trịDon’tcare Với phương pháp mã hóa sau q trình lai ghép, đột biến, phân hoạch thuộc tính bị thay đổi khơng làm ngữ nghĩa cốt lõi từ sử dụng hệ luật Thật vậy, giả sử thuộc tính thứf trước lai ghép, đột biến phân hoạch tập từ có độ dài khơng kf Sau lai ghép, đột biến
phân hoạch tập từ có độ dài khơng q k0f Nếu k0f > kf X(kf) ⊂X(k0f) ngữ
nghĩa từ luật cá thể thay đổi Nếu kf0 < kf thìX(kf)⊂X(kf0),
ta phải biến đổi từ có độ dàikf có luật thành từ có độ dàikf0 cách
cắt bỏ gia tử bên trái từ để thu từ có độ dài kf0 Do tính kế thừa ngữ nghĩa từ sinh từ gia tử, từ thu sau biến đổi giữ ngữ nghĩa lõi từ gốc Ví dụ: nếukf = 3,k0f = 2, từ “Little Very True” biến đổi thành “Very True”.Với phương pháp mã hóa này, q trình tính giá trị hàm mục tiêu chuyển đổi sở luật, làm giảm thời gian tính tốn so với phương pháp đề xuất [8]
4.1 Mã hóa cá thể dựa ĐSGT
Mỗi cá thể p quần thể mã hóa gồm ba phầnCµ, Ck, CRB (xem Hình 3),
đó: Cµlà dãy số mã hóa tham số mờ ĐSGT bao gồm F + 1véc tơ, véc tơ gồm phần tử thực mã hóa tham số mờ ĐSGTµLf vàµCf− (ở chúng tơi sử dụng ĐSGT
có gia tử).Ck véc tơ F+ 1chiều, phần tử thứf số tự nhiênkf xác định độ
dài tối đa hạng từ sử dụng để phân hoạch thuộc tính thứ f CRB mã hóa sở luật gồm
Mp luật (Mp khác cá thể), với luật véc tơ có F + phần
tử, phần tử gồm từ ngôn ngữ tập mờ tương ứng X(k
f) Như vậyCRB gồm Mp∗(F+ 1) phần tử
Hình 3: Cấu trúc mã hóa cá thể
Chúng ta giới hạn số luật sở luật nằm khoảng [Mmin, Mmax] nhằm
đảm bảo hệ luật sinh đạt cân tính dễ hiểu độ xác đồng thời giới hạn khơng gian tìm kiếm hệ luật Hàm mục tiêu cá thể gồm hai thành phần
(6)232 NGUYỄN CÁT HỒ, HỒNG VĂN THƠNG, NGUYỄN VĂN LONG
trong sở luật
4.2 Các toán tử di truyền 4.2.1 Toán tử lai ghép
Với hai cá thể bố mẹp1, p2 sử dụng phương pháp lai ghép điểm (one-point crossover) độc lập Cµ, Ck CRB Thực lai ghép Cµ với xác suất P cµ, điểm lai ghép
được chọn ngẫu nhiên đoạn[1,(F+ 1)∗2−1].Ckđược lai ghép với xác suấtP ck, điểm
lại ghép chọn ngẫu nhiên đoạn [1, F + 1] CRB lai ghép với xác suất P cRB,
điểm lai ghép chọn ngẫu nhiên đoạn[1, ρmin−1], đóρmin số luật
của sở luật trongp1 p2 Chú ý trênCRB tốn tử lai ghép khơng thực
thì tốn tử đột biến trênCRB ln xảy Sau lai ghép tạo luật trùng nhau,
thực loại bỏ luật trùng giữ lại luật
4.2.2 Toán tử đột biến
Với cá thể consthực đột biến độc lập trênCµ, CkvàCRB Thực đột biến
Cµ với xác suất P mµ, chọn ngẫu nhiên gen thứ f ∈ [1,(F + 1)∗2−1], thay đổi giá
trị f Cµ giá trị ngẫu nhiên đoạn [min, max]⊂ [0,1]do người dùng
xác định trước Trên Ck thực đột biến với xác suấtP mk, chọn ngẫu nhiên gen thứ
f ∈[1,(F+ 1)], thay đổi giá trị gen cách ngẫu nhiên tăng giảm đơn vị Nếu giá trị nằm ngồi đoạn[1, kmax]thì đột biến bị bỏ qua Trên CRB thực
đột biến với xác suất P mRB, đột biến xảy chọn thực hai tốn tử đột biến Toán tử đột biến thứ xảy với xác suấtP mAdd, khơng tốn tử đột biến thứ hai áp dụng
- Toán tử đột biến thứ nhất: thêmγ luật vào CRB (các luật sinh theo thuật toán
trong mục 3.2.3), vớiγ chọn ngẫu nhiên đoạn[1, γmax], nếuγ+M > Mmax
thìγ =Mmax−M
- Tốn tử đột biến thứ hai: thay đổi ngẫu nhiên δ giá trị củaCRB, với δ chọn ngẫu
nhiên đoạn [1, δmax] Chọn ngẫu nhiên luật R, chọn ngẫu nhiên
một phần tử, giả sử f Nếu f ≤ F chọn ngẫu nhiên từ ngôn ngữ w {Don0tcare} ∪X
(kf), f = F + chọn ngẫu nhiên từ ngôn ngữ w X(kF+1), đặt phần tử thứf luậtR bằngw Nếu luật sau đột biến có độ dài lớn
hơn`max (chiều dài tối đa luật người dùng chọn trước) đột biến bị bỏ qua
Sau đột biến hệ luật có luật có độ dài luật trùng Thực loại bỏ luật này, với luật trùng giữ lại luật
4.2.3 Thuật toán sinh luật ngẫu nhiên từ liệu
Chọn ngẫu nhiên mẫu liệu (xi, yi) tập liệu huấn luyện Thực sinh
một luậtRcó độ dài`dựa hệ khoảng mờ tương tự S(kf)được xác định từ tham
(7)AN EVOLUTIONARY METHOD TO GENERATE MAMDANI RULE-BASED SYSTEMS 233 Bước 1: Xác định tập từ ngôn ngữ X(kf) hệ khoảng mờ tương tự S(k
f)
thuộc tính tương ứng với tham số mờ ĐSGT trongCµ chiều dài tối đa từ trongCk
Bước 2:Sinh luật Ri có chiều dài F, với mẫu liệuxi = (xi1, xi2, , xiF, yi) ∈D, thực
hiện:
• Xác định tập điều kiện tiền đềAi luật sinh mẫu liệu(xi, yi)
Ai ={(A1,ji, A2,ji, , AF,ji)|Af,ji ∈X(kf), xif ∈ T(Af,ji), f = 1,2, , F, ji∈[1,|X(kf)|]}
• Sinh luật gồm vế trái làAi kết luận AF+1,ji tương ứng với mẫu liệu (xi, yi)
Ri= (Ai ∈AF+1,ji) vớiAF+1,ji ∈X(kF+1), yi ∈ T(AF+1,ji), ji ∈[1,|X(kF+1)|]
Trong đóT(Af,ji) khoảng mờ tương tự hạng từAf,ji trongS(kf)
Bước 3:Sinh luậtR có chiều dài`từ luật Ri Chọn ngẫu nhiên`∈[1, `max], thực sinh
ngẫu nhiên`giá trị nguyênf1, , fl khác đoạn[1, F], thay đổi điều kiện tiền
đề có thứ tự khác với f1, , fl luật Ri thành Don’tcare luật R có
chiều dài`
4.2.4 Thuật tốn tiến hóa HA-(2+2)M-PAES
Trong phần trình bầy bước thuật toán HA-(2+2)M-PAES phát triển dựa lược đồ tiên hóa (2+2)M-PAES đề xuất [6] Mục tiêu thuật toán xây dựng mặt xấp xỉ tối ưu Pareto với điểm cá thể với mục tiêu M SE Comp Kí hiệu PA mặt xấp xỉ tối ưu Pareto hệ Thuật toán gồm
bước sau:
Bước 1: Sinh ngẫu nhiên cá thể o1, o2 Các gen Cµ số thực sinh ngẫu nhiên đoạn[min, max] Các gen trongCklà số tự nhiên sinh ngẫu nhiên
đoạn [1, kmax] Các gen CRB gồmM luật sinh theo thuật toán mục 3.2.3
vớiM chọn ngẫu nhiên đoạn[Mmin, Mmax] Bước 2:Bổ sung o1, o2 vàoPA
Bước 3:Lặp i= 1, , M axGen(số hệ tối đa)
Bước 3.1 Chọn ngẫu nhiên hai cá thể cha mẹp1,p2 trongPA(p1, p2 trùng nhau) Bước 3.2 Thực lai ghép hai cá thể cha mẹ p1, p2 để sinh hai cá thể s1, s2 Bước 3.3 Thực đột biến trêns1, s2
Bước 3.4 Tính giá trị mục tiêu (M SE, Comp) củas1, s2 Bước 3.5 Lần lượt thực bổ sung s1, s2 vàoPA
Bước 3.6 Lặp lại bước 3.1 khii > M axGen
Một cá thể consnếu không bị trội phần tử có trongPAthìsđược bổ sung
vào PA đồng thời loại bỏ tất phần tử PA bị trội s Sau kiểm tra số
cá thể trongPAlớn số lượng tối đa (archiveSize) phép lưu trữ PA loại bỏ
ngẫu nhiên cá thể vùng có mật độ cao khỏiPA Xác định vùng có mật độ
DOI:10.15625/1813-9663/30/3/3236