Như đã trình bày ở chương một, một hệ thống GP bao gồm năm thành phần là biểu diễn chương trình, khởi tạo quần thể, hàm thích nghi, toán tử di truyền và các tham số. Trong đó, hàm thích nghi là thành phần rất quan trọng để đánh giá độ tốt của cá thể, làm cơ sở cho việc thực hiện quá trình tiến hóa. Có nhiều dạng hàm thích nghi khác nhau được sử dụng để phù hợp với từng bài toán khác nhau.
Dạng hàm thích nghi hay được sử dụng với GP và TAG3P1 là hàm dựa trên lỗi tuyệt đối trung bình (Mean Absolute Error - MAE):
∑ = − = n i yi fi n MAE 1 | | 1 (4.7)
Trong đó, n là số lượng dữ liệu mẫu (tập huấn luyện), fi là giá trị của hàm Q và yi là giá trị của hàm học được tại mẫu thứ i trong tập dữ liệu mẫu. Trong thí nghiệm này, tập dữ liệu mẫu gồm 500 giá trị, chia đều trong khoảng [0;7] và được tạo ra tương ứng dựa vào công thức hàm Q ở trên. Lý do của sự giới hạn này là bởi hàm Q sẽ tiệm cận giá trị 0 khi x lớn hơn 7, do đó ít có giá trị hữu dụng trong lĩnh vực viễn thông.
Tuy nhiên, mặc dù hàm thích nghi này chỉ ra được tính xấp xỉ với hàm Q dưới góc độ sai số tuyệt đối, nhưng nó không thể hiện được tính tốt của hàm xấp xỉ. Đặc biệt, với hình dạng của hàm Q (theo như đồ thị trong hình vẽ) thì Q sẽ tiệm cận càng gần giá trị 0 khi x càng lớn. Chính vì vậy, nếu sử dụng hàm thích nghi dựa trên lỗi tuyệt đối trung bình thì sẽ không thể hiện được bản chất của
1 Trên thực tế, GP và TAG3P thường sử dụng tổng lỗi tuyệt đối (Sum of Absolute Error - SAE) chứ không sử dụng lỗi tuyệt
84 hàm xấp xỉ tìm được (do lỗi tuyệt đối có thể là nhỏ nhưng lại lớn hơn nhiều so với giá tri của hàm). Do đó, trong thí nghiệm này, luận án cũng thử nghiệm thêm TAG3P với hàm thích nghi khác dựa trên hàm lỗi tương đối (RAE) như sau:
∑ = − = n i fi yi fi n RAE 1 | | 1 (4.8) Trong đó, n, fi, yi được định nghĩa tương tự như trên.
Để kiểm chứng kết quả thực sự khi so sánh việc áp dụng các hàm lỗi, luận án thiết lập hai tập thí nghiệm với TAG3P sử dụng hai hàm thích nghi ở trên, mỗi tập thí nghiệm gồm 50 lần chạy. Khi thiết lập thí nghiệm, luận án sử dụng tập hàm gồm các hàm sau: +,−, *,%, exp, log, sqrt. Ngoài các hàm cơ bản (+,−, *,%), việc lựa chọn thêm các hàm exp, log, sqrt là dựa trên cơ sở tham khảo các dạng xấp xỉ do chuyên gia đề xuất như mục ở trên. Tập kết được sử dụng gồm có tham số x, π và các hằng số ngẫu nhiên được sinh ra trong khoảng (0;1).
Với các kết quả thu được sau khi chạy 2 tập thí nghiệm, luận án lựa chọn một số hàm xấp xỉ tốt nhất tìm được và vẽ đồ thị lỗi tương đối của các hàm này.
Trên cơ sở kết quả thu được, luận án lựa chọn 03 xấp xỉ tốt nhất khi sử dụng hàm thích nghi MAE như sau:
π − + e x x e 3 . 0.5572 (TAG3P-MAE-1) (4.9) ) 1 ( 64482 . 0 1 + + e x x x e (TAG3P-MAE-2) (4.10) ) 03377 . 0 0288 . 0 )( (x ex x3 x6 x8 + + + +π π (TAG3P-MAE-3) (4.11) Sau đây là đồ thị lỗi của các xấp xỉ này so với xấp xỉ tốt nhất đưa ra bởi chuyên gia (OPBCS)
85
Hình vẽ 4.2. Lỗi tương đối của các xấp xỉ tìm được khi sử dụng hàm thích nghi MAE và xấp xỉ OPBCS
Đồng thời, trên cơ sở kết quả thu được, luận án lựa chọn 03 xấp xỉ tốt nhất khi sử dụng hàm thích nghi RAE như sau:
) 5609 . 0 5215 . 0 4785 . 0 0646 . 3 9.8696x ) 4073 . 4 ( ( − 2− − + − x x x x e (TAG3P-RAE-1) (4.12) 0624 . 0 3357 . 1 78859 . 0 4468 . 0 1 2 + − + + x x e x x e (TAG3P-RAE-2) (4.13) ) 3396 . 0 ( 483347 . 0 ) 83686 . 1 3183 . 1 ( 95956 . 0 + + e x x x (TAG3P-RAE-3) (4.14)
Sau đây là đồ thị lỗi của các xấp xỉ này so với xấp xỉ tốt nhất đưa ra bởi chuyên gia (OPBCS)
92 a = 0.0000018643 ; b = −0.000109; c = 0.002238;
d = −0.023735; f = −0.344644; g = −0.774128 và h = −0.698740
TAG3PSC_EXP = !"# $"% &"' (" )"* "+ (4.17) Trong đó, các giá trị hằng số như sau:
a=0.000010615; b= - 3.221547E-4; c= 0.004249 d= - 0.0329145; f=-0.3240148; g= -0.7942057 h= -0.69379799
Hình vẽ 4.5. So sánh lỗi tương đối của xấp xỉ Q
Từ hình vẽ trên có thể rút ra một số nhận xét như sau:
- Hình dạng đồ thị lỗi RAE của các xấp xỉ tìm được bởi MSSC, TAG3PL và TAG3PSC tương tự nhau.
93 - Xấp xỉ tìm bởi TAG3PL chỉ xấu hơn trong khoảng [0;0.2] và [0.7;1.5], còn lại thì đều tốt hơn OPBCS.
- Xấp xỉ tìm bởi TAG3PSC là tốt nhất, tốt hơn hẳn các xấp xỉ khác. Hơn thế nữa, xấp xỉ tốt nhất tìm được ở (4.17) lại có dạng hàm mũ nên rất đơn giản trong quá trình tính toán, phù hợp với đặc điểm sử dụng trong phân tích hệ thống viễn thông.
Kết quả này rất quan trọng vì kể từ khi xấp xỉ OPBCS được đưa ra năm 1979 đến nay chưa có một xấp xỉ nào tốt hơn được tìm ra. Ngoài ra, cùng có dạng hàm mũ nhưng so với xấp xỉ đề xuất bởi Benitez và Casadevall thì xấp xỉ này có độ chính xác cao hơn rất nhiều.
4.3 ỨNG DỤNG HỌC XẤP XỈ HÀM NGƯỢC Q
4.3.1Xác định hàm thích nghi với bài toán học xấp xỉ hàm ngược Q
Như đã trình bày ở trên, hàm thích nghi là thành phần rất quan trọng để đánh giá độ tốt của cá thể, làm cơ sở cho việc thực hiện quá trình tiến hóa.
94 Trong bài toán học hàm ngược Q, dựa trên đồ thị hàm ngược (vẽ từ tập dữ liệu huấn luyện) hàm thích nghi được sử dụng phù hợp để làm thí nghiệm là hàm lỗi tuyệt đối MAE.
Tham số đầu vào của hàm ngược Q sẽ là xác suất lỗi, nằm trong khoảng giá trị 10-6 đến 10-1.
Để có tập dữ liệu huấn huyện tốt, trong thí nghiệm này, tập dữ liệu mẫu gồm 500 giá trị, với tập các giá trị x chia đều trong khoảng [1.2816;4.7534] (là khoảng mà y nằm trong khoảng 10-6 đến 0.1). Sau đó tính giá trị y bằng hàm Q(x) rồi đảo ngược vị trí để thành tập huấn luyện để học hàm ngược.
Do vậy, bài toán đặt ra là tìm dạng giải tích của hàm ngược Q dựa trên tập dữ liệu huấn luyện có được từ hàm Q (đảo vị trí giá trị đầu vào, đầu ra).
4.3.2Thiết kế thí nghiệm và kết quả
Tương tự như học hàm Q, để so sánh kết quả học xấp xỉ hàm ngược Q, thí nghiệm được tiến hành giữa các toán tử lai ghép khác nhau đã đề cập ở trên gồm:
1. Toán tử lai ghép GP chuẩn (GP)
2. Toán tử lai ghép MSSC trên GP (MSSC) 3. Toán tử lai ghép trên hệ TAG3P (TAG3P).
4. Toán tử lai ghép trên hệ TAG3P có sử dụng tìm kiếm địa phương (TAG3PL)
5. Toán tử lai ghép dựa trên ngữ nghĩa trên hệ TAG3P (TAG3PSC). Dựa trên các hàm trong các xấp xỉ hàm Q, lựa chọn các hàm ngược tương ứng và phù hợp, các hàm sử dụng trong thí nghiệm sẽ là +,-,*,/ log và exp. Ngoài ra sử dụng hằng số là 1, Pi và R là hằng số trong khoảng (0;1). Do đó, văn phạm được sử dụng để học sẽ như sau:
95
Tham số Giá trị
Số thế hệ 100
Kích thước quần thể
3000 với GP, GP với MSSC. 3000 với TAG3P (không sử dụng
tìm kiếm địa phương) 100 với TAG3PL (có sử dụng
tìm kiếm địa phương) Kích thước tối đa 40 (với TAG3P) và 15 (với GP) Phương pháp chọn Lựa chọn cạnh tranh với kích cỡ là 9
Tập hàm sử dụng +, -, *,/, exp, log
Xác xuất các toán tử Lai ghép = 0.9, Đột biến = 0.1 Hàm thích nghi Lỗi tuyệt đối trung bình (MAE) Toán tử tìm kiếm địa phương
(áp dụng với TAG3PL)
Ngẫu nhiên lựa chọn toán tử chèn và toán tử xóa
Chiến lược tìm kiếm địa phương
(áp dụng với TAG3PL) Leo đồi
Bước tìm kiếm địa phương (áp dụng với TAG3PL)
30 với TAG3PL (có sử dụng tìm kiếm địa phương) Số cặp cây con lựa chọn để tính
ngữ nghĩa (N) đối với TAG3PSC N=40
Số lần chạy thí nghiệm 50
96
Hình vẽ 4.7. Văn phạm LTAG của TAP3P cho bài toán xấp xỉ hàm ngược Q
97 Sau khi chạy thí nghiệm trên, với 50 lần chạy thí nghiệm, kết quả thu được như sau: Thí nghiệm Giá trị MAE MAE<=10-3 10 -3<MAE và MAE<=10-2 10-2<MAE và MAE<=10-1 Giá trị MAE tốt nhất thu được GP 0 18 33 0.0814 MSSC 0 22 28 0.0096 TAG3P 0 21 29 0.0110 TAG3PL 0 33 17 0.0198 TAG3PSC 0 42 8 0.0070
Bảng 4.4. Kết quả thí nghiệm học hàm ngược Q
Do chưa có dạng tường minh nào của hàm ngược Q được công bố, nên dựa trên kết quả thu được, giá trị lỗi tuyệt đối trung bình của xấp xỉ tìm bởi TAG3PSC là tốt nhất và qua đánh giá các cấu trúc lời giải tốt nhất thu được thì đây là lời giải đơn giản nhất. Dạng tường minh của biểu thức xấp xỉ hàm ngược Q thu được như sau:
Qinver = ( -../-.
0.1202 3.$4995)∗678;)(.&454.44$5678 "-.0<=>)ln(0.981515+<.1-==) + 1.2617 – 2.1675x – -.=22=
?.0?1=∗ "-.-<=- (4.18)
Như vậy có thể thấy xấp xỉ hàm ngược Q thu được có cấu trúc tường minh và không quá phức tạp. Hiện tại chưa có công bố nào về hàm ngược Q ở dạng tường minh (chỉ có các hàm như trong Matlab được sử dụng, mặc dù cho kết quả chính xác nhưng không biết được dạng tường minh, do đó không thể sử dụng trong việc phân tích). Vì vậy dạng tường minh của hàm ngược Q là kết quả ban đầu có ý nghĩa.
98
KẾT LUẬN CHƯƠNG
Trong chương này, luận án đã áp dụng các toàn tử tìm kiếm dựa trên ngữ nghĩa cũng như một số hệ GP khác để thực hiện việc học xấp xỉ hàm Q và hàm ngược Q. Kết quả thu được những xấp xỉ tốt hơn rất nhiều so với xấp xỉ được đưa ra bởi chuyên gia, hơn thế nữa nó lại có cấu trúc đơn giản, phù hợp với ứng dụng trong hệ thống viễn thông.
Hơn nữa, kết quả thu được trong quá trình tiến hành thí nghiệm cũng cho thấy hiệu quả thực tế của toán tử lai ghép dựa trên ngữ nghĩa trong hệ TAG3P đã được đề xuất trong chương 3.
99
KẾT LUẬN
Với những mục tiêu đặt ra, luận án đã tập trung tìm hiểu về những khái niệm trong lĩnh vực liên quan đến lập trình Gen, đặc biệt là dựa trên hệ TAG3P. Trên cơ sở đó, hướng nghiên cứu quá trình tiến hóa mở rộng dựa trên khái niệm ngữ nghĩa được đề xuất và những kết quả chính của luận án đạt được như sau:
1. Đề xuất định nghĩa giá trị “Ngữ nghĩa” của các cây con. Ngữ nghĩa này sẽ giúp xác định được tác động của từng cây con trong quá trình tiến hóa. 2. Dựa trên định nghĩa về ngữ nghĩa trong TAG3P, nghiên cứu đề xuất toán tử
tiến hóa mới, trong đó toán tử lai ghép trên cặp cây con có trị ngữ nghĩa định lượng dương sẽ thu được được kết quả cải tiến. Việc thiết kế với các toán tử mới sẽ giúp quá trình tiến hóa được định hướng tốt hơn dựa trên ngữ nghĩa. 3. Ứng dụng các kết quả nghiên cứu mới của luận án vào bài toán thực tế là học
xấp xỉ hàm Q và học xấp xỉ hàm ngược Q.
Việc tìm kiếm các dạng xấp xỉ của hàm Q rất có ý nghĩa trong nhiều lĩnh vực, đặc biệt trong lĩnh vực viễn thông. Kể từ khi xấp xỉ OPBCS được đưa ra từ năm 1979, đến nay các nhà khoa học vẫn tiếp tục tìm kiếm các dạng xấp xỉ mới tốt hơn và đơn giản hơn (những công bố trên các tạp chí khoa học trong các năm gần đây về các dạng xấp xỉ mới của hàm Q cho thấy ý nghĩa của bài toán tìm xấp xỉ của hàm này).
Kết quả ứng dụng vào bài toán thực tế học xấp xỉ hàm Q và hàm ngược Q là:
- Đề xuất hàm thích nghi phù hợp với đặc điểm của bài toán học xấp xỉ hàm Q và hàm ngược Q.
- Tìm ra được xấp xỉ hàm Q tường minh ở dạng hàm mũ nên rất đơn giản trong quá trình tính toán, đặc biệt là có độ chính xác rất cao và phù hợp với đặc điểm sử dụng trong phân tích hệ thống viễn thông. Kết quả này rất quan trọng vì kể từ khi xấp xỉ OPBCS được công bố đến nay chưa có một
100 xấp xỉ nào tốt hơn được tìm ra. Một số công trình nghiên cứu thuộc lĩnh vực viễn thông đã trích dẫn và sử dụng hàm xấp xỉ này.
- Tìm ra được xấp xỉ hàm ngược Q ở dạng tường minh, hiện chưa có những công bố về dạng tường mình của hàm ngược này.
Các kết quả của luận án đã được công bố tại các tạp chí và hội nghị quốc tế có uy tín bao gồm:
- 02 bài công bố tại tạp chí uy tín trong và ngoài nước, trong đó có 01 công trình công bố tại tạp chí thuộc danh mục ISI.
- 03 bài đăng tại hội thảo quốc tế, trong đó có 02 hội thảo thuộc danh mục ISI Proceeding.
Với những kết quả nêu trên, luận án đã đạt được các mục tiêu đặt ra là nghiên cứu và áp dụng ngữ nghĩa trong hệ lập trình gen định hướng bởi văn phạm nối cây, đồng thời, kết quả đã được ứng dụng vào bài toán thực tế, có ý nghĩa trong lĩnh vực viễn thông.
101
HƯỚNG NGHIÊN CỨU VÀ PHÁT TRIỂN CỦA LUẬN ÁN
Dựa trên kết quả đạt được của luận án, một số hướng nghiên cứu tiếp theo có thể thực hiện:
1. Tiếp tục cải tiến và đề xuất thêm các toán tử mới dựa trên ngữ nghĩa được định nghĩa trong luận văn.
2. Áp dụng hệ TAG3P với toán tử mới với bài toán học trong môi trường thay đổi. Môi trường thay đổi ở đây là dữ liệu theo luồng, khi đó, dữ liệu học không phải là tập huấn luyện cố định mà sẽ là luồng dự liệu thay đổi liên tục
3. Cài đặt hệ TAG3P trên các hệ lập trình song song qua đó khai thác tính hiệu quả kết hợp với năng lực xử lý của hệ song song để giải quyết những bài toán học xấp xỉ đòi hỏi độ chính xác rất cao.
102
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
I. Tạp chí
a. Đào Ngọc Phong, Nguyễn Xuân Hoài, Nguyễn Thanh Thủy, Nguyễn Quang Uy, “Nghiên cứu và thử nghiệm lập trình Gen trong bài toán tìm các xấp xỉ hàm Q-function”, Tạp chí tin học và điều khiển học, số 27, tập 4, năm 2011, trang 317-328.
b. Nguyen Quang Uy and Nguyen Xuan Hoai and Michael O'Neill and R. I. McKay and Dao Ngoc Phong", “On the roles of semantic locality of crossover in genetic programming”, Information Sciences, Vol. 235 ELSEVIER Pubs, pp 195-213, 2013.
II. Hội thảo/Hội nghị quốc tế
1. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI McKay. “Evolving approximations for the Gaussian Q-function by genetic programming with semantic based crossover”. In Proceedings of Congress on Evolutionary Computation, IEEE Press, June 2012, pp 1924-1929. 2. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI ,
”Evolving the Best Known Approximation to the Q-function”. In Proceedings of Congress on The Genetic and Evolutionary Computation Conference, ACM Press, July 2012, pp 807-812.
3. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and Nguyen Thanh Thuy, “Semantic based Crossovers in Tree-Adjoining Grammar Guided Genetic Programming”. In Proceedings of Congress on RIVF International Conference on Computing and Communication Technologies, RIVF 2013, IEEE Press, Ha Noi city, Vietnam Nov 2013, pp