THÔNG TIN TÀI LIỆU
Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA oOo NGUYỄN ĐỨC CHÍ ĐỀ TÀI GIẢI THUẬT DI TRUYỀN ĐỂ XÁC ĐỊNH TRỌNG SỐ TỐI ƯU CHO MẠNG NƠ RON TRONG KỸ THUẬT XỬ LÝ ẢNH Chuyên ngành: KỸ THUẬT VÔ TUYẾN ĐIỆN TỬ Mã số ngành: 2.07.01/07 LUẬN ÁN THẠC SỸ TP HỒ CHÍ MINH, tháng 10 năm 2003 LỜI NÓI ĐẦU oOo -Giải thuật di truyền (GA) phương thức giải vấn đề bắt chước hành vi người để sinh tồn phát triển, giúp tìm giải pháp tối ưu hay tốt điều kiện thời gian không gian định, nghóa tìm giải pháp tuyệt đối cho vấn đề, tương đối điều kiện cho phép Khác với phương pháp cổ điển dựa công thức toán hay phương pháp suy luận dựa kinh nghiệm chuyên gia để ý đến số giới hạn giải pháp, GA giải vấn đề cách xét đến toàn giải pháp, mà trước tiên số giải pháp tiêu biểu, sau loại bỏ từ từ thành phần không thích hợp, thích nghi để chọn thành phần thích nghi để sinh sản biến hóa Cùng với giải thuật di truyền, năm 70, mạng nơ ron nhân tạo logic mờ nghiên cứu áp dụng thành công việc giải trường hợp phức tạp Khái niệm tính toán hiểu theo nhiều cách khác Về lịch sử, việc tính toán thường gắn liền với chương trình giải thuật thiết kế cài đặt lên máy tính cách sử dụng cấu trúc lệnh hành Từ quan niệm khác nảy sinh xem xét tính toán hệ sinh học, tính toán não người khác nhiều so với mô hình chỗ: tính toán phân bố cực đại song song, việc học thay phát triển chương trình ưu Nhờ nắm bắt cách cư xử từ tự nhiên, mô hình tính toán xuất phát từ ý niệm sinh học mạng nơ ron nhân tạo (ANN) đời Mạng nơ ron nhân tạo cấu trúc mạng gồm nơ ron kết nối với nhau, nơ ron có đặc tính nhập xuất cài đặt tính toán hay chức cục Đầu nơ ron xác định đặc tính nhập xuất nó, mối liên kết (trọng số) với nơ ron khác Có nhiều loại mạng nơ ron dù chọn loại mạng để giải vấn đề ta cần mạng mô gần vấn đề tốt Điều phụ thuộc vào phương pháp tìm tập trọng số tốt cho toán Luận án nghiên cứu phương pháp giải thuật di truyền, sử dụng việc tìm kiếm tập trọng số tối ưu cho mạng nơ ron, đặc biệt mạng lan truyền, mạng sử dụng rộng rãi việc giải toán phức tạp Luận án nghiên cứu việc ứng dụng mạng nơ ron lónh vực xử lý ảnh, cụ thể vấn đề nhận dạng, nhận dạng chữ văn bản, để từ xây dựng mạng, dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng, mà nhận dạng hoàn toàn văn lưu trữ file ảnh Sau em xin chân thành cảm ơn thầy Lê Tiến Thường hướng dẫn, giúp đỡ em hoàn thành luận án Nguyễn Đức Chí TÓM TẮT LUẬN ÁN oOo Giải thuật di truyền ứng dụng nhiều lónh vực khác nhau, từ khoa học tự nhiên đến khoa học nhân văn, từ kỹ thuật sang thương mại lẫn kinh tế tài chính, giải thuật di truyền hình thức tìm kiếm có tính ngẫu nhiên hướng dẫn hàm số thích nghi Giải thuật di truyền lúc tìm giải pháp tối ưu, chắn cung cấp giải pháp tương đối tốt tảng vững thời gian nhanh Trong luận án nghiên cứu giải thuật di truyền, mạng nơ ron nhân tạo, phương pháp nhận dạng, để từ dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng nơ ron, ứng dụng giải thuật để tìm tập trọng số tối ưu cho toán nhận dạng chữ văn dùng mạng nơ ron Luận án chia thành chương, nội dung cụ thể chương sau: Chương 1: GIẢI THUẬT DI TRUYỀN Nội dung chương trình bày vấn đề liên quan đến giải thuật di truyền bao gồm: lịch sử trình tính toán tiến hóa, thuật ngữ sinh học, bước quan trọng để thực giải thuật, chế thực giải thuật di truyền, sau ứng dụng giải thuật vào toán tối ưu hàm nhiều biến Chương 2: MẠNG NƠ RON NHÂN TẠO Nội dung chương trình bày vấn đề mạng nơ ron như: lịch sử nghiên cứu ứng dụng, định nghóa, phân loại, mô hình, mạng nơ ron lớp giải thuật huấn luyện mạng, đặc biệt trình bày mạng lan truyền giải thuật huấn luyện mạng tiếng lan truyền ngược Chương 3: GIẢI THUẬT DI TRUYỀN XÁC ĐỊNH TRỌNG SỐ TỐI ƯU CHO MẠNG NƠ RON Nội dung chương dùng giải thuật di truyền trình bày chương để xác định trọng số tối ưu cho mạng lan truyền, bao gồm xây dựng sơ đồ giải thuật, viết chương trình, ứng dụng cụ thể vào toán XOR Chương 4: MẠNG NƠ RON TRONG NHẬN DẠNG Chương trình bày vấn đề nhận dạng như: phương pháp nhận dạng, nhận dạng ký tự dùng mạng nơ ron, sau xây dựng mạng nơ ron hoàn chỉnh để nhận dạng phông chữ cụ thể văn bản, dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng Tập trọng số tìm được trình bày phần phụ lục Giải thuật di truyền xử lý ảnh THD: TS.Lê Tiến Thường MỤC LỤC Chương 1: GIẢI THUẬT DI TRUYỀN Tóm tắt lịch sử tính toán tiến hóa .1 Thuật ngữ sinh học Giải thuật di truyền đơn giản Các tính chất quan trọng giải thuật di truyền 5 Các bước quan trọng việc áp dụng giải thuật di truyền 6 Cơ chế thực cuûa gia27 -0.334 -0.8397 0.1963 -1.5253 0.238 -2.1434 0.4419 0.1703 -2.1759 -3.4395 1.343 -2.4835 -0.9443 -2.9721 0.9168 -0.2098 -1.3736 -2.7119 -1.1416 -2.5443 1.499 -0.0801 -0.4607 -0.2253 2.7613 1.458 -0.0858 -2.1909 2.6459 -3.1203 6.71 -0.331 -0.8744 -0.4012 3.4566 0.184 -0.383 -0.9725 -3.1285 -0.0348 0.1561 -0.3837 0.3049 -3.5493 -1.1704 -0.9783 1.1885 -1.4372 -3.6707 -1.5303 1.579 0.1165 -0.4848 -0.6154 -0.1527 0.0704 2.896 3.0594 -2.8828 0.9088 1.2668 0.3209 -1.6811 -0.2245 -0.154 -0.836 4.0671 -0.1737 -0.6965 2.6139 -0.2961 7.4738 -0.501 -0.3107 1.6851 0.8835 7.6183 0.0461 -0.3071 1.542 1.9493 0.0265 -0.3984 2.3083 -0.5154 -1.6636 1.1087 -0.2665 0.3132 -2.6727 1.3431 -0.1074 0.1838 -0.2185 -2.1261 -0.0714 -0.1283 10.643 0.3838 -3.6826 0.5107 0.1222 0.6372 2.0882 -3.8124 -0.7107 2.9399 0.087 -0.8044 -0.1121 -0.1599 -0.8849 2.0374 2.3536 -3.0312 2.6531 -0.2967 6.7031 -0.6589 0.0531 -1.2507 0.651 2.5012 -0.261 0.0464 -3.1335 -0.1771 1.4089 -0.6379 6.9978 -1.4146 THD: TS Lê Tiến Thường -0.5776 1.5172 -0.5873 -0.1927 0.5713 0.0305 -1.0318 -1.2428 0.4848 -0.4364 0.0115 -1.0771 -0.7095 -0.047 2.2336 -3.2207 1.1779 1.6536 -3.332 2.3678 2.7102 -2.5309 0.218 -0.2018 -0.376 0.8864 0.4743 1.8539 -4.4224 2.5681 -2.948 2.0036 -2.9225 2.7684 -0.4112 -4.2772 -2.4814 -0.0314 -2.1405 -1.2629 -3.7639 3.6746 0.3232 0.2451 2.8967 0.8431 0.6141 -2.3639 0.0168 -0.2991 -0.6715 -1.4959 -0.2141 0.1384 2.5924 0.2062 Tập trọng số tối ưu w789 -2.6602 1.414 -0.0154 0.2091 -1.5274 -1.0797 -0.0789 0.2737 -0.2467 -0.8681 -0.2706 0.2415 10.565 0.2388 -2.9849 2.3585 0.162 1.1888 -0.2148 -0.3428 -0.1532 -0.7771 4.2126 -0.0462 -3.5582 2.9179 -2.8475 6.6798 0.6459 -3.472 -0.1885 -0.2275 4.5614 -0.5384 0.0643 2.2851 0.5027 -1.1187 1.205 -0.3539 -3.1288 -0.0839 1.08 -1.0338 0.2598 -3.3966 -1.1663 1.4822 0.1419 -0.3093 -2.1696 -0.0826 0.9445 2.2267 2.8356 -4.799 104 -2.0271 0.9927 4.4687 0.2841 -2.4972 0.9363 0.0066 -0.1472 -0.1486 -0.421 -1.0798 -0.7719 4.1222 -0.0971 -3.1268 3.7916 -0.2697 7.3619 -0.4164 -0.7998 1.4306 0.5245 2.5362 -0.3175 -1.2627 0.1196 -1.4278 0.884 -0.7807 -1.2105 -1.0045 -0.1152 0.9702 -0.4222 0.2004 -0.6643 -1.0843 0.986 1.2429 -0.1915 -2.1291 -0.0545 0.3454 3.6368 0.2742 -3.8311 0.8225 1.2467 -0.775 -0.2037 -0.2895 -0.2983 -0.5429 1.1282 2.4718 -2.9708 0.7994 0.7896 -2.3549 -3.3876 -1.1043 6.2394 -0.4034 0.5503 1.0678 4.8118 -1.8965 -1.1203 -1.8844 0.5226 0.336 -0.087 -0.1964 -0.0883 3.6042 0.425 1.0312 -0.1138 3.6277 -0.2924 -1.0974 0.4923 -0.7956 0.5871 2.0329 -4.3356 0.6502 -1.8981 -2.4821 2.445 2.3492 3.9879 -0.1251 1.9379 0.7904 -4.8845 0.625 -3.3521 -1.0837 -1.6035 2.4505 -0.119 -2.5413 2.7979 -0.265 5.9186 -0.3198 -0.3894 -0.4063 0.677 2.5904 -0.3542 -0.4025 -0.1617 -0.2047 1.2486 -0.2458 0.3107 -0.2719 -1.1356 1.3208 0.1652 -0.6499 -0.7734 -0.305 0.3147 3.0344 0.5942 -0.7953 -0.0311 0.2759 3.5079 0.2028 -3.9469 0.8731 2.7204 0.3118 -0.2572 -0.3188 -0.1673 6.0829 1.339 -0.0853 -3.7628 2.6139 -0.3478 3.157 -0.4172 -0.7568 -1.4757 0.9485 -1.5696 1.4318 1.7677 -1.4945 -0.6275 0.4617 -0.2347 -0.3524 -0.1494 -0.124 0.6467 -0.2515 7.1676 -2.5837 -1.1546 1.4137 0.1409 -3.2305 -0.6061 -0.1904 0.6945 10.656 0.2441 -0.1995 0.9778 1.2229 1.5161 -0.4322 -0.2034 -0.6896 HVTH: Nguyeãn Đức Chí Giải thuật di truyền xử lý ảnh Mạng Phụ lục 0.3071 -0.7619 -1.9462 1.9558 -13.0346 1.5188 -6.1252 2.0264 -0.4406 -0.0857 -0.0503 0.0555 0.7415 6.8387 -1.1346 0.2775 -0.0771 5.3619 -4.1247 2.292 -0.4036 1.9469 0.0625 0.3939 -0.987 2.2933 0.0574 -3.6535 0.1483 -0.2671 -0.1684 0.369 -9.4333 4.1202 -0.4308 -0.0386 0.7078 -0.7402 0.4142 0.2899 -3.7412 1.362 -0.6256 0.4796 -0.4859 0.3114 0.0573 -0.0734 -2.2344 0.5656 -1.1385 0.8428 -1.1102 4.9219 -0.4227 3.4448 -0.8493 5.3501 -0.0502 0.0337 0.0705 0.2751 -2.748 1.3603 -0.2439 0.0615 -4.0451 4.5991 -0.2429 0.5494 -0.3854 0.0669 -0.0238 0.6253 -7.8606 -0.6651 -3.5684 -1.0123 -0.4582 1.4155 0.6339 5.6139 -0.7972 0.4869 -0.0887 6.7155 0.8895 -0.0393 0.5327 1.1615 0.2714 0.4116 -0.8392 0.93 0.6369 -0.0604 -0.0753 3.116 0.222 -0.5294 3.2497 -0.2 -3.0179 -0.8117 -2.6395 2.1639 -5.0146 -0.033 0.0812 0.0098 -0.7867 5.5576 -8.5817 -0.9098 0.0692 2.5305 -2.2496 0.5653 -0.9317 0.9284 -0.0505 1.122 -0.3579 -1.2781 -0.8157 -1.2322 -8.9649 6.3436 -1.7906 0.3683 -0.446 0.4402 -0.8464 -0.0754 -3.5443 0.2588 -0.2266 -0.2586 -0.9366 3.0019 -0.0014 0.5658 -1.9282 0.2509 -0.0502 0.4107 -2.9932 THD: TS Lê Tiến Thường Tập trọng số tối öu w10_14 -1.8314 0.4354 -2.5086 0.1539 4.9186 -14.024 6.5565 -1.2009 2.076 0.0042 0.0591 -0.0215 0.299 -2.362 1.8648 -0.5121 0.0634 -0.8895 2.3568 -0.1493 0.4961 -2.0857 0.0301 -0.4785 -0.0749 6.5385 0.7669 -0.482 7.543 -1.4798 -1.2416 -0.8857 5.247 -0.0224 0.594 0.0389 1.4449 0.4169 -0.3114 0.2843 0.8585 0.523 1.0593 -0.3034 0.6835 -0.8993 0.068 -13.812 1.9294 -1.1443 -0.0767 1.876 1.2367 -2.7527 9.1058 -0.8659 -0.6954 -0.5222 0.0651 -0.0615 -0.0478 -0.4081 0.4296 -0.0792 0.0696 0.0828 1.4983 -1.502 1.1485 -0.3071 0.6668 0.0102 0.2691 -13.8533 2.5007 4.5062 -0.1751 0.0332 0.8272 -10.7873 0.3561 -4.962 1.1439 -0.4024 -0.0254 -1.6438 -0.065 0.527 -0.1099 4.8035 1.3738 -0.5075 0.1325 -0.061 0.2397 0.0107 6.5776 -0.8838 0.5991 -7.0939 -1.0805 -4.221 -0.265 -3.4356 -0.9482 0.5013 1.007 0.0799 -0.0335 -0.0818 0.4623 -2.188 3.0945 -0.0541 0.0645 -1.9858 0.0968 -0.4331 0.1465 -0.1724 -0.0682 0.733 10.7843 -0.7867 3.0527 0.3672 5.7273 -5.5692 2.0047 -0.5046 2.0984 -0.4208 -0.0906 0.0861 2.8039 0.8743 -0.815 0.1606 3.75 -0.1853 0.4071 -9.4056 4.0781 -0.3616 -0.0985 -3.1741 -0.3141 105 1.2579 -0.8018 0.5855 2.8178 -1.253 7.3647 -8.0469 4.4123 -1.9817 0.0846 0.0706 0.392 -0.8594 2.6784 -1.4185 0.072 -0.06 0.9763 -0.0319 0.423 -9.4808 4.1053 0.0811 0.3827 1.1291 -1.0157 -5.598 0.3698 -5.0968 2.6806 -0.7526 0.5329 -0.4497 0.3148 -0.039 -0.0913 -8.436 -0.3003 0.1321 -0.5188 -5.1249 1.02 0.7769 5.4714 -0.8014 0.4862 -0.065 5.6069 0.5378 -0.7245 3.7595 -0.845 -2.4577 1.7822 -6.0727 5.4929 -0.9052 0.7069 0.0531 -0.0839 -0.1381 0.4556 -1.6388 0.9447 -0.0576 0.3162 -0.6997 1.8719 0.6549 5.5894 -0.9116 0.0456 -0.8278 6.4372 0.9518 1.6706 4.3718 2.0771 0.7689 0.5832 -0.9878 0.9615 0.751 0.0947 0.0632 -1.0495 -0.5789 -0.3411 -7.9772 3.6796 -0.0094 0.2554 -0.5218 0.5576 -0.9584 -0.0237 -3.247 -0.7633 -0.2454 3.286 -4.5509 2.3437 -1.267 1.805 0.1447 0.083 -0.135 0.0099 0.0118 1.0557 -0.3339 2.2314 -1.4113 -0.0974 -9.0491 4.6606 -4.1828 0.2734 -0.4145 0.0312 0.0058 0.2242 -2.6782 -2.5098 -0.3496 3.6963 -1.2828 2.9741 -0.0212 0.4644 -2.1016 0.3057 -0.014 0.4257 2.2085 0.871 0.2486 1.2275 -0.6567 -0.8351 -0.8869 5.2046 -0.0273 0.5684 -0.0386 0.6697 0.2002 0.824 -1.2123 3.5291 -0.141 3.1207 -0.2441 5.1877 -9.4748 4.2177 -0.078 0.014 -0.44 -0.3203 -2.7315 0.5934 -0.0134 5.9138 -1.0659 1.2997 -0.8228 5.2112 -0.0864 -0.0644 -0.3565 1.1071 -3.3791 -0.6088 -5.5117 2.6444 0.4679 1.135 -0.3597 0.5728 -0.8365 0.0336 -14.207 2.5438 0.6634 0.124 -4.0043 1.7789 -14.219 0.29 -4.8724 0.9733 -0.4772 0.0834 -1.7113 -0.4262 1.4605 -2.1987 -2.8272 0.4221 -2.5266 2.3334 -4.4084 5.5477 -0.8849 0.0846 -0.0198 0.4141 -12.8772 1.9891 2.723 -0.0448 -0.5968 -2.0178 -1.7286 0.2511 -5.0109 0.0508 -0.0487 0.6084 -1.5125 -0.8662 0.623 1.4619 -3.7782 1.2331 -0.3559 0.0716 -0.1976 0.3314 0.0644 11.1276 -1.1166 -1.0171 0.2889 4.0544 -5.4891 -0.1271 -0.4731 1.974 -0.3378 -0.0916 0.0541 1.8621 0.0764 HVTH: Nguyễn Đức Chí Giải thuật di truyền xử lý ảnh 0.0403 0.2908 0.4114 -4.6359 1.5132 -0.0378 6.5206 -1.1151 0.0373 0.0328 3.1894 1.5401 0.714 -2.0498 0.2305 0.4288 0.0381 0.0158 1.1217 0.0015 -0.0186 0.0012 1.2512 Mạng Mạng Mạng Phụ lục 0.3573 -0.0757 -9.9619 4.6178 -5.0947 0.0261 -0.8652 0.0756 -0.0507 -0.0572 -1.7055 0.4353 0.3526 2.2622 0.1266 3.8275 0.0918 -0.0043 -2.4612 -0.0026 -0.0424 -0.6931 -2.0871 0.2844 0.7642 6.9065 -1.3681 2.7986 -0.0762 5.6072 0.0295 -0.0816 0.0541 -2.0713 -3.2984 -1.6495 -3.0838 1.1436 -4.1157 -0.0137 0.0891 1.2088 -0.0612 0.0657 -6.0856 -0.6361 0.6 -0.2762 -0.7553 -0.81 -2.9655 -0.0862 -4.2708 -0.0843 0.0489 -0.0652 -1.3176 -1.7075 2.523 0.7363 -3.8671 1.9399 0.0846 0.5973 -1.0858 0.048 -0.0598 0.4811 0.7001 THD: TS Leâ Tiến Thường -0.271 -0.662 5.7862 -5.161 2.9388 0.0912 2.403 -0.0242 0.0279 0.0982 -0.2696 1.599 0.8105 0.2067 3.8781 0.0151 0.0897 -9.626 4.6851 -0.0911 0.0453 0.2267 0.2965 0.8143 -6.259 5.19 -0.387 -0.0627 -1.2383 -0.0546 -0.0028 -0.0857 3.0216 -1.3112 -3.0716 -1.2128 0.7517 1.7216 -0.0193 6.6419 -1.2769 -0.0373 -0.0937 1.9599 -0.2106 0.5627 3.4288 -3.1035 -0.0391 0.0818 1.1765 -0.0838 0.0346 0.0705 -1.3151 0.3672 -1.5497 -7.4992 4.5219 -2.1778 0.0601 -0.8821 0.0763 0.014 0.0381 0.6173 0.0826 -0.8861 -0.6638 2.7185 -0.014 0.0512 -2.47 -0.0702 0.0216 0.8238 1.5529 0.9342 2.381 5.2096 0.049 -0.9528 0.0886 5.6189 0.0003 0.0704 0.0302 -2.9102 -0.7092 0.3691 1.9249 -1.5376 0.0129 -0.0291 1.1574 -0.0341 0.0565 -7.9608 -1.5511 -2.6897 -1.6063 -3.4054 0.0138 -2.8642 -0.0111 -4.255 0.0193 -0.0486 -0.0368 -2.0484 0.9569 -0.1152 -3.0627 0.7106 -0.0687 0.6436 -1.0297 0.0665 0.0788 -1.5514 0.8244 3.2615 -0.4316 3.2271 -5.9836 2.1512 -0.0953 2.2462 -0.0387 0.0922 0.0832 1.3624 0.3213 -0.2457 0.7024 -0.112 -0.0565 -9.64 4.69 0.0239 0.073 3.284 -0.9759 -3.4111 1.8268 -2.1798 3.6982 -0.8728 -0.047 -1.3174 0.0044 0.0197 -0.0253 0.2222 Tập trọng số tối öu w15 -0.2242 5.0894 0.0128 -0.3979 0.0450 -0.2515 -0.2815 -0.3721 -0.0295 -0.2783 0.0628 -0.3598 -0.0800 -0.2651 -0.4326 Tập trọng số tối ưu w16_17 0.2008 4.5779 -0.3212 -0.4087 -0.2482 -0.3235 Tập trọng số tối ưu w18 0.7469 4.2882 -0.0278 -0.1716 106 HVTH: Nguyễn Đức Chí ... dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng Tập trọng số tìm được trình bày phần phụ lục Giải thuật di truyền xử lý ảnh THD: TS.Lê Tiến Thường MỤC LỤC Chương 1: GIẢI THUẬT... hình, mạng nơ ron lớp giải thuật huấn luyện mạng, đặc biệt trình bày mạng lan truyền giải thuật huấn luyện mạng tiếng lan truyền ngược Chương 3: GIẢI THUẬT DI TRUYỀN XÁC ĐỊNH TRỌNG SỐ TỐI ƯU CHO MẠNG... việc ứng dụng mạng nơ ron lónh vực xử lý ảnh, cụ thể vấn đề nhận dạng, nhận dạng chữ văn bản, để từ xây dựng mạng, dùng giải thuật di truyền để xác định tập trọng số tối ưu cho mạng, mà nhận
Ngày đăng: 17/02/2021, 10:11
Xem thêm: