phương pháp lai mạng nơ ron - giải thuật di truyền giải bài toán np-c và ứng dụng

Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN LÊ THANH BÌNH PHƯƠNG PHÁP LAI MẠNG NƠ RON GIẢI THUẬT DI TRUYỀN GIẢI BÀI TOÁN NP-C VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH THÁI NGUYÊN 2010 Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN LÊ THANH BÌNH PHƯƠNG PHÁP LAI MẠNG NƠ RON GIẢI THUẬT DI TRUYỀN GIẢI BÀI TOÁN NP-C VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS- TS. ĐẶNG QUANG Á THÁI NGUYÊN 2010 - i - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN MỤC LỤC i DANH MỤC CÁC BẢNG…………………………………………….… ………iii DANH MỤC CÁC HÌNH iv LỜI NÓI ĐẦU………………………………………………………………………1 CHƢƠNG I: GIỚI THIỆU SƠ LƢỢC VỀ CÁC BÀI TOÁN NP-C 3 1.1. Giới thiệu chung về bài toán NP-C 3 1.2. Cách tiếp cận giải bài toán NP-C 4 1.2.1. Một số khái niệm 4 1.2.2. Giới thiệu một số thuật toán xấp xỉ giải bài toán NP-C 5 1.2.3. Các thuật toán gần đúng 6 1.2.4. Tô mầu đồ thị với bài toán 4 mầu 13 1.2.5. Bài toán phẳng hóa đồ thị 15 1.3. Kết luận 17 CHƢƠNG II : MẠNG NƠ RON VÀ THUẬT GIẢI DI TRUYỀN GIẢI BÀI TOÁN TỐI ƢU 18 2.1. Giới thiệu về mạng nơ-ron 18 2.1.1. Lịch sử phát triển 18 2.1.2. Mô hình mạng nơ-ron nhân tạo 19 2.2. Phạm vi ứng dụng của mạng nơ-ron 23 2.2.1. Những bài toán thích hợp 23 2.2.2. Các lĩnh vực ứng dụng mạng nơ-ron 23 2.2.3. Ƣu và nhƣợc điểm của mạng nơ-ron 24 2.3. Mạng Hopfield 24 2.3.1. Mạng Hopfield rời rạc 26 2.3.2 Mạng Hopfield liên tục 27 2.4. Giới thiệu thuật giải di truyền 28 - ii - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.4.1. Các tính chất đặc thù của thuật giải di truyền 29 2.4.2. Các bƣớc quan trọng trong việc áp dụng thuật giải di truyền 29 2.4.3. Ví dụ minh họa 31 2.4.4. Các phƣơng thức biến hóa của giải thuật di truyền 34 2.4.5. Các giải thuật di truyền lai 38 2.5. Giải thuật di truyền với bài toán tối ƣu 39 2.5.1. Ánh xạ hàm mục tiêu sang hàm phù hợp 39 2.5.2. Tỷ lệ hoá giá trị phù hợp 40 2.5.3. Mã hoá tham biến nhờ véctơ nhị phân 41 2.5.4. Bài toán tối ƣu ràng buộc 41 2.6. Mạng nơ ron Hopfield - giải thuật di truyền giải bài toán tối ƣu. 42 2.7. Kết luận 44 CHƢƠNG 3: ỨNG DỤNG THUẬT GIẢI DI TRUYỀN GIẢI BÀI TOÁN PHÂN CÔNG NHIỆM VỤ 45 3.1. Giớ i thiệ u 45 3.2. Định ngha bài toán 47 3.3. Ứng dụng Thuật giải di truyền vào bài toán 48 3.3.1. Mã hóa: 49 3.3.2. Toán tử chọn cá thể 50 3.3.3. Toán tử lai ghép và toán tử đột biến 51 3.3.4. Sƣ̉ a chƣ̃ a giả i phá p 52 3.3.5. Tìm kiếm cục bộ 54 3.4. Th nghiệm và nhận xét 55 3.4.1. Thí nghiệm 55 3.4.2. Nhận xét 56 3.5. Kế t luậ n 57 KẾT LUẬN…………………… ………………………………………………….58 TÀI LIỆU THAM KHẢO………….….………………………………………… 59 - iii - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC BẢNG Bảng 3.1: Các ứng dụng toán tử lai ghép thực hiện trong GGA. 52 Bảng 3.2: Các ứng dụng toán tử đột biến thực hiện trong GGA. 52 Bảng 3.3: Ví dụ về các sở thích của sinh viên 53 Bảng 3.4: Ví dụ về các sở thích của sinh viên 54 Bảng 3.5: Số sinh viên trong nhóm thứ i trong những giải pháp đƣợc tìm thấy bởi GGA. 56 Bảng 3.6: So sánh các kết quả thu đƣợc bằng GGA và thuật toán tham lam GRAH. 57 - iv - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH Hình 1.1: Bản dồ 9 nƣớc chƣa tô màu. 14 Hình 1.2: Bản dồ 9 nƣớc tô bởi 4 mầu. 14 Hình 1.3: Đồ thị 6 cạnh. 16 Hình 1.4: Hình (a) và (b) là đồ thị phẳng. 16 Hình 1.5: Đồ thị trên một hàng đơn. 17 Hình 2.1: Mô hình nơ ron sinh học. 19 Hình 2.2 : Mô hình một Nơ-ron . 21 Hình 2.3: Mô hình mạng Hopfield. 25 Hình 2.4: Lƣu đồ mô tả cấu trúc của giải thuật di truyền. 31 Hình 2.5: Lƣu đồ thuật toán của quá trình chọn lọc. 35 Hình 2.6: Lƣu đồ thuật toán quá trình lai ghép. 36 Hình 2.7: Lƣu đồ thuật toán của quá trình đột biến . 37 Hình 2.8: Lƣu đồ thuật toán của giải thuật lai. 42 Hình 2.9: Ví dụ về biểu diễn nơ ron của bài toán với N = 4. 44 Hình 3.1: Ví dụ về sở thích của các sinh viên trong 5 nhóm. 55 - 0 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn - 1 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI NÓI ĐẦU Trong thực tế có rất nhiều bài toán phức tạp thuộc lớp bài toán NP- C và bài toán tối ƣu có ràng buộc, cũng có nhiều công trình nghiên cứu để giải quyết các bài toán đó. Ví dụ nhƣ: Bài toán tìm đƣờng đi ngắn nhất, bài toán tô màu bản đồ, bài toán vận tải Xong các giải thuật đƣa ra thƣờng phức tạp mà chƣa có thuật toán đơn giản và hợp lý. Những năm gần đây trên thế giới đã đƣa ra phƣơng pháp lại mạng Nơ ron Hopfield và thuật giải di truyển nhằm giải quyết các bài toán tối ƣu thuộc lớp NP-C và đƣợc áp dụng rộng rãi trong lĩnh vực Công nghệ thông tin. Việc nghiên cứu và áp dụng những thành tựu mới vào việc phân tích, thiết kế, phân công nhiệm vụ là một trong những vấn đề nóng đang rất đƣợc quan tâm. Nhận thức đƣợc vấn đề đó và có sự gợi ý, định hƣớng của PGS .TS Đặng Quang Á em đã mạnh dạn nghiên cứu đề tài " Phương pháp lai mạng nơ ron - giải thuật di truyền giải bài toán NP-C và ứng dụng". Nội dung cơ bản của luận văn gồm có ba chƣơng: Chƣơng một giới thiệu sơ lƣợc về một số bài toán NP-C, cách tiếp cận giải các bài toán NP-C nhƣ: bài toán tô mầu đồ thị, bài toán phẳng hóa đồ thị, bài toán chọn đồng tiền…, trình bầy các cách tiếp cận tới việc giải quyết các bài toán nêu trên. Chƣơng hai giới thiệu sơ lƣợc về mạng nơ ron, mạng nơ ron Hopfield, giải thuật di truyền. Đặc biệt trình bầy phƣơng pháp lai mạng Hopfield và giải thuật di truyền giải bài toán tối ƣu. Chƣơng ba ứng dụng giải thuật di truyền giải bài toán phân lịch thực hành tại các trƣờng Đại học. Đây là bài toán có tính ứng dụng thực tế cao trong nhiều lĩnh vực nhƣ phân công nhiệm vụ trong các đơn vị, xắp sếp lịch biểu Bài toán thuộc lớp NP-C. Vì vậy, ứng dụng giải thuật di truyền trong - 2 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn bài toán phân công nhiệm vụ trong hệ thống tính toán hỗn tạp sẽ hứa hẹn là một gải pháp khả thi góp phần nâng cao hiệu quả trong công việc phân công, điều hành của con ngƣời. Qua luận văn này em xin chân thành cảm ơn: PGS .TS Đặng Quang Á - Viện Công nghệ thông tin đã tận tình giúp đỡ, động viên, định hƣớng, hƣớng dẫn em nghiên cứu và hoàn thành luận văn. Em xin cảm ơn các thầy cô giáo trong viện Công nghệ thông tin, các thầy cô giáo khoa Công nghệ thông tin ĐH Thái nguyên, đã giảng dạy và giúp đỡ em trong hai năm học vừa qua, cảm ơn sự giúp đỡ nhiệt tình của các bạn đồng nghiệp. Xin chân thành cảm ơn! Thái Nguyên, tháng 11 năm 2010 Ngƣời viết luận văn Lê Thanh Bình - 3 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG I GIỚI THIỆU SƠ LƢỢC VỀ CÁC BÀI TOÁN NP-C 1.1. Giới thiệu chung về bài toán NP-C Quá trình khám phá các bài toán thuộc loại NP-C cho ta biết rằng có rất ít cơ hội phát triển đƣợc một thuật toán hiệu quả để giải nó. Điều đó khuyến khích ta tìm kiếm các heuristic, các lời giải từng phần, các xấp xỉ và những cách khác nhằm tránh giải trực diện bài toán. Mỗi lần đƣa thêm một bài toán vào danh sách các bài toán NP-C chúng ta lại củng cố thêm ý tƣởng rằng tất cả mọi bài toán NP-C đều đòi hỏi thời gian mũ. Định nghĩa 1.1: Ta nói L là bài toán thuộc loại NP-complete nếu các khẳng định sau đều đúng: 1) L thuộc NP. 2) Với mọi ngôn ngữ L '  NP có một phép thu thời gian đa thức L ' về L. Bài toán NP-complete đầu tiên chúng ta sẽ xét là bài toán thỏa SAT (Boolean satisfiability). Chúng ta sẽ chứng tỏ rằng ngôn ngữ của mọi máy Turing không đơn định (NTM) thời gian đa thức đều có một phép thu thời gian đa thức về SAT. Khi đã có đƣợc một số bài toán thuộc NP-complete (NP-C) chúng ta có thể chứng minh một bài toán mới thuộc NP-C bằng cách thu một bài toán đã biết là NP-C về bài toán đó nhờ một phép thu thời gian đa thức [ 1]. Định lý dƣới đây cho biết vì sao một phép thu nhƣ thế chứng minh đƣợc bài toán đích là NP-C. Định lý 1.1: Nếu bài toán P1 là NP-C, P2 là NP và có một phép thu thời gian đa thức từ P1 về P2 thì P2 cũng là NP-C. [...]... n -ron vo cỏc lnh vc, vớ d nh: k thut tớnh, ti u, sinh hc, y hc, thng kờ, giao thụng, hoỏ hc Cho n nay, mng n -ron ó tỡm c v khng nh c v trớ ca mỡnh trong rt nhiu ng dng khỏc nhau S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 19 - 2.1.2 Mụ hỡnh mng n -ron nhõn to 2.1.2.1 N -ron sinh hc H thn kinh ngi cú khong 1010 t bo thn kinh c gi l cỏc n -ron Mi n -ron gm cú ba phn: Thõn n -ron. .. #i Vi f i U i , (2.8) trong ú : U i l tớn hiu vo ti n -ron i Vi l tớn hiu ra ti n ron i Wij l trng s liờn kt t n -ron j n n -ron i i l ngng (u vo ngoi) kớch hot n -ron i f i l hm kớch hot ca n -ron i 2.1.2.3 Mng n -ron Mng n -ron nhõn to (Artificial Neural Network) l mt cu trỳc mng c hỡnh thnh nờn bi mt s lng cỏc n -ron nhõn to liờn kt vi nhau Mi n -ron cú cỏc c tớnh u vo, u ra v thc hin mt chc nng tớnh... bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 20 - tớn hiu ra v gi tớn hiu ny ti cỏc n -ron khỏc thụng qua dõy thn kinh Cỏc n -ron liờn kt vi nhau thnh mng Mc bn vng ca cỏc liờn kt ny xỏc nh mt h s gi l trng s liờn kt 2.1.2.2 N -ron nhõn to + Trng s v tng tớn hiu u vo: Mụ phng n -ron sinh hc, ta cú n -ron nhõn to Mi n -ron cú rt nhiu dõy thn kinh vo, ngha l mi n -ron cú th tip nhn ng... and mapping) - Liờn kt v k thut dch chuyn ca s (association and moving window) 2.2.2 Cỏc lnh vc ng dng mng n -ron Khú cú th thng kờ y cỏc ng dng ca mng n -ron Tuy nhiờn, cú th nờu mt s ng dng nh sau: - X lý nh - Nhn dng mu - Y hc - Cỏc h thng quõn s - Vn lp k hoch, iu khin v tỡm kim - Cỏc h thng nng lng - D oỏn S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 24 - - Gii cỏc bi... giao tớn hiu t thõn n -ron ti n -ron khỏc Cỏc nhỏnh ca u thn kinh c ni vi cỏc khp thn kinh (synapse) Cỏc khp thn kinh ny c ni vi thn kinh vo ca cỏc n -ron khỏc Thờm vo ú, cỏc n -ron cú th sa i tớn hiu ti cỏc khp, trong cỏc n -ron nhõn to c gi l trng s Khp ni dõy thn kinh ( u Vo) Trc Nhõn u ra T bo Hỡnh 2.1 Mụ hỡnh n ron sinh hc Hot ng ca n -ron sinh hc cú th mụ t túm tt nh sau: Mi n -ron nhn tớn hiu vo t... bn cht ca n -ron Bao gm mt s lng rt ln cỏc n -ron liờn kt vi nhau Mng n -ron cú kh nng hc, khỏi quỏt hoỏ tp d liu hc thụng qua vic gỏn v hiu chnh cỏc trng s liờn kt S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 23 - T chc theo kiu tp hp mang li cho mng n -ron kh nng tớnh toỏn rt ln, trong ú khụng cú n -ron no mang thụng tin riờng bit [2] 2.2 Phm vi ng dng ca mng n -ron 2.2.1 Nhng... nghi ca mng n -ron trong quỏ trỡnh hc Trong cỏc mng n -ron cú s dng bias, mi n -ron cú th cú mt trng s tng ng vi bias Trong s ny luụn cú giỏ tr l 1 Mụ hỡnh ca mt nỳt x lý (nỳt th i): Vi Vi1 Vj Vij Ui= Vi=fi(Ui) Vi ViN VN N V Hỡnh (2.2) Mụ hỡnh mt n -ron S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 22 - N U i Wij Vj i , (2.7) j 1 j #i Vi f i U i , (2.8) trong ú : U i... cỏc bi toỏn ti u Gi s mng c xõy dng di dng mng mt lp, mi n -ron c truyn ngc li lm tớn hiu vo cho cỏc n -ron khỏc nhng bn thõn cỏc nS húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 25 - ron khụng t liờn kt vi chớnh nú Khi ú mụ hỡnh mng Hopfield c biu din nh hỡnh 2.3 Tớn hiu ra ca n -ron th j no ú c truyn ngc li lm tớn hiu vo cho cỏc n -ron khỏc trong mng mt cỏch y thụng qua cỏc trng... tin Gii thiu mt s thut toỏn gii bi toỏn NP-C nh thut toỏn xp x, thut toỏn gn ỳng, gii thut tham lam v mt s cỏch tip cn gii bi toỏn ti u thuc loi NP-C S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn - 18 - CHNG II MNG N RON V THUT GII DI TRUYN GII BI TON TI U 2.1 Gii thiu v mng n -ron 2.1.1 Lch s phỏt trin Quỏ trỡnh nghiờn cu v phỏt trin mng n -ron nhõn to cú th chia thnh bn giai on... ln , trong ú l ph ti u S húa bi Trung tõm Hc liu - i hc Thỏi Nguyờn http://www.lrc-tnu.edu.vn -9 - b Bi toỏn TSP S dng cỏc ý tng ca mc trc vo bi toỏn ny Mc ớch: xõy dng thut toỏn hiu qu cho kt qu gn ỳng Xột ma trn c n x n cỏc khong cỏch [dij ], dij > 0 Nh thng l ta gi thit dij = dji v dii = 0 Ta núi ma trn (dij) tha món bt ng thc tam giỏc nu dij + djk dik 1i, j, k n Bt ng thc ny tha món nu dij l . về mạng nơ ron, mạng nơ ron Hopfield, giải thuật di truyền. Đặc biệt trình bầy phƣơng pháp lai mạng Hopfield và giải thuật di truyền giải bài toán tối ƣu. Chƣơng ba ứng dụng giải thuật di truyền. Phương pháp lai mạng nơ ron - giải thuật di truyền giải bài toán NP-C và ứng dụng& quot;. Nội dung cơ bản của luận văn gồm có ba chƣơng: Chƣơng một giới thiệu sơ lƣợc về một số bài toán NP-C, . 41 2.5.4. Bài toán tối ƣu ràng buộc 41 2.6. Mạng nơ ron Hopfield - giải thuật di truyền giải bài toán tối ƣu. 42 2.7. Kết luận 44 CHƢƠNG 3: ỨNG DỤNG THUẬT GIẢI DI TRUYỀN GIẢI BÀI TOÁN PHÂN