Tìm hiểu và nghiên cứu các tài liệu lý thuyết liên quan tới chương trình mô phỏng hoạt động của mạng neural.

Báo cáo Đồ án môn Máy Học LỜI CẢM ƠN Lời chúng em xin gửi lời cảm ơn đến Cô Nguyễn Thị Thu Hà người cung cấp tài liệu hướng dẫn tận tình chúng em suốt trình thực tập lớn Chúng em xin gửi lời cảm ơn tới toàn thể Thầy, Cô, cán - công nhân viên Trường Đại Học Điện Lực người dạy bảo em suốt năm học qua mái trường than yêu Đặc biệt Thầy, Cô khoa CNTT người mang đến cho chúng em nguồn tri thức quý báu lời khuyên bổ ích để giúp chúng em có thêm hành trang bước vào sống Đồ án môn học hội để chúng em áp dụng, tổng kết kiến thức mà học hỏi, đồng thời rút kinh nghiệm thực tế quý giá suốt trình thực đề tài Và cuối em xin gửi lời cảm ơn tới bố mẹ, anh chị em Những người miệt mài bên cạnh em, giúp đỡ, chăm lo an ủi em, giành cho em tình cảm đặc biệt Kính chúc thầy mạnh khỏe, hạnh phúc Hà Nội, tháng 12 năm 2011 Nhóm sinh viên : Nguyễn Trọng Thắng Bùi Thanh Tân Hoàng Tùng Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án mơn Máy Học TĨM TẮT NỘI DUNG Bao gồm giai đoạn sau: Tìm hiểu đề tài Tìm hiểu nghiên cứu tài liệu lý thuyết liên quan tới chương trình mơ hoạt động mạng neural Xây dựng cài đặt chương trình Kiểm tra viết báo cáo Mục tiêu đề tài Tìm hiểu lý thuyết mạng neural, nghiên chế, phương thức hoạt động mạng neural xây dựng chương trình mơ hoạt động mạng neural Cấu trúc đề tài Cấu trúc đề tài gồm có chương : Chương Tổng quan mạng neural Chương Phương thức hoạt động mạng neural Chương Chương trình mơ hoạt động mạng neural Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án mơn Máy Học MỤC LỤC DANH MỤC HÌNH VẼ Hình 1.1 Đơn vị xử lý (Processing unit) Hình 2.1 Mơ hình mạng Neural sinh học Hình 2.2 Sự liên kết Neural sinh học Hình 2.3 Mơ hình mạng Neural nhân tạo Hình 2.4 Đồ thị hàm truyền Hình 2.5 Mơ hình mạng Neural ba lớp Hình 2.6: Mạng neural lớp Hình 2.7 Mạng neural nhiều lớp Hình 2.8 Cấu trúc mạng Hopfield Hình 2.9 Cấu trúc mảng BAM Hình 3.1 Form tổng thể chương trình Hình 3.2 Mẫu file exel ghi tọa độ điểm neural qua Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học LỜI NÓI ĐẦU Hiện nước ta giai đoạn tiến hành cơng nghiệp hóa đại hóa Cơng nghệ thơng tin nghành mũi nhọn Việc phát minh rô bốt thơng minh hay chip siêu nhỏ điều khiển máy tòa nhà, cho thấy phát triển vượt bậc nghành công nghệ thông tin Thật từ lâu người phát minh máy tính có khả thực nhiều phép tính giây Ngày sản phẩm ngày hồn thiện đạt tới đỉnh cao công nghệ Tuy nhiên, máy tính, dù có mạnh đến đâu nữa, phải làm việc theo chương trình xác hoạch định trước chuyên gia Trong người làm việc cách học tập rèn luyện Trong làm việc người có khả liên tưởng, kết nối việc với việc khác, quan trọng hết, họ sáng tạo Từ lâu nhà khoa học nhận thấy ưu điểm óc người tìm cách bắt chước để thực máy tính có khả học tập, nhận dạng phân loại Các mạng neural nhân tạo (Artificial Neural Network, ANN) đời từ nỗ lực ANN lãnh vực nghiên cứu rộng lớn phát triển mạnh khoảng 15 năm gần Mạng Neural nhân tạo (Artificial Neural Network- ANN) mô xử lý thông tin, nghiên cứu từ hệ thống thần kinh sinh vật, giống não để xử lý thơng tin Nó bao gồm số lượng lớn mối gắn kết cấp cao để xử lý yếu tố làm việc mối liên hệ giải vấn đề rõ ràng ANNs giống người, học kinh nghiệm, lưu kinh nghiệm hiểu biết sử dụng tình phù hợp Các ứng dụng mạng Neural sử dụng nhiều lĩnh vực điện, điện tử, kinh tế, quân sự… để giải tốn có độ phức tạp địi hỏi có độ xác cao điều khiển tự động, khai phá liệu, nhận dạng… Việc ứng dụng mạng Neural thực tế phục thuộc thuộc nhiều vào chế hoạt động Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học mạng Neural Trong nội dung đề tài chúng em chủ yếu tập trung vào nghiên cứu tác nhân ảnh hưởng đến hoạt động mạng Neural mơ q trình hoạt động mạng Neural CHƯƠNG I TỔNG QUAN VỀ MẠNG NEURAL Lịch sử phát triển mạng neural 1.1 Chúng ta tìm hiểu lịch sử phát triển mạng neural nhân tạo qua mốc thời gian hình thành: - - - - - - Cuối TK 19, phát triển mạng neural chủ yếu cơng việc có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học, nhà khoa học Hermann von Hemholtz, Ernst Mach, Ivan Pavlov Các cơng trình nghiên cứu họ chủ yếu sâu vào lý thuyết tổng quát HỌC (Learning), NHÌN (vision) LẬP LUẬN (conditioning) không đưa mơ hình tốn học cụ thể mơ tả hoạt động Neural Mọi chuyện thực bắt đầu vào năm 1940 với cơng trình Warren McCulloch Walter Pitts Họ nguyên tắc, mạng Neural nhân tạo tính tốn hàm số học hay logic Tiếp theo hai người Donald Hebb, ông phát biểu việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) thực thuộc tính Neural riêng biệt Ông nêu phương pháp học Neural nhân tạo Ứng dụng thực nghiệm Neural nhân tạo có vào cuối năm 50 với phát minh mạng nhận thức (perceptron network) luật học tương ứng Frank Rosenblatt Mạng có khả nhận dạng mẫu Điều mở nhiều hy vọng cho việc nghiên cứu mạng Neural Tuy nhiên có hạn chế giải số lớp hữu hạn toán Cùng thời gian đó, Bernard Widrow Ted Hoff đưa thuật tốn học sử dụng để huấn luyện cho mạng Neural tuyến tính thích nghi, mạng có cấu trúc chức tương tự mạng Rosenblatt Luật học Widrow-Hoff sử dụng Tuy nhiên Rosenblatt Widrow-Hoff vấp phải vấn đề Marvin Minsky Seymour Papert phát ra, mạng nhận thức có khả giải tốn khả phân tuyến tính Họ cố gắng cải Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học - - - 1.2 tiến luật học mạng để vượt qua hạn chế họ không thành công việc cải tiến luật học để huấn luyện mạng có cấu trúc phức tạp Do kết Minsky-Papert nên việc nghiên cứu mạng Neural gần bị đình lại suốt thập kỷ nguyên nhân khơng có máy tính đủ mạnh để thực nghiệm Mặc dù vậy, có vài phát kiến quan trọng vào năm 70 Năm 1972, Teuvo Kohonen James Anderson độc lập phát triển loại mạng hoạt động nhớ Stephen Grossberg tích cực việc khảo sát mạng tự tổ chức (Self organizing networks) Vào năm 80, việc nghiên cứu mạng Neural phát triển mạnh mẽ với đời máy tính Có hai khái niệm liên quan đến hồi sinh này, là: o Việc sử dụng phương pháp thống kê để giải thích hoạt động lớp mạng hồi quy (recurrent networks) dùng nhớ liên hợp (associative memory) cơng trình nhà vật lý học Johh Hopfield o Sự đời thuật toán lan truyền ngược (back-propagation) để luyện mạng nhiều lớp vài nhà nghiên cứu độc lập tìm như: David Rumelhart, James McCelland Đó câu trả lời cho Minsky-Papert Thành phần cấu thành mạng neural Bộ não người chứa khoảng 1011 phần tử liên kết chặt chẽ với (khoảng 104 liên kết phần tử) gọi Neural Dưới mắt người làm tin học, Neural cấu tạo thành phần: tế bào hình (dendrite) - tế bào thân (cell body) – sợi trục thần kinh (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng (Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ngồi Điểm tiếp xúc sợi trục thần kinh Neural tế bào hình Neural khác gọi khớp thần kinh (synapse) Sự xếp Neural mức độ mạnh yếu khớp thần kinh định trình hóa học phức tạp, thiết lập chức mạng Neural Một vài Neural có sẵn từ sinh ra, phần khác phát triển thông qua việc học, có thiết lập liên kết loại bỏ liên kết cũ Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học Cấu trúc mạng Neural luôn phát triển thay đổi Các thay đổi sau có khuynh hướng bao gồm chủ yếu việc làm tăng hay giảm độ mạnh mối liên kết thông qua khớp thần kinh Mạng Neural nhân tạo không tiếp cận đến phức tạp não Mặc dù vậy, có hai tương quan mạng Neural nhân tạo sinh học Thứ nhất, cấu trúc khối tạo thành chúng thiết bị tính tốn đơn giản (mạng Neural nhân tạo đơn giản nhiều) liên kết chặt chẽ với Thứ hai, liên kết Neural định chức mạng Cần ý mạng Neural sinh học hoạt động chậm so với linh kiện điện tử (10-3 giây so với 10-9 giây), não có khả thực nhiều cơng việc nhanh nhiều so với máy tính thơng thường Đó phần cấu trúc song song mạng Neural sinh học: toàn Neural hoạt động cách đồng thời thời điểm Mạng Neural, xem mơ hình liên kết (connectionist models), mơ hình phân bố song song (parallel-distributed models) có đặc trưng phân biệt sau: - Tập đơn vị xử lý Trạng thái kích hoạt đầu đơn vị xử lý Liên kết đơn vị Xét tổng quát, liên kết định nghĩa trọng số wjk cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k Một luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào nó; Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; Một đơn vị điều chỉnh (độ lệch) (bias, offset) đơn vị; Phương pháp thu thập thông tin (luật học - learning rule); Mơi trường hệ thống hoạt động 1.3 Đơn vị xử lý Một đơn vị xử lý (hình vẽ), gọi Neural hay nút (node), thực công việc đơn giản: nhận tín hiệu vào từ đơn vị phía trước hay nguồn bên ngồi sử dụng chúng để tính tín hiệu lan truyền sang đơn vị khác Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án mơn Máy Học Hình 1.1 Đơn vị xử lý (Processing unit) đó: xi : đầu vào wji : trọng số tương ứng với đầu vào θj : độ lệch (bias) aj : đầu vào mạng (net-input) zj : đầu Neural g(x): hàm chuyển (hàm kích hoạt) Trong mạng Neural có ba kiểu đơn vị: Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngồi Các đơn vị đầu (Output units), gửi liệu bên ngồi Các đơn vị ẩn (Hidden units), tín hiệu vào (input) (output) nằm mạng Mỗi đơn vị j có nhiều đầu vào: x0, x1, x2, … xn, có đầu zj Một đầu vào tới đơn vị liệu từ bên ngồi mạng, đầu đơn vị khác, đầu 1.4 Ứng dụng Cùng với thời gian phát triển hình thành mạng neural nhân tạo có nhiều ứng dụng nhiều lĩnh vực: Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học Dùng mạng neural nhân tạo (Artificial neural networks) để điều khiển thiết bị giọng nói tiếng Việt Phép biến đổi Fourier thời gian ngắn – STSF (Short time Fourier Transform) áp dụng để trích đặc trưng tín hiệu tiếng nói Một mạng neural nhân tạo huấn luyện để nhận dạng tiếng nói Việt người nào, họ đọc từ lệnh ‘Trái’, ‘Phải’, ‘Tới’, ‘Lui’ (áp dụng để điều khiển robot) Kết nghiên cứu kiểm chứng qua việc điều khiển từ xa xe vô tuyến Độ xác ước lượng xấp xĩ 90% khả mở rộng tập lệnh cao Aerospace: Phi công tự động, giả lập đường bay, hệ thống điều khiển lái máy bay, phát lỗi Automotive: Các hệ thống dẫn đường tự động cho ô tô, phân tích hoạt động xe Banking: Bộ đọc séc tài liệu, tính tiền thẻ tín dụng Defense: Định vị - phát vũ khí, dị mục tiêu, phát đối tượng, nhận dạng nét mặt, cảm biến hệ mới, xử lý ảnh radar Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích ngun nhân hỏng chip, nhận dạng tiếng nói, mơ hình phi tuyến Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mại qua giấy tờ, phân tích tài liên doanh, dự báo tỷ giá tiền tệ Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page Báo cáo Đồ án môn Máy Học CHƯƠNG II PHƯƠNG THỨC HOẠT ĐỘNG CỦA MẠNG NEURAL 2.1 Mạng neural sinh học Trong não người có vơ số neural, liên kết lại với tạo thành mạng neural Mỗi neural bao gồm thành phần: Dendrites, soma, axon, synapses Dendrites: phần nhận tín hiệu đầu vào Soma: hạt nhân Axon: phần dẫn tín hiệu xử lý Synapses: đường tín hiệu điện hóa giao tiếp Neural Kiến trúc sở não người có vài đặc tính chung Một cách tổng qt, Neural sinh học nhận đầu vào từ nguồn khác nhau, kết hợp chúng với nhau, thực thi tổ hợp phi tuyến chúng kết cuối đầu Hình mối quan hệ bốn phần tử Neural sinh học Hình 2.1 Mơ hình mạng Neural sinh học Một Neural sinh học có số chức vậy, ta nhận thấy khả xử lý thông tin yếu Để có khả xử lý thơng tin hồn hảo não người, Neural phải kết hợp trao đổi thơng tin với Ta hình dung sơ đồ liên kết, trao đổi thơng tin hai Neural hình Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 10 Báo cáo Đồ án môn Máy Học Hình 2.3 Mơ hình mạng Neural nhân tạo Các thành phần bản: X1,X2,….,Xm: Các tín hiệu Input Wpk: Trọng số input f(.): Hàm hoạt động Yk: Kết xuất neural Hàm tổng: Thường dùng để tính tổng tích đầu vào với trọng số liên kết Về mặt tốn học, cấu trúc Neural i mô tả cặp biểu thức sau: n y i = f (neti − θ i ) neti = ∑ wij x j j =1 Trong đó: x1, x2,…,xm tín hiệu đầu vào, w i1, wi2,…,wim trọng số θi kết nối Neural thứ i, net i hàm tổng, f hàm truyền, ngưỡng, yi tín hiệu đầu Neural Như vậy, tương tự Neural sinh học, Neural nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu với trọng số liên kết, tính tổng tích thu Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 12 Báo cáo Đồ án môn Máy Học gửi kết đến hàm truyền), cho tín hiệu đầu (là kết hàm truyền) Hàm truyền có dạng sau: Hàm bước 1 x ≥ y= 0 x < (1.6) Hàm giới hạn chặt (hay gọi hàm bước)  x ≥ y = sgn( x) =  − x < (1.7) Hàm bậc thang x >1 1  y = sgn( x) =  x ≤ x ≤ 0 x0 (1.9) Hàm ngưỡng hai cực y= −1 + e − λx với λ>0 (1.10) Đồ thị dạng hàm truyền biểu diễn sau: Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 13 Báo cáo Đồ án mơn Máy Học Hình 2.4 Đồ thị hàm truyền 2.3 Nguyên lý hoạt động Dựa phương pháp xây dựng Neural trình bày mục trên, ta hình dung mạng Neural hệ truyền đạt xử lý tín hiệu Đặc tính truyền đạt Neural phần lớn đặc tính truyền đạt tĩnh Khi liên kết đầu vào/ra nhiều Neural với nhau, ta thu mạng Neural, việc ghép nối Neural mạng với theo nguyên tắc Vì mạng Neural hệ truyền đạt xử lý tín hiệu, nên phân biệt loại Neural khác nhau, Neural có đầu vào nhận thơng tin từ mơi trường bên ngồi khác với Neural có đầu vào nối với Neural khác mạng, chúng phân biệt với qua vector hàm trọng số đầu vào W Nguyên lý cấu tạo mạng Neural bao gồm nhiều lớp, lớp bao gồm nhiều Neural có chức mạng Hình1.5 mơ hình hoạt động mạng Neural lớp với phần tử Neural Mạng có ba đầu vào x1, x2, x3 hai đầu y1, y2 Các tín hiệu đầu vào đưa đến Neural đầu vào, Neural làm thành lớp đầu vào mạng Các Neural lớp gọi Neural đầu vào Đầu Neural đưa đến đầu vào Neural tiếp theo, Neural không trực tiếp tiếp xúc với mơi trường bên ngồi mà làm thành lớp ẩn, hay gọi lớp trung gian Các Neural lớp có tên Neural nội hay Neural ẩn Đầu Neural đưa đến Neural đưa tín hiệu mơi trường bên ngồi Các Neural lớp đầu gọi Neural đầu Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 14 Báo cáo Đồ án môn Máy Học Hình 2.5 Mơ hình mạng Neural ba lớp Mạng Neural xây dựng mạng gồm lớp mắc nối tiếp từ đầu vào đến đầu Trong mạng không tồn mạch hồi tiếp Một mạng Neural có cấu trúc gọi mạng hướng hay mạng truyền thẳng hướng (Feed forward network), có cấu trúc mạng ghép nối hồn tồn (vì Neural mạng nối với vài Neural khác) Mạng Neural bao gồm hay nhiều lớp trung gian gọi mạng Multilayer Perceptrons) (MLP-Network) Mạng Neural hình thành chưa có tri thức, tri thức mạng hình thành sau trình học Mạng Neural học cách đưa vào kích thích, mạng hình thành đáp ứng tương ứng, đáp ứng tương ứng phù hợp với loại kích thích lưu trữ Giai đoạn gọi giai đoạn học mạng Khi hình thành tri thức mạng, mạng giải vấn đề cách đắn Đó vấn đề ứng dụng khác nhau, giải chủ yếu dựa tổ chức hợp thông tin đầu vào mạng đáp ứng đầu Nếu nhiệm vụ mạng hoàn chỉnh hiệu chỉnh thông tin thu không đầy đủ bị tác động nhiễu Mạng Neural kiểu ứng dụng lĩnh vực hồn thiện mẫu, có ứng dụng cụ thể nhận dạng chữ viết Nhiệm vụ tổng quát mạng Neural lưu giữ động thông tin Dạng thông tin lưu giữ quan hệ thơng tin đầu vào đáp ứng Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 15 Báo cáo Đồ án môn Máy Học đầu tương ứng, để có kích thích tác động vào mạng, mạng có khả suy diễn đưa đáp ứng phù hợp Đây chức nhận dạng theo mẫu mạng Neural Để thực chức này, mạng Neural đóng vai trị phận tổ chức nhóm thơng tin đầu vào, tương ứng với nhóm đáp ứng đầu phù hợp Như vậy, nhóm bao gồm loại thông tin đầu vào đáp ứng đầu Các nhóm hình thành q trình học, khơng hình thành trình học Hình 2.5 số liên kết đặc thù mạng Neural Neural vẽ vòng tròn xem tế bào thần kinh, chúng có mối liên hệ đến Neural khác nhờ trọng số liên kết Tập hợp trọng số liên kết lập thành ma trận trọng số tương ứng 2.4 Phân loại 2.4.1 Mạng dẫn tiến lớp Đây cấu trúc mạng neural đơn giản Mạng neural gồm lớp xuất, khơng có lớp ấn Mỗi Neural phối hợp với Neural khác tạo thành lớp trọng số Mạng lớp truyền thẳng hình 2.7.a Một lớp Neural nhóm Neural mà chúng có trọng số, nhận tín hiệu đầu vào đồng thời Trong ma trận trọng số, hàng thể Neural, hàng thứ j đặt nhãn vector wj Neural thứ j gồm m trọng số wji Các trọng số cột thứ j (j=1,2, ,n) đồng thời nhận tín hiệu đầu vào xj wj = [wj1, wj2, , wjm] Tại thời điểm, vector đầu vào x = [x 1, x2, , xn] nguồn bên cảm biến thiết bị đo lường đưa tới mạng Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 16 Báo cáo Đồ án môn Máy Học (a) Mạng truyền thẳng lớp (b) Mạng hồi tiếp lớp Hình 2.6: Mạng neural lớp 2.4.2 Mạng neural nhiều lớp Mạng neural nhiều lớp giải tốn phi tuyến nhờ vào lớp ẩn Các lớp ẩn xen input bên output mạng Càng nhiều lớp ẩn khả mở rộng thơng tin cao xử lý tốt mạng có nhiều input output Ngồi cịn có mạng hồi quy mạng Neural dạng lưới Mạng Neural nhiều có lớp phân chia thành loại sau đây: Lớp vào lớp Neural nhận tín hiệu vào x i (i = 1, 2, , n) Mỗi tín hiệu xi đưa đến tất Neural lớp đầu vào Thông thường, Neural đầu vào khơng làm biến đổi tín hiệu vào xi, tức chúng khơng có trọng số khơng có loại hàm chuyển đổi nào, chúng đóng vai trị phân phối tín hiệu Lớp ẩn lớp Neural sau lớp vào, chúng không trực tiếp liên hệ với giới bên lớp Neural vào/ra Lớp lớp Neural tạo tín hiệu cuối Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 17 Báo cáo Đồ án mơn Máy Học Hình 2.7 Mạng neural nhiều lớp 2.4.3 Mạng neural hồi quy Mạng Neural phản hồi thực đóng vịng gọi mạng Neural hồi quy hình 1.6d Mạng Neural hồi quy có trọng số liên kết đối xứng mạng Hopfield, mạng hội tụ trạng thái ổn định (Hình 1.6.b) Mạng BAM thuộc nhóm mạng Neural hồi quy, gồm lớp liên kết chiều, khơng gắn với tín hiệu vào/ra Nghiên cứu mạng Neural hồi quy mà có trọng số liên kết khơng đối xứng, gặp phải vấn đề phức tạp nhiều so với mạng truyền thẳng mạng hồi quy có trọng số liên kết đối xứng 2.4.4 Mạng neural Hopfield Mạng Hopfield mạng phản hồi lớp, hình 7.b Cấu trúc chi tiết thể hình Khi hoạt động với tín hiệu rời rạc, gọi mạng Hopfield rời rạc, cấu trúc gọi mạng hồi quy Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 18 Báo cáo Đồ án môn Máy Học Hình 2.8 Cấu trúc mạng Hopfield Như mạng Hopfield vẽ trên, ta thấy nút có đầu vào bên x j θj giá trị ngưỡng (j = 1,2, n) Một điều quan trọng cần nói nút khơng có đường phản hồi Nút đầu thứ j nối tới đầu vào ≠ nút khác qua trọng số wij, với i j, (i = 1,2, ,n), hay nói cách khác wii = 0, (với i = 1,2, ,n) Một điều quan trọng trọng số mạng Hopfield đối xứng, tức w ij = wji, (với i,j = 1,2, ,n) Khi đó, luật cập nhật cho nút mạng sau: y ( k +1) i  n    (k ) = sgn ∑ wij y j + xi − θ ,  jj =1   ≠i  i = 1,2, ,n (1.11) Luật cập nhật tính tốn cách thức khơng đồng Điều có nghĩa là, với thời gian cho trước, có nút mạng cập nhật đầu Sự cập nhật nút sử dụng đầu cập nhật Nói cách khác, hình thức hoạt động khơng đồng mạng, đầu cập nhật độc lập Có khác biệt luật cập nhật đồng luật cập nhật không đồng Với luật cập nhật khơng đồng có trạng thái cân hệ (với giá trị đầu xác định trước) Trong đó, với luật cập nhật đồng làm mạng hội tụ điểm cố định vòng giới hạn 2.4.5 Mạng BAM Bao gồm hai lớp xem trường hợp mở rộng mạng Hopfield Ở ta xét mạng rời rạc, đơn giản dễ hiểu Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 19 Báo cáo Đồ án mơn Máy Học Hình 2.9 Cấu trúc mảng BAM Khi mạng Neural tích cực với giá trị đầu vào vector đầu vào lớp, mạng có hai mẫu trạng thái ổn định, với mẫu đầu lớp Tính động học mạng thể dạng tác động qua lại hai lớp Cụ thể hơn, giả sử vector đầu vào x cung cấp cho đầu vào lớp Neural y Đầu vào xử lý truyền tới đầu lớp y sau: y’ = a(wx) ;   y i' = a ∑ wij x j      ; với i = 1,2, ,n (1.12) Ở a(.) hàm truyền, vector y’ lại nuôi trở lại lớp Neural X tạo nên đầu sau: x’ = a(wTy’);  n  x j = a ∑ wij y i   i =1  ; với j = 1,2, ,m (1.13) Sau x’ ni trở lại đầu vào lớp y tạo hàm y’’ theo phương trình (1.12) Quá trình tiếp tục, bao gồm bước sau: y(1) = a(wx(0)) (truyền thẳng lần thứ nhất) x(2) = a(w(T)y(1)) (truyền ngược lần thứ nhất) y(3) = a(wx(2)) (truyền thẳng lần thứ hai) x(4) = a(w(T)y(3)) (truyền ngược lần thứ hai) (1.14)  Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 20 Báo cáo Đồ án môn Máy Học y(k-1) = a(wx(k-2)) x(k) = a(w(T)y(k-1)) (truyền thẳng lần thứ k/2) (truyền ngược lần thứ k/2) Chú ý trạng thái cập nhật phương trình (1.14) đồng theo phương trình (1.12) (1.13) Trạng thái cập nhật khơng đồng theo phương trình (1.12) (1.13) với nút i, j chọn tự Người ta rằng, hệ thống ổn định cho hai chế độ đồng không đồng Tuy nhiên, chế độ đồng làm cho hệ thống hội tụ nhanh nhiều Một số nghiên cứu ứng dụng ANN quản lý xây dựng Florence Yean Yng (Singapore) MinLiu (USA): Đã nghiên cứu “ứng dụng Neural network để dự báo kế hoạch thực xây dựng dự án Singapore” Theo nghiên cứu tác giả thực 11 phép đo, 65 nhân tố tác động đến thành công 33 dự án trước Chỉ phép đo dự báo thành cơng kế hoạch thực dự án với mức độ xác hợp lý: tầm quan trọng dự án, tốc độ xây dựng, tốc độ giải vấn đề khó khăn, luân phiên thay công nhân nghỉ việc, chất lượng hệ thống thiết bị Về lĩnh vực dự tốn chi phí cho dự án: Tarek Hegazy Amr Ayed ứng dụng ANN để dự tốn chi phí cho dự án đường cao tốc Hoijat Adeli Mingyang Wu dự toán giá bê tông cốt thép vỉa hè cho dự án xây dựng đường Xishi Huang, Danny Ho, Jing Ren, Luiz F.Caprest ứng dụng Neural Fuzzy phát triển mơ hình COMOCO, sở liệu kinh nghiệm dự án trước đây, mơ hình cho phép ước lượng chi phí dự án khác lớn ứng dụng ước lượng chi phí dự án công nghiệp Jason Portas Simaan AbouRizk ứng dụng mơ hình Neural network để đánh giá khả sản xuất xây dựng Irem Dikmen M Talat Birgonul ứng dụng ANN để đánh giá thị trường quốc tế định thực dự án, dựa nhân tố dự án quốc tế gồm: nguồn tiền, khối thị trường, thành công kinh tế, kiểu hợp đồng, hệ số rủi ro Hashem Al- Tabtabai ứng dụng ANN để xây dựng mơ hình phân tích kinh nghiệm hệ thống dự báp cho dự án xây dựng Trên sở liệu dự án trước Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 21 Báo cáo Đồ án môn Máy Học về: tiến độ thực nhà thầu, dòng ngân lưu, vật liệu thiết bị, thời tiết môi trường, phần trăm cơng việc hồn thành, chất lượng, giá vật tư, thuế, bảo hiểm để dự báo phần trăm thay đổi kế hoạch, phần trăm thay đổi chất lượng, công nhân lao động sản xuất, thay đỏi mức lương lao động, thay đổi giá vật tư, thay đổi chi phí đầu tư, thay đổi chi phí q trình thực dự án VK Gupta, JG Chen, MB Murtaza ứng dụng để phân loại dự án xây dựng công nghiệp, theo biến quan hệ: vị trí xây dựng, lao động, vấn đề tổ chức, đặc điểm khu vực, rủi ro dự án môi trường Như ứng dụng ANN quản lý dự án xây dựng cho phép giải dự báo vấn đề chi phí, chất lượng, kế hoạch - tiến độ nhưu tưu vấn định thực dự án Nhóm tác giả thực nghiên cứu dự báo chi phí thực tế dự án xây dựng ứng dụng ANN xây dựng phần mềm để áp dụng nghiên cứu nói vào thực tế Việt Nam Hy vọng tương lai có nhiều nhà nghiên cứu Việt Nam tiếp tục phát triển ứng dụng ANN vào ngành xây dựng nói chung lĩnh vực quản lý xây dựng nói riêng CHƯƠNG III CHƯƠNG TRÌNH MƠ PHỎNG HOẠT ĐỘNG MẠNG NEURAL Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 22 Báo cáo Đồ án môn Máy Học 3.1 Giao diện chương trình: 3.1.1 Form tổng thể chương trình: Hình 3.1 Form tổng thể chương trình 3.1.2 Mẫu file excel ghi tọa độ điểm mạng neural qua Hình 3.2 Mẫu file exel ghi tọa độ điểm neural qua Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 23 Báo cáo Đồ án môn Máy Học 3.2 Công cụ sử dụng Ngôn ngữ lập trình Sử dụng ngơn ngữ lập trình C# với cơng cụ lập trình Visual Studio 2008 3.3 Mơ tả liệu • • Đầu vào : o Tập liệu file excel định dạng *.csv o Các tác nhân, tác động ảnh hưởng đến hoạt động mạng Neural Đầu : Mô hoạt động mạng Neural qua điểm đầu vào 3.4 Kết thực nghiệm • Biểu diễn tọa độ điểm đầu vào (x, y) giao diện • Xử lý thông tin, gắn tác nhân tác động lên hoạt động mạng Neural • Mơ hình vẽ đường hoạt động mạng Neural qua điểm đầu vào • Hiển thị số lần lặp trình hoạt động mạng Neural tác nhân tác động lên KẾT LUẬN Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 24 Báo cáo Đồ án môn Máy Học Mặc dù, cố gắng phân tích tìm hiểu đề tài kiến thức cịn hạn hẹp, khơng tránh khỏi thiếu xót Chúng em mong nhận nhiều ý kiến đóng góp, góp ý đề tài thầy bạn để chúng em rút kinh nghiệm kiến thức chưa rõ, để cách tiếp cận tốt để hồn thiện mạng nơ ron Bài tập lớn nhóm em hồn thành, đạt thành cơng ban đầu: Tìm hiểu sâu rõ khái niệm Neural ứng dụng Tiếp xúc xử dụng thuật đa dạng Cơ hội thực hành thực tế, xây dựng chương trình cụ thể Tuy nhiên, số hạn chế: Mức độ tìm hiểu cịn sơ sài, đơn giản, chưa mang đến tính hiệu cao để giải tốn triệt để Chương trình xây dựng chưa có tính thực tế cao, chưa đáp ứng yêu cầu thực tế Đề tài lần thử sức với chúng em để có thêm kinh nghiệm quý báu q trình học tập Mơn Máy Học Em xin chân thành cảm ơn Cô Nguyễn Thị Thu Hà giúp đỡ chúng em hoàn thành tập này! Hà Nội, tháng 12 năm 2011 TÀI LIỆU THAM KHẢO [1] Artificial Intelligence and cognitive science � 2006, Nils J Nilsson Stanford AI Lab Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 25 Báo cáo Đồ án môn Máy Học [2] Off-line Handwriting Recognition Using Artificial Neural Networks � 2000, Andrew T Wilson University of Minnesota, Morris [3] Using Neural Networks to Create an Adaptive Character Recognition System � 2002, Alexander J Faaborg Cornell University, Ithaca NY [4] Hand-Printed Character Recognizer using Neural Network � 2000, Shahzad Malik [5] Neural Networks and Fuzzy Logic � 1995, Rao, V., Rao, H MIS Press, New York [6] website: http://www.codeproject.com/ Sinh viên thực hiện: Nguyễn Trọng Thắng, Bùi Thanh Tân, Hoàng Tùng Giảng viên hướng dẫn: Th.S Nguyễn Thị Thu Hà Page 26 ... sau: Tìm hiểu đề tài Tìm hiểu nghiên cứu tài liệu lý thuyết liên quan tới chương trình mơ hoạt động mạng neural Xây dựng cài đặt chương trình Kiểm tra viết báo cáo Mục tiêu đề tài Tìm hiểu lý thuyết. .. thuyết mạng neural, nghiên chế, phương thức hoạt động mạng neural xây dựng chương trình mơ hoạt động mạng neural Cấu trúc đề tài Cấu trúc đề tài gồm có chương : Chương Tổng quan mạng neural Chương. .. án môn Máy Học mạng Neural Trong nội dung đề tài chúng em chủ yếu tập trung vào nghiên cứu tác nhân ảnh hưởng đến hoạt động mạng Neural mơ q trình hoạt động mạng Neural CHƯƠNG I TỔNG QUAN VỀ MẠNG