Luận văn thạc sĩ mạng noron nhân tạo và ứng dụng trong gom cụm sản phẩm

Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI • • _• _• NGUYỄN TRỌNG NGỌC MẠNG NƠRON NHÂN TẠO VÀ ỨNG DỤNG TRONG GOM CỤM SẢN PHẨM LUẬN VĂN THẠC sĩ MÁY TÍNH HÀ NỘI, 2015 TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI • • _• _• NGUYỄN TRỌNG NGỌC MẠNG NƠRON NHÂN TẠO VÀ ỨNG DỤNG TRONG GOM CỤM SẢN PHẨM Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC sĩ MÁY TÍNH Ngưòi hướng dẫn khoa học PGS TS LÊ BÁ DŨNG Tôi xin bày tỏ lời cảm ơn chân thành tới tập thể thầy cô giáo Viện công nghệ thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam, thầy cô giáo Trường Đại học Sư Phạm Hà Nội II tận tình giảng dạy tạo điều kiện để học tập nghiên cứu năm học cao học Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo PGS.TS Lê Bá Dũng cho nhiều bảo quý báu, tận tình hướng dẫn tạo điều kiện cho hoàn thành tốt luận văn tốt nghiệp Quá trình thực đề tài không tránh khỏi thiếu sót, mong tiếp tục nhận đóng góp ý kiến thầy, cô giáo, bạn đồng nghiệp đề tài nghiên cứu để đề tài hoàn thiện Tôi xin trân trọng cảm ơn! Hà Nội, ngày tháng năm 2015 Tên là: Nguyễn Trọng Ngọc Lớp: Cao học KI7 Khóa học: 2013 - 2015 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 01 Cơ sở đào tạo: Truờng Đại học Su Phạm Hà Nội II Giáo viên huớng dẫn: PGS.TS Lê Bá Dũng Cơ quan công tác: Viện công nghệ thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam Tôi xin cam đoan luận văn "Mạng Nơron nhân tạo ứng dụng gom cụm sản phẩm ’’ công trình nghiên cứu riêng Các số liệu sử dụng luận văn trung thực, kết nghiên cứu đuợc trình bày luận văn chua đuợc công bố công trình khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn đuợc cảm ơn thông tin trích dẫn luận văn đuợc rõ nguồn gốc Hà Nội, ngày Tháng năm 2015 Học viên Nguyễn Trọng Ngọc Tên bảng ANN Artificial Noron Network Mạng Bảng 3.1: Bảngnơron liệu thống nhân tạokê kết phân loại hoa theo SOM (Self-Organizing Maps) nơronhoa tự tổ chiều dài, chiềuMạng rộng cánh vàchức đài hoa PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống khoảng cách EM (Expectation maximization) Thuật toán tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu mở rộng BMU (Best - Matching unit) Đơn vị phù họp Tran g 53 TT Hình vẽ Trang Hình 1.1 Mô hình nơron nhân tạo Hình 1.2 Đồ thị dạng hàm truyền Hình 1.3 Mạng truyền thẳng lớp Hình 1.4 Mô tả cấu trúc mạng nơron truyền thẳng nhiều lớp Hình 1.5 Mạng hồi quy lớp có nối ngược Hình l.ó.Mạng hồi quy nhiều lớp có nối Hình 1.7.Sơ đồ học có giám sát 11 Hình 1.8.Sơ đồ học tham số giám sát 12 Hình 1.9 Sơ đồ học tăng cường 10 Hình 1.10 Truyền tin mạng Nơron 12 13 11 Hình 1.11 Mô hình phần tử xử lý 14 12 13 Hình 1.12 Hàm Chuyển 15 Hình 1.13 Mô hình nơron nhân tạo 16 14 Hình 1.14 Đồ thị dạng hàm truyền 15 Hình 1.15 Mạng nơron lớp 18 19 16 17 Hình 1.16 Một số dạng mạng nơron 18 19 Hình 1.18 Cấu trúc mạng SOM Hình 2.1 Đơn vị xử lý ganh đua 28 32 20 Hình 2.2 Không gian ban đầu cho SOM 33 21 Hình 2.3 Các lân cận 35 22 23 Hình 2.3 BMU 36 Hình 2.4 Hai hàm lân cận 37 Hình 1.17 Cấu trúc mạng Hopííeld 22 23 TT 24 25 26 27 28 Hình vẽ Hình 2.5 Vectơ chiến thắng liên tục SOM có 30x40 nơron cho liệu hỗn họp Gauxơ Hình 2.6: Định nghĩa U-Matrix Trang 43 44 Hình 2.7: U-Matrix SOM 44 Hình 3.la: Thực phẩm trước phân loại 49 Hình 3.1b Phân loại thực phẩm theo thuộc tính sử dụng 49 29 mạng Kohonen Hình 3.2 Sơ đồ khối thuật toán trình phân loại sản phẩm 51 30 Hình 3.3 Thuật toán phân cụm sản phẩm 58 31 Hình 3.4a 50 loại hoa Hoa Lan phân vào cụm 59 32 33 Hình 3.4b 50 loại hoa Hoa Hong phân vào cụm Hình 3.4c 50 loại hoa Hoa Loa Ken phân vào 59 60 cụm 34 35 36 Hình 3.5a Ba loại hoa phân thành cụm sản phẩm theo chiều dài rông đài hoa cánh hoa Hình 3.5b Kết gom cụm sản phẩm ba lo hoa theo độ dài rộng đài hoa cánh hoa Hình 3.6 Mô hình phân loại sản phẩm 61 62 65 MỞ ĐẦU Lý chọn đề tài Mạng Nơron nhân tạo nói chung, mạng KOHONEN nói riêng chu dề quan tâm nhiều tác giả nuớc Các nghiên lĩnh vực học thuật nhu ứng dụng có nhiều kết Với trình phân cụm lieu hay phân loại sản phẩm đuợc phát triển áp dụng nhiều lĩnh vực khác nhau, bao gồm: nhận dạng, phân tích liệu, nghiên cứu thị truờng, phân loại Trong đó, việc áp dụng kỹ thuật phân cụm liệu để phân loại sản phẩm huớng nghiên cứu quan trọng Bởi vì, Sản phẩm kết thu đuợc trình thực đuợc áp dụng nhiều lĩnh vực khác nhu: y học, vật lý, hóa học, tìm kiếm tội phạm Mục đích chung việc phân loại sản phẩm là: xử lý liệu đầu vào để có đuợc sản phẩm theo yêu cầu cụ thể; phân tích thuộc tính để thu đuợc thông tin đặc trung sản phẩm nhằm hỗ trợ cho việc phân loại nhận biết sản phẩm; phân tích thuộc tính để nhận diện đuợc thành phần sản phẩm nhằm nhận biết đuợc thuộc tính sản phẩm mức độ cao đuợc gợi ý thầy huớng dẫn nhận thấy tính thiết thực vấn đề em chọn đề tài: “Mạng Nơron nhân tạo ứng dụng gom cụm sản phẩm “ làm khoá luận tốt nghiệp cho luận văn tốt nghiệp Mục đích nghiên cứu + Giới thiệu tống quan mạng Nơron + Trình bày số phuơng pháp phân phân cụm liệu + Xây dựng hệ thống phân loại sản phấm sử dụng kỹ thuật phân cụm mạng nơron + Nâng cao hiệu độ xác việc xử lý sản phấm dựa vào việc phân tích thuộc tính sản phẩm dựa vào lý thuyết phân cụm mạng nơron Nhiệm vụ nghiên cứu + Hiểu rõ khái niệm, thuật toán phân cụm liệu + ứng dụng phân cụm liệu, mạng Nơron vào thực tiễn, đua đến xử lý vấn đề có sử dụng thành tựu Công nghệ thông tin + Là huớng xử lý ảnh thông qua sử dụng phuơng pháp tính toán mềm công nghệ thông tin Đối tượng phạm vi nghiên cứu + Tìm hiểu mạng Nơron cụ thể mạng Nơron Kohonen + Tìm hiểu số phương pháp phân phân cụm liệu + Tìm hiểu mạng nơron ứng dụng cho phân loại sản phẩm Phương pháp nghiên cứu + Thu nhập nghiên cứu khai phá tri thức, phân cụm liệu, xây dựng mạng nơron, ứng dụng mạng nơron phân loại sản phẩm + Tham khảo tài liệu liên quan Việt nam Internet + Tham dự buổi thuyết trình, báo cáo kết quả; trao đổi với thầy cô đồng nghiệp, tổng họp kiến thức liên quan để phục vụ đề tài CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO, CẤU TRÚC VÀ MÔ HÌNH MẠNG NƠRON KOHONEN 1.1 Tổng quan mạng Nơron 1.1.1 Mô hình môt Nơron sinh hoc •• Phần tử xử lý mạng nơron sinh học nowrron, phần tử chia làm bốn thành phần sau: dendrites, soma, axon, synapes + Dendrites: phần nhận tín hiệu đầu vào + Soma: hạt nhân + Axon: phần dẫn tín hiệu xử lý + Synapses: đường tín hiệu điện hóa giao tiếp nowrron Kiến trúc sở não người có vài đặc tính chung Một cách tổng quát, mạng nowrron sinh học nhận đầu vào từ nguồn khác nhau, kết họp chúng lại với nhau, thực thi tổ họp phi tuyến chúng kết cuối đầu 1.1.2 Mạng Nơron nhân tạo a Mô hình mạng Nơron nhân tạo Mô hình toán học mạng Nơron sinh học đề xuất McCulloch Pitts, thường gọi Nơron M-P, gọi phần tử xử lý ký hiệu PE (Processing Element) Mô hình Nơron có m đầu vào Xi, x2, , xm, đầu yi sau: Delta cho mạng nhiều lớp Đối với mạng truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng số với tín hiệu đạo từ bên người ta gọi mạng mạng lan truyền ngược Hình 1.7 Sơ đồ học tham số có giám sát + Học giám sát: Luật học sử dụng đầu mạng làm sở để hiệu chỉnh trọng số liên kết Hay luật tín hiệu mạng Điển hình luật Hebb (1949) thường dùng cho mạng tự liên kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức lớp thuộc lớp mạng ánh xạ đặc trưng Kohonen Luật học Hebb luật sinh học xuất phát từ tiên đề Hebb cho rằng: Giữa hai Nơron có quan hệ có thay đổi mạng chúng có thay đổi trọng số liên kết Nói cách khác, trọng số điều chỉnh theo mối tương quan trước sau, nghĩa là: (18) Trong đó: AỊV ij ’ : Là thay đôi trọng sô liên kêt từ Nơron j đên Nơron i Xj: tín hiệu vào Nơron j yi: tín hiệu Nơron i ^ tốc độ học, nằm khoảng (0,1) Luật Hebb giải thích việc chỉnh trọng số phạm vi cục mạng mà không cần tín hiệu đạo từ bên Hopííeld cải tiến luật Hebb cho mạng tự liên kết thành 16 dạng khác theo kiểu luật Hebb, luật đối Hebb, luật Hopííeld Nhu vậy, ứng với nhóm mạng thuờng áp dụng luật học định Nếu tồn hàng chục loại mạng khác luật học dùng mạng Nơron tăng lên nhiều lần Đối với mạng phản hồi thuờng sử dụng luật Hebb luật cải tiến TínHệurto Mạng nơron ThHặuỉB * để chỉnh trọng số mà không cần tín hiệu đạo từ bên Hình 1.8 Sơ đồ học tham số giám sát + Học tăng cường: Trong số truờng họp, thông tin phản hồi tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu mạng hay sai Quá trình học dựa thông tin huớng dẫn nhu đuợc gọi học có củng cố (học tăng cuờng) tín hiệu mang thông tin phản hồi đuợc gọi tín hiệu củng cố cho trình học Ta thấy trình học dạng trình học có tín hiệu đạo mạng nhận đuợc số thông tin phản hồi từ bên Hình 1.9 Sơ đồ học tăng cường * Hoc cấu trúc Tìm kiếm tham số cấu trúc mạng để tìm cấu trúc mạng hoạt động tốt Trong thực tế, việc học cấu trúc tìm số lớp ẩn tìm số Nơron lớp Giải thuật di truyền thuờng đuợc sử dụng cấu trúc nhung thuờng chạy lâu, chí mạng có kích thuớc trung bình Ngoài kỹ thuật gọt tỉa mạng hay mạng tăng dần đuợc áp dụng việc học cấu trúc mạng có kích thuớc tuơng đối nhỏ 1.2 Các khái niệm chung mạng Nơron 1.2.1 Truyền tin mạng Nơron Inputs Weights *1x er - - —(ST X, Neuron = WịXị Output j Summatio ns ~r?\ Ĩ Transfer function Hình 1.10 Truyền tin mạng Nơron Inputs: Mỗi Input tuơng ứng với thuộc tính (attribute) liệu (patterns) Ví dụ nhu ứng dụng ngân hàng xem xét có chấp nhận cho khách hàng vay tiền hay không Input thuộc tính khách hàng nhu thu nhập, nghề nghiệp, tuối, số con, Output: Kết ANN giải pháp cho vấn đề, ví dụ nhu với toán xem xét chấp nhận cho khách hàng vay tiền hay không output yes (cho vay) no (không cho vay) Connection Weights (Trọng số liền kết) : Đây thành phần quan trọng ANN, thể mức độ quan trọng (độ mạnh) liệu đầu vào trình xử lý thông tin (quá trình chuyển đổi liệu từ Layer sang layer khác) Quá trình học (Learning Processing) ANN thực trình điều chỉnh trọng số (Weight) input data để có đuợc kết mong muốn Summation Function (Hàm tổng): Tính tổng trọng số tất input đuợc đua vào Neuron (phần tử xử lý PE) Hàm tổng Neuron n input đuợc tính theo công thức sau: n ị ì i=1 f r (1.9) Hàm tông đôi với nhiêu Neurons Layer (Xem hình b): ti (1.10) (a) Single neuron y = y XÉWẦ (b) Several neurons y, =X,1/V„ + X W , Y z =x, W Ì Z + x W ^ YI =X2W23 Hình 1.11 Mô hình phân tử xử lỷ 1.2.2 Transformation (Transfer) Function (Hàm chuyển đổi) Hàm tổng (Summation Function) Neuron cho biết khả kích hoạt (Activation) neuron gọi kích hoạt bên (internal activation) Các Nueron sinh output không ANN (nói cách khác output Neuron đuợc chuyển đến layer tiếp mạng Neuron theo không) Mối quan hệ Internal Activation kết (output) đuợc thể hàm chuyển đổi (Transfer Function) Summation function: Y= (0.2) + 1(0.4) + 2(0.1) = 1.2 Transformation (transfer) function: VjT=1/ (1 + e-12) = 77 Xi = = 0,2 X2 = Wg = ũ.4 ^V^r^cessmqN Y- 1/1/3 = 0.1 >^lemenV X3-2 > Hình 1.12 Hàm chuyển Việc lựa chọn Transfer Function có tác động lớn đến kết ANN Hàm chuyển đổi phi tuyến đuợc sử dụng phổ biến ANN sigmoid (logical activation) function Y t = 1/(1 + e ) y (1.10) Trong : Yt: Hàm chuyển đổi Y: Hàm tổng Kết Sigmoid Function thuộc khoảng [0,1] nên cỏn gọi hàm chuẩn hóa (Normalized Function) Kết xử lý Neuron (Output) lớn, transfer function đuợc sử dụng để xử lý output truớc chuyển đến layer Đôi thay sử dụng Transfer Function nguời ta sử dụng giá trị ngưỡng (Threshold value) để kiểm soát output neuron layer trước chuyển output đến Layer Nếu output neuron nhỏ Threshold sẻ không chuyển đến Layer 1.3 Mô hình toán học mạng Nơron 1.3.1 Cấu trúc mạng Nơron a Cấu trúc mô hình môt nơron nhân tao *• Mô hình toán học mạng nơron sinh học đề xuất McCulloch Pitts [2], thường gọi nơron M-P, gọi phần tử xử lý ký hiệu PE Mô hình nơron có m đầu vào Xi, x2, , xm, đầu yi sau: Hình 1.13 Mô hình norron nhân tạo Giải thích thành phần bản: - Tập đầu vào: Là tín hiệu vào nơron, tín hiệu thường đưa vào dạng vector m chiều - Tập liên kết (các trọng số): Mỗi liên kết thể trọng sổ liên kết Trọng sổ liên kết tín hiệu vào thứ j cho nơron i thường ký hiệu Wij Thông thường trọng số khởi tạo ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng - Bộ tổng (hàm tổng): Thường dùng để tính tổng tích đầu vào với trọng số liên kết - Ngưỡng: Ngưỡng thường đưa vào thành phần hàm truyền - Hàm truyền: Hàm dùng để giới hạn phạm vi đầu nơron Nó nhận đầu vào kết hàm tổng ngưỡng cho Thông thường, phạm vi đầu nơron giới hạn đoạn [0,1] [- 1,1] Các hàm truyền đa dạng, hàm tuyến tính phi tuyến Việc lựa chọn hàm truyền tùy thuộc vào toán kinh nghiệm người thiết kế mạng - Đầu ra: Là tín hiệu đầu nơron, với nơron có tối đa đầu mặt toán học, cấu trúc nơron i mô tả cặp biểu thức sau: y =f(neti -0i ) neti =Xwijxj Trong đó: Xi, x2, .xm tín hiệu đầu vào, Wii, wi2, ,wim trọng số kết nối nơron thứ i, neti hàm tổng, f hàm truyền, 0i ngưỡng, y¿ tín hiệu đầu nơron Như vậy, tương tự nơron sinh học, nơron nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu vớitrọng số liên kết, tính tổng tích thu gửi kết đếnhàm truyền), vàcho tínhiệu đầu (là kết hàm truyền) Hàm truyền có dạng sau: _ kkix > w A'hix < Ũ Hàm bước (1.20) Hàm giới hạn chặt (hay gọi lả hâm buổrc) y = sgn(x) ì x£0 -1 klii K < ì Hầm bậc thang y = sgii(x) = 1.2 1) ( X>1 X kh i £ x £ l -1 X Q } l+e* - Đồ thị dạng hàm truyền- biểu diễn sau: (đ) Hàm ngưỡng đon cực (e) Hàm ngưỡng hai cực (12 3) (1.24) tigưủng liai cực Hình 1.14, Đồ thị dạng hàm truyền b Mô hình mạng norron nhân tạo Dựa phương pháp xây dụng nơron trình bày mục trên, ta hình dung mạng nơron ỉà hệ truyền đạt xử ỉý tín hiệu Đặc tính truyền đạt nơron phần lớn đặc tính truyền đạt tĩnh Khi liên kết đầu vào/ra nhiều nơron với nhau, ta thu mạng nơron, việc ghép nối nơron mạng với theo nguyên tắc Vì mạng nơron hệ truyền đạt xử lý tín hiệu, nên phân bỉệt loại nơron khác nhau, nơron có đầu vào nhận thông tin từ môi trường bên khác với nơron có đầu vào nối với nơron khác mạng, chúng phân biệt với qua vector trọng số đầu vào w Nguyên lý cấu tạo mạng nơron bao gồm nhiều lớp, lớp bao gồm nhiều nơron có chức mạng Hình 1.4 mô hình hoạt động mạng nơron lớp với phần tử nơron Mạng có ba đầu vào Xi, x2, x3 hai đầu yi, y 2- Các tín hiệu đầu vào đưa đến nơron đầu vào, nơron làm thành lớp đầu vào mạng Các nơron lớp gọi nơron đầu vào Đầu nơron đưa đến đầu vào nơron tiếp theo, nơron không trực tiếp tiếp xúc với môi trường bên mà làm thành lớp ẩn, hay gọi lợp trung gian Các nơron lớp có tên nơron nội hay nơron ẩn Đầu nơron đưa đến nơron đưa tín hiệu môi trường bên Các nơron lớp đầu gọi nơron đầu Lóp vào Lap ẩn Lớp Hình 1*15« Mạng norron ỉứp Mạng nơron xây dựng mạng gồm lớp mắc nối tiếp từ đầu vào đến đầu Trong mạng không tồn mạch hồi tiếp Một mạng nơron có cấu trúc gọi mạng hướng hay mạng truyền thẳng hướng có cấu trúc mạng ghép nối hoàn toàn (vì nơron mạng nối với vài nơron khác) Mạng nơron bao gồm hay nhiều lớp trung gian gọi mạng Multilayer Perceptrons (MLP-Network) Mạng nơron hình thành chưa có tri thức, tri thức mạng hình thành sau trình học Mạng nơron học cách đưa vào kích thích, mạng hình thành đáp ứng tương ứng, đáp ứng tương ứng phù họp với loại kích thích lưu trữ Giai đoạn gọi giai đoạn học mạng Khi hình thành tri thức mạng, mạng giải vấn đề cách đắn Đó vấn đề ứng dụng khác nhau, giải chủ yếu dựa tổ chức họp thông tin đầu vào mạng đáp ứng đầu Nếu nhiệm vụ mạng hoàn chỉnh hiệu chỉnh thông tin thu không đầy đủ bị tác động nhiễu Mạng nơron kiểu ứng dụng lĩnh vực hoàn thiện mẫu, có ứng dụng cụ thể nhận dạng chữ viết Nhiệm vụ tống quát mạng nơron lưu giữ động thông tin Dạng thông tin lưu giữ quan hệ thông tin đầu vào đáp ứng đầu tương ứng, để có kích thích tác động vào mạng, mạng có khả suy diễn đưa đáp ứng phù hợp Đây chức nhận dạng theo mẫu mạng nơron Đe thực chức này, mạng nơron đóng vai trò phận tố chức nhóm thông tin đầu vào, tương ứng với nhóm đáp ứng đầu phù hợp Như vậy, nhóm bao gồm loại thông tin đầu vào đáp ứng đầu Các nhóm hình thành trình học, không hình thảnh trình học * Mạng nơron lớp Mỗi nơron phối hợp với nơron khác tạo thành lớp trọng số Mạng lớp truyền thẳng hình 1.13.a Một lớp nơron nhóm nơron mà chúng có trọng số, nhận tín hiệu đầu vào đồng thời Trong ma trận trọng số, hàng thể nơron, hàng thứ j đặt nhãn vector Wj nơron thứ j gồm m trọng số Wji Các trọng sé cột thứ j (j=l,2, ,n) đồng thời nhận tín hiệu đầu vào Xj Wj = [Wji, Wj2, , WjJ Tại thời điểm, vector đầu vào X = [Xi, x 2, , xj nguồn bên cảm biến thiết bị đo lường đưa tới mạng fal Mang truvên thăng mỏt lởp fbl Mang hồi tiếp mốt 1ỞP íc) Mạng truyền thẳng nhiều lởp Hình 1.16 Một số dạng mạng norron 1.3.2 Mạng nơron truyền thẳng nhiều lứp Mạng nơron nhiều lớp Hình 1.13.C có lớp phân chia thành loại sau đây: Lớp vào lợp nơron nhận tín hiệu vào hiệu Xi Xi (i = 1,2, , n) Mỗi tín đưa đến tất nơron lớp đầu vào« Thông thường nơron đầu vào không làm biến đổi tín hiệu vào Xi, tức chúng không cỏ trọng sé loại hàm chuyển đổi nào, chúng đóng vai trò phân phốỉ tín hiệu Lớp ẩn lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với giới bên lớp nơron vào/ra Lớp lớp nơron tạo tín hiệu cuối 1.3.3 Mạng HopHeld Mạng Hopíỉeld mạng phản hồi lóp, ừong hình 1.13.b Cấu trúc chi tiết thể hình 1.14 Khi hoạt động với tín hiệu rời rạc, gọi mạng Hopííeld rời rạc, cấu trúc gọi mạng hồi quy Hình 1.17 Cấu trúc mạng Hopỉìeld Như mạng Hopíìeld hình 1.6, ta thấy nút có đầu vào bên Xj giá trị ngưỡng 9j (j = l,2, n) Một điều quan trọng cần nói nút đường phản hồi Nút đầu thứ j nối tới đầu vào nút khác qua trọng số Wij, với i j, (i = l,2, ,n), hay nói cách khác Wii = 0, (với i = l,2, ,n) Một điều quan trọng trọng số mạng Hopííeld đối xứng, tức Wịj = Wji, (với i,j = l,2, ,n) Khi đó, luật cập nhật cho nút mạng sau: Luật cập nhật tính toán cách thức không đồng Điều có nghĩa là, với thời gian cho trước, có nút mạng cập nhật đầu Sự cập nhật nút sử dụng đầu cập nhật Nói cách khác hình thức hoạt động không đồng mạng, đầu cập nhật độc lập Có khác biệt luật cập nhật đồng luật cập nhật không đồng Với luật cập nhật không đồng có trạng thái cân hệ (với giá trị đầu xác định trước) Trong đó, với luật cập nhật đồng làm mạng hội tụ điểm cố định vòng giới hạn 1.4 ứng dụng mạng Nơron Các ứng dụng mạng nơron Các ứng dụng cụ thể mạng nơron tóm tắt sau: * Lĩnh vực vũ trụ hàng không - ứng dụng nhiều kỹ thuật bay không người lái - Mô đường bay - Hệ thống điều khiển máy bay, nâng cao khả bay tự động - Mô hình hoá phận máy bay * Điều khiển tự động - Hệ thống hướng dẫn ô tô điều khiển tự động - Cho phép phân tích phạm vi hoạt động * Ngân hàng: - Kiểm tra đọc văn kiện - Định giá thẻ tín dụng * Trong hình sự: - Phát so sánh dấu vân tay - Nhận biết tiếng nói * Quốc phòng: - Điều khiển tên lửa, thiết bị bay - Hệ thống định vị sonar, radar * Trong y học: - Phân tích phát tế bào ung thư - Lưu giữ thời gian nằm viện bệnh nhân, * Trong đầu tư: - Đánh giá mức độ mạo hiểm việc đầu tư * Trong sản xuất: - Kiểm tra theo dõi trình sản xuất - Thử nghiệm phân tích, phân loại sản phẩm - Dự báo, lên kế hoạch điều khiển qúa trình sản xuất, * Trong địa chất: Phát khoáng sản,dầu khí, kim loại, vàng, * Rôbôt: Hệ thống nghe nhìn, điều khiển, * Lĩnh vực điện: - Dự báo phụ tải - Chế tạo chip mạch tích họp, chip phân tích - Phuơng pháp điều khiển, điều khiển động Ngoài có ứng dụng lĩnh vực : Công nghệ giải trí, công nghiệp, bảo hiểm, Ngày với phát triển mạnh mẽ khoa học kỹ thuật, khả tính toán xử lý ngày mạnh máy tính, nhờ phuơng pháp lý thuyết nghiên cứu đuợc ứng dụng rộng rãi nhu lôgíc mờ, đặc biệt mạng nơron Trong lĩnh vực điều khiển tự động, mạng nơron đuợc ứng dụng để giải hai toán sau: + Nhận dạng đối tuợng Các đối tuợng với đặc tính động học tuyến tính, phi tuyến tĩnh động học phi tuyến + Thiết kế điều khiển nơron Theo lý thuyết chứng minh mạng nơron xấp xỉ đa năng, dùng làm mô hình toán học thay đối tuợng với sai lệch cho truớc Đây sở để ta ứng dụng mạng nơron để nhận dạng đối tuợng Ta tiến hành nhận dạng lần luợt đối tuợng động học tuyến tính, đối tuợng phi tuyến tĩnh đối tuợng động học phi tuyến Khả xấp xỉ đa mạng nhiều lớp tạo lựa chọn ua thích cho việc mô hình hoá đối tuợng phi tuyến [...]... hợp mang lại cho mạng Nơron khả năng tính toán rất lớn, trong đỏ không có Nơron nào mang thông tin riêng biệt c Liên kết mạng Sự liên kết trong mạng Nơron tuỳ thuộc vào nguyên lý tương tác giữa đầu ra của từng Nơrơn riêng biệt với các Nơron khác và tạo ra cấu trúc mạng Trong phần này chúng ta đi tìm hiểu hai liên kết mạng đó là mạng truyền thẳng và mạng hồi quy d Mạng truyền thẳng * Mạng truyền thẳng... sonar, radar * Trong y học: - Phân tích và phát hiện tế bào ung thư - Lưu giữ thời gian nằm và ra viện của bệnh nhân, * Trong đầu tư: - Đánh giá mức độ mạo hiểm của việc đầu tư * Trong sản xuất: - Kiểm tra theo dõi quá trình sản xuất - Thử nghiệm phân tích, phân loại sản phẩm - Dự báo, lên kế hoạch và điều khiển qúa trình sản xuất, * Trong địa chất: Phát hiện khoáng sản, dầu khí, kim loại, vàng, * Rôbôt:... quan hệ giữa các thông tin đầu vào và các đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp Đây chính là chức năng nhận dạng theo mẫu của mạng nơron Đe thực hiện chức năng này, mạng nơron đóng vai trò như một bộ phận tố chức các nhóm thông tin đầu vào, và tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp Như vậy, một... đưa vào những kích thích, và mạng hình thành những đáp ứng tương ứng, những đáp ứng tương ứng phù họp với từng loại kích thích sẽ được lưu trữ Giai đoạn này được gọi là giai đoạn học của mạng Khi đã hình thành tri thức mạng, mạng có thể giải quyết các vấn đề một cách đúng đắn Đó có thể là vấn đề ứng dụng rất khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức họp nhất giữa các thông tin đầu vào... mạng và các đáp ứng đầu ra Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu được không đầy đủ hoặc bị tác động của nhiễu Mạng nơron kiểu này được ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng chữ viết Nhiệm vụ tống quát của một mạng nơron là lưu giữ động các thông tin Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào... của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là tìm ra số lớp ẩn và tìm ra số Nơron trên mỗi lớp đó Giải thuật di truyền thuờng đuợc sử dụng trong các cấu trúc nhung thuờng chạy rất lâu, thậm chí ngay cả đối với mạng có kích thuớc trung bình Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần cũng đuợc áp dụng trong việc học cấu trúc của mạng có kích... gọi là mạng một hướng hay mạng truyền thẳng một hướng và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một nơron nào trong mạng cũng được nối với một hoặc vài nơron khác) Mạng nơron bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer Perceptrons (MLP-Network) Mạng nơron khi mới được hình thành thì chưa có tri thức, tri thức của mạng sẽ được hình thành dần dần sau một quá trình học Mạng. .. biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá trị đầu đã được xác định trước) Trong khi đó, với luật cập nhật đồng bộ thì có thể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn 1.4 ứng dụng của mạng Nơron Các ứng dụng của mạng nơron Các ứng dụng cụ thể của mạng nơron có thể tóm tắt như sau:... 1.2 Đồ thị các dạng hàm truyền b Cấu trúc của mạng Nơron nhân tạo Mạng Nơron nhân tạo (Artiíĩcial Nơron Network) là một cấu trúc mạng được hình thành nên bởi số lượng các Nơron nhân tạo liên kết với nhau Mỗi Nơron có các đặc tính đầu vào, đầu ra và thực hỉện một số chức năng tính toán cục bộ Vớỉ việc giả lập các hệ thống sinh học, các cấu trúc tỉnh toán, mạng Nơron cỏ thể giải quyết được các lợp bài... Hình 1.4 Mô tả cấu trúc của mạng Nơron truyền thẳng nhỉều lớp * Mạng hềỉ quy - Mạng hồỉ quy một lớp cỗ nối ngược Hình 1.5 Mạng hồí quy một lớp có nối ngược Mạng hồi quy nhỉều lớp có nếỉ ngược Hình 1.6 Mạng hềỉ quy nhiều lớp cổ nốỉ ngược e Các luật học Mạng Nơron có một số ưu điểm so với máy tính truyền thống, cấu trúc song song của mạng Noron rất thích hợp cho những ứng dụng đòi hỏi tốc độ nhanh theo