Tìm hiểu mạng nơron kohonen

Lời nói đầu TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN KINH TẾ  BÁO CÁO MÔN HỌC TRÍ TUỆ NHÂN TẠO ĐỀ TÀI TÌM HIỂU MẠNG NƠRON KOHONEN Giảng viên hướng dẫn ThS Lưu Minh Tuấn Lớp tín chỉ[.]

TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN KINH TẾ - - BÁO CÁO MƠN HỌC TRÍ TUỆ NHÂN TẠO ĐỀ TÀI: TÌM HIỂU MẠNG NƠRON KOHONEN Giảng viên hướng dẫn : ThS Lưu Minh Tuấn Lớp tín : Trí tuệ nhân tạo 116_3 Sinh viên thực : Nguyễn Văn Đại MSV : 11140629 HÀ NỘI, THÁNG 11/2016 MỤC LỤC MỤC LỤC THUẬT NGỮ TIẾNG ANH Lời nói đầu Chương Giới thiệu mạng nơron nhân tạo 1.1 Cấu trúc mơ hình mạng nơron 1.1.1 Mơ hình nơron sinh học 1.1.2 Cấu trúc mơ hình nơron nhân tạo 1.2 Cấu tạo phương thức làm việc mạng nơron 1.2.1 Mạng nơron lớp 1.2.2 Mạng nơron truyền thẳng nhiều lớp 1.2.3 Mạng nơron phản hồi 1.2.4 Mạng nơron hồi quy 1.2.5 Mạng Hopfield 1.2.6 Mạng BAM 1.3 Các luật học 1.3.1 Học có giám sát 1.3.2 Học củng cố 1.3.3 Học khơng có giám sát Chương Tìm hiểu mạng nơron Kohonen 2.1 Giới thiệu 2.2 Mạng nơron Kohonen 2.2.1 Mạng nơron Kohonen nhận dạng 2.2.2 Cấu trúc mạng nơron Kohonen 2.2.3 Chuẩn hóa liệu đầu vào 2.2.4 Tính tốn liệu đầu nơron 2.2.5 Ánh xạ lưỡng cực -2- 2.2.6 Chọn nơron thắng 2.2.7 Quá trình học mạng Kohonen 2.2.8 Tỉ lệ (tốc độ) học 2.2.9 Điều chỉnh trọng số (cập nhật trọng số) 2.2.10 Tính tốn sai số 2.3 Thực thi mạng nơron Kohonen 2.3.1 Thực thi mạng nơron truyền thẳng 2.3.2 Thực thi lan truyền ngược 2.3.3 Các tập huấn luyện 2.3.4 Báo cáo tiến trình 2.3.4.1 Lớp mạng sở 2.3.4.2 Lớp KohonenNetwork 2.4 Kết luận KẾT LUẬN Tài liệu tham khảo THUẬT NGỮ TIẾNG ANH ANN Mạng nơron cần huấn luyện BAM Mạng BAM (Bidirectional Associative Memory) SOM Mạng nơron tự tổ chức (Self Organizing Maps) PE Phần tử xử lý (Processing Element) OCR Nhận dạng ký tự quang (optical character recognition) -3- Lời nói đầu Chúng ta biết rằng, não người sản phẩm hồn hảo tạo hóa, có khả tư sáng tạo Hiện nay, người nghiên cứu phương thức hoạt động não, sau áp dụng cho cơng nghệ đại Để tiếp cận khả học, người ta đưa mô hình mạng nơron gồm nơron liên kết với thành mạng theo cấu trúc mạng thần kinh người -4- Mỗi nơron riêng lẻ có khả xử lý thông tin yếu, chúng ghép với thành mạng, khả xử lý thơng tin mạnh nhiều Mỗi cấu trúc mạng có ưu điểm đặc thù, chúng cho ta công cụ mạnh lĩnh vực kỹ thuật điều khiển kỹ thuật thông tin Một mạng nơron nhân tạo tập hợp số lớn phần tử xử lý (các nút hay khối), thường tổ chức song song cấu hình theo kiến trúc đệ quy Cách ứng sử mạng nơron nhân tạo giống não người, chứng tỏ khả học, nhớ lại, tổng quát hóa từ liệu huấn luyện Mạng nơron nhân tạo công cụ tốt việc giải toán như: hợp phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm liệu, Nó thay hiệu cơng cụ tính tốn truyền thống để giải toán Nhận dạng lĩnh vực đóng vai trị quan trọng khoa học kỹ thuật Trong hầu hết vấn đề kỹ thuật ngày nay, ta phải xác định, nhận dạng mơ hình đối tượng liên quan, để từ tìm giải pháp Nhận dạng mơ hình tốn quan trong lý thuyết hệ thống Lý đơn giản khơng thể phân tích, tổng hợp hệ thống khơng có mơ hình tốn học mơ tả hệ thống Trong q trình xây dựng mơ hình hệ thống phương diện lý thuyết, người ta thường không khảo sát ảnh hưởng mơi trường đến tính động học hệ thống, tác động qua lại bên hệ thống cách xác tuyệt đối Rất nhiều yếu tố bị bỏ qua, xem xét đến tác động ngẫu nhiên Bởi vậy, nói cách chặt chẽ hiểu biết lý thuyết ban đầu hệ thống, giúp ta khoanh lớp mơ hình thích hợp Để có mơ hình cụ thể có chất lượng phù hợp với cụ thể tốn đặt lớp mơ hình thích hợp đó, phải sử dụng phương pháp nhận dạng Cịn tốn nhận dạng, phân tích phân cụm liệu, toán hay gặp thực tế, nhìn thấy vật đó, câu hỏi thường trực người là; vật có máy loại, thuộc loại loại có -5- Để giải toán nhận dạng, người ta đưa vào cách tiếp cận khác nhau, phương pháp tiếp cận tốn cụ thể có ưu, nhược điểm riêng Phương pháp ứng dụng mạng nơron nhận dạng cách tiếp cận đại Nó cơng cụ mạnh để giải toán lĩnh vực Nội dung báo cáo vào tìm hiểu xây dựng phần tử nơron bản, xem xét nghiên cứu cấu trúc mạng nơron, giới thiệu mạng nơron nhiều lớp với thuật toán lan truyền ngược Trọng tâm đề tài vào tìm hiểu mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM) Báo cáo gồm hai chương Chương 1, trình bày cấu trúc phần tử nơron bản, cấu trúc mạng nơron nhân tạo thường gặp, thuật toán học, phân tích ưu nhược điểm chúng, giới thiệu thuật tốn lan truyền ngược Chương 2, tìm hiểu mạng nơron Kohonen Hà nội, tháng 12 năm 2009 Chương Giới thiệu mạng nơron nhân tạo Học máy ngành khoa học nghiên cứu thuật toán cho phép máy tính học khái niệm Phân loại: Có hai loại phương pháp học máy  Phương pháp quy nạp: Máy học/phân biệt khái niệm dựa liệu thu thập trước Phương pháp cho phép tận dụng nguồn liệu nhiều sẵn có  Phương pháp suy diễn: Máy học/phân biệt khái niệm dựa vào luật Phương pháp cho phép tận dụng kiến thức chuyên ngành để hỗ trợ máy tính -6- Hiện nay, thuật tốn cố gắng tận dụng ưu điểm hai phương pháp Các ngành khoa học liên quan:  Lý thuyết thống kê: kết xác suất thống kê tiền đề cho nhiều phương pháp học máy Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số phương pháp học máy  Các phương pháp tính: thuật tốn học máy thường sử dụng tính tốn số thực/số ngun liệu lớn Trong đó, tốn như: tối ưu có/khơng ràng buộc, giải phương trình tuyến tính v.v… sử dụng phổ biến  Khoa học máy tính: sở để thiết kế thuật toán, đồng thời đánh giá thời gian chạy, nhớ thuật tốn học máy Ứng dụng: Học máy có ứng dụng rộng khắp ngành khoa học/sản xuất, đặc biệt ngành cần phân tích khối lượng liệu khổng lồ Một số ứng dụng thường thấy như:  Xử lý ngôn ngữ tự nhiên: xử lý văn bản, giao tiếp người – máy, …  Nhận dạng: nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) …  Tìm kiếm  Chẩn đốn y tế: phân tích ảnh X-quang, hệ chuyên gia chẩn đoán tự động  Tin sinh học: phân loại chuỗi gene, trình hình thành gene/protein  Vật lý: phân tích ảnh thiên văn, tác động hạt …  Phát gian lận tài (financial fraud): gian lận thẻ tỉn dụng  Phân tích thị trường chứng khốn (stock market analysis)  Chơi trị chơi: tự động chơi cờ, hành động nhân vật ảo -7-  Rôbốt: tổng hợp nhiều ngành khoa học, học máy tạo nên hệ thần kinh/bộ não người máy  Các nhóm giải thuật học máy: Học có giám sát, học khơng giám sát, học nửa giám sát, học tăng cường,… 1.1 Cấu trúc mơ hình mạng nơron 1.1.1 Mơ hình nơron sinh học Phần tử xử lý mạng nơron sinh học nơron, phần tử chia làm bốn thành phần sau: dendrites, soma, axon, synapses - Dendrites: phần nhận tín hiệu đầu vào - Soma: hạt nhân - Axon: phần dẫn tín hiệu xử lý - Synapses: đường tín hiệu điện hóa giao tiếp nơron Kiến trúc sở não người có vài đặc tính chung Một cách tổng quát, nơron sinh học nhận đầu vào từ nguồn khác nhau, kết hợp chúng với nhau, thực thi tổ hợp phi tuyến chúng kết cuối đầu Hình 1.1 mối quan hệ bốn phần tử nơron sinh học Hình 1.1 Một nơron sinh học Một nơron sinh học có số chức vậy, ta nhận thấy khả xử lý thơng tin yếu Để có khả xử lý thơng tin -8- hồn hảo não người, nơron phải kết hợp trao đổi thông tin với Ta hình dung sơ đồ liên kết, trao đổi thơng tin hai nơron hình 1.2 Hình 1.2 Sự liên kết nơron 1.1.2 Cấu trúc mơ hình nơron nhân tạo Mơ hình tốn học mạng nơron sinh học đề xuất McCulloch Pitts, thường gọi nơron M-P, ngồi gọi phần tử xử lý ký hiệu PE (Processing Element) Mơ hình nơron có m đầu vào x1, x2, , xm, đầu yi sau: Hình 1.3 Mơ hình nơron nhân tạo -9- Giải thích thành phần bản: - Tập đầu vào: Là tín hiệu vào nơron, tín hiệu thường đưa vào dạng vector m chiều - Tập liên kết (các trọng số): Mỗi liên kết thể trọng số (thường gọi trọng số liên kết) Trọng số liên kết tín hiệu vào thứ j cho nơron i thường ký hiệu w ij Thông thường trọng số khởi tạo ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng - Bộ tổng (Hàm tổng): Thường dùng để tính tổng tích đầu vào với trọng số liên kết - Ngưỡng: Ngưỡng thường đưa vào thành phần hàm truyền - Hàm truyền: Hàm dùng để giới hạn phạm vi đầu nơron Nó nhận đầu vào kết hàm tổng ngưỡng cho Thông thường, phạm vi đầu nơron giới hạn đoạn [0,1] [-1,1] Các hàm truyền đa dạng, hàm tuyến tính phi tuyến Việc lựa chọn hàm truyền tùy thuộc vào toán kinh nghiệm người thiết kế mạng - Đầu ra: Là tín hiệu đầu nơron, với nơron có tối đa đầu Về mặt toán học, cấu trúc nơron i mô tả cặp biểu thức sau: n y i=f (net i−θi ) net i= ∑ wij x j j=1 đó: x1, x2, …xm tín hiệu đầu vào, wi1, wi2,…,wim trọng số kết nối nơron thứ i, neti hàm tổng, f hàm truyền, θi ngưỡng, yi tín hiệu đầu nơron Như vậy, tương tự nơron sinh học, nơron nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu với trọng số liên kết, tính tổng - 10 - ... Chương Tìm hiểu mạng nơron Kohonen 2.1 Giới thiệu 2.2 Mạng nơron Kohonen 2.2.1 Mạng nơron Kohonen nhận dạng 2.2.2 Cấu trúc mạng nơron Kohonen ... lớp nơron vào/ra  Lớp lớp nơron tạo tín hiệu cuối 1.2.3 Mạng nơron phản hồi Mạng nơron phản hồi mạng mà đầu nơron quay trở lại nối với đầu vào nơron lớp gọi mạng Laeral hình 1.6b 1.2.4 Mạng nơron. .. tới mạng - 14 - (a) Mạng truyền thẳng lớp (b) Mạng hồi tiếp lớp (c) Mạng truyền thẳng nhiều lớp (d) Mạng nơron hồi quy Hình 1.6 Một số dạng mạng nơron 1.2.2 Mạng nơron truyền thẳng nhiều lớp Mạng