Mạng nơ-ron

Mạng nơ-ron Mạng nơ-ron Bởi: Wiki Pedia Theo nghĩa sinh học, mạng nơ-ron tập hợp dây thần kinh kết nối với Ngày nay, thuật ngữ dùng để mạng nơ-ron nhân tạo, cấu thành từ nơ-ron nhân tạo Do thuật ngữ 'mạng nơ-ron' xác định hai khái niệm phân biệt: Mạng nơ-ron sinh học mạng lưới (plexus) nơ-ron có kết nối có liên quan mặt chức trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system) Trong ngành thần kinh học (neuroscience), thường dùng để nhóm nơron thuộc hệ thần kinh đối tượng nghiên cứu khoa học định Mạng nơ-ron nhân tạo thiết kế để mô hình số tính chất mạng nơron sinh học, nhiên, khác với mơ hình nhận thức, phần lớn ứng dụng lại có chất kỹ thuật, Sơ đồ đơn giản mạng nơ-ron nhân tạo Xin xem tương ứng để có thông tin chi tiết mạng nơ-ron thần kinh hay mạng nơ-ron nhân tạo Bài tập trung vào mối quan hệ hai khái niệm Đặc điểm Thông thường, mạng nơ-ron bao gồm nhiều nhóm nơ-ron kết nối vật lý với có liên quan với chức Một nơ-ron đơn nối với nhiều nơ-ron khác tổng số nơ-ron kết nối mạng giá trị lớn Các kết nối, gọi khớp thần kinh (synapses), thường nối từ axon tới tế bào tua gai thần kinh (dendrite), có vi mạch dendrodentritic [Arbib, tr.666] kết nối khác Ngồi tín hiệu điện, có dạng tín hiệu khác phát sinh từ việc khuyếch tán chất dẫn truyền xung động thần kinh (neurotransmitter) Chúng có ảnh hưởng tín hiệu điện Do vậy, mạng sinh học khác, mạng nơ-ron vô phức tạp Trong nay, dù chưa đạt 1/7 Mạng nơ-ron mô tả chi tiết hệ thần kinh , người ta ngày hiểu rõ chế Trí tuệ nhân tạo Mơ hình nhận thức (cognitive modelling) cố gắng giả lập số tính chất mạng nơ-ron Tuy kỹ thuật hai ngành tương tự, Trí tuệ nhân tạo có mục tiêu giải tốn cụ thể, ngành hướng tới việc xây dựng mơ hình tốn học hệ thần kinh sinh học Trong ngành Trí tuệ nhân tạo, mạng nơ-ron áp dụng thành công lĩnh vực nhận dạng tiếng nói, xử lý ảnh điều khiển thích nghi, để xây dựng agent phần mềm (software agent) (trong trò chơi điện tử máy tính) robot tự hành Hầu hết mạng nơ-ron nhân tạo dùng cho trí tuệ nhân tạo dựa lý thuyết điều khiển, tối ưu hóa, ước lượng thống kê Ngành Mơ hình nhận thức nghiên cứu mơ hình tốn học vật lý hoạt động hệ thần kinh; từ mức độ nơ-ron (ví dụ, mơ hình cung phản xạ thần kinh tủy sống kích thích), tới mức độ đám nơ-ron (ví dụ, mơ hình giải phóng tác dụng dopamine hạch thần kinh bản), tới mức thể sống hồn chỉnh (ví dụ, mơ hình hành vi phản xạ thể sống kích thích) Bộ não, mạng nơ-ron máy tính Trong lịch sử, não xem dạng máy tính, ngược lại Tuy nhiên, điều theo nghĩa rộng Máy tính khơng phải mơ hình não (mặc dù mơ tả trình suy luận logic chương trình máy tính, kích thích não máy tính) chúng khơng chế tạo với mục đích Tuy nhiên, từ xưa, mạng nơ-ron dùng trí tuệ nhân tạo xem mơ hình đơn giản hoạt động thần kinh não Một chủ đề nghiên cứu ngành thần kinh học lý thuyết câu hỏi: mạng nơ-ron cần phức tạp đến đâu cần có tính chất để tái tạo giống trí thơng minh động vật Mạng nơ-ron Trí tuệ nhân tạo Nền tảng Các mơ hình mạng nơ-ron trí tuệ nhân tạo thường gọi mạng nơ-ron nhân tạo; chúng thực chất mơ hình tốn học đơn giản định nghĩa hàm f : X ->Y Từ mạng sử dụng hàm phân rã thành thành phần đơn giản kết nối với 2/7 Mạng nơ-ron Một loại mơ hình mạng nơ-ron cụ thể tương ứng với lớp hàm Khả học điều thu hút nhiều quan tâm tới mạng nơ-ron Cho trước toán cụ thể để giải quyết, lớp hàm F, việc học có nghĩa sử dụng tập quan sát để tìm hàm f^* \in F giải tốn cách tốt Việc đòi hỏi định nghĩa hàm chi phí C : F ->{R} cho, với lời giải tối ưu f * , Hàm chi phí C khái niệm quan trọng học máy, phép đo khoảng cách tới lời giải tối ưu cho toán cần giải Các thuật tốn học tìm kiếm khơng gian lời giải để hàm có chi phí nhỏ Các loại học Có ba kiểu học chính, kiểu mẫu tương ứng với nhiệm vụ học trừu tượng Đó học có giám sát, học khơng có giám sát học tăng cường Thơng thường, loại kiến trúc mạng dùng cho nhiệm vụ Học có giám sát Trong học có giám sát, ta cho trước tập ví dụ gồm cặp mục tiêu tìm hàm f (trong lớp hàm phép) khớp với ví dụ Nói cách khác, ta muốn tìm ánh xạ mà liệu đầu vào hàm ý, với hàm chi phí đo độ khơng khớp ánh xạ ta liệu Học khơng có giám sát Trong học khơng có giám sát, ta cho trước số liệu x, hàm chi phí cần cực tiểu hóa hàm liệu x đầu mạng, f Hàm chi phí định phát biểu toán Phần lớn ứng dụng nằm vùng tốn ước lượng mơ hình hóa thống kê, nén, lọc (filtering), blind source seperation phân mảnh (clustering) Học tăng cường Trong học tăng cường, liệu x thường không cho trước mà tạo trình agent tương tác với môi trường Tại thời điểm t, agent thực hành động yt môi trường tạo quan sát xt chi phí tức thời ct, theo quy trình 3/7 Mạng nơ-ron động (thường khơng biết) Mục tiêu tìm sách lược lựa chọn hành động để cực tiểu hóa chi phí dài hạn đó, nghĩa chi phí tích lũy mong đợi Quy trình động mơi trường chi phí dài hạn cho sách lược thường khơng biết, ước lượng Mạng nơ-ron nhân tạo thường dùng học tăng cường phần thuật tốn tồn cục Các toán thường giải học tăng cường tốn điều khiển, trò chơi, nhiệm vụ định (sequential decision making) khác Các thuật tốn học Có nhiều thuật tốn dùng cho việc huấn luyện mơ hình mạng nơ-ron; hầu hết xem áp dụng trực tiếp lý thuyết tối ưu hóa ước lượng thống kê Phần lớn thuật toán huấn luyện mạng nơ-ron sử dụng kiểu xuống dốc (gradient descent - tiến dần tới cực tiểu địa phương) Điều thực cách lấy đạo hàm hàm chi phí theo tham số mạng thay đổi tham số theo hướng tính toán theo độ dốc (gradient-related direction) để tiến dần tới cực tiểu địa phương hàm chi phí Các phương pháp thường dùng cho huấn luyện mạng nơ-ron là: phương pháp tiến hóa, giải thuật luyện kim (simulated annealing), expectation maximisation (cực đại hóa kỳ vọng) phương pháp không tham số (non-parametric methods) Xem thêm Học máy Các tính chất lý thuyết Năng lực Một số mơ hình lý thuyết mạng nơ-ron phân tích để tính tốn số tính chất, chẳng hạn khả lưu trữ tối đa, độc lập với thuật toán học Nhiều kỹ thuật ban đầu phát triển để nghiên cứu hệ từ trường nhiễu (disordered magnetic systems (spin glasses)) áp dụng thành công cho kiến trúc mạng nơ-ron đơn giản, chẳng hạn mạng perceptron Cơng trình nghiên cứu có ảnh hưởng lớn E Gardner B Derrida cho thấy nhiều tính chất thú vị perceptron với trọng số có giá trị số thực, nghiên cứu sau W Krauth M Mezard mở rộng nguyên lý cho trọng số có giá trị Các loại mạng nơ-ron nhân tạo Perceptron lớp Perceptron nhiều lớp Mạng bán kính-tâm 4/7 Mạng nơ-ron Support vector machines Committee machines Bản đồ tự điều chỉnh Máy thống kê Xem mạng nơ-ron nhân tạo để có thơng tin nhiều dạng mạng nơ-ron Mạng nơ-ron ngành thần kinh học Thần kinh học lý thuyết tính tốn quan tâm đến phân tích lý thuyết mơ hình tính tốn hệ thần kinh sinh học Do hệ thần kinh có liên quan mật thiết tới q trình nhận thức ứng xử, ngành liên quan chặt chẽ tới mơ hình hóa hành vi nhận thức Mục tiêu ngành xây dựng mơ hình hệ thần kinh sinh học để tìm hiểu chế hoạt động hệ thống sinh học Để đạt hiểu biết này, nhà thần kinh học cố gắng xây dựng mối liên hệ liệu trình sinh học quan sát được, chế sinh học cho xử lý thần kinh với việc học (các mơ hình mạng nơ-ron sinh học) lý thuyết (lý thuyết học thống kê lý thuyết thơng tin) Các loại mơ hình Ngành thần kinh học sử dụng nhiều mơ hình nhiều mức độ trừu tượng khác mơ hình khía cạnh khác hệ thần kinh Từ mơ hình hành vi ngắn hạn nơ-ron, qua mơ hình phát sinh động lực cho mạch nơ-ron từ tương tác nơ-ron cá thể, tới mơ hình phát sinh ứng xử từ mô đun thần kinh trừu tượng đại diện cho hệ thống hồn chỉnh Các mơ hình bao gồm mơ hình plasticity ngắn hạn dài hạn hệ thần kinh mối liên quan tới việc học ghi nhớ, từ mức nơ-ron tới mức hệ thống Các nghiên cứu Trong hầu hết nghiên cứu ban đầu quan tâm đến tính chất điện nơ-ron, phần đặc biệt quan trọng nghiên cứu gần tìm hiểu vai trò neuromodulators chẳng hạn dopamine, acetylcholine, serotonin hành vi học tập 5/7 Mạng nơ-ron Tham khảo • Peter Dayan, L.F Abbott ({{{Year}}}) Theoretical Neuroscience MIT Press {{{ID}}} • Wulfram Gerstner, Werner Kistler ({{{Year}}}) Spiking Neuron Models:Single Neurons, Populations, Plasticity Cambridge University Press {{{ID}}} Lịch sử khái niệm mạng nơ-ron Khái niệm mạng nơ-ron bắt đầu vào cuối thập kỷ 1800 người ta cố gắng mơ tả hoạt động trí tuệ người Ý tưởng bắt đầu áp dụng cho mơ hình tính tốn từ mạng Perceptron Đầu thập kỷ 1950 Friedrich Hayek người khẳng định ý tưởng trật tự tự phát não xuất phát từ mạng phân tán gồm đơn vị đơn giản (nơ-ron) Cuối thập kỷ 1940, Donnald Hebb đưa giả thuyết chế thần kinh mềm dẻo (neural plasticity), Hebbian learning (???) Hebbian learning coi quy tắc 'điển hình' học khơng có giám sát Nó (và biến thể) mơ hình thời kỳ đầu long term potentiation (tạo tiềm lực dài hạn) Perceptron phân loại tuyến tính dành cho việc phân loại liệu x \in R^n xác định tham số w \in R^n, b \in R hàm đầu f = w'x + b Các tham số thích nghi với quy tắc tùy biến (ad-hoc) tương tự với xuống dốc ngẫu nhiên (stochastic steepest gradient descent) Perceptron phân loại hồn hảo tập liệu mà lớp khác phân tách tuyến tính (linearly separable) khơng gian đầu vào Nó thường thất bại hồn tồn liệu khơng chia tách Sự phát triển thuật toán ban đầu tạo số hứng khởi, phần mối quan hệ chế sinh học Sau này, phát điểm yếu làm cho mơ hình Perceptron bị bỏ mặc mơ hình phi tuyến đưa Cognitron (1975) mạng nơ-ron đa tầng thời kỳ đầu với thuật toán huấn luyện Các chiến lược thần kinh khác khác cấu trúc thực mạng phương pháp thiết lập trọng số cho kết nối Mỗi dạng có ưu điểm nhược điểm riêng Mạng lan truyền thông tin theo hướng, thông tin đẩy đẩy lại nút xuất tự kích hoạt mạng dừng trạng thái kết thúc Khả truyền liệu hai chiều nơ-ron/nút sử dụng mạng Hopfield (1982), chun hóa tầng nút cho mục đích cụ thể đưa mạng nơ-ron lai (hybrid neural network) Giữa thập kỷ 1980, xử lý phân tán song song (parallel distributed processing) trở nên chủ đề thu hút nhiều quan tâm tên connectionism 6/7 Mạng nơ-ron Mạng truyền ngược (backpropagation) có lẽ ngun nhân tái xuất mạng nơ-ron từ cơng trình "Learning Internal Representations by Error Propagation" (học biểu diễn bên cách lan truyền lỗi) xuất năm 1986 Mạng truyền ngược ban đầu sử dụng nhiều tầng, tầng gồm đơn vị tổng-trọng-số có dạng f = g(w'x + b), g hàm sigmoid Huấn luyện thực theo kiểu xuống dốc ngẫu nhiên Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp (chain rule) tính tốn thay đổi thích hợp cho tham số dẫn đến thuật tốn 'truyền ngược lỗi' Đó nguồn gốc thuật ngữ truyền ngược Tuy nhiên, chất, dạng xuống dốc Việc xác định tham số tối ưu cho mơ hình thuộc dạng không đơn giản, dựa vào phương pháp xuống dốc để có lời giải tốt mà không cần xuất phát điểm tốt Ngày nay, mạng có kiến trúc với mạng truyền ngược gọi mạng Perceptron đa tầng Thuật ngữ không hàm ý giới hạn loại thuật toán dùng cho việc học Mạng truyền ngược tạo nhiều hứng khởi có nhiều tranh cãi chuyện quy trình học thực não hay không Một phần chưa tìm chế truyền tín hiệu ngược Nhưng lý quan trọng chưa có nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy Ngày nay, nhà thần kinh học thành cơng việc tìm mối liên hệ học tăng cường hệ thống hưởng thưởng dopamine (dopamine system of reward) Tuy nhiên, vai trò neuromodulator khác nghiên cứu 7/7 ... động vật Mạng nơ-ron Trí tuệ nhân tạo Nền tảng Các mơ hình mạng nơ-ron trí tuệ nhân tạo thường gọi mạng nơ-ron nhân tạo; chúng thực chất mô hình tốn học đơn giản định nghĩa hàm f : X ->Y Từ mạng. .. Các loại mạng nơ-ron nhân tạo Perceptron lớp Perceptron nhiều lớp Mạng bán kính-tâm 4/7 Mạng nơ-ron Support vector machines Committee machines Bản đồ tự điều chỉnh Máy thống kê Xem mạng nơ-ron. .. thành thành phần đơn giản kết nối với 2/7 Mạng nơ-ron Một loại mơ hình mạng nơ-ron cụ thể tương ứng với lớp hàm Khả học điều thu hút nhiều quan tâm tới mạng nơ-ron Cho trước toán cụ thể để giải quyết,