Tìm hiểu về mạng nơron nhân tạo

MỤC LỤC PHẦN I: TÌM HIỂU VỀ MẠNG NƠRON NHÂN TẠO Lịch sử phát triển .4 Khái niệm mạng nơron 2.1 Mạng nơron sinh học: 2.2 Mạng nơron nhân tạo: Cấu trúc mạng Nơron Kiến Trúc Mạng 4.1 Mạng Một Tầng 4.2 Mạng Đa Tầng 10 Các luật học .10 Các tính chất của mạng nowrron nhân tạo .14 Mơ hình tốn học mạng nơron truyền thẳng mạng nơron hồi quy .14 7.1.Mạng nơ ron truyền thẳng 14 7.2.Mạng nơron hồi quy 18 Quá trình huấn luyện mạng nhiều lớp 19 8.1 Quá trình thực hiện 19 8.2 Qui tắc chuỗi 21 8.3 Độ chính xác của thuật toán lan truyền ngược 22 8.4 Biến thể của thuật toán lan truyền ngược 22 8.5 Tổng quát (Phép nội suy ngoại suy) 23 Ứng dụng 25 PHẦN 2: LÝ THUYẾT ÂM THANH VÀ TIẾNG NÓI 27 2.1 Âm .27 2.1.1 Nguồn gốc âm thanh: 27 2.1.2 Các đại lượng đặc trưng cho âm thanh: 27 2.1.3 Các tần số của âm thanh: 27 2.1.4 Mơ hình lọc nguồn tạo tiếng nói: 28 2.1.5 Các âm tiếng nói đặc trưng: .28 2.2 Tổng quan nhận dạng tiếng nói 30 2.2.1 Các nguyên tắc nhận dạng tiếng nói 31 2.2.2 Các hệ thống nhận dạng tiếng nói: 31 2.2.3 Các tiếp cận nhận dạng tiếng nói 32 2.3 Những thuận lợi khó khăn nhận dạng tiếng Việt 36 PHẦN 3: XÂY DỰNG HỆ THỐNG NHẬN DẠNG TIẾNG NÓI BẰNG MẠNG NƠRON TRONG MATLAB 37 3.1 Công cụ sử dụng matlab 37 3.2 xây dựng chương trình mơ phỏng nhận dạng tiếng nói bằng mạng Nơron MLP 40 3.2.1 Các bước xây dựng 40 3.2.2 Chương trình nhận dạng phát âm mười chữ số tiếng Việt .46 PHẦN I: TÌM HIỂU VỀ MẠNG NƠRON NHÂN TẠO Lịch sử phát triển Quá trình nghiên cứu phát triển noron nhân tạo chia thành giai đoạn sau:  Giai đoạn 1: Có thể tính từ nghiên cứu của William (1890) tâm lý học với liên kết noron thần kinh Năm 1940 Mc Culloch Pitts cho biết nơron mơ hình hố thiết bị ngưỡng (Giới hạn) để thực hiện phép tính logic mơ hình mạng nơron của Mc Culloch - Pitts với giải thuật huấn luyện mạng của Hebb đời năm 1943  Giai đoạn 2: Vào khoảng gần năm 1960, số mơ hình noron hồn thiện đưa như: Mơ hình Perceptron của Rosenblatt (1958), Adalile của Widrow (1962) Trong mơ hình Perceptron quan tâm ngun lý đơn giản, có hạn chế Marvin Minsky Seymour papert của MIT ( Massachurehs Insritute of Technology) chứng minh khơng dùng cho hàm logic phức (1969) Cịn Adaline mơ hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu phát triển  Giai đoạn 3: Có thể tính vào khoảng đầu thập niên 80 Những đóng góp lớn cho mạng nơron giai đoạn phải kể đến Grossberg, Kohonen, Rumelhart Hopfield Trong đóng góp lớn của Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính toán lớn của mạng mà nơron khơng có khả Cảm nhận của Hopfield Rumelhart, Hinton Williams đề xuất thuật toán sai số truyền ngược tiếng để huấn luyện mạng noron nhiều lớp nhằm giải toán mà mạng khác không thực hiện  Giai đoạn 4: Tính từ năm 1987 đến nay, hàng năm giới mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International Joit Conference on Neural Networks) Rất nhiều công trình nghiên cứu để ứng dụng mạng nơron vào lĩnh vực như: Kỹ thuật tính, điều khiển, toán tối ưu, y học, sinh học, thống kê, giao thơng, hố học, Cho đến mạng nơron tìm khẳng định vị trí của nhiều ứng dụng khác Khái niệm mạng nơron Theo nghĩa sinh học, mạng nơron tập hợp dây thần kinh kết nối với Do thuật ngữ mạng nơ ron xác định hai khái niệm phân biệt:  Mạng nơron sinh học  Mạng nơron nhân tạo 2.1 Mạng nơron sinh học: Mỗi nơron sinh học gồm có thành phần: Thân nơron với nhân bên (soma), đầu dây thần kinh (axon) hệ thống phân nhánh hình (Dendrite) để nhận thơng tin vào Trong thực tế có nhiều dây thần kinh vào chúng bao phủ diện tích lớn (0,25mm2) Mỗi nơron nhận tín hiệu vào từ tế bào thần kinh khác Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt ngưỡng chúng tạo tín hiệu gửi tín hiệu tới nơron khác thông qua dây thần kinh Các nơron liên kết với thành mạng Mức độ bền vững của liên kết xác định hệ số gọi trọng số liên kết 2.2 Mạng nơron nhân tạo: mạng nơron mơ hình tốn học hay mơ hình tính toán xây dựng dựa mạng nơron sinh học Nó gồm có nhóm nơron nhân tạo (nút) nối với nhau, xử lý thông tin bằng cách truyền theo kết nối tính giá trị mới tại nút (cách tiếp cận connectionism đối với tính toán) Trong nhiều trường hợp, mạng nơron nhân tạo hệ thống thích ứng tự thay đổi cấu trúc của dựa thơng tin bên ngồi hay bên chảy qua mạng q trình học Sau mơ hình nơron nhân tạo Nơron hoạt động sau: giả sử có N inputs, nơron có N trọng số tương ứng với N đường truyền inputs Nơron lấy tổng có trọng số của tất inputs Nói có nghĩa nơron lấy input thứ nhất, nhân với weight đường input thứ nhất, lấy input thứ hai nhân với weight của đường input thứ hai v.v , lấy tổng của tất kết thu Đường truyền có trọng số lớn tín hiệu truyền qua lớn, xem weight đại lượng tương đương với synapse nơron sinh học Có thể viết kết lấy tổng của nơron sau: Kết so sánh với threshold t của nơron, lớn t nơron cho output 1, cịn nhỏ output Ngồi ta trừ tổng nói cho t, so sánh kết thu với 0, kết dương nơron cho ouput bằng 1, kết âm output Dưới dạng tốn học ta viết output của nơron sau: Trong f hàm Heaviside: f gọi ngưỡng chức hay chuyền chức của nơron, giá trị (-t) gọi bias hay offset của nơron.Nếu đưa thêm input vào, input thứ 0, có giá trị ln ln bằng weight ln ln bằng bias (-t) output của nơron cịn viết dưới dạng: Lưu ý số của tổng bằng trước Cấu trúc mạng Nơron Mỗi Nơron (nút) đơn vị xử lý thông tin của mạng nơron, yếu tố để cấu tạo nên mạng nơron Hình 3.1: Cấu trúc nơron xi: tín hiệu input wkp: trọng số của input f(.): hàm hoạt động yk: kết xuất của nơron b: thông số ảnh hưởng đến ngưỡng của output Phân loại cấu trúc mạng Nơron: a Mạng dẫn tiến lớp Đây cấu trúc mạng nơron đơn giản Mạng nơron gồm lớp xuất, khơng có lớp ẩn Hình 3.2 cấu trúc nơron đơn giản b Mạng dẫn tiến nhiều lớp Hình 3.3: Cấu trúc mạng nơron nhiều lớp Mạng nơron nhiều lớp giải toán phi tuyến nhờ vào lớp ẩn Các lớp ẩn xen input bên output của mạng Càng nhiều lớp ẩn khả mở rộng thông tin cao xử lý tốt mạng có nhiều input output Ngồi cịn có mạng hồi quy mạng nơron dạng lưới Kiến Trúc Mạng Là hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay gọi nơron) tựa nơron thần kinh của não người, hoạt động song song nối với liên kết nơron Mỗi liên kết kèm theo trọng số đó, đặc trưng cho tính kích hoạt ức chế nơron Có thể xem trọng số phương tiện để lưu trữ thông tin dài hạn mạng neural nhiệm vụ của trình huấn luyện của mạng cập nhật trọng số có thêm thơng tin mẫu học Hay nói cách khác, trọng số điều chỉnh cho dáng điệu vào của mạng mơ phỏng hồn tồn phù hợp với mơi trường xem xét 4.1 Mạng Một Tầng Mạng tầng với S nơron minh họa hình 4.1.1 Chú ý rằng với đầu vào số R đầu vào nối với nơron ma trận trọng số có S hàng Một tầng bao gồm ma trận trọng số, cộng, vector ngưỡng b, hàm chuyển vector đầu a Mỗi phần tử của vector đầu vào p nối với nơron thơng qua ma trận trọng số W Mỗi nơron có ngưỡng bi, cộng, hàm chuyển f đầu với nhau, đầu tạo thành vector đầu a Thông thường số lượng đầu vào của tầng khác với số lượng nơ-ron.(R#S) Ma trận trọng số cho phần tử vector đầu vào W: hình 4.1.1: Mơ hình mạng lớp Các số hàng của phần tử ma trận W nơron đích kết hợp với trọng số đó, số cột cho biết đầu vào cho trọng số Vì vậy, số nói rằng trọng số của đầu vào thứ nối với nơron thứ 4.2 Mạng Đa Tầng Hình 4.2.1:Ví dụ mơ hình mạng đa tầng Mơ hình mạng nơron gồm lớp: lớp nhập (input), lớp ẩn(hidden) lớp xuất (output) Mỗi nút lớp nhập nhận giá trị của biến độc lập chuyển vào mạng Dữ liệu từ tất nút lớp nhập tích hợp – ta gọi tổng trọng số – chuyển kết cho nút lớp ẩn Gọi “ẩn” nút lớp liên lạc với nút lớp nhập lớp xuất, có người thiết kế mạng mới biết lớp (người sử dụng lớp này) Các nút lớp xuất nhận tín hiệu tổng trọng hóa từ nút lớp ẩn Mỗi nút lớp xuất tương ứng với biến phụ thuộc Các luật học Thông thường mạng nơron điều chỉnh huấn luyện để hướng đầu vào riêng biệt đến đích đầu Cấu trúc huấn luyện mạng hình 5.1 Ở đây, hàm trọng của mạng điều chỉnh sở so sánh đầu với đích mong muốn (taget) cho tới đầu mạng phù hợp với đích Những cặp vào/đích (input/taget) dùng để giám sát cho huấn luyện mạng Hình 5.1 Cấu trúc huấn luyện mạng nơron Để có số cặp vào/ra, giá trị vào gửi đến mạng giá trị tương ứng thực hiện bằng mạng xem xét so sánh với giá trị mong muốn Bình thường tồn tại sai số lẽ giá trị mong muốn khơng hồn tồn phù hợp với giá trị thực Sau lần chạy, ta có tổng bình phương của tất sai số Sai số sử dụng để xác định hàm trọng mới Sau lần chạy, hàm trọng của mạng sửa đổi với đặc tính tốt tương ứng với đặc tính mong muốn Từng cặp giá trị vào/ra phải kiểm tra trọng lượng điều chỉnh vài lần Sự thay đổi hàm trọng của mạng dừng lại tổng bình phương sai số nhỏ giá trị đặt trước chạy đủ số lần chạy xác định (trong trường hợp mạng khơng thoả mãn u cầu đặt sai lệch cịn cao) Có hai kiểu học: Học thơng số: Tìm biểu thức cập nhật thông số trọng số, cập nhật kết nối nơron Học cấu trúc: Trọng tâm biến đổi cấu trúc của mạng nơron gồm số lượng nút (node) mẫu liên kết Nhiệm vụ của việc học thơng số bằng cách đó, tìm ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron có sẵn Để làm việc đó, mạng nơron sử dụng trọng số điều chỉnh, với nhiều phương pháp học khác tính tốn gần ma trận W cần tìm đặc trưng cho mạng Có ba phương pháp học:  Học có giám sát Là q trình học thời điểm thứ i đưa tín hiệu xi vào mạng nơ ron, tương ứng có đáp ứng mong muốn di của đầu cho trước thời điểm Hay nói cách khác, q trình học có giám sát, mạng nơ ron cung cấp liên tục cặp số liệu