Tim hieu mang noron sinh hoc va ung dung trong nhan dang tie kKBbiIPBNa

MỤC LỤC PHẦN 1: MẠNG NƠRON 1.2 Mạng Nơron nhân tạo Sử dụng mạng nơron nhân tạo Thu thập liệu cho mạng nơron nhân tạo .5 Mơ hình mạng nơron nhân tạo 4.1 Mô hình Nơ ron có đầu vào đơn 4.2 Mơ hình Nơron nhiều tín hiệu vào .8 Các kiểu kiến trúc mạng 5.1 Mạng tầng Nơron truyền thẳng 5.2 Mạng nhiều tầng Nơron truyền thẳng 5.3 Mạng hồi quy .9 Mạng học 10 6.1 Học có thầy .10 6.2 Học không có thầy 10 Hàm mục tiêu 11 PHẦN 2: ỨNG DỤNG MẠNG NƠ RON NHẬN DẠNG TIẾNG NÓI 12 Nhận dạng tiếng nói 12 Nhận dạng tiếng nói mạng nơ ron 13 Mô tả mạng nơ ron nhận dạng 13 Phương pháp nhận dạng 14 KẾT LUẬN .15 PHẦN 1: MẠNG NƠRON Tổng quan mạng Nơron 1.1 Mạng Nơron sinh học Tri thức loài người phong phú, sâu rộng đa dạng từ giới vi mô nguyên tử, điện tử, hạt nhân, hạt bản, đến hiểu biết vĩ mô trái đất, hệ mặt trời, hệ thiên hà, hiểu biết giới tự nhiên xã hội, nghành khoa học, kỹ thuật khác như: tốn, lý, hóa, cơng nghệ thông tin hiểu biết thân người Tuy hiểu biết não lại Cơng trình nghiên cứu não thuộc Ramond- Cajál (1911), ông cho rằng hệ thần kinh cấu tạo từ nơron Con người có khoảng 1011 nơron, 1015 khớp kết nối Các khớp sinh kết nối với nhau, chúng kết nối nhờ trình học Đến người hiểu biết rằng q trình tính tốn não sinh học khác với máy tính số.Bộ não xử lý chậm (10 -3s) so với thiết bị vật lý (10-9s) nhiên tốn lượng thực nhiều chức Đặc điểm não: + Xử lý song song + Phân tán + Phi tuyến Các thành phần nơron: - Khớp kết nối (Synapse):kết nối nơron nhờ tính chất hố lý Điện → Hố → Điện - Xúc tu (dendrites): Thu nhận thông tin nhân qua khớp - Thân tế bào: tổng hợp tín hiệu đủ mạnh có tín hiệu truc cảm ứng nổn lúc gọi cháy - Trục cảm ứng (Axon): đưa tín hiệu truyền tới nơron khác qua khớp kết nối Hình 1: mơ tả cấu trúc nơ ron tự nhiên 1.2 Mạng Nơron nhân tạo Mạng Nơron nhân tạo (Artificial Neural Network) hay thường gọi ngắn gọn mạng Nơron mơ hình tốn học hay mơ hình tính tốn xây dựng dựa mạng Nơron sinh học Nó gồm có nhóm Nơron nhân tạo(nút) nối với nhau, xử lý thông tin bằng cách truyền theo kết nối tính giá trị nút Mạng Nơron bao gồm kỹ thuật mơ tinh vi, có khả mô hàm phức tạp, bên cạnh mạng linh hoạt, thơng minh thể qua tính “học” bằng thuật tốn huấn luyện Đặc điểm mạng Nơron nhân tạo - Phi tuyến: Cho phép xử lý phi tuyến: - Cơ chế ánh xạ: vào → (x → d(x)) cho phép học có giám sát - Cơ chế thích nghi: Thay đổi tham số phù hợp với môi trường - Đáp ứng theo mẫu đào tạo: Được thiết kế cung cấp thơng tin mẫu đào tạo mà cho biết mức tin cậy - Thơng tin theo ngữ cảnh: Tri thức biểu diễn tuỳ theo trạng thái kiến trúc ANN - Cho phép có lỗi: (fault tolerance) - Tích hợp lớn: VLSI (very large scale Integrated) - Phỏng sinh học Hình 2: Mơ hình mạng Nơron Mơ hình mạng nơron sử dụng rộng rãi mơ hình mạng nhiều tầng truyền thẳng (Multi Layer Perceptron - MLP) Perceptron nhiều tầng (Multilayer perceptron –MLP) hay mạng truyền tới (feed forward) cách học lan truyền ngược (backpropagation-BP) thuộc loại mạng học dạng tổng quát hoá mạng ADALINE cho trường hợp nhiều tầng nơron Mạng nơron nhân tạo có nhiều ứng dụng nhiều lĩnh vực nhận dạng, phân lớp ảnh, phân tích - nén liệu, toán tối ưu, dự báo, chuẩn đoán,… Và xu đại kết hợp mạng Nơron với logic mờ… Sử dụng mạng nơron nhân tạo Một loạt vấn đề dẫn tới việc giải bằng mạng nơron định nghĩa bằng cách làm việc huấn luyện Mạng nơron nhân tạo làm việc từ ngõ vào khác nhau, đưa ngõ khác Do sử dụng biết vài thông tin dự đốn thơng tin chưa biết Ví dụ: Dự đốn thị trường chứng khoán: biết giá chứng khoán tuần trước số FTSE, ta dự đoán giá chứng khoán ngày mai Điều khiển: ta muốn biết có hay khơng robot biết quẹo phải, trái hay chuyển động phía để đạt mục tiêu, ta biết robot quan sát Điều kiện quan trọng việc sử dụng mạng nơron nhân tạo phải biết mối liên hệ ngõ vào ngõ biết trước Mối quan hệ kéo theo nhiều thứ định phải tồn Tổng quát, ta sử dụng mạng mạng nơron nhân tạo ta khơng biết xác trạng thái tự nhiên mối liên hệ ngõ vào ngõ ra, ta biết mối liên hệ ta làm mơ hình trực tiếp Một tính khác mạng nơron nhân tạo học mối liên hệ ngõ vào ngõ thông qua việc huấn luyện Có hai loại huấn luyện sử dụng mạng nơron nhân tạo huấn luyện có giám sát khơng giám sát Với loại mạng khác sử dụng loại huấn luyện khác Huấn luyện có giám sát sử dụng thơng dụng Trong việc học có giám sát, người sử dụng mạng phải có tập hợp liệu cần huấn luyện Tập hợp chứa ngõ vào mẫu với ngõ tương ứng mạng huấn luyện để đưa mối liên hệ ngõ ngõ vào Tập hợp liệu thường lấy từ ghi chép trước Mạng nơron nhân tạo sau huấn luyện bằng thuật tốn học có giám sát (ví dụ backpropagation), sử dụng liệu để điều chỉnh trọng số ngưỡng mạng cho cực tiểu hóa sai số việc dự báo mạng tập huấn luyện Nếu mạng huấn luyện xác, nghĩa học mơ hàm chưa biết với mối liên hệ ngõ ngõ vào, với tín hiệu vào đến sau, mạng dự báo tín hiệu tương ứng Thu thập liệu cho mạng nơron nhân tạo Một ta định giải vấn đề sử dụng mạng nơron nhân tạo ta cần phải thu thập liệu cho mục tiêu huấn luyện Tập hợp liệu huấn luyện bao gồm số trường hợp, trường hợp chứa giá trị tầm ngõ vào ngõ khác Những việc cần làm là: biến sử dụng, trường hợp cần thu thập Sự lựa chọn biến trực giác định Công việc chuyên môn ta lĩnh vực cần giải cho ta ý tưởng biến ngõ vào phù hợp Trong mạng nơron nhân tạo, ta chọn loại bỏ nhiền biến mạng nơron nhân tạo xác định bằng thực nghiệm biến hữu ích Trong bước ta nên tính đến biến mà ta nghĩ có ảnh hưởng đến trình thiết kế Mạng nơron nhân tạo xử lý liệu số tầm giới hạn rõ ràng Điều đưa vấn đề liệu nằm vùng đặc biệt liệu chưa biết hay khơng phải liệu số Có nhiều phương pháp lý tưởng cho vấn đề này, xây dựng mạng nơron nhân tạo Dữ liệu số chia nhỏ thành khoảng thích hợp cho mạng giá trị thiếu thay bằng giá trị trung bình hay giá trị thống kê biến thơng qua biến khác huấn luyện Xử lý liệu số khó Loại liệu khơng phải số thơng thường biến có giá trị định danh giới tính (nam, nữ) Biến có giá trị định danh biểu diễn bằng số học mạng nơron nhân tạo có chức hỗ trợ điều Tuy nhiên mạng nơron nhân tạo làm việc tốt với trường hợp biến định danh tập nhiều giá trị Số trường hợp mẫu dùng để huấn luyện mạng khó xác định Đã có vài hướng dẫn mối liên hệ số trường hợp mẫu với kích thước mạng (cách đơn giản số trường hợp mẫu gấp 10 lần số kết nối mạng) Thực số trường hợp mẫu liên quan đến độ phức tạp hàm mà mạng phải học Khi số biến tăng lên, số trường hợp mẫu cần để huấn luyện tăng phi tuyến, với số nhỏ biến (50 nhỏ hơn) lại cần số lớn trường hợp mẫu Trong hầu hết vấn đề thực tế, số trường hợp mẫu khoảng hàng trăm hay hàng ngàn mẫu Đối với vấn đề phức tạp cần nhiều hơn, trường hợp Nếu liệu huấn luyện hơn, rõ ràng khơng đủ thông tin để huấn luyện mạng, cách tốt dùng mạng tuyến tính Nhiều vấn đề thực tế có liệu khơng đáng tin cậy, vài liệu bị phá hỏng nhiễu, giá trị không phối hợp với Mạng nơron nhân tạo có khả đặc biệt xử lý liệu bị (sử dụng giá trị trung bình hay giá trị thống kê khác) Vì liệu đưa vào ít, ta nên đưa vào trường hợp giá trị bị (rõ ràng khơng có không lý tưởng) mạng nơron nhân tạo chịu nhiễu, phải có giới hạn Nếu có giá trị nằm xa khỏi vùng giá trị bình thường mạng huấn luyện phải có ngưỡng Cách tốt trường hợp nhận loại bỏ giá trị nằm xa (có thể hủy trường hợp xem giá trị nằm xa giá trị bị mất) Nếu giá trị xa khó nhận ra, mạng nơron nhân tạo có chức huấn luyện chịu giá trị nằm khỏi vùng cách huấn luyện thường hiệu huấn luyện chuẩn Tóm lại, cách thu thập liệu có thể nói gọn lại sau: Chọn giá trị huấn luyện có tác dụng Dữ liệu số danh định xử lý trực tiếp mạng nơron nhân tạo Chuyển loại biến khác sang dạng Cần hàng trăm hàng ngàn trường hợp mẫu huấn luyện; nhiều biến nhiều mẫu huấn luyện mạng nơron nhân tạo có khả nhận biến hữu dụng để huấn luyện Mơ hình mạng nơron nhân tạo Một số quy ước: + Đại lượng vô hướng (dùng chữ thường a, b, c) + Đại lượng Vector (dùng chữ thường in đậm a, b, c, ) + MA TRẬN (chữ in hoa W, A, B, C ) + W: trọng số kết nối + b: Khuynh hướng + f: Hàm chuyển 4.1 Mơ hình Nơ ron có đầu vào đơn Nơron có đầu vào đơn có tín hiệu vào p nhân với trọng số w thành wp tín hiệu khác bằng nhân với giá trị khuynh hướng b đưa tới tổng Tín hiệu n tổng qua hàm chuyển f cho tín hiệu a.Trong trọng số w tương ứng với độ liên kết khớp kết nối (Synapse), hàm tổng hàm chuyển mô thân tế bào tín hiệu mơ tín hiệu Axon Hình 3: Mơ hình Nơ ron có đầu vào đơn Tín hiệu a phụ thuộc vào hàm chuyển khuynh hướng xem trọng số tín hiệu vào bằng 4.2 Mơ hình Nơron nhiều tín hiệu vào Thường nơ ron có nhiều tín hiệu vào Mơ hình nơron có R tín hiệu vào sau: Hình 4: Mơ hình Nơron nhiều tín hiệu vào n Trong n= ∑w i= 1,i pi + b hay n= Wp+b;với nơron đơn W vectơ hàng, a= f(Wp +b) Các kiểu kiến trúc mạng - Lớp nơron thực tiếp nhận tín hiệu vào gọi lớp vào (Input Layer) - Lớp nơron thực đưa tín hiệu gọi lớp (Output Layer) - Giữa hai lớp vào có nhiều lớp khơng liên hệ trực tiếp với mơi trường bên ngồi gọi lớp ẩn (Hidden Layer) 5.1 Mạng tầng Nơron truyền thẳng Ký hiệu W ma trận trọng số, p vectơ tín hiệu vạo b vectơ khuynh hướng Mạng tầng S nơron mơ tả sau: Hình 5: Mạng tầng Nơron truyền thẳng  w11 w1r    Ma trận trọng số có dạng W=   Ta quy ước số thứ w   s1 wsr  nơron mà tín hiệu đến số thứ hai nguồn tín hiệu n = Wp + b a = f(n) = f(Wp + b) 5.2 Mạng nhiều tầng Nơron truyền thẳng Mạng có nhiều tầng nơron sau: Hình 6: Mạng nhiều tầng Nơron truyền thẳng Ta có: đầu tầng i n1 = W1p+ b1 = fi(ni) ni = Wi ai-1 + bi với i ≥2 Tầng đầu gọi tầng vào p tín hiệu vào Tầng nơron cuối gọi tầng ra, tầng nơron lại gọi tầng ẩn Mạng nhiều tầng mạnh mạng tầng đơn.Chẳng hạn mạng hai tầng với hàm chuyển tầng ẩn hàm Sigmoid hàm chuyển tầng hai tuyến tính xấp xỉ hàm liên tục với độ xác tuỳ ý có đủ nhiều mạng nhiều tín hiệu vào 5.3 Mạng hời quy Mạng hồi quy mạng có số tín hiệu nối với tín hiệu vào (có mối liên hệ ngược) Mạng hồi quy thường có nhiều khả mạng truyền tới Ví dụ: Một mạng hồi quy sau : Hình 7: Ví dụ mạng hồi quy Mạng học Chức mạng nơron định nhân tố như: hình trạng mạng (số lớp, số đơn vị tầng, cách mà lớp liên kết với nhau) trọng số liên kết bên mạng Hình trạng mạng thường cố định, trọng số định thuật tốn huấn luyện (training algorithm) Tiến trình điều chỉnh trọng số để mạng “nhận biết” quan hệ đầu vào đích mong muốn gọi học (learning) hay huấn luyện (training) Rất nhiều thuật toán học phát minh để tìm tập trọng số tối ưu làm giải pháp cho toán Các thuật tốn chia làm hai nhóm chính: Học có thầy (Supervised learning) Học khơng có thầy (Unsupervised Learning) 6.1 Học có thầy Mạng huấn luyện bằng cách cung cấp cho cặp mẫu đầu vào đầu mong muốn (target values) Các cặp cung cấp "thầy giáo", hay hệ thống mạng hoạt động Sự khác biệt đầu thực tế so với đầu mong muốn thuật tốn sử dụng để thích ứng trọng số mạng Điều thường đưa toán xấp xỉ hàm số - cho liệu huấn luyện bao gồm cặp mẫu đầu vào x, đích tương ứng t, mục đích tìm hàm f(x) thoả mãn tất mẫu học đầu vào 6.2 Học khơng có thầy Với cách học khơng có thầy, khơng có phản hồi từ môi trường để rằng đầu mạng Mạng phải khám phá đặc trưng, điều chỉnh, mối tương quan, hay lớp liệu vào cách tự động Trong thực tế, phần lớn biến thể học khơng có thầy, đích trùng với đầu vào Nói cách khác, học khơng có thầy ln thực công việc tương tự mạng tự liên hợp, cô đọng thông tin từ liệu vào 10 Hàm mục tiêu Để huấn luyện mạng xét xem thực tốt đến đâu, ta cần xây dựng hàm mục tiêu (hay hàm giá) để cung cấp cách thức đánh giá khả hệ thống cách không nhập nhằng Việc chọn hàm mục tiêu quan trọng hàm thể mục tiêu thiết kế định thuật tốn huấn luyện áp dụng Để phát triển hàm mục tiêu đo xác muốn việc dễ dàng Một vài hàm sử dụng rộng rãi Một số chúng hàm tổng bình phương lỗi (sum of squares error function), Trong đó: p: số thứ tự mẫu tập huấn luyện i : số thứ tự đơn vị đầu tpi ypi : tương ứng đầu mong muốn đầu thực tế mạng cho đơn vị đầu thứ i mẫu thứ p Trong ứng dụng thực tế, cần thiết làm phức tạp hàm số với vài yếu tố khác để kiểm sốt phức tạp mơ hình 11 PHẦN 2: ỨNG DỤNG MẠNG NƠ RON NHẬN DẠNG TIẾNG NÓI Mạng nơ ron (Neuron Netwok) cơng cụ có khả giải nhiều tốn khó, thực tế nghiên cứu mạng nơ ron đưa cách tiếp cận khác với cách tiếp cận truyền thống lý thuyết nhận dạng Nhận dạng tiếng nói Nhận dạng tiếng nói q trình nhận dạng mẫu, với mục đích phân lớp (classify) thơng tin đầu vào tín hiệu tiếng nói thành dãy mẫu học trước lưu trữ nhớ Các mẫu đơn vị nhận dạng, chúng từ, âm vị Nếu mẫu bất biến khơng thay đổi cơng việc nhận dạng tiếng nói trở nên đơn giản bằng cách so sánh liệu tiếng nói cần nhận dạng với mẫu học lưu trữ nhớ Khó khăn nhận dạng tiếng nói tiếng nói ln biến thiên theo thời gian có khác biệt lớn tiếng nói người nói khác nhau, tốc độ nói, ngữ cảnh môi trường âm học khác Xác định thơng tin biến thiên tiếng nói có ích thơng tin khơng có ích nhận dạng tiếng nói quan trọng Đây nhiệm vụ khó khăn mà với kỹ thuật xác suất thống kê mạnh khó khăn việc tổng qt hố từ mẫu tiếng nói biến thiên quan trọng cần thiết nhận dạng tiếng nói Các nghiên cứu nhận dạng tiếng nói dựa ba nguyên tắc bản: - Tín hiệu tiếng nói biểu diễn xác giá trị phổ khung thời gian ngắn (short-term amplitude spectrum) Nhờ ta trích đặc điểm tiếng nói từ khoảng thời gian ngắn dùng đặc điểm làm liệu để nhận dạng tiếng nói - Nội dung tiếng nói biểu diễn dạng chữ viết, dãy ký hiệu ngữ âm Do ý nghĩa phát âm bảo tồn phiên âm phát âm thành dãy ký hiệu ngữ âm - Nhận dạng tiếng nói q trình nhận thức Thơng tin ngữ nghĩa (semantics) suy đốn (pragmatics) có giá trị q trình nhận dạng tiếng nói, thơng tin âm học không rõ ràng 12 Nhận dạng tiếng nói mạng nơ ron Những chức hệ thống nhận dạng tiếng nói thể sơ đồ sau: Hình Sơ đồ khối mơ tả hệ thống nhận dạng tiếng nói Mơ tả mạng nơ ron nhận dạng - Phương án lựa chọn số nút lớp mạng: theo kinh nghiệm chuyên gia mạng nơ ron tốn phân lớp có sử dụng mạng lan truyền ngược hướng, sử dụng lớp tính tốn lớp mạng Kohonen làm lớp ẩn Ta xác định số nơ ron cho lớp + Số nơ ron lớp vào = số chiều vector vào, ta chọn 12 hệ số cepstral đặc trưng mẫu, mẫu xử lý L khung tiếng nói, số nơ ron lớp vào 12*L, ví dụ sử dụng frames/mẫu số nơ ron lớp vào 60 + Số nơ ron lớp Kohonen = số giá trị tập trả lời Ví dụ cần nhận dạng 10 từ từ mô tả vector vào 60 thành phần, lớp ẩn cần lưu trữ lời giải 600, cần số nơ ron lớp ẩn 625 nơron (ma trận nơ ron kích thước 25x25) + Số nơ ron lớp = số lượng kết đầu ra, sử dụng phương pháp mã hoá bằng số bit biểu diễn số lượng kết quả, ví dụ cần nhận dạng 128 từ cần nơ ron lớp ra, nơ ron cho phép mã hoá 27 = 128 giá trị - Phương pháp học cạnh tranh lớp ẩn trình học có đạo lớp mạng theo bước sau: + Khởi tạo trọng số: thành phần ma trận trọng số khởi tạo giá trị ngẫu nhiên + Đọc tín hiệu vào cho mạng: liệu file mẫu chứa thông tin mẫu học cho kết gồm thành phần: mảng chiều chứa vector tín hiệu vào mảng chiều chứa ma trận trọng số liên kết ban đầu lớp Kohonen + Hiệu chỉnh ma trận trọng số lớp Kohonen: hiệu chỉnh trọng số liên kết nơ ron lớp ẩn Kohonen cho mạng học mẫu tốt Từ mảng chiều chứa vector tín hiệu vào, mảng hai chiều chứa ma trận trọng số liên kết 13 lớp ẩn hằng số học amin, amax, tmax chức phải xác định mảng hai chiều chứa ma trận trọng số liên kết lớp ẩn theo công thức: HidWeight =HidWeight + rate(t)topo(Winner, i)(InVec(j) - HidWeight + Hiệu chỉnh ma trận trọng số lớp ra: hiệu chỉnh trọng số liên kết nơ ron lớp để tạo bảng tra cứu Từ mảng chiều chứa vector tín hiệu mảng hai chiều chứa ma trận trọng số liên kết lớp chức phải xác định mảng hai chiều chứa ma trận trọng số liên kết lớp bằng cách hiệu chỉnh ma trận trọng số liên kết lớp theo công thức: OutWeight Phương pháp nhận dạng =OutVec(k) - Đầu vào: file wave chứa liệu tín hiệu tiếng nói cần nhận dạng file dat chứa thông tin trọng số liên kết nơ ron lớp ẩn lớp Ngoài đầu vào nguồn âm từ micro thơng qua sound card để làm, lúc liệu tiếng nói đọc buffer liệu Windows - Đầu ra: kết cần nhận dạng - Quá trình nhận dạng tiếng nói thực qua bước: + Đọc tín hiệu vào: đọc liệu từ file wav từ buffer liệu âm + Xử lý tín hiệu giống chức phân tích LPC + Đọc ma trận trọng số liên kết lớp ẩn lớp mạng + Xác định nơ ron trung tâm + Tra cứu kết quả: tra cứu đồ topo mạng nơ ron để đưa giá trị cần nhận dạng 14 KẾT LUẬN Báo cáo trình bày số khái niệm mạng nơron nhân tạo, hệ thống hoạt động dựa bắt chước não người, nhiên, có hoạt động đơn giản nhiều so với não người Điểm nỗi bật mạng nơron nhân tạo khả học nhớ Trong báo cáo nghiên cứu tìm hiểu việc nhận dạng tiếng nói sử dụng phương pháp mã dự đốn tuyến tính để phân tích tín hiệu, sử dụng mạng nơ ron lan truyền ngược hướng với lớp mạng tự tổ chức Kohonen để tích luỹ tri thức cho mạng Qua q trình học tập nghiên cứu mơn “Trí tuệ nhân tạo nâng cao”, Tôi tiếp thu thêm lượng kiến thức quý báu cho thân Tuy nhiên dù thân cố gắng thời gian nghiên cứu, trình độ lực, kinh nghiệm thực tiễn nhiều hạn chế nên tập khó tránh khỏi sai sót Kính mong giúp đỡ, bảo thầy giáo bạn để tập hoàn thiện 15 ... (Unsupervised Learning) 6.1 Học có thầy Mạng huấn luyện bằng cách cung cấp cho cặp mẫu đầu vào đầu mong muốn (target values) Các cặp cung cấp "thầy giáo", hay hệ thống mạng hoạt động Sự khác biệt... giá trị phổ khung thời gian ngắn (short-term amplitude spectrum) Nhờ ta trích đặc điểm tiếng nói từ khoảng thời gian ngắn dùng đặc điểm làm liệu để nhận dạng tiếng nói - Nội dung tiếng nói biểu... khoảng 1011 nơron, 1015 khớp kết nối Các khớp sinh kết nối với nhau, chúng kết nối nhờ trình học Đến người hiểu biết rằng q trình tính tốn não sinh học khác với máy tính số.Bộ não xử lý chậm