Tiểu luận môn học Xử Lý Ngôn Ngữ Tự Nhiên mạng nơ ron

Tiểu luận môn học Xử Lý Ngôn Ngữ Tự Nhiên mạng nơ ron Sự phát triển mạnh mẽ của Công nghệ nói chung và Công nghệ thông tin nói riêng đã tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá mọi hoạt động kinh doanh cũng như quản lý trong xã hội. Điều này đã tạo ra những dòng dữ liệu khổng lồ trở thành hiện tượng “bùng nổ thông tin”.

Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên MỞ ĐẦU Sự phát triển mạnh mẽ của Công nghệ nói chung và Công nghệ thông tin nói riêng đã tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá mọi hoạt động kinh doanh cũng như quản lý trong xã hội. Điều này đã tạo ra những dòng dữ liệu khổng lồ trở thành hiện tượng “bùng nổ thông tin”. Nhiều hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện đã giúp con người khai thác có hiệu quả các nguồn tài nguyên dữ liệu lớn nói trên. Bên cạnh chức năng khai thác cơ sở dữ liệu có tính tác nghiệp, sự thành công trong kinh doanh không chỉ thể hiện ở năng lại tri thức từ dữ liệu hơn là chính bản thân dữ liệu. Phát hiện tri thức trong cơ sở dữ lại tri thức từ dữ liệu hơn là chính bản thân dữ liệu. Phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) là một quá trình hợp nhất các dữ liệu từ nhiều hệ thống dữ liệu khác nhau tạo thành các kho dữ liệu, phân tích thông tin để có được nhiều tri thức tiềm ẩn có giá trị. Trong đó, khai phá dữ liệu (Data Mining) là quá trình chính trong phát hiện tri thức. Sử dụng các kỹ thuật và các khái niệm của các lĩnh vực đã được nghiên cứu từ trước như học máy, nhận dạng, thống kê, hồi quy, xếp loại, phân nhóm, đồ thị, mạng nơron, mạng Bayes, được sử dụng để khai phá dữ liệu nhằm phát hiện ra các mẫu mới, tương quan mới, các xu hướng có ý nghĩa. Trong bài tiểu luận này, chúng tôi chỉ đề cập đến một phần rất nhỏ của phân mảng “máy học” mà đại diện chúng tôi chọn để nghiên cứu là “mạng nơ ron”. Tiểu luận này được thực hiện dưới sự hướng dẫn TS. Nguyễn Thị Minh Huyền Trường Đại Học Khoa học Tự nhiên, Đại Học Quốc Gia Hà Nội. Chúng tôi xin chân thành cảm ơn cô đã hướng dẫn cho chúng tôi để bài tiểu luận này được hoàn thành. Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 1 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên 1. GIỚI THIỆU Khi được hỏi về những kỹ năng thông minh nào là cơ bản nhất đồng thời khó tự động hóa nhất của con người ngoài các hoạt động sáng tạo nghệ thuật, hành động ra quyết định mang tính đạo đức, trách nhiệm xã hội thì người ta thường đề cập đến vấn đề ngôn ngữ và học. Trãi qua nhiều năm, hai lĩnh vực này vẫn là mục tiêu, thách thức của khoa học TTNT. Tầm quan trọng của việc học thì không cần phải tranh cãi, vì khả năng học chính là một trong những thành tố quan trọng của hành vi thông minh. Mặc dù tiếp cận hệ chuyên gia đã phát triển được nhiều năm, song số lượng các hệ chuyên vẫn còn hạn chế. Một trong những nguyên nhân chủ yếu là do quá trình tích lũy tri thức phức tạp, chi phí phát triển các hệ chuyên gia rất cao, nhưng chúng không có khả năng học, khả năng tự thích nghi khi môi trường thay đổi. Các chiến lược giải quyết vấn đề của chúng cứng nhắc và khi có nhu cầu thay đổi, thì việc sửa đổi một lượng lớn mã chương trình là rất khó khăn. Một giải pháp hiển nhiên là các chương trình tự học lấy cách giải quyết vấn đề từ kinh nghiệm, từ sự giống nhau, từ các ví dụ hay từ những ‘chỉ dẫn’, ‘lời khuyên’… 1.1 Định nghĩa học máy Học máy (hay máy học – Machine learning) là một thành phần quan trọng của trí tuệ nhân tạo nhằm nghiên cứu và phát triển các phương pháp, kỹ thuật giúp cho các hệ thống hay máy tính có khả năng học (Tiến Phong). 1.2 Vấn đề quá vừa dữ liệu (Over-fitting) Thuật ngữ over-fitting ra đời dùng để chỉ một hiện tượng xuất hiện trong quá trình khai phá dữ liệu sử dụng phương pháp học máy. Hiện tượng này gây khó khăn đáng kể cho việc thiết kế, xây dựng hệ thống ngay từ bước chuẩn bị dữ liệu Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 2 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên cho đến bước kiểm thử hệ thống. Khi hiện tượng over-fitting xảy ra sẽ làm cho hiệu quả của hệ thống giảm xuống và kết quả thu được từ hệ thống không còn độ tin cậy cao. Có thể định nghĩa hiện tượng over-fitting như sau: 1.2.1 Định nghĩa quá vừa dữ liệu Một hàm mục tiêu hay một giả thiết học được h, sẽ được gọi là over-fitting (quá vừa dữ liệu) với một tập dữ liệu huấn luyện nếu tồn tại một hàm mục tiêu khác là h’ sao cho: h’ kém phù hợp hơn, đạt độ chính xác kém hơn so với h trên tập dữ liệu huấn luyện, nhưng h’ lại đạt độ chính xác cao hơn h đối với toàn bộ tập dữ liệu (bao gồm cả tập dữ liệu liệu huấn luyện và tập dữ liệu kiểm tra)  Ví dụ quá vừa dữ liệu Giả sử gọi D là tập toàn bộ các dữ liệu có thể có, Training_D là tập các dữ liệu huấn luyện Giả sử Err_D(h) là mức lỗi mà giả thiết h sinh ra đối với tập D, và Err_Training_D(h) là mức lỗi mà giả thiết h sinh ra đối với tập Training_D. Nếu tồn tại một giả thiết khác là h’ sao cho: Err_Training_D(h) < Err_Training_D(h’) và Err_D(h) > Err_D(h’) Thì khi đó h được coi là quá vừa dữ liệu trên tập huấn luyện Training_D.  Nguyên nhân quá vừa dữ liệu • Vấn đề over-fitting thường do các nguyên nhân: • Lỗi (nhiễu) trong tập huấn luyện phát sinh trong quá trình thu thập, xây dựng tập dữ liệu. • Số lượng dữ liệu của tập huấn luyện quá nhỏ, không đại diện cho toàn bộ tập dữ liệu có thể có hay toàn bộ phân bố dữ liệu của bài toán. Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 3 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên 1.3 Bản chất của học máy dưới góc nhìn của xác suất thống kê. Có thể mô hình hoá một vấn đề máy học như sau: Cho một dãy l quan sát: (x 1 , y 1 ), (x 2 , y 2 ), … , (x l , y l ). Trong đó:  x 1 , x 2 , …, x l là các mẫu, x i R n . Các mẫu x i được phát sinh ngẫu nhiên theo một hàm phân bố xác suất F(x) nào đó mà ta không biết.  y i là các kết quả học tương ứng với mẫu x i , y i R. Thường thì y là kết quả của một hàm f(x) nào đó – đơn trị. Tuy nhiên trong trường hợp tổng quát thì y không đơn trị. Do đó y được xác định theo một hàm phân bố điều kiện F(y| x) mà ta cũng không biết. Bây giờ cho một mẫu x*, vấn đề của máy học là xác định một hàm f 0 (x) mà có thể ước lượng tốt nhất giá trị y* tương ứng. Như vậy theo lý thuyết tương quan trong thống kê thì f 0 (x) tốt nhất theo lý thuyết phải là kỳ vọng của y theo x theo phân bố F(y|x).f 0 (x) còn được gọi là phương trình hồi quy. Với x tuân theo phân bố F(x), y tuân theo phân bố có điều kiện F(y|x) thì hàm phân bố của cặp (x, y) là F(x, y) = F(x)F(y|x). Có thể thấy xác suất để có dãy (x 1 , y 1 ), (x 2 , y 2 ), … , (x l , y l ) là tích F(x 1 , y 1 )F(x 2 , y 2 )…F(x l , y l ). Tuy nhiên, ở đây ta không biết F(x) lẫn F(y|x) nên không thể xác định chính xác kỳ vọng này. Tất cả dữ liệu mà ta biết chỉ là dãy hữu hạn các mẫu quan sát (x 1 , y 1 ), (x 2 , y 2 ), … , (x l , y l ). Nhiệm vụ của máy học là xác định chính xác nhất có thể được hàm f 0 (x) dựa trên các dữ liệu hữu hạn này. Trong trường hợp khi y R, tức đây là vấn đề hồi quy (regression). Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 4 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Trong trường hợp bài toán phân lớp (classification) thì y {-1, 1} là trường hợp nhận dạng hai lớp, nếu y i = -1 thì x i thuộc lớp thứ nhất (không được quan tâm), còn y i = 1 thì x i thuộc lớp thứ 2 (lớp được quan tâm) 1.4 Một số phương pháp học máy Trong lĩnh vực học máy có nhiều phương pháp học khác nhau, trong phần này đề cập đến 3 phương pháp học được sử dụng phổ biến nhất, gồm có: học không giám sát, học bán/ nửa giám sát và học có giám sát. 1.4.1 Phương pháp học không giám sát (Unsupervised Learning)  Khái niệm học không giám sát Học không giám sát là học với tập dữ liệu huấn luyện ban đầu hoàn toàn chưa được gán nhãn. Học không giám sát là phương pháp học sử dụng cho lớp bài toán gom cụm, phân cụm (Clustering).  Nội dung phương pháp học không giám sát Để thực hiện phân cụm, trước tiên cần một tập dữ liệu huấn luyện (training dataset) – là một tập các ví dụ học (training examples/instances). Trong đó, mỗi ví dụ học chỉ chứa thông tin biểu diễn (ví dụ: một vector các giá trị thuộc tính), mà không có bất kỳ thông tin gì về nhãn lớp hoặc giá trị đầu ra mong muốn (expected output). Áp dụng một thuật toán học không có giám sát (ví dụ k-Means) để học hàm/mô hình mục tiêu (trong trường hợp này là hàm phân cụm ứng với thuật toán được chọn). Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 5 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Sử dụng một phương pháp thử nghiệm (có thể kết hợp với một tập dữ liệu có gán nhãn) để đánh giá hiệu năng/chất lượng của hàm mục tiêu học được.  Một số thuật toán học không giám sát Có rất nhiều thuật toán học không giám sát được ra đời và phát triển nhằm giải quyết bài toán phân cụm phục vụ khai thác hiệu quả nguồn dữ liệu chưa gán nhãn nhiều và rất đa dạng. Việc lựa chọn sử dụng thuật toán nào tuỳ thuộc vào dữ liệu và mục đích của từng bài toán. Trong đó các thuật toán thường được sử dụng như: k- means, HAC (Hierarchical Agglomerative Clustering), SOM (Self-Organizing Map), DBSCAN, FCM, (chi tiết các thuật toán này có thể tìm kiếm trên Internet) 1.4.2 Phương pháp học bán giám sát (Semi-Supervised Learning) Trong thực tế, để có được một tập dữ liệu có chất lượng và đã được gán nhãn của một lĩnh vực, thường được thực hiện thủ công bằng tay bởi người có nhiều kinh nghiệm về lĩnh vực đó. Vì vậy, dữ liệu đã được gán nhãn thường ít và đắt. Trong khi đó, dữ liệu chưa được gán nhãn lại rất nhiều và phong phú. Phương pháp học bán giám sát (hay học nửa giám sát) được đặt ra để tận dụng cả hai nguồn dữ liệu này.  Khái niệm học bán giám sát Học bán giám sát là học với tập dữ liệu huấn luyện gồm cả dữ liệu đã được gán nhãn và dữ liệu chưa được gán nhãn. Tuỳ vào từng mục đích cụ thể, học bán giám sát có thể được áp dụng cho bài toán phân lớp hoặc phân cụm.  Nội dung phương pháp học bán giám sát Nội dung chính của học bán giám sát là hệ thống sử dụng một tập học (training set) gồm 2 phần: các ví dụ học có nhãn, thường với số lượng (rất) ít, và các ví dụ Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 6 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên học không có nhãn, thường với số lượng (rất) nhiều. Thực tế cho thấy khi sử dụng kết hợp dữ liệu không có nhãn với một lượng nhất định dữ liệu có nhãn có thể tăng độ chính xác đáng kể. Một thuật toán học bán giám sát được sử dụng (ví dụ Self-training) sẽ học các ví dụ có nhãn, sau đó tiến hành gán nhãn cho một số (có lựa chọn) các ví dụ không có nhãn - một cách hợp lý, có đánh giá chất lượng công việc hay độ chính xác. Tiếp theo, chọn các ví dụ vừa được gán nhãn có độ tin cậy cao (vượt trên một ngưỡng chọn trước) đưa vào kết hợp với tập dữ liệu có nhãn, tạo thành một tập dữ liệu huấn luyện mới. Áp dụng một phương pháp kiểm thử (có thể kết hợp với một tập dữ liệu đã biết trước nhãn) để đánh giá hiệu năng/độ chính xác của mô hình.  Một số thuật toán học bán giám sát Một số thuật toán thường được sử dụng gồm có: thuật toán Cực đại kỳ vọng (EM - Expectation Maximization), SVM truyền dẫn (TSVM - Transductive Support Vector Machine), Self-training, Co-training và các phương pháp dựa trên đồ thị (graph-based). Việc lựa chọn thuật toán nào dựa trên một số định hướng: nếu các lớp dữ liệu có tính phân cụm cao thì nên dùng EM với mô hình hỗn hợp sinh; nếu đã sử dụng SVM thì mở rộng thành TSVM; khi khó nâng cấp mô hình học có giám sát đã có, thì nên dùng self-training; nếu các đặc trưng của dữ liệu phân chia tự nhiên thành hai phần riêng rẽ thì nên dùng Co-training; còn nếu hai mẫu dữ liệu có đặc trưng tương tự nhau hướng tới một lớp thì sử dụng phương pháp dựa trên đồ thị. Trong số các thuật toán học bán giám sát thông dụng, có 2 thuật toán tiêu biểu là Self-training và Co-training.  Thuật toán Self-training: Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 7 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Self-training là kỹ thuật học bán giám sát được sử dụng khá phổ biến do tận dụng được nguồn dữ liệu chưa gán nhãn lớn và ban đầu chỉ cần lượng nhỏ dữ liệu đã gán nhãn. Nội dung chính của Self-training là lặp nhiều lần phương pháp học có giám sát. Gọi D: là tập các dữ liệu đã được gán nhãn. C : là tập các dữ liệu chưa gán nhãn. Thuật toán Self-training thực hiện như sau: Lặp (cho đến khi C = Æ): i. Huấn luyện bộ phân lớp có giám sát h trên tập D ii. Sử dụng h để phân lớp dữ liệu trong tập C iii. Tìm tập con C’ Í C có độ tin cậy cao nhất: D + C’ Þ D ; C – C’ Þ C. Ban đầu huấn luyện bộ phân lớp bằng cách cho bộ phân lớp học một tập dữ liệu huấn luyện đã được gán nhãn (tập này thường nhỏ so với tập dữ liệu chưa gán nhãn). Dùng bộ phân lớp đã được huấn luyện, phân lớp cho các dữ liệu chưa được gán nhãn. Trong số dữ liệu mới được gán nhãn, chọn các dữ liệu có độ tin cậy cao (lớn hơn một ngưỡng nào đó) kèm với nhãn vừa gán, đem bổ sung vào tập dữ liệu huấn luyện ban đầu. Sau đó, bộ phân lớp được học lại trên tập huấn luyện mới (gồm dữ liệu đã gán nhãn ban đầu và dữ liệu do bộ phân lớp mới gán nhãn) và thuật toán được lặp lại. Sau mỗi vòng lặp, bộ phân lớp sẽ bổ sung một số mẫu dữ liệu có độ tin cậy cao nhất cùng với dự đoán phân lớp của chúng vào tập dữ liệu huấn luyện. Tên gọi Self-training xuất phát từ việc sử dụng dự đoán của nó để huấn luyện chính nó.  Thuật toán Co-training: Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 8 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Thuật toán Co-training dựa trên giả thuyết rằng các đặc trưng của tập dữ liệu huấn luyện có thể được phân chia thành 2 tập con (trường hợp lý tưởng là hai tập con này thoả mãn điều kiện độc lập nhau - conditional independent). Nội dung chính của thuật toán như sau: • Dùng 2 bộ phân lớp phù hợp để học 2 tập con tương ứng (mỗi tập con huấn luyện một bộ phân lớp). • Mỗi bộ phân lớp thực hiện phân lớp cho các dữ liệu chưa gán nhãn, thu được kết quả là tập dữ liệu chưa gán nhãn kèm theo nhãn dự đoán của chúng. Trong tập kết quả của bộ phân lớp 1, chọn ra những mẫu dữ liệu (kèm nhãn đã dự đoán) có độ tin cậy cao nhất bổ sung vào tập huấn luyện của bộ phân lớp 2 và ngược lại. • Mỗi bộ phân lớp được học lại tập dữ liệu huấn luyện (gồm dữ liệu gán nhãn ban đầu và dữ liệu gán nhãn mới bổ sung từ kết quả của bộ phân lớp kia). Quá trình được lặp lại cho đến khi tập dữ liệu chưa gán nhãn rỗng hoặc số vòng lặp đạt tới một ngưỡng được xác định trước.  Thuật toán Co-training: (1). Huấn luyện hai bộ phân lớp: f (1) từ (X l (1) , Y l ), f (2) từ (X l (2) , Y l ). (2). Phân lớp các mẫu dữ liệu chưa gán nhãn X u với f (1) và f (2) tách biệt nhau. (U là tập các mẫu dữ liệu chưa gán nhãn) (3). Chèn thêm vào f (1) k-most-confident (x, f (1) (x)) tới các dữ liệu đã gán nhãn của f (2) . (4). Chèn thêm vào f (2) k-most-confident (x, f (2) (x)) tới các dữ liệu đã gán nhãn của f (1) . (5). Lặp lại các quá trình trên.  Thuật toán Co-training trên có thể viết như sau: L: là tập các mẫu dữ liệu đã gán nhãn Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 9 Võ Huỳnh Trâm – Trần Ngân Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên U: là tập các mẫu dữ liệu chưa gán nhãn (1). L có thể phân chia thành hai tập con L 1 và L 2 (trường hợp lý tưởng thì L 1 và L 2 độc lập nhau). (2). Cho bộ phân lớp h 1 học L 1 (hay L 1 huấn luyện bộ phân lớp h 1 ) Cho bộ phân lớp h 2 học L 2 (hay dùng L 2 huấn luyện bộ phân lớp h 2 ) (3). Dùng h 1 phân lớp cho U thu được tập U 1 ’ kèm nhãn dự đoán của chúng. Dùng h 2 phân lớp cho U thu được tập U 2 ’ kèm nhãn dự đoán của chúng. (4). Từ U 1 ’ chọn ra u 1 mẫu dữ liệu kèm theo nhãn của nó, có độ tin cậy cao nhất. Bổ sung u 1 vào L 2 . Khi đó, L 2 + u 1 => L 2 . Từ U 2 ’ chọn ra u 2 mẫu dữ liệu kèm theo nhãn của nó, có độ tin cậy cao nhất. Bổ sung u 2 vào L 1 . Khi đó, L 1 + u 2 => L 1 . (5). Dùng L 1 mới huấn luyện bộ phân lớp h 1 (hay h 1 học L 1 ) Dùng L 2 mới huấn luyện bộ phân lớp h 2 (hay h 2 học L 2 ) (6). Lặp lại từ bước (3). cho đến khi tập U rỗng hoặc số vòng lặp đạt đến ngưỡng xác định trước. Có thể viết rút gọn bằng cách bỏ bước (5). ở trên. Bước (6). đổi thành bước (5): Lặp lại từ bước (2). cho đến khi tập U rỗng hoặc số vòng lặp đạt đến ngưỡng xác định trước. 1.4.3 Phương pháp học có giám sát (Supervised Learning)  Khái niệm học có giám sát: Học có giám sát là học với tập dữ liệu huấn luyện ban đầu hoàn toàn được gán nhãn từ trước. Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS. Giáo Trình Trí Tuệ Nhân 1 Võ Huỳnh Trâm – Trần Ngân [...]... K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên 2 MẠNG N RON VÀ ỨNG DỤNG TRONG HỌC MÁY Giáo Trình Trí Tuệ Nhân 2.1 Giới thiệu mạng Nơ ron Các mô hình học theo tiếp cận này bắt chước theo cách học của các hệ thần kinh sinh vật Các hệ thống theo mô hình này có khi còn được gọi là các hệ kết nối (connectionist systems), tính toán neural (Neural computing), mạng neural (Neural Networks), các hệ xử lý phân... tắt/mở của các neuron 2.2.2 Các đặc trưng cơ bản của mạng nơ ron Ngoài các tính chất của một neuron đơn lẻ, một mạng neuron còn được đặc trưng bởi các tính chất toàn cục như sau: • Hình thái mạng (network topology): là mô hình hay mẫu kết nối giữa các neuron đơn lẻ Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Giáo Trình Trí Tuệ Nhân • Giải thuật học (learning algorithm):... thủ tục học perceptron sẽ học được nó 2.2.5 Học lan truyền ngược Như đã phân tích ở trên, ta thấy các mạng perceptron đơn tầng có khả năng giới hạn, chúng không thể phân loại được các bài toán không tách rời tuyến tính Trong phần tiếp theo, chúng ta sẽ thấy rằng các mạng đa tầng có thể giải quyết được các bài toán này Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên. .. ngược về xuyên qua các tầng ẩn Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Giáo Trình Trí Tuệ Nhân 2.2.6 Nhận xét chung về mạng nơ ron Nói chung các mạng đa tầng là đầy đủ về mặt tính toán (computationally complete), có nghĩa là có thể giải quyết được mọi bài toán Tuy nhiên, để thiết kế một mạng neuron đa tầng thì nhà thiết kế phải giải quyết được những vấn đề sau:... kết nối 2.2.1 Mạng nơ ron nhân tạo Thành phần cơ bản của một mạng neuron là một neuron nhân tạo, như mô tả trong hình sau đây  Các tín hiệu đầu vào x Các dữ liệu này có thể đến từ môi trường, i hay đượckích hoạt từ các neuron khác Các mô hình khác nhau có thể có Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên miềnGiáo Trình Trí Tuệ Nhân nhau; thông thường các giá... các thành phần, hay neuron, cũng được biểu diễn bằng các giá trị số Cuối cùng, sự biến đổi của các mẫu cũng là kết quả của các phép toán số học, thông thường là phép nhân ma trận Sự chọn lựa kiến trúc kết nối của nhà thiết kế mạng neuron góp phần vào tính thiên lệch quy nạp (inductive bias) của hệ thống Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Các Giáo Trình... bắt đầu khi các giải thuật học thực tế bắt đầu phát triển Phiên bản đầu tiên của mạng neuron có kèm giải thuật học được Frank Rosenblatt đưa ra vào cuối thập niên 1950, có tên gọi là perceptron 2.2.4 Học perceptron Perceptron là mạng neuron đơn tầng Cách lan truyền tín hiệu của perceptron tương tự với neuron McCulloch-Pitts Các giá trị đầu vào và các mức kích hoạt của perceptron là -1 hoặc 1; trọng số... triển trong các hệ thống gồm các thành phần (neuron sinh học hay neuron nhân tạo) đơn giản, tương tác thông qua một quá trình học hay thích nghi mà nhờ đó kết nối giữa các thành phần này được điều chỉnh Việc xử lý của các hệ thống này được phân tán trên một tập hợp các lớp neuron Các hệ thống này giải quyết vấn đề song song theo nghĩa rằng tất cả các neuron trong tập hợp hay trong các lớp sẽ xử lý tín... Perceptron sử dụng một hàm ngưỡng giới hạn i i cứng, khi một kích hoạt nằm bên trên ngưỡng, hàm sẽ cho kết quả là 1, và -1 nếu ngược lại Cho trước các giá trị đầu vào x , các trọng số w , và một ngưỡng, t, i i hàm ngưỡng f của perceptron sẽ trả về: Hoàng Quang Vũ, Nguyễn Anh Toàn K7MCS Tiểu luận môn học : Xử Lý Ngôn Ngữ Tự Nhiên Giáo Trình Trí Tuệ Nhân 1 -1 nếu ∑w x >= t i i nếu ∑w x i i