Kỹ thuật huấn luyện mạng neural và các vấn đề thực tế

TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM LỜI NÓI ĐẦU  Trong những năm gần đây, vai trò của máy tính trong việc lưu trữ và xử lý thông tin ngày càng trở nên quan trọng. Bên cạnh đó, các thiết bị thu thập dữ liệu tự động cũng phát triển mạnh góp phần tạo ra những kho dữ liệu khổng lồ. Dữ liệu được thu thập ngày càng nhiều nhưng người ra quyết định lại cần có những thông tin bổ ích và chính xác từ những tri thức được rút ra từ nguồn dữ liệu chưa được khai phá. Với những yêu cầu đó, mô hình CSDL truyền thống không còn thích hợp nữa. Để có được tri thức từ CSDL người ta đã phát triển các lĩnh vực nghiên cứu về tổ chức các kho dữ liệu và kho thông tin, các hệ trợ giúp ra quyết định, các phương pháp khai phá dữ liệu và phát hiện tri thức trong CSDL. Trong đó khai phá dữ liệu và phát hiện tri thức đã trở thành một lĩnh vực nghiên cứu khá sôi động. Qua quá trình học tập nghiên cứu môn Công Nghệ Tri Thức và Ứng Dụng, và sự hướng dẫn của thầy GS.TS Hoàng Kiếm chúng em đã học được những tri thức nền tảng về biểu diễn xây dựng các hệ cơ sở tri thức cũng như việc khám phá tri thức. Nhưng do thời gian và khả năng có hạn nên trong nội dung tiểu luận em chỉ trình bày một phần nhỏ về lĩnh vực máy học, cụ thể là kỹ thuật huấn luyện mạng neural và các vấn đề thực tế. TP HCM ngày 31 tháng 05 năm 2012 HVTH: NGUYỄN THỊ NAM TRANG 1 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM MỤC LỤC CHƯƠNG I: TIẾP CẬN MẠNG NEURAL 3 I. Tổng quan 3 II. Thuật toán học đơn giản trên Perceptron 7 III. Thuật toán lan truyền ngược 11 CHƯƠNG II 16 I. Kỹ thuật huấn luyện mạng Perceptron 18 II. Mạng Perceptron một lớp 22 III. Huấn luyện Gradient Descent 24 IV. Các vấn đề thực tế 27 1. Tỉ lệ huấn luyện 27 2. Phương pháp huấn luyện mạng theo mẫu gốc (pattern) và xử lý theo khối (batch) 28 3. Khởi tạo giá trị ba đầu 29 4. Hiệu chỉnh tỉ lệ 29 KẾT LUẬN 30 TÀI LIỆU THAM KHẢO 31 HVTH: NGUYỄN THỊ NAM TRANG 2 Trục Nhánh Khớp Thân TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM CHƯƠNG I: TIẾP CẬN MẠNG NEURAL I. TỔNG QUAN: Mạng neural là thuật ngữ nói đến một phương pháp giải quyết vấn đề – bài toán trên máy tính mô phỏng theo hoạt động của các tế bào thần kinh trong não bộ. Mạng neural sinh học được tạo thành bởi sự liên kết giữa rất nhiều tế bào thần kinh (neural). Các xung động thần kinh được truyền từ khớp qua trục để đến thân. Thân tế bào tổng hợp các xung động thần kinh và ra quyết định tiếp tục truyền các tín hiệu sang tế bào thần kinh khác. Cấu trúc của một tế bào thần kinh sinh học Mạng neural nhân tạo là sự mô phỏng cấu trúc của mạng neural sinh học. Mạng neural nhân tạo được tạo thành bởi sự nối kết giữa rất nhiều đơn vị thần kinh gọi là perceptron. Những đơn vị này có nhiệm vụ nhận các tín hiệu từ các đơn vị khác hoặc từ dữ liệu nhập; thông qua các mối liên kết, đơn vị sẽ tiến hành tổng hợp tín hiệu đến nó, xử lý và truyền các tín hiệu sang các đơn vị thần kinh khác hoặc đến đầu ra. HVTH: NGUYỄN THỊ NAM TRANG 3 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM Một đơn vị thần kinh nhân tạo có cấu tạo như sau : Trong đó, x 1, …, x n là các giá trị truyền đến đơn vị thần kinh nhân tạo (giá trị này có thể là giá trị xuất từ một neural khác hoặc từ đầu vào). w 1 ,… , w n là các trọng số ứng với mỗi giá trị được truyền đến neural. Giá trị đầu ra y của một perceptron được tính bằng công thức sau : y = f((x n w n + x n-1 w n-1 + … + w 2 n 2 + w 1 n 1 + w 0 ) - φ) Hàm f được gọi là hàm truyền. Một hàm truyền cần phải có tính chất sau : - bị chặn - đơn điệu tăng - hàm liên tục tăng Các hàm truyền thường được sử dụng là : Hàm logistic (hay còn gọi là hàm Sigma) x e x − + = 1 1 )(f Hàm hyperbol x x e e x − − + − = 1 1 )(h Hàm tang-hyperbol xx xx ee ee x − − + − =)(tanh HVTH: NGUYỄN THỊ NAM TRANG 4 x 1 x 2 x n TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM Trong đó hàm sigmoid là hàm thường được dùng nhất. φ được gọi là ngưỡng kích hoạt của neural. Có thể nói rằng mạng neural nhân tạo là một phát minh quan trọng trong lĩnh vực trí tuệ nhân tạo. Ngày nay, mạng neural được ứng dụng trong nhiều lãnh vực khác nhau: công nghệ thông tin (khám phá tính năng xử lý không dùng ký hiệu và các hệ máy học nói chung), kỹ thuật (giám sát tình trạng của động cơ máy bay, kiểm soát quá trình sản xuất hay nhận dạng chữ ký), khoa học về tri thức (mô tả kiểu suy luận và nhận thức), vật lý (mô hình hóa các hiện tượng trong cơ học thống kê), sinh học (lý giải các chuỗi nucleotid), kinh tế (dự đoán về thị trường tiền tệ và chứng khoáng), dược học (liên quan cấu trúc-tác dụng) Một cách tổng quát, một mạng neural nhân tạo chỉ là một đồ thị bao gồm các đơn vị thần kinh nhân tạo kết nối với nhau. Tuy nhiên, có nhiều ứng dụng trong thực tiễn nhất là các mạng neural sau : - Mạng Hopfield : là mô hình mạng 1 lớp với trọng số đối xứng, được Hopfield đề xuất vào năm 1982. - Mạng Kohonen (winner-take-all) : do Kohonen đề xuất năm 1984, là mạng neural dựa trên ý tưởng phân lớp các giá trị đầu vào - Mạng lan truyền ngược : Do Rumelhart và McClelland giới thiệu năm 1984, mô hình này ứng dụng trong các dạng mạng neural phức tạp, nhiều lớp. Và đây cũng là một mô hình này đang được sử dụng khá phổ biến trong các bài toán trí tuệ nhân tạo. * Để ngắn gọn hơn, từ đây về sau, chúng ta sẽ dùng từ neural thay cho đơn vị thần kinh nhân tạo. Trong bài toán học mà chúng ta đã quen thuộc, để phân loại các đối tượng có m thuộc tính khác nhau vào n thuộc tính quyết định khác nhau. Chúng ta sẽ xây dựng mạng neural gồm có : • m neural nhập, mỗi neural ứng với một thuộc tính của đối tượng và nhận một giá trị trong miền giá trị xác định bởi miền giá trị của thuộc tính. • một hoặc nhiều các neural “trung gian” hay các neural ẩn HVTH: NGUYỄN THỊ NAM TRANG 5 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM • n neural xuất, mỗi neural ứng với một thuộc tính quyết định, miền giá trị của đầu ra của mỗi neural này là chính là miền giá trị của thuộc tính quyết định ứng với neural đó. Vấn đề lớn nhất trong việc xây dựng mạng neural là việc xác định giá trị thích hợp của các trọng số w cho các liên kết giữa các neural và chọn hàm truyền thích hợp cho mỗi neural. Và quá trình xác định các trọng số w gọi là quá trình huấn luyện mạng neural hay còn gọi là quá trình học. Để xác định các trọng số w, người ta sử dụng một tập dữ liệu mẫu trong đó có mô tả đầy đủ dữ liệu đầu vào và dữ liệu đầu ra tương ứng (tập dữ liệu huấn luyện tương tự như các tập mẫu mà chúng ta đã quen trong các thuật toán học trước, điểmkhác là ở đây các giá trị thuộc tính đều phải là các giá trị số) và một thuật toán dùng để điều chỉnh trọng số w của các neural – thuật toán học. Mạng neural đa lớp bao gồm lớp nhập, lớp ẩn và lớp xuất Chẳng hạn, xét lại ví dụ cháy nắng trong thuật toán học bằng cách xây dựng cây định danh. Để tiện theo dõi, bảng HVTH: NGUYỄN THỊ NAM TRANG 6 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM số liệu mẫu của ví dụ này sẽ được để dưới đây. Vì các neural chỉ có thể làm việc trên các kiểu dữ liệu số nên ta có thể “lượng hóa” giá trị các thuộc tính như sau : Tóc : vàng = 0, nâu = 1, đỏ = 2 Ch.Cao : thấp = 0, TB = 1, cao = 2 Cân nặng : nhẹ = 0, TB = 1, nặng = 2 Dùng kem : không = 0, có = 1 Cháy nắng : không = 0, có = 1 Như vậy mạng neural sẽ gồm : - 4 neural nhập, mỗi neural lần lượt ứng với mỗi thuộc tính màu tóc, chiều cao, cân nặng và có dùng kem hay không. Neural ứng với màu tóc sẽ nhận giá trị đầu vào là 0, 1 hoặc 2. - 1 neural xuất ứng với thuộc tính quyết định có cháy nắng hay không và giá trị xuất của neural này sẽ là 0 hoặc 1. Dĩ nhiên là số neural trung gian sẽ phụ thuộc vào cách thức chúng ta giải quyết bài toán này như thế nào. Đa số các thuật toán học dựa vào mạng neural đều tương đối phức tạp và liên quan đến nhiều các khái niệm toán học cao cấp. II. THUẬT TOÁN HỌC ĐƠN GIẢN TRÊN PERCEPTRON Perceptron có thể được xem là mạng neural đơn giản nhất vì chỉ gồm có một neural duy nhất. Tuy không mấy hữu ích so với một mạng neural đầy đủ nhưng nó lại HVTH: NGUYỄN THỊ NAM TRANG 7 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM rất hữu ích trong việc giúp chúng ta nắm được những nguyên tắc cơ bản trong tiếp cận máy học bằng mạng neural. Chúng ta sẽ sử dụng thuật toán học trên perceptron để xây dựng “hàm” để xác định một loại hoa có thuộc loại versicolor hay không. Để tiện vận dụng thuật toán perceptron, ta sẽ “lượng hóa” thuộc tính loài. Loài = 1 là versicolorl. Loài = -1 là loài khác. Chúng ta có các mẫu với các thuộc tính cho trong bảng sau : Công thức truyền của perceptron trong bài toán này sẽ như sau : và y = x 0 w 0 + x 1 w 1 + x 2 w 2 + x 3 w 3 + x 4 w 4 Trong đó, x 1 , x 2 , x 3 , x 4 lần lượt là giá trị các thuộc tính độ dài đài hoa, độ rộng đài hoa, độ dài cánh hoa và độ rộng cánh hoa. x 0 luôn có giá trị bằng 1 và được gọi là hệ số tự do. Nhiệm vụ của chúng ta là xác định giá trị cho các trọng số w i sao cho hàm f(y) có giá trị như trong cột loài đối với tất cả mẫu đã cho. Nghĩa là giải hệ phương trình sau : f(1.w 0 + 4.7w 1 + 3.2w 2 + 1.3w 3 + 0.2w 4 ) = -1 f(1.w 0 + 6.1w 1 + 2.8w 2 + 4.7w 3 + 1.2w 4 ) = 1 f(1.w 0 + 5.6w 1 + 3.0w 2 + 4.1w 3 + 1.3w 4 ) = 1 f(1.w 0 + 5.8w 1 + 2.7w 2 + 5.1w 3 + 1.9w 4 ) = -1 f(1.w 0 + 6.5w 1 + 3.2w 2 + 5.1w 3 + 2.0w 4 ) = -1 HVTH: NGUYỄN THỊ NAM TRANG 8 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM Ý tưởng của thuật toán perceptron là chọn ngẫu nhiên một bộ giá trị bất kỳ cho các w i . Sau đó thuật toán sẽ tiến hành điều chỉnh lại dần dần cho "khớp" (tính chất tự hoàn thiện qua thời gian). Cách thực hiện này quả thật là một kiểu giải phương trình bằng cách "mò" nghiệm của con người!. Tuy vậy người ta đã chứng minh được rằng phương pháp tìm nghiệm này (trong một số điều kiện chặt chẽ nhất định) sẽ dẫn đến kết quả sau một số lần lặp hữu hạn. Giả sử các trọng số ban đầu có các giá trị như sau : w 0 = 1; w 1 = 0; w 2 = 0; w 3 = 0; w 4 = 1 Thử với mẫu đầu tiên ta được : f(1×w 0 + 4.7×w 1 + 3.2×w 2 + 1.3×w 3 + 0.2×w 4 ) = f(1×1 + 4.7 × 0 + 3.2×0 + 1.3×0 + 0.2×1) = f(1.2) = 1 Hàm f cho kết quả khác với mong đợi là 1 thay vì -1. Do đó ta cần phải điều chỉnh lại các trọng số w i . Sở dĩ hàm f cho kết quả 1 là vì tổng ∑x i w i > 0. Do đó, để f trả ra -1 ta cần điều chỉnh w i sao cho tổng ∑x i w i giảm giá trị. Dễ dàng thấy rằng phép trừ sau sẽ làm giảm giá trị của w i (với r là một hằng số dương). w i = w i - r.x i Như vậy tổng ∑x i w i sẽ giảm giá trị nếu mọi w i đều giảm giá trị (bất chấp w i âm hay dương) Suy luận tương tự, có thể dễ dàng thấy rằng trong trường hợp ngược lại (hàm f cho ra kết quả là -1 thay vì 1) ta sẽ cập nhật các trọng số w i (để làm tăng giá trị của tổng ∑x i w i ) bằng công thức : w i = w i + r.x i Trở lại ví dụ của chúng ta, chọn r = 0.05. Như vậy, các trọng số sẽ được điều chỉnh như sau : w 0 = w 0 - r.x 0 = 1 - 0.05×1 = 0.95 HVTH: NGUYỄN THỊ NAM TRANG 9 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM w 1 = w 1 - r.x 1 = 0 - 0.05×4.7 = -0.24 w 2 = w 2 - r.x 2 = 0 - 0.05×3.2 = -0.16 w 3 = w 3 - r.x 3 = 0 - 0.05×1.3 = -0.07 w 4 = w 4 - r.x 4 = 1 - 0.05×0.2 = 0.99 Ta áp dụng các w i mới được điều chỉnh cho mẫu tiếp theo f(1×w 0 + 6.1×w 1 + 2.8×w 2 + 4.7×w 3 + 1.2×w 4 ) = f(1×0.95 + 6.1×(-0.24) + 2.8×(-0.16) + 4.7×(-0.07) + 1.2×0.99) = f(-0.05) = -1 Một lần nữa f lại trả ra kết quả khác với mong đợi là -1 thay vì 1. Ta sẽ điều chỉnh tăng các w i . w 0 = w 0 + r.x 0 = -0.95 + 0.05×1 = -1.00 w 1 = w 1 + r.x 1 = -0.24 + 0.05×6.1 = -0.07 w 2 = w 2 + r.x 2 = -0.16 + 0.05×2.8 = -0.02 w 3 = w 3 + r.x 3 = -0.07 + 0.05×4.7 = -0.17 w 4 = w 4 + r.x 4 = -0.99 + 0.05×1.2 = -1.05 Ta tiếp tục áp dụng quá trình thử và điều chỉnh này cho các mẫu kế tiếp, nếu hết mẫu, quay lại từ mẫu đầu tiên cho đến khi có được bộ trọng số w i thỏa tất cả các mẫu đã cho hoặc thời gian chạy vượt quá một giới hạn cho phép nào đó. Ví dụ của chúng ta sẽ dừng sau 1358 lần thử và điều chỉnh cho tất cả mẫu. Các trọng số w i kết quả là : w 0 = -1.80; w 2 = -0.30; w 3 = -0.19; w 4 = 4.65; w 5 = -11.56 Thuật toán Peceptron khá đơn giản và gần gũi với suy nghĩ của con người. Tuy nhiên, chính vì điều này, thuật toán này lại không mấy hữu hiệu trong những trường hợp phức tạp. Ví dụ của minh họa mà chúng ta vừa khảo sát là một trường hợp tuyến tính đơn giản nên sau một số lần điều chỉnh hữu hạn các w i sẽ "hội tụ" về HVTH: NGUYỄN THỊ NAM TRANG 10 [...]... III HUẤN LUYỆN GRADIENT DESCENT Có nhiều thuật toán có thể dùng cho việc huấn luyện các mô hình mạng nơ-ron; hầu hết có thể được xem là áp dụng trực tiếp của lý thuyết tối ưu hóa và ước lượng thống kê Phần lớn các thuật toán huấn luyện mạng nơ-ron sử dụng một kiểu xuống dốc (gradient descent - tiến dần tới cực tiểu địa phương) nào đó Điều này được thực hiện bằng cách lấy đạo hàm của hàm chi phí theo các. .. gắng đều chỉnh các tham số sao cho tổng bình phương lỗi là nhỏ nhất Khả năng hội tụ của mạng phụ thuộc vào các tham số khởi đầu, khả năng tổng quát hóa thì lại phụ thuộc rất nhiều vào dữ liệu đầu vào Đối với mạng neural một vấn đề nữa là khả năng rơi vào cực tiểu cục bộ Thuật toán lan truyền ngược lỗi không đảm bảo cho ta điểm cực tiểu toàn cục Nếu rơi vào cực tiểu cục bộ ta sẽ phải bắt đầu huấn luyện. .. THỨC VÀ ỨNG DỤNG HOÀNG KIẾM GVHD: GS.TS kết quả Do đó, trong thực tế thuật toán perceptron được dùng để minh họa cho tiếp cận học bằng mạng neural hơn là để áp dụng vào một ví dụ thực tiễn nào đó III THUẬT TOÁN LAN TRUYỀN NGƯỢC (BACK-PROPAGATION) Trong mục này chúng ta cùng nhau khảo sát một thuật toán học thực tiễn hơn Thuật toán này thường được áp dụng trên mạng neural có nhiều Dùng lại ví dụ trong thuật. .. Phương pháp gradient cho thấy: IV CÁC VẤN ĐỀ THỰC TẾ Mạng noron có thể mô hình hóa các hệ thức không tuyến tính, từ những nghiên cứu trên, thậm chí có thể tìm ra mẫu của những loài thực vật chưa biết.Tuy nhiên trong thực tế , có một số những khó khăn đe dọa sự phát triển, chẳng hạn như quyết định số lượng cần thiết và đầy đủ các nút trong mạng Có nhiều cách thiết kế cho mạng noron , trong phần tiếp theo... thuyết phục về vấn đề này Các neural ở lớp nhập có cấu trúc rất đơn giản, thậm chí chúng còn không được xem là các neural của mạng Nhiệm vụ của các neural trong lớp nhập chỉ là truyền chính xác giá trị mà nó nhận được đến các neural trong lớp ẩn mà thôi Nói HVTH: NGUYỄN THỊ NAM TRANG 11 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG HOÀNG KIẾM GVHD: GS.TS một cách đơn giản giá trị đầu ra của các neural trong... đầu vào Để tiện theo dõi, chúng ta hãy đặt tên cho các trọng số nối giữa các neural Các trọng số của neural a lần lượt là w0a , w1a , w2a , w3a , w4a Trong đó, chẳng hạn như w2a là trọng số của "cung" nối từ neural nhập 2 đến a; w0a là trọng số tự do của neural a Các trọng số của neural b lần lượt là : w0b , w1b , w2b , w3b , w4b Các trọng số của neural O là : w0O , waO , wbO Trong mạng trên, tất cả neural. .. lỗi e Phản hồi của mỗi đầu ra của mạng noron gần đáp ứng được mục tiêu của mạng noron trong các trường hợp thống kê phán đoán Thật vậy, một khi hàm đánh giá được chọn thì sự huấn luyện thật sự là vấn đề tối ưu hóa Giá trị của hàm phổ biến là tổng bình phương của error: Tổng tất cả các noron đầu ra của mạng ( chỉ số r) Mạng được huấn luyện bằng cách giảm thiểu đối với các trọng số, điều này dẫn đến phương... trúc mạng (số lượng neural ẩn) đối với từng bài toán cụ thể nói chung thường khó khăn và đòi hỏi nhiều kinh nghiệm trong lĩnh vực này Hơn nữa để đạt được kết quả chính xác, hệ thống cần phải thực hiện một số lần lặp rất lớn nên tốc độ học thường chậm HVTH: NGUYỄN THỊ NAM TRANG 15 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG HOÀNG KIẾM GVHD: GS.TS CHƯƠNG II MỘT SỐ KỸ THUẬT HUẤN LUYỆN MẠNG NEURAL VÀ CÁC VẤN... huấn luyện, để chính xác, chúng ta sẽ xem xét một giai đoạn gồm K mẫu huấn luyện được sắp xếp theo thứ tự [u1, d1] … [uk, dk] Mẫu đầu tiên [u1, d1] đưa vào mạng, những tính toán chuyển tiếp và ngược lại được thực hiện Sau đó mẫu thứ hai [u 2, d2] được đưa • vào mạng, lặp lại các bước tính toán, tiếp tục như thế cho đến mẫu cuối cùng Chế độ batch: trọng số được cập nhật sau khi đưa vào mạng tất cả các. .. HUẤN LUYỆN MẠNG NEURAL VÀ CÁC VẤN ĐỀ THỰC TẾ Một mạng nơron về cơ bản là mô hình có cấu trúc và thuật toán cho phù hợp với một số dữ liệu mẫu nhất định Cách tiếp cận mạng để mô hình hóa sử dụng khả năng phân chia tuyến tính và cho phép tất cả các thông số được điều chỉnh Các mạng nơron có một tiềm năng cho các hệ thống điều khiển thông minh bởi vì chúng có thể học hỏi và thích ứng, chúng có thể ước tính . theo, dựa trên sai số của neural xuất, giá trị xuất của neural ẩn và trọng số của "cung" nối giữa neural ẩn và neural xuất ta sẽ tính ra được sai số δ tại neural ẩn này. Như vậy, theo. các neural “trung gian” hay các neural ẩn HVTH: NGUYỄN THỊ NAM TRANG 5 TIỂU LUẬN: CÔNG NGHỆ TRI THỨC VÀ ỨNG DỤNG GVHD: GS.TS HOÀNG KIẾM • n neural xuất, mỗi neural ứng với một thuộc tính quyết. không = 0, có = 1 Như vậy mạng neural sẽ gồm : - 4 neural nhập, mỗi neural lần lượt ứng với mỗi thuộc tính màu tóc, chiều cao, cân nặng và có dùng kem hay không. Neural ứng với màu tóc sẽ nhận