ĐỒ ÁN CƠ SỞ TÌM HIỂU MẠNG NƠRON (NEURAL NETWORK)

ỜI CẢM ƠN Người mà em muốn cảm ơn đầu tiên là thầy Vương Xuân Chí giảng viên hướng dẫn môn đồ án cơ sở khoa học dữ liệu đã nhiệt tình giúp đỡ em trong suốt khoảng thời gian học, giải đáp mọi thắc mắc cũng như các vấn đề khó trong quá trình học tập cũng như thực hành. Trong quá trình học tập thì thầy đã có các bài giảng hay, dễ tiếp thu giúp các sinh viên mới như em dễ dàng tiếp thu được các kiến thức mới. Và trong suốt quá trình thực hiện đồ án thì thầy luôn nhiệt tình giải đáp và đưa ra những lời khuyên bổ ích giúp e hoàn thiện tốt hơn cho đồ án của mình. Tiếp đến là em xin gửi lời cảm ơn của mình đến các anh chị khóa trên đã chia sẽ nhưng kinh nghiệm quí báo của mình cho e để cho e có thể làm tốt đồ án môn học này của mình. Các anh chị đã dành thời gian rãnh của mình để nhận xét và góp ý cho em. Đồng thời cũng cảm ơn những người bạn luôn bên cạnh em, dù nội dung đồ án có khác nhau những vẫn quan tâm, để ý đến bài làm của em. Vì thời gian ngắn còn phải chia đều thời gian cho các môn cộng với việc vẫn chưa có nhiều kinh nghiệm trọng việc layout nên không tránh được những thiếu sót và nhiều điểm còn chưa hợp lí. Em mong là mình sẽ nhận được sự thông cảm và góp ý từ các thầy cô để bổ sung và hoàn thiện, có thêm kinh nghiệm để cho các đồ án sau này được tốt hơn. LỜI MỞ ĐẦU Sự phát triển mạnh mẽ của Công nghệ nói chung và Công nghệ thông tin nói riêng đã tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá mọi hoạt động kinh doanh cũng như quản lý trong xã hội. Điều này đã tạo ra những dòng dữ liệu khổng lồ trở thành hiện tượng “bùng nổ thông tin”. Nhiều hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện đã giúp con người khai thác có hiệu quả các nguồn tài nguyên dữ liệu lớn nói trên. Bên cạnh chức năng khai thác cơ sở dữ liệu có tính tác nghiệp, sự thành công trong kinh doanh không chỉ thể hiện ở năng suất của các hệ thống thông tin mà người ta còn mong muốn cơ sở dữ liệu đó đem lại tri thức từ dữ liệu hơn là chính bản thân dữ liệu. Phát hiện tri thức trong mạng Nơron (Neural Network ) là một quá trình hợp nhất các dữ liệu từ nhiều hệ thống dữ liệu khác nhau tạo thành các kho dữ liệu, phân tích thông tin để có được nhiều tri thức tiềm ẩn có giá trị. Trong đó, mạng Nơron là quá trình chính trong phát hiện tri thức. Sử dụng các kỹ thuật và các khái niệm của các lĩnh vực đã được nghiên cứu từ trước được sử dụng để khai phá dữ liệu nhằm phát hiện ra các mẫu mới, tương quan mới, các xu hướng có ý nghĩa

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN CƠ SỞ TÌM HIỂU MẠNG NƠRON (NEURAL NETWORK) Giảng viên hướng dẫn: VƯƠNG XUÂN CHÍ Sinh viên thực hiện: TRƯƠNG PHI HIẾU NGUYỄN HỮU CƯỜNG MSSV: 2000000116 2000000812 Chuyên ngành: KHOA HỌC DỮ LIỆU Môn học: ĐỒ ÁN CƠ SỞ CHUYÊN NGÀNH Khóa: 2020 Tp.HCM, tháng năm BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THƠNG TIN TÌM HIỂU MẠNG NƠRON (NEURAL NETWORK) Giảng viên hướng dẫn: VƯƠNG XUÂN CHÍ Sinh viên thực hiện: TRƯƠNG PHI HIẾU NGUYỄN HỮU CƯỜNG MSSV: 2000000116 2000000812 Chuyên ngành: KHOA HỌC DỮ LIỆU Môn học: ĐỒ ÁN CƠ SỞ CHUYÊN NGÀNH Khóa: 2020 Tp.HCM, tháng năm Trường Đại học Nguyễn Tất Thành Khoa Công Nghệ Thông Tin CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHIỆM VỤ ĐỒ ÁN CƠ SỞ (Sinh viên phải đóng tờ vào báo cáo) Họ tên: Nguyễn Hữu Cường MSSV: 2000000812 Chuyên ngành: Khoa học liệu Lớp: 20DTH1D Email: huucuong468@gmail.com SĐT: 0964987547 Tên đề tài: Tìm hiểu mạng Nơron (Neural Network) Gíao viên hướng dẫn: Vương Xuân Chí Thời gian thực hiện: 20 /6 /2022 đến 20 /9 /2022 MÔ TẢ ĐỀ TÀI: Là lĩnh vực trí tuệ nhân tạo liên quan đến việc nghiên cứu xây dựng kĩ thuật cho phép hệ thống "học" tự động từ liệu để giải vấn đề cụ thể NỘI DUNG VÀ PHƯƠNG PHÁP: - Giới thiệu mạng Nơron – Neural Network - Trình bày quy trình học mạng Nơron - Các ứng dụng mạng Nơron sống - Kết luận YÊU CẦU: - Có kiến thức, đam mê, hiểu biết công nghệ Mạng neural, Machine Learning, Deep Learning… Đọc hiểu tài liệu tiếng Anh, kỹ trình bày văn máy tính tốt - Có tác phong làm việc chăm chỉ, tinh thần trách nhiệm cao, có khả làm việc độc lập làm việc nhóm tốt Nội dung yêu cầu thông qua Bộ môn Q TRƯỞNG BỘ MÔN (Ký ghi rõ họ tên) ThS Vương Xuân Chí TP.HCM, ngày 26 tháng 06 năm 2022 GIÁO VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) ThS Vương Xuân Chí Trường Đại học Nguyễn Tất Thành Khoa Cơng Nghệ Thơng Tin CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHIỆM VỤ ĐỒ ÁN CƠ SỞ (Sinh viên phải đóng tờ vào báo cáo) Họ tên: Trương Phi Hiếu MSSV: 2000000116 Chuyên ngành: Khoa học liệu Lớp: 20DTH1D SĐT: 0923484577 Email: hieu75412@gmail.com Tên đề tài: Tìm hiểu mạng Nơron (Neural Network) Gíao viên hướng dẫn: Vương Xuân Chí Thời gian thực hiện: 20/6/2022 đến 20/9/2022 MƠ TẢ ĐỀ TÀI: Là lĩnh vực trí tuệ nhân tạo liên quan đến việc nghiên cứu xây dựng kĩ thuật cho phép hệ thống "học" tự động từ liệu để giải vấn đề cụ thể NỘI DUNG VÀ PHƯƠNG PHÁP: - Giới thiệu mạng Nơron – Neural Network - Trình bày quy trình học mạng Nơron - Các ứng dụng mạng Nơron sống - Kết luận YÊU CẦU: - Có kiến thức, đam mê, hiểu biết công nghệ Mạng neural, Machine Learning, Deep Learning… Đọc hiểu tài liệu tiếng Anh, kỹ trình bày văn máy tính tốt - Có tác phong làm việc chăm chỉ, tinh thần trách nhiệm cao, có khả làm việc độc lập làm việc nhóm tốt Nội dung u cầu thơng qua Bộ mơn Q TRƯỞNG BỘ MƠN (Ký ghi rõ họ tên) ThS Vương Xuân Chí TP.HCM, ngày 26 tháng 06 năm 2022 GIÁO VIÊN HƯỚNG DẪN (Ký ghi rõ họ tên) ThS Vương Xuân Chí LỜI CẢM ƠN Người mà em muốn cảm ơn thầy Vương Xn Chí giảng viên hướng dẫn mơn đồ án sở khoa học liệu nhiệt tình giúp đỡ em suốt khoảng thời gian học, giải đáp thắc mắc vấn đề khó trình học tập thực hành Trong q trình học tập thầy có giảng hay, dễ tiếp thu giúp sinh viên em dễ dàng tiếp thu kiến thức Và suốt trình thực đồ án thầy ln nhiệt tình giải đáp đưa lời khun bổ ích giúp e hồn thiện tốt cho đồ án Tiếp đến em xin gửi lời cảm ơn đến anh chị khóa chia kinh nghiệm q báo cho e e làm tốt đồ án mơn học Các anh chị dành thời gian rãnh để nhận xét góp ý cho em Đồng thời cảm ơn người bạn bên cạnh em, dù nội dung đồ án có khác quan tâm, để ý đến làm em Vì thời gian ngắn phải chia thời gian cho mơn cộng với việc chưa có nhiều kinh nghiệm trọng việc layout nên khơng tránh thiếu sót nhiều điểm cịn chưa hợp lí Em mong nhận thơng cảm góp ý từ thầy để bổ sung hồn thiện, có thêm kinh nghiệm đồ án sau tốt Em xin chân thành cảm ơn! Sinh viên thực Nguyễn Hữu Cường Trương Phi Hiếu LỜI MỞ ĐẦU Sự phát triển mạnh mẽ Công nghệ nói chung Cơng nghệ thơng tin nói riêng tạo nên nhiều hệ thống thông tin phục vụ việc tự động hoá hoạt động kinh doanh quản lý xã hội Điều tạo dòng liệu khổng lồ trở thành tượng “bùng nổ thông tin” Nhiều hệ quản trị sở liệu mạnh với công cụ phong phú thuận tiện giúp người khai thác có hiệu nguồn tài nguyên liệu lớn nói Bên cạnh chức khai thác sở liệu có tính tác nghiệp, thành cơng kinh doanh suất hệ thống thơng tin mà người ta cịn mong muốn sở liệu đem lại tri thức từ liệu thân liệu Phát tri thức mạng Nơron (Neural Network ) trình hợp liệu từ nhiều hệ thống liệu khác tạo thành kho liệu, phân tích thơng tin để có nhiều tri thức tiềm ẩn có giá trị Trong đó, mạng Nơron q trình phát tri thức Sử dụng kỹ thuật khái niệm lĩnh vực nghiên cứu từ trước sử dụng để khai phá liệu nhằm phát mẫu mới, tương quan mới, xu hướng có ý nghĩa TRƯỜNG ĐH NGUYỄN TẤT THÀNH KỲ THI KẾT THÚC HỌC PHẦN TRUNG TÂM KHẢO THÍ HỌC KỲ III NĂM HỌC 2021 - 2022 PHIẾU CHẤM THI TIỂU LUẬN/ĐỒ ÁN Môn thi: Đồ án sở Khoa học liệu Lớp học phần: 20DTH2A Nhóm sinh viên thực hiện: 1.Sinh viên: Nguyễn Hữu Cường 2.Sinh viên: Trương Phi Hiếu Ngày thi: 22/09/2022 Tham gia đóng góp: Chỉnh sửa soạn thảo Tham gia đóng góp: Tra cứu thơng tin Phòng thi: L.507 Đề tài tiểu luận/báo cáo sinh viên: TÌM HIỂU MẠNG NƠRON (NEURAL NETWORK) Phần đánh giá giảng viên (căn thang rubrics mơn học): Tiêu chí (theo CĐR HP) Đánh giá GV Điểm tối đa Điểm đạt Cấu trúc báo cáo Nội dung • Các nội dung thành phần • Lập luận • Kết luận • Trình bày TỔNG ĐIỂM Giảng viên chấm thi (ký, ghi rõ họ tên) PHẦN NHẬN XÉT + CHẤM ĐIỂM CỦA GIẢNG VIÊN Điểm giáo viên hướng dẫn: Điểm giảng viên chấm vòng 2: TPHCM, Ngày …… tháng …… năm 2022 Giáo viên chấm vòng Giáo viên hướng dẫn MỤC LỤC LỜI MỞ ĐẦU LỜI CẢM ƠN Chương I: GIỚI THIỆU MẠNG NƠRON – NEURAL NETWORK…………………1 Mạng Nơron gì………………………………………………………………… Đặc điểm mạng Nơron gì………………………………………………… Kiến trúc mạng Nơron gì……………………………………………………….2 Ứng dụng mạng Nơron gì………………………………………………….3 Sử dụng mạng Nơron nào……………………………………………… Convolutional Neural Network gì…………………………………………… Artificial Neural Network gì? Chương II: TRÌNH BÀY CÁC QUY TRÌNH HỌC MẠNG NƠRON…………………5 2.1 Tổng quan neural sinh học…………………………………………………… 2.2 Neural nhân tạo…………………………………………………………………….6 2.3 Mạng neural nhân tạo…………………………………………………………… 2.4 Kiến trúc mạng neural…………………………………………………………….10 2.5 Phân loại mạng neural…………………………………………………………….13 2.6 Hoạt động mạng neural nhân tạo……………………………………………13 2.7 Mạng perceptron………………………………………………………………… 15 2.8 Tối ưu hóa hàm mục tiêu………………………………………………………….16 2.9 Một số phương pháp huấn luyện mạng………………………………………… 18 2.10 Phương pháp huấn luyện MLP (Multi Layer Perceptron)…………………….19 Chương III: CÁC ỨNG DỤNG MẠNG NƠRON……………………………………….20 Chương IV: KẾT LUẬN………………………………………………………………… 22 TÀI LIỆU KHAM KHẢO…………………………………………………………………22 Hàm truyền f hàm truyền tuyến tính phi tuyến n Có nhiều dạng hàm truyền sử dụng 2.2.2.2 Neural nhiều đầu vào Thơng thường neural có nhiều đầu vào Một neural với R đầu vào diễn tả: Hình 2.3 Mơ hình neural nhiều đầu vào Mỗi đầu vào riêng biệt p1, p2, pR tương ứng với trọng số w1,1,w1,2, w1,R ma trận trọng số W Ta có: n= w1,1 p1 + w1,2 p2 + + w1,R pR + b Hay viết dạng ma trận n=Wp + b, trơng trường hợp mà trận W gồm hàng Véc tơ tín hiều biểu diễn dạng ma trận sau: Đầu neural tính a= f (Wp + b) Đối với phần tử ma trận W, ta quy ước wi,j để trọng số nối đầu vào thứ j với neural thứ i (trong trường hợp có neural nên i=1) Mơ hình neural nhiều đầu vào ký hiệu vắn tắt sau: Hình 2.4 Mơ hình vắn tắt neural nhiều đầu vào Đầu vào a = f (Wp+b) Nhìn vào mơ hình ta biết vec-tơ đầu vào p có R phần tử Ma trận trọng số W có hàng R cột, số đầu vào nhân với hệ số bias b Bộ tổng kết hợp với hệ số bias b tịch hợp Wp tạo tín hiệu đầu vào số vô hướng, hàm truyền f biến đổi n thành đầu neural a, trường hợp a số vơ hướng cịn mạng neural a vec-tơ đầu Từ trở ta dùng mơ hình vắn tắt để biểu diễn mạng neural 2.3 Mạng neural nhân tạo 2.3.1 Định nghĩa Mạng neural nhân tạo kết hợp neural nhân tạo với Mỗi liên kết kèm theo trọng số đặc trưng cho đặc tính kích hoạt ức chế neural Các neural gọi nút (node) xếp mạng theo lớp, bao gồm lớp (output player) lớp ẩn (hiden layer) Các đặc điểm mang neural nhân tạo: Mạng xây dựng neural liên kết lại với Chức mạng xác định bởi: cấu trúc mạng, trình xử lý bên neural, mức độ liên kết neural Mức độ liên kết neural xác định thơng qua q trình học mạng (q trình huấn luyện mạng) Có thể xem trọng số phương tiện để lưu trữ thông tin dài hạn mạng neural Nhiệm vụ trình huấn luyện mạng cập nhật trọng số có thơng tin mẫu học *Một số định nghĩa mạng neural: Mạng neural hệ thống gồm nhiều phần tử xử lý hoạt động song song Chức xác định cấu trúc mạng, độ lớn liên kết trình xử lý nút đơn vị tính tốn Một mạng neural xử lý song song đồ sộ, có xu hướng tự nhiên lưu trữ tri thức dựa kinh nghiệm, tạo tri thức dựa vào có Nó tương tự với não hai khía cạnh: Tri thức có thơng qua q trình học Độ lớn liên kết neural dùng phương tiện lưu trữ thông tin Hệ thống neural nhân tạo, hay gọi mạng neural, tập hợp tế bào vật lý, liên kết với nhằm mục đích thu thập, lưu trữ sử dụng tri thức, kinh nghiệm cách tốt 2.3.2 Một số chức mạng neural nhân tạo 2.3.2.1 Chức phân loại mẫu Phân loại mẫu xếp mẫu thành nhóm khác Mạng neural tạo mẫu đưa cho mẫu vào, chức phân loại mẫu mạng neural Mạng neural nhận mẫu vào tạo mẫu đầu với phân loại Có thể nói mạng neural phân loại mẫu Điểm khác mạng neural với phân loại mẫu khác khả học tổng quát hóa mạng neural 2.3.2.1 Học tổng quát hóa Đầu tiên việc học, hiểu việc cho mạng neural xem mẫu kèm với đầu tương ứng với mẫu mạng neural phải học để phân loại mẫu Cịn khả tổng qt hóa là: mạng neural khơng nhận biết mẫu học mà nhận mẫu gần với mẫu học Tức mạng neural suy đặc tính chung lớp khác từ mẫu cho Chức tạo chiến lược tính tốn phù hợp cho việc giải vấn đề mang tính "động", tức thơng tin chúng có bị thiếu, không đầy đủ Điểu quan trọng tìm mơ hình mạng phương pháp học thích hợp tốn Ngồi mạng neural cịn có khả huấn luyện để trở thành xấp xỉ hàm liên tục 2.3.3 Lịch sử phát triển mạng neural nhân tạo Cuối kỷ 19, đầu kỷ 20, số nghiên cứu vật lý, tâm lý hệ thần kinh nhà khoa học Herman, Ernst Mach Ivan Ivalov đưa lý thuyết trình học, tưởng tượng, định hệ thần kinh chưa có mơ tả tồn học cho hoạt động mạng neural Năm 1943, mô hình đơn giản mạng neural mạch điện tử lần đưa Warren McCulloch Walter Pits với khẳng định mạng neural nhân tạo nguyên lý thực phạm vi tính tốn hàm số học logic Đây điểm khởi đầu lĩnh vực mạng neural Sau Donal Hebb đưa chế giải thích cho trình học (learning) diễn neural sinh học (trong Organnization of Behaviaor - 1949) Cuối thập niên 50, ứng dụng thực tế mạng neural nhân tạo Frank Rosenblatt đưa Mạng ơng đưa mạng Perceptron có kết hợp luật học (learning rule) dùng để nhận dạng mẫu (pattern recognition) Cùng thời gian đó, Bernard Widrow Ted Hoff giới thiệu thuật toán học (learning algorithm) sử dụng để huấn luyện (training) mạng neural tiếp hợp tuyến tính (tương tự mạng Rosenblatt) Năm 1969, Minskey Papert hai nhà toán học tiếng thời hạn chế mạng Perceptron Rosenblatt mạng WidrowHoff làm nhiều người nghĩ nghiên cứu mạng neural vào ngõ cụt Hơn vào thời gian chưa có máy tính số mạnh để thực nghiệm mạng neural nên nghiên cứu mạng nơ-ron bị trì hỗn gần thập kỷ Năm 1972, Teuvo Kohonen James Anderson độc lập phát triển mạng neural với lực nhớ (memory) khả tự tổ chức (selforganizing) Cũng giai đoạn này,Stephen Grossberg nghiên cứu tích cực mạng tự tổ chức Sang thập kỷ 80, ngành cơng nghiệp máy tính phát triển mạnh mẽ nghiên cứu mạng neural tăng lên cách đột ngột Có hai phát kiến quan trọng là: Sử dụng học thống kê để giải thích hoạt động mạng hồi qui lớp (recurrent network), loại mạng sử dụng nhớ kết hợp, nhà vật lý John Hopfield mô tả Sử dụng thuật toán lan truyền ngược (back-propagation algorithm) để huấn luyện mạng perceptron đa lớp (mutilayer perceptron network) David Rumelhalt James McClrlland người trình bày thuật tốn lan truyền ngược có ảnh hưởng (1968) Ngày nay, lĩnh vực mạng neural nghiên cứu, phát triển mạnh mẽ ứng dụng nhiều vào thực tế 2.4 Kiến trúc mạng neural Một neural với nhiều đầu vào không đủ để giải toán Ta cần nhiều neural tổ chức song song tạo thành "lớp" (layer) 10 Hình 2.5 Cấu trúc chung mạng neural 2.4.1 Lớp neural Một mạng lớp S neural với R đầu vào biểu diễn hình sau: A = f (Wp + b) Hình 2.6 Mơ hình mạng neural có lớp S neural Mỗi thành phần R đầu vào nối với neural lớp gồm S neural Trong trường hợp ma trận trọng số W gồm S hàng R cột, véctơ đầu a gồm S phần tử: Lớp neural bao gồm ma trận trọng số, tổng, véctơ hệ số bias b Một số tài liệu coi đầu vào lớp vào, với ý nghĩa lớp vào gồm neural có chức nhận tín hiệu vào Nhưng ta coi đầu vào véctơ tín hiệu vào không coi lớp neural Do mạng neural có lớp (là lớp mạng) Neural thứ i lớp có hệ số bias b1 , tổng hàm truyền f , đầu Kết hợp nơ-ron lớp đầu véctơ a Thơng thường số đầu vào R, số neural S Mỗi 11 neural lớp có hàm truyền riêng không thiết tất neural lớp phải có dạng hàm truyền 2.4.2 Mạng neural nhiều lớp (Multiple Layers of Neurons) Ta xét với mạng nhiều lớp Mỗi lớp có ma trận trọng số W, véctơ bias B, véctơ net input n, véctơ đầu a Để phân biệt lớp khác ta dùng thêm số phụ cho biến Do Wq để ma trận trọng số lớp q, bq véctơ bias lớp q Hình 2.7 Mơ hình neural lớp Theo hình vẽ mạng có R đầu vào, có S1 neural lớp thứ nhất, S2 neural lớp thứ hai Đầu lớp trước đầu vào lớp sau.lớp thứ hai có đầu vào gồm S1 phần tử vectơ a1 , có ma trận W2 với kích thước S2 x S Lớp cuối đưa kết mạng gọi lớp Các lớp lại gọi lớp ẩn Mạng cớ lớp ẩn (lớp 1) lớp (lớp 2) Mạng nhiều lớp có khả lớn mạng lớp Ví dụ mạng hai lớp với hàm truyền sigmoid lớp ẩn, hàm truyền tuyến tính lớp huấn luyện để xấp xỉ hàm phi tuyến Nhưng mạng lớp khơng có khả Tùy vào toán cụ thể mà ta lựa chọn số đầu vào, số neural lớp mạng Ví dụ ta có biến sử dụng đầu vào có mạng với đầu vào, có tham số lớp mạng có neural tương ứng với tham số Dạng hàm truyền lớp phụ thuộc vào đặc tính biến ra, Chẳng hạn biến có giá trị nằm khoảng [-1,1] hàm truyền hard limit chọn cho neural lớp Như vậy, mạng neural lớp kiến trúc mạng thiết kế dễ dàng tùy thuộc vào toán Nhưng mạng neural lớp kiến trúc mạng thiết kế dễ dàng tùy thuộc vào toán Nhưng mạng neural nhiều lớp (có lớp ẩn) vấn đề tìm số lớp ẩn số neural lớp ẩn khó Đây lĩnh vực nghiên cứu Trong thực tế dùng đến lớp ẩn Trường hợp dùng hay lớp 12 Đối với neural có khơng có hệ số mẫu bias b Hệ số tạo thêm cho mạng biến phụ, mạng có nhiều lực so với mạng khơng có hệ số bias Ví dụ đơn giản neural khơng có hệ số bias cho kết net input n đầu vào p Điều không tốt tránh neural có hệ số bias 2.5 Phân loại mạng neural Mạng neural nhân tạo liên kết neural nhân tạo Sự xếp bố trí neural cách thức liên hệ chúng tạo nên kiến trúc mạng neural Theo cách xếp neural có kiến trúc mạng lớp (single-layer) mạng có lớp kiến trúc mạng nhiều lớp (multiple-layer) mạng có lớp ẩn Theo cách liên hệ neural kiến trúc mạng truyền thẳng (feedforward networks) kiến trúc mạng hồi quy (recurrent networks) Ngồi ra, cịn loại liên kết theo phân bố neural không gian hai chiều lớp, gọi liên kết bên (lateral conection) Với liên kết này, Kohonen tạo loại mạng tự tổ chức (self- onrganizing neural network) Có thể phân loại mạng neural thành hai nhóm dựa theo thuật tốn học chúng loại học có giám sát (supervised) khơng giám sát (unsupervised) * Kiến trúc mạng truyền thẳng Kiến trúc mạng truyền thằng (feedforward) kiến trúc mà liên kết nơron khơng tạo thành chu trình Tín hiệu từ neural lớp vào qua lớp ẩn cuối neural lớp Kiến trúc có đáp ứng nhanh ổn định tín hiệu đưa vào mạng Liên kết lớp loại liên kết đầy đủ (fully connected) liên kết phần (partly connected) 2.6 Hoạt động mạng neural nhân tạo 2.6.1 Hoạt động mạng neural Ta thấy neural lớp nhận tín hiệu đầu vào lúc Do đó, nguyên tắc chúng xử lý song song Hoạt động mạng neural xem hoạt động hệ thống xử lý thông tin cấu thành từ nhiều phần tử hoạt động song song Khi mạng neural hoạt động, thành phần vectơ tín hiệu vào p = ( p1, p2, , pR) đưa vào mạng, tiếp neural lớp ẩn lớp kích hoạt Sau trình tính tốn neural mạng kích hoạt hồn tồn cho vectơ tín hiệu đầu a = (a1 , a2 , , aS) S neural lớp ra, Ta coi mạng neural bảng tra cứu a p mà không cần biết hàm quan hệ tường minh a theo p Sự khác biệt mạng neural hệ thống xử lý thơng thường khả thích nghi với liệu vào Đó ma trận trọng số hệ số bias mạng hiệu chỉnh để mạng thích nghi với tốn đặt Quá trình hiệu chỉnh trọng số hệ số bias mạng gọi trình huấn luyện mạng (training) số luật học 2.6.2 Luật học mạng neural Luật học thủ tục để điều chỉnh, thay đổi trọng số hệ số bias mạng (thủ tục gọi thuật toán huấn luyện mạng) Mục tiêu luật học huấn luyện 13 mạng để thực số nhiệm vụ mà ta mong muốn Có rât nhiều luật học cho mạng neural Chúng chia làm loại: - Luật học có giám sát (supervised learning) - Luật học không giám sát (unsupervised learing) - Luật học tăng cường (reinforcement learning) Trong khuôn khổ đồ án ta nghiên cứu luật học có giám sát *Luật học có giám sát Một thành phần thiếu phương pháp có mặt người thầy (ở bên ngồi hệ thống) Người thầy có kiến thức môi trường thể qua tập hợp cặp đầu vào - đầu biết trước Hệ thống học (ở mạng neural) phải tìm cách thay đổi tham số bên (các trọng số ngưỡng) để tạo nên ánh xạ có khả ánh xạ đầu vào thành đầu mong muốn Sự thay đổi tiến hành nhờ việc so sánh đầu thực đầu mong muốn Trong luật học có giám sát: luật học cung cấp tập hợp mẫu chuẩn (trainig set) thê mối quan hệ đầu vào đầu mạng: {p1 , t1} , { p2 , t2} , , {pQ , tQ} Với pq đầu vào mạng tq tương ứng với đầu đích (target) đầu mà mạng muốn đáp ứng Khi đầu vào đưa vào mạng đầu thực mạng so sánh với đầu đích Sai số đầu thực mạng so sánh với đầu đích Sai số đầu thực mạng đầu đích sử dụng để điều chỉnh trọng số hệ số bias mạng cho di chuyển đầu thực mạng gần với đầu Có hai cách sử dụng tập mẫu học: học mẫu, tất mẫu lúc Hình 2.8 Sơ đồ khối mơ tả luật học giám sát Để đánh giá sai lệch vectơ đầu mạng đầu người ta dùng hàm sai số (error function) Hàm sai số phổ biến hàm tổng bình phương sai số (sum square error function) tính tổng bình phương sai số đầu neural lớp Một khái niệm khác liên quan đến vấn đề đánh giá sai số mặt sai số (error surface) Mỗi trọng số hệ số bias mạng tương ứng với chiều khơng gian, giả sử mạng có tất N trọng số hệ số bias, chiều thứ N+1 biểu diễn sai số mạng Mỗi trọng số hệ số bias, chiều thứ N+1 biểu diễn sai số mạng Mỗi trọng số hệ số bias mạng ứng với điểm mặt sai số Mục tiêu luật học 14 tìm trọng số hệ số bias ứng với điểm thấp (điểm cực tiểu) mặt đa chiều 2.7 Mạng perceptron 2.7.1 Mạng perceptron đầu vào Hình 2.9 sơ đồ mạng perceptron hai đầu vào Ranh giới định sau có kết quả: Địn h nghĩa cho giá trị đầu vào Ta vẽ đường thẳng, phía đường thẳng có giá trị 0, phía bên lại đường thẳng, kết Có thể tìm điểm mà giaovới trục p1 trục p2 Để tìm điểm p2, thiết lập p1 = 0: 2.7.2 Mạng Perceptron nhiều neurons Mỗi neuron có ranh giới định riêng Mỗi neuron phân vector đầu vào thành hai loại S Như mạng S neuron phân vector đầu vàothành 2.7.3 Khởi tạo mạng neuron Mạng khơng có bias (b = 0) 15 Khởi tạo ngẫu nhiên trọng số Đưa đầu vào vào mạng => phân loại sai 2.8 Tối ưu hóa hàm mục tiêu 2.8.1 Gradient descent Khi nhắc đến thay đổi đổi ta thường nhắc tới Gradient cho biết hàm tăng mạnh Ví dụ: Gradient hàm Với hàm chiều: f(x) = x2 Gradient ký hiệu vàtính sau: Grad(x) = af(x)/a(x) = 2x Grad (2) = hướng tăng hàm bên phải Grad (-1) = - hướng tăng hàm nằm bên trái 2.8.2 Gradient descent learning Mục đích: giảm thiểu lỗi mạng hệ số mạngthay đổi Hàm mục tiêu: E =  (t – z )2 i i Tìm giải thuật thay đổi trọng số cho đạo hàm củahàm mục tiêu theo trọng số âm aE/awij < Chú ý phương pháp sử dụng đạo hàm nên hàm ngưỡng không phù hợp để sử dụng phương pháp Gradient descent thuật tốn tìm giá trị nhỏ hàm sốf(x) dựa đạo hàm Thuật toán: Bước 1: Khởi tạo giá trị x=x0 tùy ý Bước 2: Gán x = x – learning_rate * f’(x) (learning_rate số không âm ví dụ learning_rate = 0.001) Bước 3: Tính lại f(x): →Nếu f(x) đủ nhỏ dừng lại →Ngược lại tiếp tục bước 2.8.3 Gradient descent cho neuron Bộ số liệu: Đầu tương ứng với đầu vào: 16 Sai số liệu học : Ta cần tìm trọng số: Với giá trị khởi tạo: 2.8.4 Thuật toán L-M Thuật toán Levenberg-Marquardt (L-M) dựa triển khai bậc 2của khai triển Taylor Với p: khoảng lân cận khai triển g(W): vector gradient E theo W H(W) ma trận đạo hàm bậc 2: Tại điểm cần tìm g(W) = H(W) xác định dương Giả sử: 17 Khi đó: Để tránh bước dịch chuyển lớn: Về bản: ta sử dụng triển khai Taylor bậc cao sẽcó tốc độ hội tụ nhanh Tuy nhiên, công thức phức tạp cồng kềnh Vì thực tế, ta sử dụng đến triển khai bậc Với mẫu học, sau 100 bước lặp, Sai số sử dụng Gradient Descent: E = 0.211 Sai số sử dụng L-M:E = 0.0182, L-M hội tụ nhanh 2.9 Một số phương pháp huấn luyện mạng 2.9.1 Các mạng có lớp 18 Hình 2.10 Mạng có lớp 2.9.2 Stochastic Gradient Descent Việc huấn luyện mạng sử dụng tập mẫu chậm (batch gradient descent): Khi cập nhật ma trận trọng số ta phải sử dụng tất điểm liệu Cách làm hạn chế liệu lớn (>1 tỷ người dung facebook) Việc tính toán đạo hàm tất điểm trở nên cồng kềnh khơng hiệu Thuật tốn không hiệu với online learning Giải pháp: Stochastic Gradient Descent Tại thời điểm ta tính đạo hàm mẫu cập nhật ma trận trọng số Mỗi lần duyệt qua tất điểm toàn liệu ta gọi epoch →Với GD: lần cập nhật ma trận trọng số gọi epoch →Với SGD: Mỗi epoch tương ứng với N lần cập nhật trọng số Việc cập nhật điểm giảm tốc độ thực epoch Tuy nhiên SGD yêu cầu lượng epoch nhỏ thường phù hợp với tốn có liệu lớn (deep learning) Thứ tự chọn điểm liệu: sau epoch ta cần trộn thứ tự điểm liệu để đảm bảo tính ngẫu nhiên 2.10 Phương pháp huấn luyện MLP (Multi Layer Perceptron) 2.10.1 Hạn chế mạng Perceptron lớp 19 Perceptron: mạng lớp đầu vào lớp đầu ra, khơng có hidden layer Mạng perceptron khơng thể phân loại liệu có phân tách phi tuyến (XOR function) 2.10.2 Khắc phục hạn chế Perceptron lớp Thực tế có nhiều mạng đa lớp giải tốn XOR Một lời giải: →Thiết kế neuron để tạo hai bao đóng →Thêm neuron sau để kết hợp hai bao đóng lại thành (tốn tử AND) 2.10.3 Mạng đa tầng Mạng với tầng ẩn biểu diễn hàm Boolean Khả mạng nhiều tầng khám phá từ lâu, nhiên đến năm 80 người ta biết cách để huấn luyện mạng Mạng nhiều tầng, tầng có hàm kích hoạt tuyến tính biểu diễn hàm tuyến tính Để biểu diễn hàm phi tuyến hàm kích hoạt phải hàm phi tuyến 2.10.4 Giải thuật huấn luyện mạng MLP Giải thuật GD sử dụng Tuy nhiên việc tính tốn Gradient hàm mục tiêu tất tầng phức tạp Giải thuật Backpropagation cho giải pháp hiệu đơn giản để tính tốn đạo hàm hàm mục tiêu theo trọng số bias tầng khác CHƯƠNG : CÁC ỨNG DỤNG MẠNG NƠRON Mạng nơ ron nhân tạo ứng dụng cho nhiều lĩnh vực như: tài chính, giao dịch, phân tích kinh doanh, lập kế hoạch cho doanh nghiệp bảo trì sản phẩm Neural Network sử dụng rộng rãi cho hoạt động kinh doanh khác như: dự báo thời tiết, tìm kiếm giải pháp nhằm nghiên cứu tiếp thị, đánh giá rủi ro phát gian lận Dưới số ví dụ : Nơron vào thị trường tài : Chương trình dự báo hoạt động tốt việc dự báo thời gian ngắn hạn, với tỉ lệ xác thường xuyên đạt ngưỡng 90% Chương trình hoạt động gần xác ta muốn dự đốn kết tuần trở lại Nó giúp ích nhiều cho nhà đầu tư đưa định đầu tư với mục đích sinh lời hạn chế rủi ro cho thấp Với mô hình Neural Network ta thấy việc dự đốn giá thời gian ngắn kết cho độ xác cao độ xác giảm dần dự đoán khoản thời gian rộng Chương trình dự đốn tương đối xác giá ngày mai, hay tháng sau, giảm dần độ xác dự đốn theo q, đặc biệt chương trình khơng cịn xác dự đốn phiên giao dịch đóng cửa cuối năm (xác suất xác thấp) Nơron vào dự đốn giá vàng :Các thuật tốn giúp xử lý nhanh chóng lượng liệu khổng lồ dễ hỏng Trên thị trường giá vàng, điều kiện thay đổi liên tục nhanh chóng Điều có nghĩa để dự đốn kiện tương lai thị trường, cần có hệ thống đáng tin cậy nhanh chóng Các thuật tốn cung cấp lợi ích Các thuật tốn sử 20 dụng liệu xử lý trước, giảm không gian lưu trữ liệu tăng tốc độ tính tốn Sau tính tốn giá trị đầu vào, ta nhận giá trị đầu Giá trị mà ta mong muốn biết trước Sự chênh lệch giá trị đầu giá trị mong muốn gọi lỗi, tức ta lấy hai giá trị trừ cho Mục đích việc làm để tìm lỗi nhỏ tốt ( Nếu khơng có chênh lệch hai giá trị hồn hảo) cách điều chỉnh thông số đầu vào, tiếp tục tính giá trị đẩu so sánh với giá tri mong muốn, điều chỉnh thông số dừng phù hợp Nơron vào dự báo thời tiết : Thu thập liệu từ năm trước, giới hạn tham số ảnh hưởng đến thời tiết là: nhiệt độ, độ ẩm, mây mưa Mỗi yếu tố có thuộc tính độ phụ thuộc khác Ví dụ tùy thuộc vào tháng mà nhiệt độ có giá trị khác Nếu tháng rơi vào mùa mưa nhiệt độ thấp (27.0 độ C)… Dựa đặc điểm ta xây dựng tốn: Với bốn yếu tố ảnh hưởng đến thời tiết trên, ta phân chia yếu tố thành trường hợp cụ thể sau: - Biến nhiệt độ (kí hiệu ND), có khoảng giá trị: thấp ND từ đến 25.5; trung bình ND từ 25.5 đến 27.0; cao ND từ 27.0 đến 45; - Biến độ ẩm (kí hiệu ĐA):Thấp ĐA từ – 80; Cao ĐA từ 80 - 100 - Biến lượng mưa (kí hiệu M): Khơng mưa (0); Rải rác: M từ đến 2; Nhỏ: M từ đến 50; lớn: M từ 51 đến 1000 - Biến lượng mây (MA) Ít MA từ đến 20; Nhiều: MA từ 20 đến 30; Rất nhiều lượng mây lớn 30 Nơron vào dự đoán chất lượng nước đầu hệ thống xử lý nước thải : Mạng Nơron mơ hình cấu trúc sử dụng khai thác rộng rãi đề nghiên cứu, tính tốn nhiều lĩnh vực khác Trong lĩnh vực môi trường, lý thuyết mạng nơron dùng để tính tốn dự đoán kết đầu hệ thống xử lý nước thải đánh giá khả tái sử dụng nguồn nước sau xử lý Trong báo tác giả muốn giới thiệu với bạn đọc mô hình mạng nơron phát triển để tính tốn dự đoán chất lượng nước đầu hệ thống xử lý nước thải Nhà máy sữa Cô gái Hà Lan Các thông số dược quan trắc ngày bao gồm: độ kiềm pH, lưu lượng Q, nhu cầu oxy hóa học COD nồng độ chất rắn lơ lửng Cấu trúc mơ hình mạng nơron xác định thông qua bước luyện kiểm tra mô hình Thực tế cho thấy sai số trung bình hai chương trình khơng chênh lệch nhiều Như kết tính tốn thơng số chất lượng nước đầu mơ hình mạng nơron nhân tạo chấp nhận 21 CHƯƠNG : KẾT LUẬN Như vậy, báo cáo luận văn mình, em tập trung tìm hiểu vấn đề sau đây: → Giới thiệu mạng Nơron – Neural Network →Trình bày quy trình học mạng Nơron →Các ứng dụng mạng Nơron sống Mặc dù em có nhiều cố gắn hoàn thành tốt đồ án sở minh, song để nắm vững lý thuyết mạng Neural, địi hỏi sinh viên phải có trình độ định tốn học Như phần trình bày em cịn nhiều thiếu xót mong thầy thơng cảm góp ý để đồ án em sau hoàn thành tốt Cuối cùng, lần nữa, em xin chân thành cảm ơn thầy, cô thuộc khoa CNTT trường Đại học Nguyễn Tất Thành truyền đạt kiến thức, nhờ em hồn thành đồ án sở Tài liệu kham khảo https://123docz.net/document/207846-tim-hieu-ve-mang-noronkohonen.htm https://123docz.net/document/2315732-tim-hieu-mang-noron-nhantao.htm https://www.tailieudaihoc.com/doc/164554.html https://itnavi.com.vn/blog/neural-network-la-gi/ 22 ... học: ĐỒ ÁN CƠ SỞ CHUYÊN NGÀNH Khóa: 2020 Tp.HCM, tháng năm Trường Đại học Nguyễn Tất Thành Khoa Công Nghệ Thơng Tin CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc NHIỆM VỤ ĐỒ ÁN CƠ SỞ... PHÁP: - Giới thiệu mạng Nơron – Neural Network - Trình bày quy trình học mạng Nơron - Các ứng dụng mạng Nơron sống - Kết luận YÊU CẦU: - Có kiến thức, đam mê, hiểu biết công nghệ Mạng neural, Machine... PHÁP: - Giới thiệu mạng Nơron – Neural Network - Trình bày quy trình học mạng Nơron - Các ứng dụng mạng Nơron sống - Kết luận YÊU CẦU: - Có kiến thức, đam mê, hiểu biết công nghệ Mạng neural, Machine