MẠNG NEURAL NHÂN TẠO VÀ MẠNG NEURAL NHÂNTẠO TRUYỀN THẲNG

LỜI NÓI ĐẦU Chỉ số giá tiêu dùng để đo lường lạm phát thể thông qua việc chi tiêu ngày người tiêu dùng Sự gia tăng số CPI đồng nghĩa với tỉ lệ lạm phát tăng CPI dụng thương nhân bán lẻ để dự đoán giá tương lai, ông chủ để tính tiền lương, ngân hàng để điều chỉnh lãi suất phủ để xác định mức tăng cho quỹ bảo trợ xã hội Với tầm quan trọng , số giá tiêu dùng cần nhận biết cách xác sớm tốt Dự báo số giá tiêu dùng toán quan trọng, nhờ mà toàn hệ thống xã hội có điều chỉnh phù hợp nhằm đưa đất nước thoát khỏi tình trạng khủng hoảng kinh tế phát triển đất nước lên tầm cao Có nhiều phương pháp để dự báo số giá tiêu dùng Tuy nhiên, với ưu điểm khả học đưa quy ết định từ điều học mạng nơron việc ứng dụng mạng nơron để dự báo phương pháp Trong khóa luận em mạnh dạn áp dụng mạng nơ ron nhân tạo vào dự báo ngắn hạn số giá tiêu dùng CPI việt nam Và áp dụng số giải thuật vào tối ưu hóa trọng số mạng nơ ron nhân tạo như: Giải thuật di truyền (GA) Ngoài có so sánh với số phương pháp tối ưu khác như: giải thuật bầy đầy (PSO), giải thuật vi khuẩn tìm kiếm thức ăn (BFO) Trong báo cáo em cố gắng tránh khỏi thiếu xót kiến thức, kinh nghiệm Cuối em xin chân thành cám ơn sâu sắc thầy: Nguyễn Văn Giáp giúp đỡ em hoành thành khóa luận tốt nghiệp Cùng toàn thể thầy cô khác khoa MỤC LỤC DANH MỤC HÌNH VẼ MẠNG NEURAL NHÂN TẠO VÀ MẠNG NEURAL NHÂN TẠO TRUYỀN THẲNG 1.1 Sơ lược mạng neural nhân tạo 1.1.1 Lịch sử phát triển Sự phát triển mạng nơron trải qua trình đưa khái niệm lẫn thực thi khái niệm Dưới mốc đáng ý lịch sử phát triển mạng nơron - Cuối TK 19, đầu TK 20, phát triển chủ yếu công việc có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học, nhà khoa học Hermann von Hemholtz, Ernst Mach, Ivan Pavlov Các công trình nghiên cứu họ chủ yếu sâu vào lý thuyết tổng quát HỌC (Learning), NHÌN (vision) LẬP LUẬN (conditioning), không đưa mô hình toán học cụ thể mô - tả hoạt động nơron Mọi chuyện thực bắt đầu vào năm 1940 với công trình Warren McCulloch Walter Pitts Họ nguyên tắc, mạng nơron nhân tạo tính toán hàm số học hay logic - Tiếp theo hai người Donald Hebb, ông phát biểu việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) thực thuộc tính nơron riêng biệt Ông nêu - phương pháp học nơron nhân tạo Ứng dụng thực nghiệm nơron nhân tạo có vào cuối năm 50 với phát minh mạng nhận thức (perceptron network) luật học tương ứng Frank Rosenblatt Mạng có khả nhận dạng mẫu Điều mở nhiều hy vọng cho việc nghiên cứu mạng nơron Tuy nhiên có hạn chế giải - số lớp hữu hạn toán Cùng thời gian đó, Bernard Widrow Ted Hoff đưa thuật toán học sử dụng để huấn luyện cho mạng nơron tuyến tính thích nghi, mạng có cấu trúc chức tương tự mạng - Rosenblatt Luật học Widrow-Hoff sử dụng Tuy nhiên Rosenblatt Widrow-Hoff vấp phải vấn đề Marvin Minsky Seymour Papert phát ra, mạng nhận thức có khả giải toán khả phân tuyến tính Họ cố gắng cải tiến luật học mạng để vượt qua hạn chế họ không thành công việc cải tiến luật học để - huấn luyện mạng có cấu trúc phức tạp Do kết Minsky-Papert nên việc nghiên cứu mạng nơron gần bị đình lại suốt thập kỷ nguyên nhân - máy tính đủ mạnh để thực nghiệm Mặc dù vậy, có vài phát kiến quan trọng vào năm 70 Năm 1972, Teuvo Kohonen James Anderson độc lập phát triển loại mạng hoạt động nhớ Stephen Grossberg tích cực việc khảo sát - mạng tự tổ chức (Self organizing networks) Vào năm 80, việc nghiên cứu mạng nơron phát triển mạnh mẽ với đời PC Có hai khái niệm liên quan đến hồi sinh này, là: Việc sử dụng phương pháp thống kê để giải thích hoạt động lớp mạng hồi quy (recurrent networks) dùng nhớ liên hợp (associative memory) công trình nhà vật lý học Johh Hopfield Sự đời thuật toán lan truyền ngược (back-propagation) để luyện mạng nhiều lớp vài nhà nghiên cứu độc lập tìm như:David Rumelhart, James McCelland, Đó câu trả lời cho Minsky-Papert 1.1.2 Ứng dụng Trong trình phát triển, mạng nơron ứng dụng thành công nhiều lĩnh vực Dưới liệt kê số ứng dụng mạng nơron: • Aerospace: Phi công tự động, giả lập đường bay, hệ thống điều khiển lái máy bay, phát lỗi • Automotive: Các hệ thống dẫn đường tự động cho ô tô, • • phân tích hoạt động xe Banking: Bộ đọc séc tài liệu, tính tiền thẻ tín dụng Defense: Định vị - phát vũ khí, dò mục tiêu, phát đối tượng, nhận dạng nét mặt, cảm biến hệ mới, xử lý ảnh radar, • Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích nguyên nhân hỏng chip, nhận dạng tiếng nói, mô hình phi tuyến • Entertainment: Hoạt hình, hiệu ứng đặc biệt, dự báo thị trường • Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mại qua giấy tờ, phân tích tài liên doanh, dự báo tỷ giá tiền tệ • Insurance: Đánh giá việc áp dụng sách, tối ưu hóa sản phẩm • … 1.1.3 Căn nguyên sinh học Bộ não người chứa khoảng 10 11 phần tử liên kết chặt chẽ với (khoảng 104 liên kết phần tử) gọi nơron Dưới mắt người làm tin học, nơron cấu tạo thành phần: tế bào hình (dendrite) - tế bào thân (cell body) - sợi trục thần kinh (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng (Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân Điểm tiếp xúc sợi trục thần kinh nơron tế bào hình nơron khác gọi khớp thần kinh (synapse) Sự xếp nơron mức độ mạnh yếu khớp thần kinh định trình hóa học phức tạp, thiết lập chức mạng nơron Một vài nơron có sẵn từ sinh ra, phần khác phát triển thông qua việc học, có thiết lập liên kết loại bỏ liên kết cũ Cấu trúc mạng nơron luôn phát triển thay đổi Các thay đổi sau có khuynh hướng bao gồm chủ yếu việc làm tăng hay giảm độ mạnh mối liên kết thông qua khớp thần kinh Mạng nơron nhân tạo không tiếp cận đến phức tạp não Mặc dù vậy, có hai tương quan mạng nơron nhân tạo sinh học Thứ nhất, cấu trúc khối tạo thành chúng thiết bị tính toán đơn giản (mạng nơron nhân tạo đơn giản nhiều) liên kết chặt chẽ với Thứ hai, liên kết nơron định chức mạng Cần ý mạng nơron sinh học hoạt động chậm so với linh kiện điện tử (10-3 giây so với 10-9 giây), não có khả thực nhiều công việc nhanh nhiều so với máy tính thông thường Đó phần cấu trúc song song mạng nơron sinh học: toàn nơron hoạt động cách đồng thời thời điểm Mạng nơron nhân tạo chia sẻ đặc điểm Mặc dù nay, mạng nơron chủ yếu thực nghiệm máy tính số, cấu trúc song song chúng khiến thấy cấu trúc phù hợp thực nghiệm chúng vi mạch tích hợp lớn (VLSI: Very Large Scale Integrated-circuit), thiết bị quang xử lý song song Mạng nơron, xem mô hình liên kết (connectionist models), mô hình phân bố song song (parallel-distributed models) có đặc trưng phân biệt sau: 1) Tập đơn vị xử lý; 2) Trạng thái kích hoạt đầu đơn vị xử lý; 3) Liên kết đơn vị Xét tổng quát, liên kết định nghĩa trọng số wjk cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k; 4) Một luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào nó; 5) Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; 6) Một đơn vị điều chỉnh (độ lệch) (bias, offset) đơn vị; 7) Phương pháp thu thập thông tin (luật học - learning rule); 8) Môi trường hệ thống hoạt động 1.2 Đơn vị xử lý Một đơn vị xử lý (Hình 1), gọi nơron hay nút (node), thực công việc đơn giản: nhận tín hiệu vào từ đơn vị phía trước hay nguồn bên sử dụng chúng để tính tín hiệu lan truyền sang đơn vị khác Hình 1.1: Đơn vị xử lý (Processing unit) Trong đó: : đầu vào : trọng số tương ứng với đầu vào : độ lệch (bias) : đầu vào mạng (net-input) : đầu nơron : hàm chuyển (hàm kích hoạt) Trong mạng nơron có ba kiểu đơn vị: 1) Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài; 2) Các đơn vị đầu (Output units), gửi liệu bên ngoài; 3) 3) Các đơn vị ẩn (Hidden units), tín hiệu vào (input) (output) nằm mạng Mỗi đơn vị j có nhiều đầu vào: x 0, x1, x2, … xn, có đầu zj Một đầu vào tới đơn vị liệu từ bên mạng, đầu đơn vị khác, đầu 1.3 Hàm xử lý 1.3.1 Hàm kết hợp Mỗi đơn vị mạng kết hợp giá trị đưa vào thông qua liên kết với đơn vị khác, sinh giá trị gọi net input Hàm thực nhiệm vụ gọi hàm kết hợp (combination function), định nghĩa luật lan truyền cụ thể Trong phần lớn mạng nơron, giả sử đơn vị cung cấp cộng đầu vào cho đơn vị mà có liên kết Tổng đầu vào đơn vị j đơn giản tổng trọng số đầu riêng j i lẻ từ đơn vị kết nối cộng thêm ngưỡng hay độ lệch (bias) : Trường hợp , nơron coi trạng thái kích thích Tương tự, , nơron trạng thái kiềm chế Chúng ta gọi đơn vị với luật lan truyền sigma units Trong vài trường hợp người ta sử dụng luật lan truyền phức tạp Một số luật sigma-pi, có dạng sau: Rất nhiều hàm kết hợp sử dụng "độ lệch" hay "ngưỡng" để tính net input tới đơn vị Đối với đơn vị đầu tuyến tính, thông thường, chọn số toán xấp xỉ đa thức 1.3.2 Hàm kích hoạt (hàm chuyển) Phần lớn đơn vị mạng nơron chuyển net input cách sử dụng hàm vô hướng (scalar-to-scalar function) gọi hàm kích hoạt, kết hàm giá trị gọi mức độ kích hoạt đơn vị (unit's activation) Loại trừ khả đơn vị thuộc lớp ra, giá trị kích hoạt đưa vào hay nhiều đơn vị khác Các hàm kích hoạt thường bị ép vào khoảng giá trị xác định, thường gọi hàm bẹp (squashing) Các hàm kích hoạt hay sử dụng là: 1) Hàm đồng (Linear function, Identity function ) Nếu coi đầu vào đơn vị chúng sử dụng hàm Đôi số nhân với net-input để tạo hàm đồng Hình 1.2: Hàm đồng (Identity function) 2) Hàm bước nhị phân (Binary step function, Hard limit function) Hàm biết đến với tên "Hàm ngưỡng" (Threshold function hay Heaviside function) Đầu hàm giới hạn vào hai giá trị: Dạng hàm sử dụng mạng có lớp Trong hình vẽ sau, chọn Hình 1.3: Hàm bước nhị phân (Binary step function) 3) Hàm sigmoid (Sigmoid function (logsig)) Hàm đặc biệt thuận lợi sử dụng cho mạng huấn luyện (trained) thuật toán Lan truyền ngược(back-propagation), dễlấy đạo hàm, giảm đáng kểtính toán trình huấn luyện Hàm ứng dụng cho chương trình ứng dụng mà đầu mong muốn rơi vào khoảng [0,1] Hình 1.4: Hàm Sigmoid 4) Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig)) Hàm có thuộc tính tương tự hàm sigmoid Nó làm việc tốt ứng dụng có đầu yêu cầu khoảng [-1,1] Hình 1.5: Hàm sigmoid lưỡng cực Các hàm chuyển đơn vị ẩn (hidden units) cần thiết để biểu diễn phi tuyến vào mạng Lý hợp thành hàm đồng hàm đồng Mặc dù mang tính chất phi tuyến (nghĩa là, khả biểu diễn hàm phi tuyến) làm cho mạng nhiều tầng có khả tốt biểu diễn ánh xạ phi tuyến Tuy nhiên, luật học lan truyền ngược, hàm phải khả vi (differentiable) có ích hàm gắn khoảng Do vậy, hàm sigmoid lựa chọn thông dụng Đối với đơn vị đầu (output units), hàm chuyển cần chọn cho phù hợp với phân phối giá trị đích mong muốn Chúng ta thấy giá trị khoảng [0,1], hàm sigmoid có ích; giá trị đích mong muốn liên tục khoảng hàm có ích, cho ta giá trị hay giá trị đích khoảng hàm kích hoạt đầu Nhưng giá trị đích trước khoảng xác định hàm hay sử dụng hàm đồng (identity function) Nếu giá trị mong muốn dương cận nên sử dụng hàm kích hoạt dạng mũ (exponential output activation function) 1.4 Các hình trạng mạng Hình trạng mạng định nghĩa bởi: số lớp (layers), số đơn vị lớp, liên kết lớp Các mạng tổng thể chia thành hai loại dựa cách thức liên kết đơn vị: 1.4.1 Mạng truyền thẳng Dòng liệu từ đơn vị đầu vào đến đơn vị đầu truyền thẳng Việc xử lý liệu mở rộng nhiều lớp, liên kết phản hồi Nghĩa là, liên kết mở rộng từ đơn vị đầu tới đơn vị đầu vào lớp hay lớp trước không cho phép Hình 1.6: Mạng nơron truyền thẳng nhiều lớp (Feed-forward neural network) 10 Hình 2.3 Mã hóa nhị phân trọng số theo phương pháp GENITO b Mã hóa số thực Montana D Davis L [16] mã hoá trực tiếp trọng số số thực giá trị trọng số Điều làm tăng độ xác phép mã hoácũng giảm kích thước nhiễm sắc thể Trong nghiên cứu sử dụng phương pháp để thực việc mã hoá trọng sốcủamạng.Các gen (trọng số) khởi tạo ngẫu nhiên khoảng (-3,+3) Tuy nhiên với kỹ thuật mã hoá ta cần thay đổi toán tử lai ghép, đột biến cho phù hợp Hình 2.4: Ví dụ phương pháp mã hóa trọng số số thực 38 2.2.3 Lai ghép Có số cách tiếp cận lai ghép nhiễm sắc thể [16] a Lai ghép trọng số (crossover-weights) Toán tử lai ghép đưa giá trị vào vị trí nhiễm sắc thể cách lấy ngẫu nhiên giá trị vị trí nhiễm sắc thể cha mẹ Hình 2.5 Lai ghép nút (crossover-nodes) b Lai ghép nút (crossover – nodes) Việc lai ghép thực nút vị trí cha mẹ Mỗi hai nút lớp lai ghép trọng số tất liên kết đầu vào tới nút hoán vị cho (hình 2.5) 39 Hình 2.6 Lai ghép nút (crossover-nodes) 2.2.4 Đột biến a Đột biến trọng số (mutate weigth) Một gen (trọng số) lựa chọn ngẫu nhiên với xác suất p mutation để tiến hành đột biến Có hai phương pháp đột biến trọng số [16] là: UNBIASED: với gen chọn đột biến thay giá trị ngẫu nhiên xung quanh BIASED: với gen chọn đột biến cộng thêm giá trị ngẫu nhiên Montana [16] thử nghiệm hai phương pháp đột biến trọng sốnày.Kết phương pháp BIASED chạy tốt Điều giải thích chạy giá trị trọng số có xu hướng tốt Do đó, việc đột biến thay giá trị gốc giá trị ngẫu nhiên xung quanh giá trị gốc (BIASED) cho kết tốt thay giá trị ngẫu nhiên xung quanh (UNBIASED) b Đột biến nút (mutate – nodes) Toán tử đột biến nút chọn n nút nút đầu vào Tất liên kết tới nút cộng thêm giá trị ngẫu nhiên 40 2.3 Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số để tối ưu hoá trọng số mạng nơ-ron nhân tạo Có thể kết hợp GA BP nhằm đạt tới kết trọn vẹn toántối ưu trọng số mạng nơ-ron nhân tạo Trong giải thuật kết hợp này, GA sử dụng khởi tạo cho BP Tập trọng số mã hoá thành nhiễm sắc thểvà tiến hoá nhờ GA Kết thúc tình tiến hoá, trọng số tốt tươngứng với cá thể ưu việt quần thể lựa chọn làm trọng số khởi tạo cho giải thuật BP Nó tham số cho phép xác định điểm gần cực trị hàm giá Với kết hợp này, giải thuật BP cần phải thay đổi vài yếu tố - Giải thuật không tự khởi tạo trọng số mà nhận trọng số từ GA Thành phần quán tính loại bỏ để làm tăng tốc độ trình hội tụ loại bỏ dao động Khởi tạo tập trọng số Giải thuật di truyền số Dữ lại nhiễm sắc thể tốt số Giải thuật di truyền Học giải thuật lan truyền ngược sai số có thay đổi số số Hình 2.7: Kết hợp giải thuật di truyền lan truyền ngược sai số 41 CHƯƠNG ỨNG DỤNG MẠNG NƠ RON NHÂN TẠO VÀO VIỆC DỰ BÁO CHỈ SỐ CPI Ở VIỆT NAM 3.1 Giới thiệu chung số giá tiêu dung Chỉ số giá tiêu dùng tiêu kinh tế quan trọng, thường đượcsử dụng phân tích kinh tế, đánh giá tình hình lạm phát, quan hệ cungcầu, sức mua dân cư, sở tham khảo cho việc điều chỉnh lãi suất ngân hàng, tiền lương, tính toán điều chỉnh tiền công hợp đồng sản xuất kinh doanh Dự báo số giá tiêu dùng toán tìm hiểu từ lâu Tuy nhiên, Việt Nam việc dự báo số giá tiêu dùng hình thức dự báo dựa vào việc thống kê số liệu, dựa vàonhững nhận định tình hình biến động kinh tế trước nhữngquy luật có năm mà chưa có phương pháp cụ thể Mạng nơron nhân tạo mô hình mô hoạt động cácnơron sinh học, có khả học từ ứng dụng để giải toán dự báo Trong khuôn khổ khóa luận , cố gắng tìm hiểu, khai thác ứng dụng mạng nơron nhân tạo để thu kết dự báo xác số giá tiêu dùng nước Việt Nam 3.1.2 Khái niệm giá tiêu dùng Giá tiêu dùng người tiêu dùng mua hàng hoá chi trả cho dịch vụ phục vụ trực tiếp cho đời sống hàng ngày 3.1.3 Chỉ số giá tiêu dùng Chỉ số giá tiêu dùng (CPI) tiêu kinh tế quan trọng phủ, quan hữu quan, tổ chức quốc tế nhiều đối tượng khác quan tâm CPI tiêu thiếu phân tích hoạt động kinh tế để loại trừ y ếu tố giá tính trượt giá so sánh tiêu tổng hợp liên quan CPI sở để phủ ban hành điều chỉnh sách tài chính, tiền tệ, lãi suất ngân hàng,… Như , Chỉ số giá tiêu dùng tiêu thống kê phản ánh xu hướng mức độ biến động giá chung số lượng cố định loại hàng 42 hoá dịch vụ chọn đại diện cho tiêu dùng, phục vụ cho đời sống bình thường người dân CPI sử dụng đại diện cho thông số lạm phát nhiều quốc gia, Việt Nam, CPI Tổng cục Thống kê bắt đầu tính toán sử dụng CPI để phản ánh mức độ tăng giá tiêu dùng chung từ năm 1998 Hiện số liệu CPI Việt Nam chia làm giai đoạn: 1998-2000, 20012005, 2006-nay 3.1.4 Phương pháp tính số giá tiêu dùng Trong điều kiện vật chất, kỹ thuật, nguồn kinh phí phù hợp với phương pháp nhiều nước, Chỉ số giá tiêu dùng nước ta tính theo công thức Laspey res - với quyền số giá kỳ gốc năm 2005 cố định khoảng năm [18] + Công thức tổng quát sau (Công thức Laspey res): Trong đó: : Chỉ số giá tiêu dùng kỳ báo cáo t so với kỳ gốc : Giá mặt hàng i kỳ báo cáo t; : Giá mặt hàng i kỳ gốc; : Khối lượng mặt hàng i kỳ gốc; : Quyền số cố định năm 2005 Và Công thức Laspeyres chuyển đổi – hay phương pháp so sánh với kỳ gốc ngắn hạn Công thức hoàn toàn tương thích với công thức Laspeyres gốc Dạng tổng quát sau: Trong đó: : Chỉ số giá tiêu dùng kỳ báo cáo t so với kỳ gốc : Là số cá thể mặt hàng i tháng báo cáo so với tháng trước : Là số cá thể mặt hàng i tháng trước tháng báo cáo so với kỳ gốc : Quyền số cố định năm 2005 Để tính Chỉ số giá tiêu dùng/tháng cần thực bước sau đây: 43     Lập bảng giá kỳ gốc (năm 2005) Lập bảng quy ền số cố định kỳ gốc (năm 2005) Thu thập giá bán lẻ mặt hàng dịch vụ đại diện Tính giá bình quân hàng tháng theo khu vực (thành thị, nông thôn) tỉnh thành phố  Tính số giá cấp tỉnh/thành phố theo khu vực thành thị, nông thôn chung tỉnh  Tính số giá cấp vùng kinh tế theo khu vực thành thị, nông thôn chung vùng  Tính số giá nước theo khu vực thành thị, nông thôn chung nước 3.2 Sơ lược lĩnh vực dự báo liệu Người ta chứng tỏ phương pháp luận hoàn hảo tiếp cận toán cách sử dụng mạng nơron huấn luyện thuật toán lan truyền ngược Ta có nhiều điều cần cân nhắc, lựa chọn để thiết lập tham số cho mạng nơron: Số lớp ẩn Kích thước lớp ẩn Hằng số học (beta) Tham số momentum (alpha) Khoảng, khuôn dạng liệu đưa vào mạng Dạng hàm squashing (không thiết phải hàm sigmoid) Ö Điểm khởi đầu (ma trận trọng số ban đầu) Tỷ lệ nhiễu mẫu (tăng khả tổng quát hóa cho mạng) Việc dự báo liệu toán phức tạp, số lượng liệu cần quan tâm độ xác liệu dự báo Do vậy, việc cân nhắc để chọn mô hình phù hợp cho việc dự báo liệu việc khó khăn (chỉ phương pháp thử-sai) Tuy nhiên, thuật toán lan truyền ngược thuật toán ứng dụng rộng rãi lĩnh vực: nhận dạng, phân lớp, dự báo… thực tế chứng tỏ công cụ tốt áp dụng cho toán lĩnh vực dự báo liệu Do đặc trưng độ phức tạp liệu, liệu đầu thường số (mảng số) dấu phảy động việc lựa chọn cấu trúc mạng phù hợp thường sử dụng phương pháp thử-sai (trial and errors) Đồng thời cần phải 44 chuẩn hóa (loại bỏ liệu sai, thừa, đưa chúng đoạn [0,1] [-1,1], ) liệu đầu vào đầu để mạng có khả học tốt từ liệu cung cấp Trong việc dự báo liệu, liệu nhiều khoảng thời gian khác đưa vào mạng để huấn luyện việc dự báo xác khó mục đích dự báo xác 100% liệu tương lai Ta có kết dự báo với mức độ xác chấp nhận 3.2.1 Thu thập, phân tích xử lý liệu Dữ liệu đóng vai trò quan trọng giải pháp sử dụng mạng nơron Chất lượng, độ tin cậy, tính sẵn có phù hợp liệu sử dụng để phát triển hệ thống giúp cho giải pháp thành công Các mô hình đơn giản đạt kết định liệu xử lý tốt, bộc lộ thông tin quan trọng Bên cạnh đó, mô hình tốt không cho ta kết mong muốn liệu đưa vào phức tạp rắc rối Việc xử lý liệu bắt đầu việc thu thập phân tích liệu, sau bước tiền xử lý Dữ liệu sau qua bước tiền xử lý đưa vào mạng nơron Cuối cùng, liệu đầu mạng nơron qua bước hậu xử lý, bước thực biến đổi kết trả mạng nơron sang dạng hiểu theo yêu cầu toán (Hình 15) Sau đây, mục tiếp theo, ta vào xem xét bước trình xử lý liệu 45 Hình 3.1: Xử lý liệu 3.2.2 Kiểu biến Các biến liệu chia thành hai loại dựa đặc điểm, tính chất chúng 3.2.2.1 Biến phân loại (Categorical Variables) Các biến thường thứ tự xác định, nghĩa chúng không xác định phép toán như: “lớn hơn” hay “nhỏ hơn” Các biến nằm giá trị đưa vào giá trị số gán giá trị số đầu vào Ví dụ, biến “kiểu màu”, nhận giá trị “đỏ”, ”xanh”, “vàng” biến phân loại Giới tính biến kiểu Các liệu số thuộc loại này, ví dụ như: “mã vùng”, “mã nước” Các biến thuộc loại đưa vào mạng sơ đồ mã hóa 1of-c (1-of-c encoding scheme), sơ đồ mã hóa giá trị biến thành xâu nhị phân có chiều dài số giá trị mà biến nhận phạm vi toán Một bit bật lên tuỳ theo giá trị biến, bit lại đặt Trong ví dụ trên, biến “kiểu màu” cần ba biến vào, tương ứng với ba màu thể xâu nhị phân: (1,0,0), (0,1,0) and (0,0,1) Một cách khác để mã hóa biến phân loại thể tất giá trị vào biến đầu vào liên tục Ví dụ, giá trị “đỏ”, ”xanh”, “vàng” 46 thể giá trị số 0.0, 0.5, 1.0 Điểm không tốt phương pháp tạo trật tự nhân tạo liệu mà thực tế, thứ tự Nhưng biến với số lượng lớn phân loại, phương pháp giảm nhiều số đơn vị đầu vào 3.2.2.2 Biến có thứ tự (Ordinal Variables) Các biến có xác định thứ tự tự nhiên Chúng chuyển trực tiếp thành giá trị tương ứng biến liên tục với tỷ lệ 3.2.3 Thu thập liệu Bước thực thu thập liệu bao gồm ba nhiệm vụ chính: 3.2.3.1 Xác định yêu cầu liệu Điều cần thực lập kế hoạch thu thập liệu ta xác định xem liệu cần thiết để giải toán Về tổng thể, cần trợ giúp chuyên gia lĩnh vực toán cần giải Ta cần phải biết: a) Các liệu chắn có liên quan đến toán; b) Các liệu liên quan; c) Các liệu phụ trợ Các liệu có liên quan liên quan đến toán cần phải xem đầu vào cho hệ thống 3.2.3.2 Xác định nguồn liệu Bước định nơi lấy liệu, điều cho phép ta xác định ước lượng thực tế khó khăn phí tổn cho việc thu thập liệu Nếu ứng dụng yêu cầu liệu thời gian thực, ước lượng cần tính đến khả chuyển đổi liệu tương tự thành dạng số Trong số trường hợp, ta chọn lựa liệu mô từ tình thực tế Tuy nhiên, cần phải quan tâm đến độ xác khả thể liệu trường hợp cụ thể 3.2.3.3 Xác định lượng liệu Ta cần phải ước đoán số lượng liệu cần thiết để sử dụng việc xây dựng mạng Nếu lấy liệu liệu 47 phản ánh toàn thuộc tính mà mạng cần phải học mạng phản ứng mong đợi liệu mà chưa huấn luyện Mặt khác, không nên đưa vào huấn luyện cho mạng nhiều liệu Về tổng thể, lượng liệu cần thiết bị chi phối số trường hợp cần luyện cho mạng Bản chất đa chiều liệu cách giải mong muốn nhân tố xác định số trường hợp cần luyện cho mạng kéo theo lượng liệu cần thiết Việc định lượng gần lượng liệu cần đưa vào luyện mạng cần thiết Thông thường, liệu thường thiếu hoàn chỉnh, muốn mạng có khả thực điều mà ta mong đợi cần phải luyện với lượng liệu lớn Đương nhiên, có độ xác hoàn chỉnh liệu số trường hợp cần thiết phải đưa vào mạng giảm 3.2.4 Phân tích liệu Có hai kỹ thuật giúp ta hiểu liệu: 3.2.4.1 Phân tích thống kê Mạng nơron xem mở rộng phương pháp thống kê chuẩn Các thử nghiệm cho ta biết khả mà mạng thực Hơn nữa, phân tích cho ta đầu mối để xác định đặc trưng, ví dụ, liệu chia thành lớp, thử nghiệm thống kê xác định khả phân biệt lớp liệu thô liệu qua tiền xử lý 3.2.4.2 Trực quan hóa liệu Trực quan hóa liệu cách vẽ biểu đồ liệu theo dạng thích hợp cho ta thấy đặc trưng phân biệt liệu, chẳng hạn như: điểm lệch hay điểm đỉnh Điều thực được, áp dụng thêm thao tác tiền xử lý để tăng cường đặc trưng Thông thường, phân tích liệu bao gồm kiểm tra thống kê trực quan hóa Các kiểm tra lặp lặp lại Trực quan hóa cho ta đánh 48 giá liệu khái niệm sơ khởi mẫu nằm sau liệu Trong phương pháp thống kê cho phép ta kiểm thử khái niệm 3.2.5 Xử lý dư liệu 3.2.5.1 Dẫn nhập xử lý liệu Khi liệu thô thu thập, chúng cần phải chuyển đổi sang khuôn dạng phù hợp để đưa vào luyện mạng Ở bước này, ta cần thực công việc sau: Kiểm tra tính hợp lệ liệu (Data validity checks) Việc kiểm tra tính hợp lệ phát liệu chấp nhận mà sử dụng chúng cho kết không tốt Ví dụ, ta kiểm tra khoảng hợp lệ liệu nhiệt độ không khí vùng nhiệt đới chẳng hạn Ta mong muốn giá trị khoảng từ oC đến 40oC, đó, giá trị nằm khoảng rõ ràng chấp nhận Nếu có mẫu cho phân bố sai liệu (ví dụ, phần lớn liệu thu thập ngày tuần) ta cần xem xét nguyên nhân Dựa chất nguyên nhân dẫn đến sai lầm, ta phải loại bỏ liệu này, cho phép thiếu sót Nếu có thành phần định không mong muốn xu hướng hay biến thiên có tính chất mùa vụ, chúng cần loại bỏ Phân hoạch liệu (Partitioning data) Phân hoạch trình chia liệu thành tập kiểm định, huấn luyện, kiểm tra Theo định nghĩa, tập kii m ÿÿnh sử dụng để xác định kiến trúc mạng; tập hṷn luyn dùng để cập nhật trọng số mạng; tập kiểm tra dùng để kiểm tra hiệu mạng sau luyện Ta cần phải đảm bảo rằng: a) Tập huấn luyện chứa đủ liệu, liệu phân bố phù hợp cho biểu diễn thuộc tính mà ta muốn mạng học b) Không có liệu trùng hay tương tự liệu tập liệu khác 49 3.2.5.2 Tiền xử lý Về mặt lý thuyết, mạng nơron dùng để ánh xạ liệu thô đầu vào trực tiếp thành liệu đầu Nhưng thực tế, việc sử dụng trình tiền xử lý cho liệu thường mang lại hiệu định trước liệu đưa vào mạng Có nhiều kỹ thuật liên quan đến tiền xử lý liệu Tiền xử lý liệu thực lọc liệu (trong liệu biến thiên theo thời gian time-series) hay phương pháp phức tạp phương pháp kết xuất, trích chọn đặc trưng từ liệu ảnh tĩnh (image data) Bởi lẽ việc chọn thuật toán dùng tiền xử lý liệu phụ thuộc vào ứng dụng chất liệu, cho nên, khả lựa chọn lớn Tuy nhiên, mục đích thuật toán tiền xử lý liệu thường tương tự nhau, sau (Xem chẳng hạn [6]): Chuyển đổi liệu khuôn dạng phù hợp đầu vào mạng nơron - điều thường đơn giản hóa trình xử lý mạng phải thực thời gian ngắn Các chuyển đổi bao gồm:  Áp dụng hàm toán học (hàm logarit hay bình phương) cho đầu vào;  Mã hóa liệu văn sở liệu;  Chuyển đổi liệu cho có giá trị nằm khoảng [0, 1]  Lấy biến đổi Fourier cho liệu thời gian Lựa chọn liệu xác đáng - việc lựa chọn bao gồm thao tác đơn giản lọc hay lấy tổ hợp đầu vào để tối ưu hóa nội dung liệu Điều đặc biệt quan trọng mà liệu có nhiễu chứa thông tin thừa Việc lựa chọn cẩn thận liệu phù hợp làm cho mạng dễ xây dựng tăng cường hiệu chúng liệu nhiễu Tối thiểu hóa số đầu vào mạng - giảm số chiều liệu đầu vào tối thiểu số mẫu đưa vào đơn giản hóa toán Trong số trường hợp - chẳng hạn xử lý ảnh - ta đưa tất liệu vào mạng Ví dụ ứng dụng nhận dạng ảnh, ảnh chứa hàng triệu điểm ảnh, rõ ràng không khả thi sử dụng nhiều đầu vào Trong trường hợp này, việc tiền xử lý 50 cần thực giảm số đầu vào liệu cách sử dụng tham số đơn giản chẳng hạn sử dụng tham số vùng ảnh tỷ lệ chiều dài/chiều cao Quá trình gọi trích chọn dấu hiệu 3.2.5.3 Hậu xử lý Hậu xử lý bao gồm xử lý áp dụng cho đầu mạng Cũng tiền xử lý, hậu xử lý hoàn toàn phụ thuộc vào ứng dụng cụ thể bao gồm việc phát tham số có giá trị vượt khoảng cho phép sử dụng đầu mạng đầu vào hệ khác, chẳng hạn xử lý dựa luật Đôi khi, hậu xử lý đơn giản trình ngược lại trình tiền xử lý 3.2.6 Tổng hợp Trong thực tế xây dựng mạng nơron ứng dụng lĩnh vực dự báo liệu, việc áp dụng phương pháp tiền xử lý liệu đầu vào (và sau áp dụng phương pháp hậu xử lý để biến đổi đầu dạng phù hợp) giúp ích nhiều ứng dụng Như nêu trên, có nhiều phương pháp áp dụng cho liệu trình tiền xử lý hậu xử lý Các phương pháp thực hiệu cho toán cụ thể lẽ chúng làm giảm bớt độ phức tạp liệu đầu vào, từ làm giảm thời gian học mạng nơron Các phương pháp xử lý liệu phụ thuộc vào công việc thu thập, phân tích lựa chọn liệu đầu vào cho mạng Đây yếu tố định cho thành công ứng dụng mạng nơron Việc liệu chuẩn hóa trước đưa vào mạng huấn luyện làm giảm bớt thời gian mạng học, làm tăng độ xác cho liệu dự báo Điều có ý nghĩa lẽ thuật toán lan truyền ngược thực thi tốn thời gian 51 [...]... lan truyền ngược có dạng Trong đó “output_i ” là đầu ra của nơ-ron i và “ input_j ” là đầu vào của nơ-ron j, δi là tín hiệu học được định nghĩa trong công thức (4.10) Từ các phân tích trên, thuật toán lan truyền ngược sai số được xây dựng như sau: Xét một mạng nơ-ron truyền thẳng có Q lớp, q = 1, 2, …, Q, và gọi net i và yi là tín hiệu vào và ra của nơ-ron thứ i trong lớp q Mạng này có m đầu vào và. .. của mạng Để làm ví dụ ta xét mạng truyền thẳng có một lớp ẩn dưới đây, đối với các mạng có kích thước lớn hơn thì thao tác cũng tương tự Mạng nơ-ron được xét có m nơ-ron ở lớp vào, l nơ-ron trong lớp ẩn và n nơ-ron ở lớp ra Đường kẻ liền thể hiện luồng tín hiệu được truyền từ đầu vào tới đầu ra còn các đường kẻ nét đứt thể hiện luồng tín hiệu lỗi được truyền ngược trở lại từ đầu ra Hình 1.11 Lan truyền. .. pháp lan truyền ngược sai số Chúng ta xét một cặp đầu vào - đầu ra để luyện mạng (x,d), để đơn giản chúng ta bỏ ký hiệu mũ k thể hiện số thứ tự của cặp mẫu này trong bộ mẫu dùng để luyện mạng Khi đưa vào đầu vào x, nơ-ron thứ q trong lớp ẩn sẽ nhận tín hiệu vào của mạng là: Nơ-ron q ở lớp ẩn sẽ tính toán và tạo kết quả ở đầu ra của nó là: Do đó tín hiệu vào của nơ-ron thứ i trên lớp ra sẽ là: 17 Và cuối... đầu ra của mạng thì những sự thay đổi các giá trị kích hoạt là đáng quan tâm Hình 1.7: Mạng nơron hồi quy (Recurrent neural network) 1.5 Mạng học Chức năng của một mạng nơron được quyết định bởi các nhân tố như: hình trạng mạng (số lớp, số đơn vị trên mỗi tầng, và cách mà các lớp được liên kết với nhau) và các trọng số của các liên kết bên trong mạng Hình trạng của mạng thường là cố định, và các trọng... phức tạp của mô hình 1.7 Mạng nơ-ron lan truyền thằng nhiều lớp 1.7.1 Mạng perceptron một lớp Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 [15] là mạng truyền thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn Trên mỗi lớp này có thể có một hoặc nhiều nơ-ron Mô hình mạng nơ-ron của Rosenblatt sử dụng hàm ngưỡng đóng vai trò là hàm chuyển Do đó, tổng của các tín hiệu vào lớn hơn giá trị ngưỡng... đối với mạng nơ-ron nhân tạo ta cũng phải giải quyết hai vấn đề là ANN học chưa đủ (underfitting) và học quá (overfitting) Khi mạng có cấu trúc (số nút ẩn và liên kết) cũng như số lần học 24 chưa đủ so với nhu cầu của bài toán thì sẽ dẫn tới tình trạng mạng không đủ khả năng mô tả gần đúng mối quan hệ tương quan giữa đầu vào và đầu ra của quá trình cần dự báo và dẫn tới học chưa đủ Trái lại, nếu mạng. .. giá trị thực tế ở đầu ra của mạng chúng ta cần phải chuyển các giá trị trong khoảng (0,1) về miền các giá trị thực tế b Vấn đề học chưa đủ và học quá thuộc của mạng Vấn đề mấu chốt khi xây dựng một mạng nơ-ron nhân tạo là làm thế nào mạng có khả năng tổng quát hoá cao để đưa ra kết quả tốt cả với những trường hợp đầu vào của mạng không nằm trong tập mẫu đã dùng để luyện mạng Giống như các mô hình hồi... kết quả Giải thuật di truyền (Genetic Algorithms-GA) được biết đến như một giải thuật tìm kiếm dựa trên học thuyết về chọn lọc tự nhiên và nó cho phép ta đạt được tới cực trị toàn cục Luận văn nghiên cứu việc sử dụng giải thuật di truyền và bài toán tối ưu hoá trọng số của mạng nơ-ron nhân tạo giúp mạng có thể học được tốt hơn [8] 2.1 Giới thiệu giải thuật di truyền Giải thuật di truyền đã được đề cập... nếu không thì quay về bước 3 Lưu đồ thuật toán 35 Hình 2.2 Lưu đồ thuật toán của giải thuật di truyền đơn giản 2.2 Ứng dụng giải thuật di truyền vào bài toán tối ưu hóa trọng số của mạng nơron nhân tạo Như chúng ta đã biết sử dụng giải thuật lan truyền ngược sai số để tối ưu hoá trọng số của mạng nơ-ron nhân tạo đang được sử dụng rộng rãi hiện nay Tuy nhiên, giải thuật này hoạt động theo cơ chế giảm... liệu đầu vào, vấn đề học chưa đủ và học quá của mạng, vấn đề lựa chọn một cấu trúc mạng phù hợp với bài toán a Vấn đề chuẩn hoá số liệu đầu vào Mạng MLP thường sử dụng hàm chuyển là hàm sigmoid có dạng như sau: Hình 1.14 Hàm sigmoid Với dạng hàm này, giá trị ở đầu ra của mỗi nơ-ron nằm trong phạm vi khoảng (0,1) và nó đạt các giá trị bão hoà ( xấp xỉ 0 hay 1 ) khi ⎢x ⎢ lớn Do đó, khi đầu vào của mạng