HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ VÂN ANH SỬ DỤNG MẠNG NƠ RON TRONG KHAI PHÁ DỮ LIỆU CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ: 60.48.15 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC : TS VŨ VĂN THỎA Hà Nội - 2010 MỞ ĐẦU Trong mơi trường cạnh tranh người ta ngày cần có nhiều thông tin với tốc độ nhanh để trợ giúp việc định ngày nhiều câu hỏi mang tính chất định tính cần phải trả lời dựa khối lượng khổng lồ liệu có Do thực tế làm phát triển khuynh hướng kỹ thuật để khai thác tốt sở liệu doanh nghiệp kỹ thuật khai phá liệu (data mining), vận dụng kỹ thuật liệu giao dịch đóng vai trò quan trọng cho việc hoạch định kế hoạch kinh doanh thương trường vào năm Kỹ thuật sử dụng nhiều nơi cho kết khả quan nhiều tổ chức nước giới Chương 1: Tổng quan khai phá liệu Chương 2: Mạng nơ ron nhân tạo (Artificial neural network) Chương 3: Ứng dụng mạng nơ ron nhân tạo cho toán dự đoán phụ tải điện Kết luận hướng nghiên cứu Các từ khóa: Khai phá liệu (datamining), học máy (machine learning), mạng nơ ron (neural network), MLP (Multi-layer Perceptron), SOM (Self-organizer map) 32 asymmetric fuzzy weight - Decision Support Systems, Vol 24, 1998, 105-126 p [12] Rachel Konrad, Data mining: Digging user info for gold, ZDNET News, February 7, 2001, http://zdnet.com.com/2100-11528032.html?legacy=zdnn [13] http://www.cs.uh.edu/~ceick/6340/grue-assoc.pdf [14] Rekesh Arawal, Ramakrishnan Srikant, Fast Algorithms for Mining Association, IBM Almadem Research Center 650 Harry Road, San Jose, CA 95120 [15] Stuart Russell and Peter Norvig, Artificial Intelligence - A Modern Approach @2003, 1995 by Pearson Education, Inc [16] Trần Bách, Lưới điện hệ thống điện NXB Khoa học kỹ thuật [17] The Gartner Group, www.gartner.com [18] Zhe Liao, Jun Wang - Forecasting model of global stock index by stochastic time effective neural network- Expert Systems with Application, Vol.37 (2010), 834-841 31 TÀI LIỆU THAM KHẢO [1] Ben Krose and Patrick van der Smagt, An Introduction to Neural Networks, @1996 University of Amsterdam [2] David Hand, Heikki Mannila, and Padhraic Smyth, Principles of Data Mining, MIT Press, Cambridge, MA, 2001 [3] Daniel T Larose, Discovering Knowledge in Data: An Chương Tổng quan khai phá liệu 1.1 Khái niệm Theo Gartner Group [4] “Khai phá liệu trình khám phá tương quan, mẫu xu có ý nghĩa việc dịch chuyển thông qua lượng lớn liệu lưu trữ, sử dụng công nghệ nhận dạng mẫu công Introduction to Datamining, NXB Wiley Interscience nghệ thống kê, toán” [4] The Gartner Group, www.gartner.com Ta phân khai phá liệu thành hai loại sau: [5] Joseph P Bigus, Datamining with Neural Network, @1996 by The McGraw-Hill Companies, Inc [6] Lã Văn Út, Phân tích điều khiển ổn định Hệ thống điện, NXB Khoa học kỹ thuật [7] Martin T Hagan, Howard B Demuth, Neural Network Design, copyright@1996 by PWS Publishing Company, [9] Khai phá liệu có tính dự đốn: tức là sản xuất mơ hình hệ thống mơ tả tập liệu cho Khai phá liệu có tính mô tả: tức sản xuất thông tin mới, khơng tầm thường dựa tập liệu có sẵn 1.2 Các nhiệm vụ khai phá liệu 1.2.1 Mô tả: Đôi khi, nhà nghiên cứu phân tích đơn USA [8] Mehmed Kantardzic, Data Mining: Concepts, Models, giản cố gắng tìm cách mơ tả mẫu xu nằm Methods, and Algorithms, ©2003 by John Wiley & Sons liệu Các mô hình khai phá liệu nên minh Mehdi Khashei, Mehdi Bijari - An Artificial neural bạch mức network (p, d, q) model for timeseries forecasting Expert Systems with Application, Vol 37(2010) 479-489 [10] M Becvali, M.Cellura, V Lo Brano, A MarvugliaForecasting daily urban electric load using artificial neural networks - Energy Conversion and Management Vol 45 (2004) 2879-2900 p 1.2.2 Ước lượng: Ước lượng tương tự như phân loại trừ việc biến mục đích số khơng phải loại 1.2.3 Dự đốn: Dự đốn giá thị trường ba tháng tương lai, dự đốn tăng phần trăm tai nạn giao thơng năm giới hạn tốc độ tăng lên [11] R J Kuo, K C Xue - A decision support system for sales forecasting through fuzzy neural networks with 30 1.2.4 Phân loại: Trong phân loại, có biến loại mục trình học nội dung học chúng Đến nay, có đích, mức thu nhập, phân đoạn thành ba nhiều mơ hình mạng nơ ron nhân tạo, nhiên giới hạn lớp ba loại: thu nhập cao, thu nhập thu nhập luận văn chúng tơi tìm hiểu sâu hai mơ hình mạng tự tổ thấp chức (SOM) mạng truyền thẳng đa tầng (MLP) hai mô 1.2.5 Phân cụm (Clustering): Phân cụm nhằm vào việc hình sử dụng phổ biến rộng rãi cho toán có nhóm ghi, trường hợp thành lớp đối liệu lớn, có độ biến thiên cao ưu điểm kỹ thuật tượng tương tự khả tính xấp xỉ xác cho hàm cần dự đoán 1.2.6 Luật kết hợp: Nhiệm vụ kết hợp cho khai phá liệu cơng việc tìm kiếm thuộc tính “đi nhau”, khám phá luật cho việc xác định mối quan hệ hai nhiều thuộc tính 1.3 Quá trình khai phá liệu 1.3.1 Phát biểu toán đề giả thiết Trong bước này, người lên mơ hình thường xác định tập biến cho phụ thuộc trước, có thể, dạng chung phụ thuộc giả thiết Cuối cùng, để ứng dụng trình khai phá liệu sử dụng kỹ thuật mạng nơ ron, chương 3, giới thiệu toán phụ tải điện năng, toán phù hợp với việc sử dụng mạng nơ ron, với đầu dự đoán phụ tải điện ngắn hạn vòng 24 tới Với việc thu thập liệu năm 2005 2006, chúng tơi chuẩn hóa 600 vec tơ làm đầu vào cho mạng nơ ron Với việc sử dụng mạng SOM, xây dựng cấu trúc lưới SOM tối ưu 88, 1.3.2 Thu thập liệu tiến hành phân cụm hiệu sử dụng giải thuật K-means Bước liên quan tới việc liệu sưu tập sinh với số cụm tốt Với hướng tiếp cận này, liệu ngẫu nhiên Để dự đoán phụ tải điện 24 tới, sử sinh, giả thiết phần lớn ứng dụng khai phá dụng kết phân cụm SOM với số liệu liệu phụ tải điện khứ để tiến hành huấn luyện cho mạng 1.3.3 Tiền xử lý liệu truyền thẳng đa tầng (MLP) với thiết kế 50 nút tầng ẩn Trong hướng tiếp cận quan sát, liệu thường “sưu tập” 24 đầu cho giá trị phụ tải điện ngày từ sở liệu tồn tại, kho liệu, trung Kết thu khả quan có khả ứng dụng tâm liệu Tiền xử lý liệu thường bao gồm hai việc dự đoán phụ tải cho bên quản lý hệ thống điện miền nhiệm vụ sau: Bắc a) Phát (và loại bỏ) liệu ngoại lai 29 sai số phụ tải dự đoán phụ tải thực tế nhỏ, b) đường phụ tải dự đốn khoảng từ 1h chiều đến 4h chiều có sai số lớn Điều phần lớn xảy liệu phụ tải khơng khoảng Ngồi ra, luận Hai lớp nhiệm vụ tiền xử lý ví dụ mơ tả văn này, chúng tơi dự đốn phụ tải qua liệu phụ tải điện khứ, muốn xác ta cần thêm số điều kiện thời tiết nhiệt độ, độ ẩm, … đường dự đoán phụ tải điện phụ tải điện thực tế có sai số bé Kết luận Lên tỉ lệ, mã hóa, lựa chọn thuộc tính phạm vi lớn hoạt động tiền xử lý trình khai phá liệu 1.3.4 Ước lượng mơ hình Sự lựa chọn thực kỹ thuật khai phá liệu thích hợp nhiệm vụ giai đoạn Q trình khơng dễ dàng, thực hành việc thực thi dựa vài mơ hình, kèm theo nhiệm vụ chọn tốt Phần Luận văn trình bày với cấu trúc chương, với mục đích thể liệu gọi tập học, phần gọi tập xác việc khai phá liệu thông qua kỹ thuật mạng nơ ron nhận, gọi tập kiểm tra Một mơ hình nhận minh họa cụ thể qua toán phụ tải điện thơng qua q trình khai phá liệu sử dụng kỹ thuật học Các kết luận văn là: quy nạp ước lượng sử dụng tham số tốc độ lỗi Ở chương 1, nghiên cứu tổng quan khai phá liệu, phân loại khai phá liệu, đưa nhiệm vụ khai phá liệu mơ tả, ước lượng, dự đốn, phân loại, phân cụm cuối luật kết hợp Tiếp theo, phân tích q trình khai phá liệu bao gồm bước: Phát biểu toán đề giả thiết Thu thập liệu Tiền xử lý liệu Ước lượng mơ hình Diễn giải mơ hình đưa kết luận Ở chương 2, vào nghiên cứu kỹ thuật mạng nơ ron, phương pháp ứng dụng nhiều mang lại hiệu cao nhiệm vụ khai phá liệu Bắt đầu với việc giới thiệu mạng nơ ron sinh học, lên mơ hình tốn cụ thể cho nơ ron nhân tạo, chúng tơi tìm hiểu tiếp kiến trúc mạng nơ ron nhân tạo gồm mạng truyền chuẩn phép đo việc thực 1.3.5 Diễn giải mơ hình đưa kết luận Trong phần lớn tốn, mơ hình khai phá liệu hỗ trợ phần định Do vậy, mơ hình thực hữu ích cần thiết phải diễn giải người khơng chắn dựa vào định chúng mơ hình “khép kín” phức tạp Để ý đích xác mơ hình trái ngược với xác diễn giải Thơng thường, mơ hình đơn giản diễn giải nhiều hơn, chúng xác Các phương pháp khai phá liệu đại mong đợi gặt hái kết xác cao sử dụng mơ hình có số chiều cao thẳng, mạng hồi quy, khả học sửa lỗi mạng nơ ron 28 Kết luận chương Chương nêu khái niệm khai phá liệu, nhiệm vụ cần thực khai phá liệu cuối trình khai phá liệu Một phương pháp khai phá áp dụng nhiều nhiệm vụ khai phá liệu kỹ thuật mạng nơ ron nhân tạo Chúng ta tìm hiểu mạng nơ ron nhân tạo với mục đích phân cụm dự đốn chương Bộ liệu gồm 583 vec tơ chia thành liệu, liệu huấn luyện bao gồm 555 vec tơ từ ngày 1/1/2005 đến 29/7/2006, liệu kiểm tra bao gồm 28 vectơ từ ngày 30/7/2006 đến ngày 26/8/2006 Ở phần huấn luyện, huấn luyện mạng với 5000 bước (epoches) 3.5.2 Đánh giá kết Với liệu kiểm tra, giả sử ta lấy ngày Thứ ba (15/8/2006) cần dự đoán, ta có đồ thị so sánh phụ tải điện thực tế phụ tải dự đốn sau: Cơng suất (chuẩn hóa) 0.8 0.6 0.4 0.2 10 Tải điện thực tế Tải điện dự đốn 13 16 19 22 Giờ Hình 3.5 Kết so sánh phụ tải thực tế phụ tải dự đoán cho Thứ ba (15/8/2006) Ta thấy kết thu chấp nhận được, đồ thị giá trị đỉnh (Pmax) xác, điều quan trọng việc dự đốn q tải lưới điện có biện pháp dự phòng kịp thời xử lý việc tải Ví dụ đồ thị trên, ta thấy rõ đường phụ tải dự đốn thể xác phụ tải đỉnh vào khoảng 10h sáng 5h chiều đến 7h tối 27 Tầng đầu Chương Mạng nơ ron nhân tạo 2 2.1 Khái niệm, mơ hình kiến trúc mạng nơ ron nhân tạo 2.1.1 Mơ hình mạng nơ ron nhân tạo: Một nơ ron nhân tạo đơn vị xử lý thông tin mà Tầng ẩn 50 sở hoạt động mạng nơ ron nhân tạo Một tập đường kết nối từ đầu vào khác (tiếp hợp), đầu vào phân biệt trọng số độ dài Chỉ số tới nơ ron nói đến số thứ hai tới đầu vào tiếp hợp mà trọng số liên quan Một cộng cho tải điện ngày i-1 2 4 tải điện mã cụm ngày i-1 ngày i-2 việc tính tổng tín hiệu đầu vào 5 mã ngày i hợp tương đối Việc tính tốn mơ tả tạo thành tổ hợp tuyến tính Một hàm hoạt hóa f để giới hạn biên độ đầu Hình 3.4 Kiến trúc mạng đa tầng truyền thẳng cho dự đoán phụ tải điện nơ ron Thêm vào độ nghiêng áp dụng bên định nghĩa Độ nghiêng có hiệu ứng làm tăng thêm thấp xuống Hàm hoạt hóa sử dụng mạng tầng ẩn hàm sigmoid (3.14) Đối với nơ ron tầng đầu ra, hàm hoạt hóa sử dụng hàm đầu vào mạng hàm hoạt hóa, phụ thuộc vào liệu âm hay dương Nơ ron mơ hình trìu tượng nơ ron tự nhiên, khả xử lý hình thức hóa sử dụng thích sau Đầu tiên, có vài đầu vào: Mỗi đầu vào tuyến tính (3.15) Một biểu thức rút gọn mơ hình tóm tắt sau: (3.16) trọng số tiếp hợp (hoặc giá trị dốc) mạng, CC đây, mã cụm vec tơ liệu (được gán pha SOM), DC mã định danh ngày dự đoán 26 tính cường độ tiếp nhân lên trọng số , k số nơ ron cho mạng , với nơ ron Tổng trọng số tích thường xem “net” mạng nơ ron nhân tạo: (2.1) Sử dụng đầu vào 3.5 Thủ tục học sử dụng cho mạng nơ ron truyền thẳng đa (2.2) Do đó, tính tích hai vec tơ m chiều: (2.3) Cuối cùng, nơ ron nhân tạo tính tốn đầu hàm có đối số tầng (MLP): Giải thuật học cho toán để huấn luyện mạng đa tầng truyền thẳng (MLP) lan truyền ngược có thích ứng với hệ số qn tính (3.13) : (2.4) Hàm f gọi hàm hoạt hóa Có nhiều dạng hàm hoạt hóa 2.1.2 Kiến trúc mạng nơ ron nhân tạo Kiến trúc mạng nơ ron nhân tạo định nghĩa đặc điểm môt nút đặc điểm kết nối đây, tham số quán tính giảm ảnh hưởng bước trước lên bước thời Tốc độ học ban đầu dùng , hệ số quán tính 3.5.1 Kiến trúc mạng MLP cho tốn Mơ hình mạng MLP thực bảo mạng hai tầng kết nối đầy đủ (đầu vào, tầng ẩn tầng đầu ra) với đặc nút mạng Thông thường, kiến trúc mạng điểm cấu trúc sau: xác định số đầu vào mạng, số đầu mạng, Giá trị phụ tải 24 ngày trước ngày dự đoán (i 1) toàn số nút sở mà thường phần tử xử lý cho toàn mạng, tổ chức tương kết chúng Các mạng nơ Giá trị phụ tải 24h trước ngày dự đoán hai ngày (i 2) ron nói chung phân thành hai loại: mạng truyền thẳng Vec tơ thành phần ngày trước ngày dự đốn có định mạng hồi quy danh cụm mà đường cong phụ tải thuộc (ví dụ đầu vào x1 100000000 cụm số 1, 010000000 cụm số 2, v.v… ) tầng ẩn Vec tơ thành phần định ngày trước ngày dự đoán y1 x2 đầu y2 xn (1000000 Chủ Nhật, 0000001 thứ Bảy) Đầu thiết lập 24, thể dự đoán phụ tải 24 cho ngày cần dự đoán a) Mạng truyền thẳng 25 10 10 0.773768 12 12 0.727853 14 14 0.764637 Bảng 3.2 Giá trị đầu vào x1 x2 cho mơ hình mạng SOM độ trễ y1 đầu y2 3.4 Mức thứ hai trìu tượng: Sự phân cụm hiệu Trên vec tơ nguyên mẫu mạng SOM huấn luyện, giải thuật k-mean phân cụm thực hiện, thơng thường việc tối thiểu hóa hàm đích hàm lỗi: (3.11) xn b) Mạng hồi quy Hình 2.1 Kiến trúc mạng truyền thẳng mạng hồi quy Mạng truyền thẳng lan truyền xử lý từ phía đầu vào tới phía đầu theo hướng thống nhất, khơng có C số cụm đặt vào; cụm thứ ; trung tâm cụm , thu công thức: Mạng hồi quy dùng trường hợp có thơng (3.12) Giải thuật áp dụng lặp với tất giá trị C vùng từ tới Giá trị matrix SOM huấn luyện, lặp ngược lại chọn dựa vào Uở ta chọn 10 tin thời đưa vào mạng đó, chuỗi đầu vào quan trọng, cần mạng nơ ron lưu trữ ghi đầu vào trước tiên khuếch đại chúng với liệu thời để sinh câu trả lời Mặc dù có nhiều mơ hình mạng nơ ron đề xuất Sau q trình phân cụm, tính tốn hiệu quả, kết cho hai loại trên, mạng nơ ron truyền thẳng đa tầng với giải thấy việc chọn số cụm cho kết phân cụm liệu phụ tải hợp lý nhất[10] Tiếp theo, cụm gán mã định danh dùng làm đầu vào cho mạng đa tầng truyền ứng dụng thực tế thuật học lan truyền ngược mơ hình sử dụng rộng rãi 2.2 Quá trình học nội dung học Nhiệm vụ mạng nơ ron phải học mơ hình thẳng MLP giới mà nhúng vào trì mơ hình đủ phù hợp với giới thực để thu số kết xác định ứng dụng liên quan Quá trình học dựa 24 mẫu liệu từ giới thực, nằm khác thiết kế mạng nơ ron hệ xử lý thông tin cổ điển Để mô tả luật học, ta xét trường hợp đơn giản nơ ron , Hình 2.1 tạo thành nút tính tốn mạng nơ ron Nơ ron vec tơ đầu vào thực , n thời gian rời rạc, hay xác bước thời gian q trình lặp liên quan đến việc điều chỉnh trọng số đầu vào Mỗi mẫu liệu cho việc huấn luyện mạng nơ ron nhân tạo bao gồm vec tơ đầu vào đầu liên quan Xử lý vec tơ đầu vào , nơ ron k sản xuất đầu gọi Kích cỡ sơ đồ Độ dài huấn luyện thô 200 200 200 200 200 66 88 10 10 12 12 14 14 Độ dài huấn luyện tinh 20000 20000 20000 20000 20000 Bảng 3.1 Độ dài huấn luyện pha thô tinh cho mạng SOM kiểm tra Độ dài T pha “huấn luyện thô” “tinh chỉnh” cho SOM sử dụng Các độ dài huấn luyện T hai pha tổng kết Bảng 3.1 Với SOM huấn luyện, tính tốn số (2.5) , tổng số chất lượng trước đây: (3.9) Nó thể đầu mạng đơn giản này, so sánh với phản hồi mong muốn đích đây, t bước lặp (với khoảng tăng thêm 50) Mạng SOM huấn luyện tốt huấn luyện với số cho Một lỗi sinh đầu định nghĩa: khoảng cho giả sử giá trị nhỏ nhất, là: (2.6) (3.10) Tín hiệu lỗi sinh khởi động chế điều khiển giải thuật học, mục đích phải áp dụng chuỗi chiều chỉnh sửa lỗi tới trọng số đầu vào nơ ron Các trọng số sửa lỗi thiết kế để làm tín hiệu đầu tiến sát tới đích mong muốn v bước bước Mục đích , thu việc tối thiểu hóa hàm tính giá Giá trị nhận cho SOM tổng kết Bảng 3.4 Trong luận văn này, mạng SOM tốt chọn gồm 64 nơ ron (sơ đồ 88 nơ ron) Kích cỡ sơ đồ 66 0.737839 Q trình học dựa việc tối thiểu hàm tính giá tới 88 0.670167 giá trị tức thời lượng lỗi, ví dụ 10 23 lân cận ban đầu nhận giá trị giảm đơn điệu xuống việc học sửa chữa lỗi Đặc biệt, tối thiểu hóa hàm dẫn tới q trình làm thơ (giá trị bán kính lân cận giữ luật học thường gọi luật delta luật Widrow- suốt trình làm tinh) Hoff Gọi giá trị hệ số trọng số cho nơ ron k hoạt bước thời gian n Theo luật delta, động đầu vào 3.3.2 Chọn mơ hình mạng SOM tốt Chất lượng mạng SOM thường đánh giá dựa điều chỉnh ∆w n định nghĩa bởi: (2.7) phân giải khả trì hình học tập liệu Do đó, để đánh giá mạng SOM, bước lặp ta tính thêm vào vào phép đo sau: đây, số dương định tốc độ học Do đó, luật delta phát biểu sau: Sự điều chỉnh làm tới hệ số trọng số kết nối nơ ron đầu vào tỉ lệ với tích a Phép đo độ méo trung bình (ADM) định nghĩa tín hiệu lỗi giá trị đầu vào kết nối Sau tính tốn, giá trị cập nhật trọng số tiếp (3.7) hợp định bởi: (2.8) N số vec tơ mẫu dùng cho huấn luyện sơ đồ; M số đơn vị sơ đồ và khoảng cách Euclidean xem giá trị cũ giá trị trọng số tiếp hợp b Phép đo độ phân giải (trung bình lỗi lượng tử): x1(n) wk1 (3.8) Năm sơ đồ tự tổ chức (66; 8; 10 10; 12 12; 14 14), mô tả mạng lục giác, kiểm tra phân cụm liệu phụ tải dẫn từ số chúng, chọn quan sát hai số chất lượng ADM, QE Ở toán này, SOMs sử dụng khởi đầu với giá trị ngẫu nhiên Đối với thành phần x2(n) wk2 ∑ f wkm sửa lỗi xm(n) Hình 2.2 Học sửa lỗi thực thông qua điều chỉnh trọng số , giá trị vec tơ trọng số phân bố đồng miền [ 22 dk(n) ] 11 Học sửa lỗi áp dụng kiến trúc mạng nơ ron phức tạp nhiều Quá trình sửa chữa trọng số tiếp tục với mẫu huấn luyện dùng mẫu liệu vòng lặp Khi để kết thúc trình lặp định nghĩa tham số đặc biệt tập tham số gọi tiêu chuẩn dừng 2.3 Một số kiểu mạng nơ ron nhân tạo 2.3.1 Mạng tự tổ chức (Kohonen feature maps) “Kohonen feature maps” mạng nơ ron truyền thẳng sử dụng giải thuật học không giám sát, thông qua trình tự tổ chức, cấu hình đơn vị đầu thành sơ đồ hình học không gian Các mạng Kohonen thể dạng “sơ đồ tự tổ chức” (SOM - Self-organized maps), thân Hình 3.3 Cập nhật đơn vị phù hợp lân cận phía mẫu đầu vào đánh dấu x Các đường đen đậm đứt quãng thể trước sau cập nhật Hàm lân cận sử dụng hàm Gaussian: thể lớp đặc biệt mạng nơ ron Mục đích SOM biến đổi tín hiệu đầu vào có số chiều cao, phức tạp (3.5) thành sơ đồ rời rạc có số chiều thấp đơn giản Do vậy, SOM thường thích hợp cho việc phân tích theo cụm, đây, mẫu ẩn phía ghi trường tìm SOM; trung bình gọi bán kính lân cận Hàm lân kiếm Các mạng SOM cấu trúc nút đầu thành cụm cận nhận giá trị lớn cho đơn vị thắng giảm đơn nút, nút xấp xỉ gần sát tương đương điệu với việc tăng khoảng cách lưới sơ đồ với nút khác xa vị trí đơn vị lưới Tốc độ học giảm theo luật luỹ thừa: (3.6) với T độ dài huấn luyện, giá trị ban đầu ta cho 0.01 giảm xuống 0.001 suốt trình huấn luyện Bán kính 12 21 3.3 Mức trìu tượng: huấn luyện SOM 3.3.1 Chuẩn bị vec tơ đầu vào Đầu Một sơ đồ tự tổ chức SOM sử dụng tập vec tơ nguyên mẫu mô tả tập liệu thực “phép chiếu trì hình học” ngun mẫu từ không gian đầu vào d chiều vào lưới thấp chiều Mỗi nơ ron SOM thể vec tơ trọng số , số chiều vec tơ đầu vào Nơ ron có vec tơ trọng số sát với vec tơ đầu vào gọi đơn vị phù hợp (BMU) Gọi đơn vị sơ đồ số Đầu vào vec tơ trọng số Tuổi Thu nhập vec tơ trọng số BMU, ta có là: (3.3) Các kết nối với trọng số chiều (vec tơ nguyên mẫu) giá trị nhỏ đạt thời điểm , phép đo khoảng cách, thường khoảng cách Euclidean, Sau thể vec tơ liệu , vec tơ trọng số nơ ron cập nhật theo luật học sau: (3.4) đây, thời gian lặp; vec tơ đầu vào lấy ngẫu nhiên từ liệu đầu vào thời điểm ; tốc độ học lân cận trung tâm BMU; phần tử Hình 2.3 Kiến trúc thơng thường SOM Các sơ đồ tự tổ chức dựa việc học cạnh tranh, đâu nút đầu cạnh tranh chúng với để trở thành nút thắng cuộc, nút hoạt hóa quan sát đầu vào đầu đặc biệt Kiến trúc SOM thơng thường Hình 2.3 Các mạng nơ ron cạnh tranh nằm lớp mạng hồi quy, chúng dựa giải thuật học không giám sát, giải thuật cạnh tranh Trong việc học cạnh tranh, nơ ron đầu mạng nơ ron tính tốn số chính tiến tới tích cực (được “cháy”) 20 13 Phụ tải cao điểm nhân tố định việc huy động nguồn Giải thuật mạng Kohonen: Với vec tơ đầu vào x, do: Cạnh tranh Đối với nút đầu vào j, tính tốn giá trị hàm tính giá Ví dụ, với khoảng cách Tìm nút j Euclidean, chiến thắng mà làm nhỏ tất nút đầu Hợp tác Định danh tất nút đầu j phía lân cận j định nghĩa kích thước lân cận R Với nút này, làm sau với tất trường ghi đầu vào: o Thích ứng Điều chỉnh trọng số: Điều chỉnh tốc độ học kích thước lân cận, cần Dừng lại gặp điều kiện kết thúc điện phụ tải thấp điểm lại giữ vai trò quan trọng việc định phối hợp điều chỉnh nguồn điện nhằm đảm bảo vận hành kinh tế Dự báo xác phụ tải cao điểm có hiệu lớn kinh tế vào mùa lũ cần khai thác tối đa nguồn thủy điện, nước hồ chứa xả nguồn điện khác huy động nhằm mục đích an tồn, bù điện áp phủ đỉnh 3.2 Chuẩn hóa vec tơ liệu phụ tải Dữ liệu phụ tải dùng luận văn từ 1/1/2005 đến 26/8/2006: tập liệu bao gồm 583 vec tơ, vec tơ gồm 24 thành phần (đã loại bỏ số vec tơ không phù hợp) Trước chia tách liệu phụ tải vào cụm khác sử dụng SOM, chúng chuẩn hóa sử dụng kỹ thuật mơ tả phương trình sau: (3.1) (3.2) 2.3.2 Mạng nơ ron truyền thẳng đa tầng (Multilayer đây: Perceptrons) Mạng truyền thẳng đa tầng lớp phổ biến quan trọng ứng dụng mạng nơ ron Mạng nơ ron thông thường bao gồm tập đầu vào mà hình thành nên tầng đầu vào mạng, nhiều tầng giá trị trung bình thành phần; (N số liệu thành phần) độ lệch chuẩn thành phần đó; ẩn nút tính tốn, cuối tầng đầu nút tính tốn Việc xử lý theo hướng thẳng dựa sở x giá trị thành phần chung vec tơ liệu bước chuẩn hóa; giá trị thành phần sau chuẩn hóa lớp MLP ứng dụng thành cơng để giải Các chuẩn hóa thường thực để giảm độ biến thiên số tốn khó đa dạng việc huấn luyện mạng thành phần vec tơ 14 19 Trong pha tiền xử lý, liệu ban đầu chuẩn hóa để giảm biến thiên chúng sau nhóm lại thành cụm dạng có giám sát với thuật giải nhiều người biết đến giải thuật lỗi lan truyền ngược (Back-propagation) liên quan tới kiểu phụ tải khác Việc phân nhóm Giả sử ta có biểu đồ MLP sau: thực kỹ thuật có hiệu cao mạng tự tổ chức (SOM) Nhờ có ứng dụng thủ tục phân cụm này, vec tơ liệu phụ tải đánh nhãn với mã định danh liên quan tới cụm mà thuộc sử dụng Sự phân cụm thực thực việc thực thi giải thuật k-means vectơ SOM huấn luyện trước với liệu phụ tải Sau đó, mơ tả ứng của MLP huấn luyện với liệu phụ tải vấn đề dự đoán phụ tải thời gian 24h tập đầu vào tầng m, m = 0, …, M, đây, tất m = 1, …, M Có M + ma trận tầng nơ ron, M tầng trọng số tiếp hợp Chúng ta thay đổi trọng số độ dốc b để đầu thực Giải thuật lan truyền ngược bao gồm bước sau: đầu (2.9) sau: Các hoạt động khác 4.32% Nông nghiệp thuỷ hải sản 1.40% biến đổi tới vec tơ tính giá trị cơng thức: Các thành phần cấu thành phụ tải thể biều đồ Quản lý tiêu dùng & dân cư 44.59% trở nên sát với đầu mong muốn Truyền thẳng Vec tơ đầu vào 3.1.2 Phụ tải hệ thống điện miền Bắc với i = đến M Tính tốn lỗi Việc tính tốn lỗi tìm hệ số nhạy cảm thể khác đầu mong muốn đầu thực tính tốn (2.10) Truyền ngược Tín hiệu lỗi đơn vị đầu Công nghiệp xây dựng 45.20% Thương nghiệp 4.49% Hình 3.2 Các thành phần cấu thành phụ tải 18 truyền ngược lại qua tồn mạng, việc tính giá trị (2.11) với m từ M đến 15 Cập nhật trọng số Các trọng số tiếp hợp độ dốc cập nhật sử dụng kết truyền thẳng lan truyền ngược: (2.12) (2.13) tính từ m = đến M Kết luận chương Chương trình bày khái niệm, mơ hình kiến trúc mạng nơ ron nhân tạo giới thiệu hai kiểu mạng nơ ron nhân tạo mạng nơ ron tự tổ chức mạng nơ ron truyền thẳng đa tầng dùng rộng rãi cho toán phân cụm dự đốn có liệu đầu vào lớn nhiễu Chương ỨNG DỤNG MẠNG NƠ RON CHO BÀI TOÁN DỰ ĐOÁN TẢI ĐIỆN NĂNG 3.1 Giới thiệu toán phụ tải điện Rất nhiều nghiên cứu độ nhạy cảm tải tiêu thụ điện đặc biệt tập trung vào dự đoán giới hạn 24 tới Một tiếp cận phổ biến vấn đề dự đoán phụ tải ngắn hạn tạo thành giải thuật dựa mạng nơ ron nhân tạo Phần lớn mơ hình cho dự đốn phụ tải ngắn hạn sử dụng kiến trúc mạng nơ ron biết đến “perceptron” đa tầng (MLPs) Đặc biệt, với vấn đề dự đoán phụ tải ngắn hạn, nhiều ứng dụng mạng nơ ron nhân tạo có khả học thuộc tính phụ tải điện, yêu cầu phân tích sâu kỹ để khám phá 3.1.1 Mô tả công việc Trong luận văn này, sử dụng mạng nơ ron nhân tạo dựa mơ hình dự báo sử dụng liệu phụ tải điện thu thập khu vực miền Bắc - Việt Nam Các giá trị phụ tải lấy từ tổng điện tiêu thụ khu vực Lượng điện tiêu thụ tính lượng điện sinh hoạt người dân địa phương lượng điện tiêu thụ nhà dùng điện cơng nghiệp Hình 3.1 Sơ đồ bước phân cụm SOM 16 17 ... liệu, nhiệm vụ cần thực khai phá liệu cuối trình khai phá liệu Một phương pháp khai phá áp dụng nhiều nhiệm vụ khai phá liệu kỹ thuật mạng nơ ron nhân tạo Chúng ta tìm hiểu mạng nơ ron nhân tạo... liệu sử dụng kỹ thuật học Các kết luận văn là: quy nạp ước lượng sử dụng tham số tốc độ lỗi Ở chương 1, nghiên cứu tổng quan khai phá liệu, phân loại khai phá liệu, đưa nhiệm vụ khai phá liệu. .. phương pháp khai phá liệu đại mong đợi gặt hái kết xác cao sử dụng mơ hình có số chiều cao thẳng, mạng hồi quy, khả học sửa lỗi mạng nơ ron 28 Kết luận chương Chương nêu khái niệm khai phá liệu,