Ứng dụng mạng Nơron nhân tạo dự báo phụ tải ngắn hạn hệ thống điện Miền Bắc

Ứng dụng mạng Nơron nhân tạo dự báo phụ tải ngắn hạn hệ thống điện Miền Bắc

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI -

LUẬN VĂN THẠC SĨ KHOA HỌC

ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO PHỤ TẢI NGẮN HẠN HỆ THỐNG ĐIỆN MIỀN BẮC

NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ:

CHU NGHĨA

Người hướng dẫn khoa học: PGS.TS NGUYỄN ĐỨC NGHĨA

HÀ NỘI 2007

Mục lục

Danh mục các từ viết tắt 3

Mở đầu 4

CHƯƠNG I 7

PHụ TảI Hệ THốNG ĐIệN MIềN BắC và bài toán dự báo 7

1.1 Phụ tải Hệ thống điện miền Bắc 7

1.1.1 Giới thiệu chung về HTĐ miền Bắc 7

1.1.2 Tầm quan trọng của dự báo phụ tải 10

1.1.3 Những yếu tố ảnh hưởng đến phụ tải ngắn hạn 11

1.1.4 Mục tiêu và phạm vi nghiên cứu dự báo phụ tải 15

1.2 Bài toán dự báo phụ tải 16

1.2.1 Đặc điểm đồ thị phụ tải HTĐ miền Bắc 16

1.2.2 Dự báo phụ tải ngắn hạn cho 24h tiếp theo 19

CHƯƠNG II 23

Tổng quan Về MạNG NƠRON NHÂN TạO 23

2.1 Lịch sử phát triển của mạng nơron nhân tạo 23

3.1 Sự cần thiết phân loại đồ thị phụ tải 40

3.1.1 Tập hợp các kiểu đồ thị phụ tải đặc trưng 40

3.1.2 Sự cần thiết phân loại ngày bằng phương pháp mạng nơron 42

3.3.4 Kết quả sử dụng mạng Kohonen phân loại ngày 52

3.3.5 Phân tích kết quả phân loại ngày trong tháng 2/2006, tháng 5/2006 54

CHƯƠNG iV 58

ứNG DụNG MạNG NƠRON NHIềU LớP LAN TRUYềN NGƯợC SAI Số Dự

BáO PHụ TảI Ngắn hạn THEO NHIệT Độ MÔI TRƯờNG 58

4.1 Các khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ngược sai số (Back propagation neural network) 58

4.1.1 Kiến trúc mạng truyền thẳng .59

4.1.2 Huấn luyện mạng 60

4.1.3 Sử dụng mạng 64

4.1.4 Nghiên cứu sự hội tụ và độ phức tạp của quá trình huấn luyện mạng 64

4.1.5 Một số vấn đề về mạng nơron nhiều lớp 67

4.2 ứng dụng mạng nơron nhiều lớp lan truyền ngược sai số xây dựng bài toán dự báo phụ tải hệ thống điện 68

4.2.1 Các bước xây dựng bài toán dự báo phụ tải .68

4.2.2 Xây dựng cấu trúc phần mềm mô phỏng mạng nơron lan truyền ngược sai số ứng dụng trong bài toán dự báo đỉnh và đáy đồ thị phụ tải .72

4.2.3 Dự báo phụ tải cho 24 giờ trong ngày 85

Danh môc c¸c tõ viÕt t¾t

Mở đầu

Trong những năm gần đây, do nhu cầu năng lượng không ngừng biến đổi và tăng lên rõ rệt theo thời gian nên ngành Điện lực đã và đang xây dựng rất nhiều các nhà máy điện để đáp ứng nhu cầu tiêu thụ điện năng trong cả nước Vì vậy, một trong những vấn đề quan trọng mà ngành Điện lực cần phải giải quyết tốt là bài toán dự báo phụ tải ngắn hạn và dài hạn

Cho đến nay tuy đã có nhiều phương pháp luận trong việc giải quyết bài toán dự báo, song bài toán này luôn là một bài toán khó Hiện nay, trong ngành Điện lực Việt Nam bài toán dự báo phụ tải được giải quyết chủ yếu nhờ sử dụng các phương pháp dự báo truyền thống mang tính kinh nghiệm thuần tuý Trong số các hướng nghiên cứu nhằm triển khai các hệ thống thông minh ở giai đoạn tới, mạng nơron giữ một vai trò quan trọng trong việc phát triển các giải pháp nhận dạng, dự báo…Mạng nơron nhân tạo là kỹ thuật xử lý thông tin có triển vọng ứng dụng trong việc giải quyết bài toán dự báo Kết hợp chặt chẽ với logic mờ, mạng nơron nhân tạo có thể giúp giải quyết hiệu quả hơn các bài toán phức tạp

Nhờ các ưu điểm như có cấu trúc xử lý song song, khả năng học và ghi nhớ, khả năng tự tổ chức và tổng quát hoá, mạng nơron nhân tạo ANN (Artificial Newal Networks) đã được nghiên cứu và ứng dụng thành công trong rất nhiều lĩnh vực như xấp xỉ hàm nhận dạng mẫu, dự báo… Luận văn này chủ yếu tập trung tìm hiểu về mạng nơron nhân tạo và nghiên cứu ứng dụng giải quyết bài toán dự báo phụ tải ngắn hạn cho hệ thống điện miền Bắc

Mục đích của luận văn là phát triển các phương pháp để giải bài toán dự báo phụ tải ngắn hạn Đối tượng cụ thể của nghiên cứu là dự báo phụ tải cho 24 giờ sau nhằm đưa ra các thông số cần thiết cho công tác vận hành và lập phương thức điều hành hệ thống điện

Luận văn bao gồm sáu chương và hai phụ lục

Chương I – Phụ tải hệ thống điện miền Bắc và bài toán dự báo:

Trình bày tổng quan về HTĐ miền Bắc Phát biểu bài toán dự báo phụ tải, nêu phạm vi, tầm quan trọng của bài toán, các yếu tố ảnh hưởng đến phụ tải ngắn hạn

Chương II – Tổng quan về mạng nơron nhân tạo: Trình bày các khái

niệm cơ bản về mạng nơron nhân tạo: cơ sở lý thuyết và mô hình mạng

Chương III – ứng dụng mạng nơron ánh xạ đặc trưng tự tổ chức Kohonen trong bài toán phân loại ngày: Trình bày các khái niệm cơ bản về

mạng nơron ánh xạ đặc trưng tự tổ chức Kohonen, đề xuất cấu trúc mạng để giải quyết bài toán, xây dựng cấu trúc phần mềm và phân tích đánh giá kết quả đạt được

Chương IV – ứng dụng mạng nơron nhiều lớp lan truyền ngược sai số trong bài toán dự báo phụ tải theo nhiệt độ môi trường: Trình bày các

khái niệm cơ bản về mạng nơron nhiều lớp lan truyền ngược sai số, đưa ra các bước xây dựng bài toán, đề xuất cấu trúc mạng, xây dựng cấu trúc phần mềm, đánh giá kết quả và so sánh với một số phương pháp đã có

Chương V - Hệ thống phần mềm dự báo phụ tải ngắn hạn cho Hệ thống điện miền Bắc: Giới thiệu về cơ sở dữ liêụ, đặc tả các chức năng của

hệ thống và hướng dẫn sử dụng phần mềm

Chương VI - So sánh với một số kết quả đã có và đánh giá kết quả:

So sánh phương pháp dự báo phụ tải ngắn hạn của Hệ thống điện miền Bắc sử dụng mạng nơron nhân tạo với một số phương pháp dự báo truyền thống Đánh giá kết quả đạt được và khả năng ứng dụng của phần mềm.

Phụ lục I – Phần mềm mô phỏng mạng Kohonen trong bài toán phân loại kiểu ngày

Phụ lục II – Phần mềm mô phỏng mạng nơron lan truyền ngược sai số ứng dụng trong bài toán dự báo đỉnh và đáy đồ thị phụ tải

Em xin chân thành cảm ơn PGS.TS Nguyễn Đức Nghĩa đã hướng dẫn và cho em những ý kiến quý báu, em xin chân thành cảm ơn các thầy cô giáo khoa Công nghệ Thông tin – Trường Đại học Bách khoa Hà Nội đã trang bị kiến thức giúp em hoàn thành luận văn này.

CHƯƠNG I

PHụ TảI Hệ THốNG ĐIệN MIềN BắC và bài toán dự báo

Chương này đề cập đến các vấn đề sau: • Giới thiệu chung về HTĐ miền Bắc • Tầm quan trọng của dự báo phụ tải

• Những yếu tố ảnh hưởng đến phụ tải ngắn hạn • Mục tiêu và phạm vi nghiên cứu dự báo phụ tải • Đặc điểm đồ thị phụ tải HTĐ miền Bắc

• Dự báo phụ tải ngắn hạn cho 24h tiếp theo

1.1 Phụ tải Hệ thống điện miền Bắc 1.1.1 Giới thiệu chung về HTĐ miền Bắc

Ranh giới của Hệ thống điện miền Bắc được tính từ Hà tĩnh trở ra, là một vùng có vị trí địa lý tương đối phức tạp, trải dài và nằm sát bờ biển, có nhiều đồi núi, có nhiều vùng khí hậu khác nhau, kinh tế các khu vực trên toàn miền Bắc phát triển không đồng đều dẫn đến công suất phụ tải ở các khu vực có sự chênh lệch lớn Phụ tải chủ yếu tập trung ở vùng đồng bằng, các thành phố lớn có công nghiệp phát triển Tại những vùng này phụ tải cao điểm và

công nghiệp tại các khu vực này phát triển Đối với những vùng miền núi hoặc

do phụ tải vào cao điểm chủ yếu là phụ tải sinh hoạt, điều nay gây khó khăn rất lớn trong vận hành kinh tế hệ thống điện Vào thấp điểm của hệ thống ta không khai thác cao được các nguồn điện rẻ tiền còn vào cao điểm của hệ thống ta phải chạy các nguồn điện đắt tiền để phủ đỉnh, có khi còn phải hạn chế phụ tải vào cao điểm do nguồn điện không đáp ứng được nhu cầu của phụ tải Các thành phần cấu thành phụ tải được thể hiện ở biều đồ sau:

Trên biểu đồ ta thấy phụ tải Quản lý & Tiêu dùng dân cư, Công nghiệp & xây dựng chiếm tỷ trọng lớn, đến 90% tổng công suất phụ tải

Theo thống kê, mức độ tăng trưởng phụ tải hệ thống điện từ năm 2001 – 2005 là rất cao Bảng 1.1 và bảng 1.2 dưới đây thể hiện tốc độ tăng trưởng phụ tải về sản lượng của các năm trên

Bảng 1.1: Sản lượng điện tiêu thụ của HTĐ miền Bắc từ năm 2001-2005

2001 2002 2003 2004 2005 HTĐ miền Bắc 10.765.767,2 12.251.947,5 14.215.228,6 16.008.894,1 18.057.297,9Cty I 7.042.600,7 8.125.911,1 9.573.472,8 10.857.462,9 12.292.387,7Hà Nội 2.777.100,4 3.079.711 3.486.549 3.879.340,1 4,329.367,2Hải Phòng 946.066,1 1.046.325,4 1.155.206,9 1.272.091,1 1.415.610,8

Hình 1.1 Biểu đồ các thành phần cấu thành nên phụ tải

Công nghiệp và xây dựng 45.20% Thương nghiệp &

KSNH 4.49% Quản lý & Tiêu dùng

dân cư 44.59%

Nông nghiệp và thuỷ sản 1.40% Các hoạt động

khác 4.32%

Do đó phụ tải cao điểm và thấp điểm chính là hai giá trị đặc biệt trên đồ thị phụ tải ngày và là mối quan tâm hàng đầu của người lập quy hoạch và thiết kế hệ thống điện Khi phụ tải thấp thì tỉ lệ tổn thất tăng do tổn hao không tải

1.1.2 Tầm quan trọng của dự báo phụ tải

Như chúng ta biết tháng 5/2005 sản lượng điện tiêu thụ đột biến trong khi đó nguồn tài nguyên nước tại thời điểm đó bị thiếu hụt dẫn đến ảnh hưởng lớn đến nền kinh tế Việt Nam Vì vậy dự báo phụ tải điện đóng vai trò hết sức quan trọng đối với việc quy hoạch, đầu tư, phát triển nguồn điện và vận hành hệ thống điện Nhu cầu tiêu thụ điện năng phụ thuộc vào khả năng phát triển của nền kinh tế quốc dân nếu dự báo phụ tải quá thấp so với nhu cầu thực tế thì dẫn đến kết quả nguồn dự phòng thấp, không đáp ứng đầy đủ nhu cầu điện cho sản xuất công nghiệp và tiêu dùng, còn nếu dự báo phụ tải quá cao sẽ phải huy động các nguồn đắt tiền gây lãng phí cho nền kinh tế nước nhà

Dự báo phụ tải dài hạn (khoảng 10-20 năm) nhằm mục đích cung cấp dữ liệu cho công tác quy hoạch và đầu tư phát triển HTĐ Còn dự báo phụ tải ngắn hạn (trong vòng 30 ngày) có nhiệm vụ đảm bảo vận hành hệ thống điện an toàn và kinh tế Đối với dự báo dài hạn có tính chất chiến lược thì chỉ nêu lên những phương hướng phát triển chủ yếu mà không yêu cầu xác định chỉ tiêu cụ thể

Các chức năng quan trọng trong kế hoạch vận hành HTĐ như phân phối nguồn một cách kinh tế, hiệu quả, lên kế hoạch bảo dưỡng và sửa chữa, thường được thực hiện nhờ việc dự báo phụ tải, vì vậy dự báo phụ tải đóng vai trò đặc biệt quan trọng đối với điều độ viên, những người hoạch định kế hoạch, lên phương thức vận hành HTĐ

Trong công tác vận hành, việc lập phương thức ngày, phương thức tuần của Trung tâm Điều độ, hay dự báo phụ tải báo trước một giờ, một ngày, một tuần là những công việc tối cần thiết Những phương thức vận hành cơ bản trong ngày như huy động nguồn, phối hợp nguồn, truyền tải công suất giữa các miền, giải quyết các công tác sửa chữa trên lưới điện và đánh giá mức độ an toàn HTĐ đều đòi hỏi phải có dự báo phụ tải tương đối chính xác

Trong thực tế vận hành HTĐ Việt Nam nói chung và HTĐ miền Bắc

ngày và được quan tâm nhiều nhất trong vận hành Phụ tải cao điểm quyết định việc huy động các nguồn nhiệt điện, tua-bin khí, diesel dự phòng nhằm đảm bảo đủ nguồn phủ đỉnh và dự phòng nóng, tăng độ an toàn cung cấp điện Phụ tải thấp điểm quyết định việc phối hợp và điều chỉnh các nguồn tua-bin khí, nhiệt điện, thủy điện nhằm đảm bảo vận hành kinh tế, tránh nhà máy thuỷ điện Hoà Bình vận hành trong vùng công suất không cho phép về kỹ thuật,

báo chính xác phụ tải cao điểm có hiệu quả lớn về kinh tế vào mùa lũ khi cần khai thác tối đa nguồn thủy điện, trong khi nước các hồ chứa đang xả thì các nguồn điện khác huy động chỉ nhằm mục đích an toàn, bù điện áp và phủ đỉnh Nếu sai số dự báo phụ tải lúc cao điểm giảm 2%, Điều độ Quốc Gia (ĐĐQG) có thể tiết kiệm được khoảng 80 MW nguồn tuabin khí chạy dầu đắt tiền chạy phủ đỉnh lúc cao điểm, góp phần đáng kể vào việc tăng hiệu quả vận hành HTĐ và tiết kiệm được hàng trăm triệu đồng trên mỗi giờ cho ngành điện nói riêng và cho cả nền kinh tế Quốc dân nói chung

Hạn chế phụ tải lúc cao điểm cũng thường xảy ra trong mùa lũ khi thiếu nguồn phủ đỉnh Tính chính xác được lượng công suất thiếu để chủ động cắt phụ tải những khu vực không quan trọng, tránh cắt thừa hoặc cắt thiếu, tránh sa thải phụ tải do bảo vệ tần số thấp tác động cũng có ý nghĩa lớn trong vận hành, giảm thiệt hại do cắt điện

1.1.3 Những yếu tố ảnh hưởng đến phụ tải ngắn hạn

Để tìm ra được phương pháp dự báo tối ưu đối với bài toán dự báo phụ tải ngày của HTĐ miền Bắc với sai số nhỏ, ta cần xác định được các yếu tố ảnh hưởng đến phụ tải ngày, ví dụ: thứ của các ngày trong tuần, ngày lễ, các

Hình 1.2 Đồ thị phụ tải các ngày đặc trưng trong tuần

Đồ thị phụ tải

Qua thực tế vận hành cho thấy phụ tải của lưới điện Việt Nam nói chung và miền Bắc nói riêng phụ thuộc chủ yếu vào các yếu tố chính sau:

1 Thứ của ngày trong tuần

Có quy luật giữa phụ tải và ngày trong tuần - Phụ tải thấp nhất trong đêm thứ 2

- Đồ thị phụ tải các ngày làm việc thường có dạng giống nhau - Phụ tải ngày nghỉ cuối tuần giảm

2 Các ngày đặc biệt trong năm

Ngày đặc biệt trong năm như các ngày lễ tết, 30/4, 1/5, 2/9 phụ tải các ngày này giảm đáng kể so với ngày thường Phụ tải các ngày sát với các ngày này cũng bị ảnh hưởng, ta có thể thấy rõ điều đó trên đồ thị phụ tải HTĐ miền Bắc ngày lễ 1/5/2006 và ngày làm việc bình thường 3/5/2006 Dự báo phụ tải trong các ngày đặc biệt không được áp dụng như ngày thông thường mà phải tách biệt bằng phương pháp riêng dựa vào sự thay đổi phụ tải của các ngày này so với các ngày dạng này của các năm trước đó

3 Thời tiết trong ngày

Bao gồm các thông số tự nhiên: nhiệt độ, độ ẩm, tốc độ gió, cường độ sáng, trong đó nhiệt độ có ảnh hưởng lớn nhất, nhiệt độ tăng thì phụ tải tăng và ngược lại vì nước ta là nước nhiệt đới Chỉ có trường hợp đặc biệt ở miền Bắc khi nhiệt độ quá lạnh, phụ tải tăng do sử dụng các thiết bị sưởi ấm

Đồ thị phụ tải

0500100015002000250030003500

4 Truyền hình trực tiếp các sự kiện thể thao văn hoá

Công suất tiêu thụ vào các giờ tuyền hình trực tiếp bóng đá quốc tế, giải bóng đá có đội tuyển Việt Nam tham gia tăng đột ngột từ 150 - 200 MW Các điều độ viên thường dự báo phụ tải những ngày này theo kinh nghiệm những ngày tương tự trước đó Ví dụ: khi dự báo đồ thị phụ tải ngày có truyền hình trực tiếp Worldcup 2006, ta dựa vào đồ thị phụ tải trong ngày cũng có truyền hình trực tiếp Worldcup 2006 trước đó để dự báo

Đồ thị phụ tải

Hình 1.5 Đồ thị phụ tải HTĐ miền Bắc có truyền hình trực tiếp Worldcup 2006 và ngày bình thường

Đồ thị phụ tải

0500100015002000250030003500

5 Kế hoạch sửa chữa lớn trong ngày có cắt điện

Trong quá trình thực hiện kế hoạch sửa chữa lớn, như cắt điện đường dây đang vận hành để kéo đường dây mới, sửa chữa trạm 220Kv, 500Kv phải cắt tải diện rộng dẫn đến điện năng tiêu thụ vào các ngày này giảm một cách đáng kể Dự báo phụ tải những ngày này phải tính toán khấu trừ phụ tải giảm do ngừng cung cấp điện Dạng của đồ thị phụ tải trong ngày có cắt điện diện rộng cũng mang đặc thù riêng, thay đổi tuỳ thuộc vào thời gian, vùng , miền cắt điện

Qua quá trình vận hành thực tế và dữ liệu thống kê, các điều độ viên, các chuyên viên chuyên phân tích về phụ tải hệ thống điện đi đến kết luận: Nhiệt độ môi trường, đặc thù của các ngày trong tuần, ngày lễ, ngày tết là các yếu tố ảnh hưởng lớn nhất đến giá trị phụ tải ngày

1.1.4 Mục tiêu và phạm vi nghiên cứu dự báo phụ tải

• Mục tiêu của luận văn

Nghiên cứu áp dụng kỹ thuật mạng nơron để dự báo phụ tải cao điểm

dữ liệu phụ tải quá khứ, nhiệt độ môi trường và một số các yếu tố ảnh hưởng khác

• Phạm vi nghiên cứu

Dự báo luôn giữ vai trò quan trọng trong nhiều lĩnh vực, quyết định kế hoạch sản xuất, hướng đầu tư phát triển trong tương lai do đó có rất nhiều các mô hình toán học áp dụng cho dự báo Cũng như các dự báo khác, dự báo phụ tải ngày cũng phải dựa vào dữ liệu thống kê, phân tích và áp dụng thuật toán để xác định mối quan hệ giữa phụ tải và các yếu tố ảnh hưởng, từ đó dự báo phụ tải dựa trên các yếu tố ảnh hưởng đó

Trước đây, các mô hình toán học truyền thống hay được áp dụng cho dự báo như: hồi qui tuyến tính (linear regression), san bằng hàm mũ (exponential smoothing), san trung bình (moving averages), hệ số ngẫu nhiên (stochatic) Gần đây, với sự phát triển của việc nghiên cứu một số thuật toán dựa trên trí tuệ của con người (artificial intelligence), mạng nơron nhân tạo (artificial neural networks) đã được áp dụng trong dự báo và được đánh giá cao Đây là mô hình phi tuyến với nhiều ưu điểm và đang được áp dụng rộng rãi Mạng nơron nhân tạo được xây dựng trên cơ sở mô phỏng hoạt động của hệ thống nơron thần kinh sinh học do đó mạng nơron nhân tạo có một số đặc điểm như bộ não con người, đó là khả năng học được những gì đã được dạy Quá trình học này được gọi là quá trình huấn luyện Trong quá trình này các mẫu thể hiện quan hệ giữa các biến ngẫu nhiên được đưa vào trong mạng nơron, mạng nơron sẽ nhận biết được quan hệ giữa các biến ngẫu nhiên đó sau khi kết thúc quá trình huấn luyện Chính do đặc điểm này mà mạng nơron được ứng dụng rất nhiều trong lĩnh vực dự báo Đặc biệt đối với bài toán dự báo phụ tải ngắn hạn thì đây là mô hình được đánh giá cao hơn hẳn các mô hình trước đó và hiện nay mô hình này đang được áp dụng phổ biến ở một số nước phát triển trong dự báo phụ tải

Nghiên cứu phương pháp dự báo phụ tải ngày là nghiên cứu và áp dụng các phương pháp toán học để tìm quan hệ giữa phụ tải ngày và các yếu tố chủ yếu ảnh hưởng đến phụ tải ngày Thuật toán áp dụng cho dự báo phụ tải theo nhiệt độ phải dựa trên dự báo thời tiết ngày hôm sau gồm các thông tin như: nhiệt độ cao nhất và thấp nhất trong ngày, nắng hay mưa, giông bão

1.2 Bài toán dự báo phụ tải

1.2.1 Đặc điểm đồ thị phụ tải HTĐ miền Bắc

Phụ tải của HTĐ miền Bắc có các thành phần điện Quản lý & Tiêu dùng dân cư và Công nghiệp & xây dựng chiếm tỷ trọng lớn Bảng 1.3 thống kê sản

lượng tiêu thụ của từng ngành trong ba năm 2003 đến 2005 Có thể nhận thấy rằng, tỉ trọng điện tiêu thụ trong quản lý & tiêu dùng dân cư rất lớn làm chế độ tiêu thụ điện năng xấu đi, hệ số phụ tải giảm, gây nhiều khó khăn cho việc đảm bảo an toàn cung cấp điện

Bảng 1.3 Tỉ trọng sản lượng điện tiêu thụ của các thành phần kinh tế

Năm Tiêu dùng dân cư

Công nghiệp & xây dựng

Nông lâm nghiệp

Cao điểm trưa thường xảy ra 10h-11h, cao điểm chiều thường xảy ra 18h-19h Thấp điểm thường xảy ra vào ban đêm trong khoảng 3h-4h vào mùa hè, 2h-3h vào mùa đông Đồ thị của những ngày mùa hè thường đồng đều hơn mùa đông, chứng tỏ sản lượng điện sinh hoạt tiêu thụ rất lớn so với các ngành khác

Trong quá trình vận hành của điều độ, phụ tải cao điểm (Pmax) và phụ tải

thấp điểm quyết định huy động nguồn và điều chỉnh phối hợp nguồn thuỷ điện, nhiệt điện, diesel…

• Vào thời điểm cao điểm

Điều độ Quốc Gia phải huy động các nguồn điện đắt tiền như các nhà máy diesel, tua bin khí cho việc khởi động và nâng công suất, trong trường hợp sự cố thiếu nguồn, điều độ viên cần phải dự báo công suất thiếu để chuẩn bị trước phương án cắt tải sau đó phối hợp với các điều độ miền phân bổ các công suất cần phải cắt cho các Điều độ lưới điện phân phối Cắt tải có chuẩn bị trước sẽ ít gây thiệt hại về kinh tế hơn cắt tải do rơ le tần số thấp tác động Đặc biệt rất đảm bảo an toàn đối với các nhà máy sản xuất công nghiệp nặng

• Vào giờ thấp điểm (phụ tải thường thấp hơn giờ cao điểm 2-3 lần)

Cần điều chỉnh cắt giảm các nguồn điện đắt tiền như nguồn tua bin khí chạy dầu, nhiệt điện sao cho thoả mãn chỉ tiêu kinh tế

nguồn hợp lý, dẫn đến vận hành hệ thống an toàn, hiệu quả và kinh tế hơn

Đ ồ th ị p h ụ tả i

05 0 01 0 0 01 5 0 02 0 0 02 5 0 03 0 0 03 5 0 0

1.2.2 Dự báo phụ tải ngắn hạn cho 24h tiếp theo

Dự báo phụ tải lưới điện cho 24h tiếp theo nhằm đưa ra các giá trị phụ tải dự báo theo từng giờ của ngày tiếp theo sát với thực tế vận hành, trong đó giảm sai số là vấn đề mang tính chiến lược trong quá trình dự báo

Trong quá trình phân tích, so sánh đồ thị phụ tải của miền Bắc và các miền khác trong một thời gian dài cho thấy kiểu đồ thị phụ tải ngày chủ yếu bị ảnh hưởng bởi thói quen tổ chức sinh hoạt, cách phân công sắp xếp công việc của khách hàng, từ đó ta thấy ĐTPT có mối liên quan chặt chẽ với môi trường hoạt động, ngày làm việc, ngày nghỉ, lễ, tết,… của cả cộng đồng dân cư Còn đáy và đỉnh phụ tải là hàm của biến thời tiết như nhiệt độ, lượng mưa, độ ẩm…

Bài toán dự báo phụ tải HTĐ có thể chia thành hai bài toán nhỏ: • Bài toán dự báo đỉnh và đáy ĐTPT ngày cần dự báo • Bài toán xác định dạng ĐTPT ngày cần dự báo

1.2.2.1 Các dạng của đồ thị phụ tải

Xét đồ thị phụ tải HTĐ trên hình 1.7, đây là đồ thị phụ tải của Công ty điện lực I các ngày 14/5/2006 (chủ nhật) và ngày 15/5/2006 (Thứ hai) được xây dựng theo giá trị phụ tải 24h trong ngày ĐTPT hai ngày điễn hình này có dạng tương tự như ĐTPT ngày của HTĐ miền Bắc, ta thấy các giá trị phụ tải phân bố trên ĐTPT không đồng đều Đặc biệt độ chênh lệch giữa hai giá trị Pmax và Pmin là rất lớn

CN 14/05/2006 T2 15/05/2006

- Gọi giá trị phụ tải giờ thứ i là P(i) với i=1ữ24 ứng với 24h trong ngày Ta cần đ−a ĐTPT trên về dạng ĐTPT ngày chuẩn, muốn vậy ta phải quy chuẩn hoá phụ tải của từng giờ theo công thức sau:

Dựa vào công thức trên ta tính đ−ợc giá trị phụ tải quy chuẩn hoá của 24h trong ngày, đồ thị này còn đ−ợc gọi là véctơ ĐTPT

Đặt véctơ ĐTPT là P, ta có:

P = [p1 , p2, … , pi , … , p24]T (1.2) Pn(i) =[Pn(1), Pn(2), … ,Pn(i), … , Pn(24)]T (1.3)

Đ ồ th ị p h ụ tả i

05 0 01 0 0 01 5 0 02 0 0 02 5 0 03 0 0 03 5 0 0

Đ ồ th ị p h ụ tả i

0 00 10 20 30 40 50 60 70 80 91 0

Hình 1.8 ĐTPT hai ngày (CN,T2) của Cty điện lực I đã chuẩn hoá

được quy chuẩn vẫn giữ nguyên dạng biến thiên ban đầu, các giá trị được quy

1.2.2.2 Đỉnh và đáy của đồ thị phụ tải

Hai giá trị phụ tải đặc biệt trong ngày mà được các kỹ sư vận hành cũng như người làm phương thức ngày quan tâm nhiều nhất đó là, phụ tải cao điểm và phụ tải thấp điểm Đây cũng chính là mục tiêu quan trọng hàng đầu trong bài toán dự báo phụ tải điện Tính kinh tế, hiệu quả, phương thức vận hành, cũng như hướng đầu tư phát triển trong tương lai của HTĐ phụ thuộc rất lớn vào việc dự báo và độ chính xác của việc dự báo hai giá trị này Có nhiều

pháp ngoại suy theo thời gian, phương pháp hồi quy tuyến tính… Trong luận văn này chúng ta chỉ nghiên cứu phương pháp DBPT sử dụng mạng nơron nhân tạo

ĐTPT thì các giá trị phụ tải khác trong ngày sẽ được xác định theo mối quan hệ của chúng Vậy nếu biết được dạng đồ thị phụ tải quy chuẩn, tức là các giá

trị Pn(i), xác định được Pmax và Pmin trong ngày ta sẽ tính được phụ tải của từng giờ theo công thức 1.1

1.2.2.3 Dự báo phụ tải cho 24h

định được phụ tải của từng giờ trong ngày Từ công thức (1.1) ta xác định được công thức 1.4 sau:

Qua các phân tích nêu trên có thể đi đến kết luận: Để dự báo được phụ

báo

Tóm lại cũng như các dự báo khác, dự báo phụ tải ngày phải dựa vào số liệu thống kê, phân tích và áp dụng các thuật toán để xác định mối quan hệ giữa phụ tải và các yếu tố ảnh hưởng, từ đó xây dựng phương pháp dự báo phụ tải ngày dựa trên các yếu tố ảnh hưởng đã được nêu

Phần tiếp theo, ta sẽ nghiên cứu phương pháp giải quyết bài toán dự báo phụ tải thông qua việc sử dụng các loại mạng nơron nhân tạo Việc phân tích đặc điểm riêng, yêu cầu và mục đích từng bài toán sẽ là cơ sở để chọn loại mạng nơron nhân tạo thích hợp vào việc giải quyết từng bài toán

CHƯƠNG II

Tổng quan Về MạNG NƠRON NHÂN TạO

Mạng nơron nhân tạo là một lĩnh vực được đề xuất và nghiên cứu vào

cuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người ý tưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron và đến nay đã có nhiều ứng dụng trong thực tế, đặc biệt là trong lĩnh vực dự báo, nhận dạng, điều khiển… Ví dụ, mạng nơron nhân tạo có thể sử dụng để nhận dạng ký tự thông qua khả năng học từ kinh nghiệm hoặc từ tập mẫu, trong khi các phương pháp truyền thống phải tiêu tốn nhiều thời gian cho việc làm mảnh ký tự, khả năng nhận dạng sẽ không cao khi chất lượng quét của scanner tồi hoặc bản thân ký tự được lấy từ văn bản mờ hoặc có nhiều nét đứt Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não với tốc độ tính toán cao của máy tính

2.1 Lịch sử phát triển của mạng nơron nhân tạo

Trí tuệ nhân tạo (Artificial Intelligence) hay tạo cho máy móc khả năng suy luận, phán đoán và cảm nhận như con người là một trong những tham vọng to lớn của loài người Tham vọng này đã có từ lâu và cùng với sự ra đời của máy tính, con người từng bước đưa kiến thức của mình vào máy, biến chúng trở thành những công cụ thực sự có trí tuệ Mạng nơron nhân tạo là một bộ phận của ngành khoa học trí tuệ nhân tạo, là lĩnh vực tin học nghiên cứu ứng dụng máy tính điện tử thông minh hoạt động theo cơ chế mô phỏng tư duy của con người Mạng nơron nhân tạo có cấu trúc tương tự như bộ não tuy nhiên số nơron trong mạng nơron nhân tạo là hữu hạn tuỳ thuộc vào nhu cầu thực tế của bài toán, còn đối với bộ não con người số nơron lên tới xấp xỉ 15 tỉ nơron Mạng nơron có khả năng học và tái tạo lại những gì đã được dạy, chính

vì đặc điểm này mà mạng nơron đang được phát triển rất mạnh mẽ và đang được ứng dụng rất nhiều trong thực tế, đặc biệt là trong lĩnh vực dự báo, nhận dạng, điều khiển… Con người bắt đầu nghiên cứu mạng nơron vào cuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người, ý tưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron

Đầu thập kỷ 1950 Friedrich Hayek là người đầu tiên khẳng định ý tưởng về trật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơn giản (nơron) Cuối thập kỷ 1940, Donnald Hebb đưa ra giả thuyết đầu

tiên về một cơ chế thần kinh mềm dẻo (neural plasticity) Hebbian learning

được coi là một quy tắc 'điển hình' của học không có giám sát Nó (và các biến

thể) là mô hình thời kỳ đầu của long term potentiation (tạo tiềm lực dài hạn)

Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ

= w'x + b Các tham số của nó được thích nghi với một quy tắc tùy biến hoc) tương tự với xuống dốc ngẫu nhiên (stochastic steepest gradient descent)

(ad-Perceptron chỉ có thể phân loại hoàn hảo một tập dữ liệu mà các lớp khác

nhau là (linearly separable) trong không gian đầu vào Nó thường thất bại

hoàn toàn đối với dữ liệu không chia tách được Sự phát triển của thuật toán này ban đầu đã tạo ra một số hứng khởi, phần vì mối quan hệ của nó đối với các cơ chế sinh học Sau này, phát hiện về điểm yếu này đã làm cho các mô hình Perceptron bị bỏ mặc cho đến khi các mô hình phi tuyến được đưa ra

Cognitron (1975) là một mạng nơron đa tầng thời kỳ đầu với một thuật toán huấn luyện Các chiến lược thần kinh khác nhau sẽ khác nhau về cấu trúc thực sự của mạng và các phương pháp thiết lập trọng số cho các kết nối Mỗi dạng có các ưu điểm và nhược điểm riêng Mạng có thể lan truyền thông tin chỉ theo một hướng, hoặc thông tin có thể được đẩy đi đẩy lại cho đến khi tại một nút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc

Mạng nơron nhiều lớp lan truyền ngược sai số đã được Rosenblatt và một số tác giả khác mô tả từ những năm 50, nhưng họ chủ yếu chỉ nghiên cứu sâu về mạng Perceptron một lớp Sở dĩ như vậy là do không tìm được cách thay đổi trọng số liên kết tại các lớp ẩn Ngay cả khi đã biết được sai số tại các đầu ra, nhưng người ta vẫn chưa hình dung được các sai số đó được phân bố như thế nào tại các nơron ẩn Minsky và Papert đã chỉ ra rằng khó có thể tổng quát hoá luật học đối với mạng một lớp sang mạng nhiều lớp, có hai lý giải chính cho vấn đề này Thứ nhất, thuật giải học của mạng nhiều lớp có thể không hiệu quả, hoặc không hội tụ về điểm cực trị tổng thể trong không gian véctơ trọng số Mặt khác, các nghiên cứu trong lý thuyết tính toán đã chỉ ra rằng trong trường hợp tồi nhất quá trình học các hàm tổng quát từ mẫu học không phải lúc nào cũng giải quyết được Các nguyên tắc cơ bản trong luật học đối với mạng nhiều lớp đã được Bryson và Ho đề xuất từ năm 1969, nhưng phải tới giữa năm 1980 vấn đề này mới được quan tâm trở lại bởi công trình nghiên cứu của Rumelhart năm 1986

Mạng truyền ngược (backpropagation) có lẽ đã là nguyên nhân chính

của sự tái xuất của mạng nơron từ khi công trình "Learning Internal

Representations by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi) được xuất bản năm 1986 Mạng truyền ngược ban đầu sử dụng nhiều tầng, mỗi tầng gồm các đơn vị tổng trọng số có dạng g = f(w'x + b), trong đó f là một hàm sigmoid Huấn luyện được thực hiện theo kiểu

xuống dốc ngẫu nhiên Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp

(chain rule) khi tính toán các thay đổi thích hợp cho các tham số dẫn đến một thuật toán có vẻ truyền ngược lỗi, đó là nguồn gốc của thuật ngữ truyền ngược Tuy nhiên, về bản chất đây chỉ là một dạng xuống dốc, việc xác định

các tham số tối ưu cho một mô hình thuộc dạng này không đơn giản, không thể dựa vào các phương pháp xuống dốc để có được lời giải tốt mà không cần một xuất phát điểm tốt Ngày nay, các mạng có cùng kiến trúc với mạng

truyền ngược được gọi là các mạng Perceptron đa tầng Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toán dùng cho việc học

Mạng truyền ngược đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi về quy trình học đó có thể được thực hiện trong bộ não hay không Một phần vì khi đó chưa tìm ra cơ chế truyền tín hiệu ngược Nhưng lý do quan trọng nhất là chưa có một nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy

2.2 Cơ sở lý thuyết mạng nơron

Mạng nơron nhân tạo là một lĩnh vực nghiên cứu rộng lớn và chỉ mới phát triển mạnh khoảng 20 năm gần đây Nó được nghiên cứu và phát triển dựa trên nhiều lĩnh vực khoa học khác nhau bao gồm: Sinh học, sinh lý học, toán học, tin học

- Nơron sinh lý học: Các nơron nhân tạo đều có cấu trúc dựa các mô hình nơron sinh vật Các nhà nghiên cứu đã chọn phương pháp nghiên cứu đặc tính đáp ứng nơron với các xung kích thích từ thấp đến cao, từ một đơn thể đến một mạng nhiều lớp, từ các khu thần kinh trung ương đến các cơ cấu thần kinh chấp hành

- Sinh lý học nơron: Các nhà sinh lý học nơron nghiên cứu cách nhận thức, các hành vi, cách tổ chức của não người để giải quyết những bài toán phức tạp, đòi hỏi sáng tạo Rất nhiều các thuật học được bắt nguồn từ những nghiên cứu về sinh lý học

- Cơ sở toán học: Toán học là một công cụ không thể thiếu trong quá trình nghiên cứu khoa học nói chung và mạng nơron nói riêng

- Công nghệ thông tin: Biễu diễn và xử lý nhanh các vấn đề đã được nghiên cứu, là yếu tố thúc đẩy các ứng dụng và kỹ thuật mạng nơron nhân tạo phát triển nhanh chóng

2.3 Bộ não và nơron sinh học

Các nhà nghiên cứu sinh học cho ta thấy rằng các nơron (tế bào thần kinh) là đơn vị cơ sở đảm nhiệm những chức năng xử lý nhất định trong hệ thần kinh, bao gồm não, tuỷ sống và các dây thần kinh Mỗi nơron có một phần thân với nhân bên trong (gọi là soma), một đầu thần kinh ra (gọi là sợi trục axon) và một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) Các dây thần kinh vào tạo thành một lưới dày xung quanh thân tế bào, chiếm

thần kinh ra cũng có thể phân nhánh các dây thần kinh theo dạng cây để nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào các nơron khác thông qua các khớp nối (gọi là synapse) Thông thường, mỗi nơron có thể gồm vài chục cho tới vài trăm ngàn khớp nối để nối với các nơron khác Người ta ước lượng rằng lưới các dây thần kinh ra cùng với các khớp nối bao phủ diện tích khoảng 90% bề mặt nơron (hình 2.1)

Hình 2.1 Cấu tạo nơron sinh học

Các tín hiệu truyền trong các dây thần kinh vào và dây thần kinh ra của các nơron là tín hiệu điện và được thực hiện thông qua các quá trình phản ứng và giải phóng các chất hữu cơ Các chất này được phát ra từ các khớp nối dẫn tới các dây thần kinh vào sẽ làm tăng hay giảm điện thế của nhân tế bào Khi điện thế này đạt tới một ngưỡng nào đó, sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra Xung này được truyền theo trục, tới các nhánh rẽ khi chạm tới các khớp nối có các nơron khác sẽ giải phóng các chất truyền điện, có hai loại khớp nối: khớp nối kích thích (excitatory) hoặc khớp nối ức chế (inhibitory)

Phát hiện quan trọng nhất trong ngành nghiên cứu về bộ não là các liên kết khớp thần kinh khá mềm dẻo, có thể biến động và chỉnh đổi theo thời gian tuỳ thuộc vào dạng kích thích Hơn nữa, các nơron có thể sản sinh các liên kết mới với các nơron khác và đôi khi lưới các nơron có thể di chuyển từ vùng này sang vùng khác trong bộ não Các nhà khoa học cho rằng đây chính là cơ sở quan trọng để giải thích cơ chế học của bộ não con người

Phần lớn các quá trình xử lý thông tin đều xảy ra trên vỏ não Toàn bộ vỏ não được bao phủ bởi mạng các tổ chức cơ sở có dạng hình thùng tròn với đường kính khoảng 0.5mm, độ cao 4mm Mỗi đơn vị cơ sở này chứa khoảng 2000 nơron Người ta chỉ ra rằng mỗi vùng não có những chức năng nhất định Điều rất đáng ngạc nhiên là các nơron rất đơn giản trong cơ chế làm việc, nhưng mạng nơron liên kết với nhau lại có khả năng tính toán, suy nghĩ, tính toán nghi nhớ, và điều khiển Có thể điểm qua những chức năng cơ bản của bộ não như sau:

(có thể truy xuất thông tin dựa theo giá trị các thuộc tính của đối tượng);

- Bộ não có khả năng tổng quát hoá, có thể truy xuất các tri thức hay các mối liên kết chung của các đối tượng tương ứng với một khái niệm chung nào đó;

tiếp tục thực hiện ngay khi có những sai lệch do thông tin bị thiếu hoặc không chính xác Ngoài ra, bộ não còn có thể phát hiện và phục hồi các thông tin mất dựa trên sự tương tự giữa các đối tượng;

vùng não (do bệnh, chấn thương) hoặc bắt gặp những thông tin hoàn toàn mới lạ, bộ não vẫn có thể tiếp tục làm việc;

Dễ dàng thấy rằng bộ não con người có thể lưu giữ nhiều thông tin hơn các máy tính hiện đại; Tuy rằng điều này không phải đúng mãi mãi, vì bộ não tiến hoá chậm, trong khi đó nhờ những tiến bộ trong công nghệ vi điện tử, bộ nhớ máy tính được nâng cấp rất nhanh Hơn nữa, sự hơn kém về bộ nhớ trở nên hoàn toàn thứ yếu so với sự khác biệt về tốc độ tính toán và khả năng tính

đó mạng nơron xử lý chậm hơn, cần khoảng vài miligây để kích hoạt Tuy nhiên, bộ não có thể kích hoạt hầu như cùng một lúc tại rất nhiều nơron khớp nối, trong khi đó ngay cả máy tính hiện đại cũng chỉ có một số hạn chế các bộ vi xử lý song song Nếu chạy một mạng nơron nhân tạo trên máy tính, phải tốn hàng trăm lệnh máy để kiểm tra một nơron có được kích hoạt hay không

thể tính toán nhanh hơn hàng triệu lần so với các nơron bộ não, nhưng xét tổng thể bộ não lại tính toán nhanh hơn hàng tỷ lần

Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn cho phép tạo ra các thiết bị có thể kết hợp khả năng song song cao của bộ não và tốc độ

tính toán cao của máy tính Tuy vậy, cần phải có một khoảng thời gian dài nữa để các mạng nơron nhân tạo có thể mô phỏng các hành vi sáng tạo của bộ não con người Chẳng hạn, bộ não có thể thực hiện một nhiệm vụ khá phức tạp như nhận ra khuôn mặt người quen sau không quá một giây, trong khi đó một máy tính tuần tự phải thực hiện hàng tỷ phép tính (khoảng10 giây) để thực hiện cùng một thao tác đó, nhưng với chất lượng kém hơn nhiều, đặc biệt trong trường hợp thông tin không chính xác, đầy đủ

2.4 Mô hình mạng nơron nhân tạo

Mạng nơron nhân tạo (Artificial Neural Network) bao gồm các nút (đơn vị xử lý, nơron) được nối với nhau bởi liên kết nơron Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho đặc tính kích hoạt/ ức chế giữa các nơron Có thể xem các trọng số là phương tiện để lưu thông tin dài hạn trong mạng nơron và nhiệm vụ của quá trình huấn luyện (học) mạng là cập nhật các trọng số khi có thêm các thông tin về các mẫu học, hay nói một cách khác, các trọng số được điều chỉnh sao cho dáng điệu vào ra của nó mô phỏng hoàn toàn phù hợp môi trường đang xem xét

Trong mạng, một số nơron được nối với môi trường bên ngoài như các đầu ra, đầu vào

2.4.1 Mô hình một nơron nhân tạo

Mçi n¬ron nh©n t¹o (nót) ®−îc nèi víi c¸c n¬ron kh¸c vµ nhËn c¸c tÝn

xi: C¸c tÝn hiÖu ®Çu vµo

n: sè ®Çu vµo cña n¬ron

a: Tæng träng sè cña mçi n¬ron f: hµm kÝch ho¹t

z: lµ ®Çu ra cña n¬ron, ®©y lµ thµnh phÇn phi tuyÕn cña n¬ron Hµm kÝch ho¹t f th−êng cã 3 d¹ng hay dïng trong thùc tÕ • Hµm d¹ng b−íc:

f(x)=

0 nÕu x < 0 hoÆc

f(x)=

0 nÕu x < θ

1 0

• Hàm dấu

f(x)=

-1 nếu x < 0 hoặc

1 nếu x ≥ θ f(x)=

ở đây ng−ỡng đóng vai trò làm tăng tính thích nghi và khả năng tính toán

3.4.2 Mô hình mạng nơron nhân tạo

Mạng nơron là hệ thống bao gồm nhiều phần tử xử lý đơn giản (nơron) hoạt động song song Tính năng của hệ thống này tuỳ thuộc vào cấu trúc của hệ các trọng số liên kết nơron và quá trình tính toán các nơron đơn lẻ Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hoá dựa trên các dữ liệu mẫu học Trong mạng nơron, các nơron đón nhận tín hiệu vào gọi là nơron vào và các nơron đưa thông tin ra gọi là nơron ra

3.4.2.1 Phân loại các mạng nơron

Theo kiểu liên kết nơron: Ta có mạng nơron truyền thẳng

(feel-forward Neural Network) và mạng nơron qui hồi (recurrent NN) Trong mạng nơron truyền thẳng, các liên kết nơron đi theo một hướng nhất định, không tạo thành đồ thị có chu trình (Directed Acyclic Graph) với các đỉnh là các nơron, các cung là các liên kết giữa chúng Ngược lại, các mạng qui hồi cho phép các liên kết nơron tạo thành chu trình Vì các thông tin ra của các nơron được truyền lại cho các nơron đã góp phần kích hoạt chúng, nên mạng qui hồi còn có khả năng lưu giữ trạng thái trong của nó dưới dạng ngưỡng kích hoạt ngoài các trọng số liên kết nơron

Theo sè líp: C¸c n¬ron cã thÓ tæ chøc l¹i thµnh c¸c líp sao cho mçi

n¬ron cña líp nµy chØ ®−îc nèi víi c¸c n¬ron ë líp tiÕp theo, kh«ng cho phÐp c¸c liªn kÕt gi÷a c¸c n¬ron trong cïng mét líp, hoÆc tõ n¬ron líp d−íi lªn n¬ron líp trªn ë ®©y còng kh«ng cho phÐp c¸c liªn kÕt n¬ron nh¶y qua mét líp

DÔ dµng nhËn thÊy r»ng c¸c n¬ron trong cïng mét líp nhËn ®−îc tÝn hiÖu tõ líp trªn cïng mét lóc, do vËy vÒ nguyªn t¾c chóng cã thÓ xö lý song song Th«ng th−êng líp n¬ron vµo chØ chÞu tr¸ch nhiÖm truyÒn ®−a tÝn hiÖu vµo, kh«ng thùc hiÖn mét tÝnh to¸n nµo nªn khi tÝnh sè líp cña m¹ng, ng−êi ta kh«ng tÝnh líp vµo VÝ dô, m¹ng n¬ron ë h×nh 2.6 cã hai líp: mét líp Èn vµ mét líp ra

§Çu vµo Líp n¬ron a1

Yns1

s2 s3 sm

w1,1

H×nh 2.5 M¹ng n¬ron mét lípH×nh 2.4 M¹ng n¬ron håi qui

Đầu vào Lớp 1 Lớp 2

2.4.2.2 Cách nhìn về mạng nơron

• Mạng nơron như một công cụ tính toán:

Giả sử mạng nơron NN có n nơron vào và m nơron ra, khi đó với mỗi

việc với tư cách một bảng tra, mà không cần biết dạng phụ thuộc hàm tường minh giữa Z và X khi đó có thể viết:

Xns1

s2 s3 sm

Yk Hình 2.6 Mạng nơron nhiều lớp

+ Các trọng số liên kết nơron

• Mạng nơron như một hệ thống thích nghi có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mạng sao cho phù hợp với các mẫu học (samples) Có ba loại kỹ thuật học

không có thầy (iii) Học tăng cường

hiệu chỉnh lại các trọng số liên kết trong mạng Quá trình cứ tiếp tục cho đến khi thỏa mãn một tiêu chuẩn nào đó Có hai cách sử dụng tập mẫu học: Hoặc dùng các mẫu lần lượt, hết mẫu này đến mẫu khác, hoặc sử dụng đồng thời tất cả các mẫu một lúc Các mạng với cơ chế học không giám sát được gọi là các mạng tự tổ chức Các kỹ thuật học trong mạng nơron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơron, kiểu và trọng số các liên kết (gọi là học cấu trúc) Cả hai mục đích học này có thể thực hiện đồng thời hoặc tách biệt

Học tham số: Giả sử có k nơron trong mạng và mỗi nơron có đúng l liên

kết vào với các nơron khác Khi đó, ma trận trọng số liên kết W sẽ có kích thước kxl Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W sao cho

ZS = Tinh ( XS, W) đối với mọi mẫu học S = (XS, DS) (2.1)

Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu

trúc cố định Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra

phải xác định thêm các tham số ngưỡng θ của các nơron trong mạng Một

∑ nj sao cho:

Về thực chất, việc điều chỉnh các véctơ tham số W trong (2.1) hay P trong (2.2) đều qui về bài toán tìm kiếm tối ưu trong không gian tham số Do vậy, có thể áp dụng các cơ chế tìm kiếm kinh điển theo gradient hay các giải thuật di truyền, lập trình tiến hoá

3.4.2.3 Khả năng tính toán và biểu diễn phụ thuộc dữ liệu của mạng nơron

Mạng nơron truyền thẳng chỉ đơn thuần tính toán các tín hiệu ra dựa trên các tín hiệu vào và các trọng số liên kết nơron đã xác định rõ trong mạng Do đó chúng không có trạng thái bên trong nào khác ngoài véctơ trọng số W Đối với mạng qui hồi, trạng thái trong của mạng được lưu giữ tại các ngưỡng của các nơron, các mạng qui hồi có thể không ổn định, thậm chí rối loạn theo nghĩa, khi cho véctơ giá trị đầu vào X nào đó, mạng cần phải tính toán rất lâu,

Mạng nơron N

Hình 2.7 Học tham số có giám sát Xs

Ds Zs

thậm chí có thể lặp vô hạn trước khi đưa ra được kết quả mong muốn Quá trình học của mạng qui hồi cũng phức tạp hơn nhiều Tuy vậy, các mạng qui hồi có thể cho phép mô phỏng các hệ thống tương đối phức tạp trong thực tế

3.4.2.4 Xác định cấu trúc mạng tối ưu

Như ta đã đề cập phần trên, lựa chọn sai cấu trúc mạng có thể dẫn tới hoạt động mạng trở nên kém hiệu quả Nếu chọn mạng quá nhỏ có thể chúng không biểu diễn được sự phụ thuộc dữ liệu mong muốn Nếu chọn mạng quá lớn để có thể nhớ được tất cả các mẫu học dưới dạng bảng tra, nhưng hoàn toàn không thể tổng quát được cho những tín hiệu vào chưa biết trước Nói cách khác, cũng giống như trong các mô hìng thống kê, các mạng nơron có thể đưa tới tình trạng quá thừa tham số

Bài toán xác định cấu trúc mạng tốt có thể xem như bài toán tìm kiếm trong không gian tham số Một cách làm là sử dụng giải thuật di truyền, tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W ( hoặc P) trong không gian đòi hỏi phải huấn luyện mạng, do vậy rất tốn thời gian Có thể áp dụng tư tưởng tìm kiếm leo đồi (hill-climbing) nhằm sửa đổi một cách có lựa chọn, mang tính địa phương cấu trúc mạng hiện có Có hai cách làm:

+ Hoặc bắt đầu với một mạng lớn, sau đó giảm nhỏ xuống; + Hoặc bắt đầu với một mạng nhỏ, sau đó tăng dần lên

Một kỹ thuật khác có thể áp dụng gọi là “tổn thương tối ưu“ nhằm loại bỏ một số liên kết trọng số trong mạng dựa trên các tiếp cận lý thuyết thông tin, đơn giản nhất là các liên kết có trọng số bằng 0 Quá trình cứ tiếp tục như vậy Kỹ thuật này có thể loại trừ 3/4 các liên kết, do đó nâng cao đáng kể hiệu quả của mạng

Ngoài việc loại trừ các liên kết nơron thừa, có thể bỏ qua những nơron không đóng góp nhiều vào quá trình thực hiện của mạng

Giải thuật “Lợp ngói” là một biến thể của kỹ thuật tăng trưởng mạng xuất phát từ cấu hình ban đầu tương đối nhỏ ý tưởng ở đây là xác định một cấu hình mạng cho phép tính đúng các mẫu học đã biết Sau đó, mỗi khi thêm dần mẫu học mới, mạng được phép thêm một số nơron cho phép đoán đúng kết quả học hiện tại và quá trình cứ tiếp tục như vậy