L ời cảm ơn
4.1.3. Mạng nơron nhân tạo
4.1.3.1. Đ nh nghĩa.
Mạng nơron nhân tạo là sự liên kết giữa các nơron nhân tạo với nhau. Các
nơron được sắp xếp trong mạng theo các lớp, bao gồm lớp ngoài cùng gọi là lớp ra
(output layer), các lớp còn lại gọi là các lớp ẩn (hidden layer). ωác nơron trong cùng
Cấu trúc mạng, quá trình xử lý bên trong của từng nơron và mức độ liên kết giữa
các nơron.
Khi các vector tín hiệu vào x = (x1, x2,…, xn) được đưa vào mạng, các nơron ở
các lớp ẩn và lớp ra sẽ được kích hoạt dần dần. Sau một quá trình tính toán tại các
nơron, mạng được kích hoạt hoàn toàn và cho ra vector tín hiệu đầu ra a = (a1, a2,…,
an) tại lớp ra.
Mạng nơron có thể học từ dữ liệu mẫu và tổng quát hóa dựa trên các mẫu đã
học.
4.1.3.2. Ki n trúc mạng nơron.
Kiến trúc mạng nơron là sự sắp xếp, bốtrí các nơron và cách thức liên hệ giữa chúng. Mạng nơron một lớp (single-layer) là mạng chỉ có một lớp ra, còn mạng nhiều lớp (multiple-layer) là mạng ngoài lớp ra còn có lớp ẩn.
Theo cách liên hệ giữa các nơron ta có kiến trúc mạng truyền thẳng (feedforward neural network) và kiến trúc mạng hồi quy (recurrent neural network).
- Mạng truyền thẳng:
Trong mạng truyền thẳng, liên kết giữa các nơron không tạo thành chu trình. Tín hiệu đi từcác nơron lớp vào lần lượt qua các lớp ẩn và cuối cùng
đi ra ở các nơron lớp ra. Liên kết giữa mỗi nơron trong một lớp với các
nơron lớp liền trước có thể là liên kết đầy đủ hoặc liên kết một phần.
Mỗi lớp trong mạng có ma trận trọng số w, vector bias b, vector net
input S và vector đầu ra a.
Hình 4.5 Mô hình mạng nơron một lớp
Mô hình mạng nơron một lớp với n nơron vào và m nơron ra như h̀nh 4.5.
Mỗi phần tửtrong vector vào x được nối với từng nút vào tương ứng thông qua ma
trận trọng số W: 1,1 1,2 1,m 2,1 2,2 2,m n,1 n,1 n,m w w ... w w w ... w W = w w ... w (4.4)
Nơ ron thứ i (trong lớp tính toán) có: i n i, j i i
j=1
S =w x + b
Ngõ ra tương ứng của nơron thứ i là ai = f(Si)
Trong đó f là hàm truyền của nơron. ωhúng ta có thể biểu diễn ngõ ra của mạng: a = f(wx + b)
Tùy vào bài toán cụ thể mà lựa chọn số lớp nơron, sốnơron trên mỗi lớp, hàm truyền cho từng lớp. Trong thực tếthường dùng mạng một lớp ẩn và số nơron trên
lớp ẩn thường được xác định dùng phương pháp thử sai.
- Mạng hồi quy
Trong mạng hồi quy (recurrent network) hình 4.4 có những liên kết từ các
liên kết hồi tiếp. Chúng tạo thành chu tr̀nh mà trong đó các tín hiệu ra của
nơron lại được truyền ngược lại thành đầu vào cho các nơron đã kích hoạt chúng. Vì các thông tin ra của các nơron được truyền lại cho các nơronđã góp
phần kích hoạt chúng, nên mạng hồi quy còn có khả năng lưu trữ trạng thái trong của nó dưới dạng các ngưỡng kích hoạt ngoài các trọng số liên kết
nơron.
4.1.4. Hu n luyện mạng nơron nhân tạo.
Sau khi đã lựa chọn kiến trúc mạng, ta cần phải huấn luyện mạng. Quá trình
huấn luyện mạng (training) là quá trình hiệu chỉnh các trọng số và hệ số bias của mạng bằng một số luật học (thuật toán huấn luyện mạng). Các luật học được chia làm 3 loại:
- Luật học có giám sát (supervised learning) - Luật học không giám sát (unsupervised learning)
- Luật học tăng cường (reinforcement learning)
4.1.4.1. Lu t học có giám sát.
Là giải thuật điều chỉnh các trọng số kết nối dựa vào sự khác biệt giữa ngõ ra thực tế của mạng (actual network output) và ngõ ra mong muốn (target or desired network output), ứng với một tập tín hiệu vào.
Trong luật học có giám sát, mạng được cung cấp một tập hợp các mẫu chuẩn (training set) thể hiện mối quan hệ giữa đầu vào và đầu ra của mạng {x1,t1}, {x2,t2},…,{xn,tn}.
Trong đó x là đầu vào của mạng, t là đầu ra đích (đầu ra mong muốn) tức là
ứng với ngõ vào x th̀ ngõ ra đúng của hệ phải là t. Gọi ngõ ra thực tế của mạng là a, thì giải thuật học phải điều chỉnh mạng (điều chỉnh các trọng số và hệ số bias của mạng) sao cho sai số e = |t-a| nhỏhơn một tiêu chuẩn nào đó.
Sơ đồ khối mô tả luật học có giám sát như h̀nh 4.6
Để đánh giá sai số e, người ta dùng hàm sai số. Hàm này thể hiện chất lượng
học của mạng và có nhiều cách để lựa chọn. Một khái niệm liên quan là mặt lỗi (error surface). Mỗi một trọng số và hệ số bias của mạng tương ứng với một chiều
trong không gian. Nếu mạng có tất cả N trọng số và hệ số bias thì chiều thứ N+1 biểu diễn sai số của mạng. Mỗi một bộ trọng số và hệ số bias của mạng ứng với một
điểm của mặt lỗi. Mục tiêu của luật học là t̀m được điểm thấp nhất (điểm cực tiểu) của mặt lỗi này, tức là điểm ứng với bộ trọng số của hệ số bias tối ưu.
Hình 4.6 Sơ đồ khối mô tả luật học có giám sát
4.1.4.2. Lu t học không có giám sát.
Trong luật học này, mạng không được biết trước về vector đầu ra đích đối với
từng vector đầu vào. Mạng phải tự phân tích các đặc trưng, tính chất của các mẫu
đầu vào để phân loại chúng.
Các trọng số và hệ số bias của mạng phải được thay đổi để đáp ứng đầu vào của mạng. Hầu hết các luật học này thực hiện thao tác phân loại mẫu: Chúng tự động phân loại các mẫu vào thành một số hữu hạn các lớp. Các mạng với cơ chế
học không giám sát gọi là các mạng tổ chức.
4.1.4.3. Lu t học tăng cư ng.
Học tăng cường là một giải thuật đặc biệt của học giám sát nhưng thay v̀ được
cung cấp đầu ra đúng, th̀ mạng chỉ nhận được đánh giá theo các mức độ đối với
mỗi đầu vào. Đánh giá này cho phép đo hiệu suất của mạng trên một dãy đầu vào.
Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường tạo ra các tín hiệu
đánh giá giúp mạng hiệu chỉnh các trọng số với hy vọng nhận được tín hiệu đánh
giá tốt hơn.
Sơ đồ khối của luật học tăng cường có dạng như sau:
Mạng nơron W Đầu ra thực Đầu ra đích Tính sai số Hiệu chỉnh Đầu vào
Hình 4.7 Sơ đồ khối mô tả luật học tăng cường
4.1.5. Gi i thu t lan truy n ngư c.
Lan truyền ngược là một phương pháp cho phép xác định tập trọng số tốt nhất của mạng để giải một bài toán được cho. Việc áp dụng phương pháp lan truyền
ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính: ánh xạ và lan
truyền ngược sai số. Hai tiến tr̀nh này được áp dụng trên một tập mẫu xác định
4.1.5.1. Chuẩn b d liệu cho gi i thu t lan truy n ngư c.
Lan truyền ngược sử dụng 3 loại dữ liệu: tập huấn luyện, tập kiểm tra và tập giám sát (dữ liệu thật). Tập huấn luyện được sử dụng để giúp mạng nơron (ANN:
Artificial Neural Network) thiết lập các trọng số. Tập kiểm tra dùng để kiểm tra
mạng ANN sau khi đã được huấn luyện xong. Tập giám sát đóng vai trò như tập
kiểm tra, nhưng nó được áp dụng vào mạng ngay trong quá trình huấn luyện. Nếu
mạng ANN không ghi nhớ được tập huấn luyện (ví dụ có quá nhiều nút ẩn trong lớp
ẩn của ANN) thì nó nên thực hiện tốt với tập giám sát ANN có thể được áp dụng cho các vấn đề thực tế, được xác định bởi các dữ liệu thực.
Dữ liệu huấn luyện có một vai trò quan trọng và yêu cầu lựa chọn cẩn thận. Việc chuẩn bị dữ liệu bao gồm 3 bước chính: Xác định dữ liệu, kiểm tra dữ liệu và tiền xử lý dữ liệu.
ψước đầu tiên đôi khi lại là bước khó khăn. Nó liên quan đến vấn đề cần xác
định. Tuy nhiên không thể thực hiện được mọi kiểu đặc tính của mạng ANN, vì mỗi
ngõ vào được đặc trưng bởi một nút vào trong mạng và nếu số lượng ngõ vào lớn
yêu cầu mạng ANN lớn. Hay mạng ANN với yêu cầu tính toán lớn hơn th̀ độ hội tụ
càng chậm hơn. Mạng ANN chỉ yêu cầu các ngõ vào cho phép nó học mối quan hệ
Mạng nơron W Đầu ra thực Tín hiệu tăng cường Bộ sinh tín hiệu đánh giá Hiệu chỉnh Đầu vào
vào – ra. Những ngõ vào nào thật sự không được yêu cầu bởi mạng ANN sẽ có trọng số nhỏ sau vài chục chu kỳ huấn luyện mạng (epoch), tuy nhiên không cần phải loại bỏ các ngõ vào này. Mạng ANN sẽ thực hiện thêm vài chu kỳ huấn luyện
nữa, nếu độ lớn của những ngõ vào “ nghi ngờ” này không thay đổi thì những ngõ
vào này không quan trọng lắm.
ψước thứ hai là chuẩn bị tập dữ liệu để kiểm tra các hành vi bất thường để ngăn chặn các dữ liệu giả trong tập huấn luyện.
ψước thứ ba là tiền xử lý dữ liệu. Giải thuật lan truyền ngược thích hợp với các dữ liệu nằm trong phạm vi giữa 0 và 1. Vì vậy có thể chuẩn hóa lại dữ liệu huấn luyện (nv) theo phương pháp sau:
nv = (4.5)
Số lượng dữ liệu được yêu cầu cho huấn luyện theo giải thuật lan truyền
ngược là một hệ số rất quan trong. Nếu phạm vi yêu cầu phức tạp, yêu cầu phải có một tập dữ liệu lớn có đầy đủ các thông tin vềđối tượng.
4.1.5.2. Chọn l a s nút ẩn, l p ẩn.
Một trong những khó khăn nhất của giải thuật lan truyền ngược là lựa chọn số
nút ẩn và số lớp ẩn vì không có một phương pháp chung cho vấn đề này. Các nút
vào và ra được ấn định theo bài toán (ngõ vào thực và ngõ ra). Còn sốlượng nút ẩn
và lớp ẩn th̀ không được biết. Ví dụ, trong một mạng ANN có một lớp ẩn, nếu số
lớp ẩn đủ lớn thì mạng có thể ghi nhớ được huấn luyện. Tuy nhiên, nếu có quá nhiều nút ẩn thì mạng có thể không học tốt được (quá khớp). Trong ứng dụng, trước tiên sốlượng nút ẩn được cho một giá trị nào đó và mạng ANN được kiểm tra bằng
tập kiểm tra. Thông thường, ANN ghi nhớ được dữ liệu huấn luyện nhưng khi dữ
liệu mới được ứng dụng th̀ nó thường cho kết quả ngõ ra không đúng. Trong
trường hợp này sốlượng nút ẩn cần được giảm và huấn luyện lại sau đó kiểm tra lại. Trong ANN chứa một lớp ẩn (và một lớp ra) đôi khi chỉ có một nút ẩn được sử
dụng, nhưng tổng quát sốlượng nút ẩn tùy thuộc vào bài toán liên quan.
Actual value – minimum value maximum value – minimum value
4.1.5.3. Gi i thu t hu n luyện.
Quá trình huấn luyện mạng được bắt đầu với các giá trị trọng số tùy ý (ngẫu nhiên) và tiến hành lặp đi lặp lại. Mỗi lần lặp được gọi là một epoch. Trong mỗi epoch, mạng hiệu chỉnh các trọng số sao cho sai số giảm dần (sai số là độ lệch giữa
đầu ra thực của mạng và đầu ra đích). Tiến tr̀nh điều chỉnh nhiều lần giúp cho trọng số dần dần đạt được tập hợp các giá trị tối ưu.
Để cập nhật trọng số trong mỗi epoch, mạng phải xử lý tất cả mẫu trong tập
mẫu. Đối với từng mẫu, mạng thực hiện phép toán sau đây:
- Trước tiên mạng thực hiện quá trình lan truyền tiến, nghĩa là mạng ánh xạ
các biến nhập của mẫu hiện hành thành các giá trị xuất sử dụng các giá trị
của các trọng số hiện hành.
- Kế tiếp, sai sốđược tính dựa trên giá trị của kết xuất và giá trị đích. Trên cơ
sở sai sốtính toán được, mạng sẽ cập nhật lại các trọng số theo nguyên tắc lan truyền ngược sai số (gọi là giai đoạn lan truyền ngược).
Như vậy, để học mỗi mẫu, mạng thi hành hai bước: lan truyền tiến – thực hiện ánh xạ và lan truyền ngược sai số - cập nhật các trọng số.
Kỹ thuật cơ bản trong lan truyền ngược là cập nhật trọng số theo hướng giảm
gradient (gradient descent). Đây là giải thuật đơn giản và phổ biến nhất để huấn luyện một mạng nhiều lớp. Giải thuật này có thể tóm tắt như sau:
1. Khởi tạo tất cả các trọng số kết nối của các nơron trong mạng (thường khởi tạo ngẫu nhiên, giá trị nhỏ).
2. Áp dụng vector dữ liệu vào cho mạng
3. Tính toán đểxác định ngõ ra thực tế của mạng
4. So sánh với vector dữ liệu đích (do supervised cung cấp), xác định lỗi. 5. Lan truyền lỗi này từ ngõ ra ngược về ngõ vào của mạng, đây là cơ sở để
điều chỉnh trọng số.
6. Điều chỉnh trọng số của mạng
Nguyên tắc điều chỉnh trọng sốnhư (4.6)
Với g =i δ pj i được gọi là gradient
Trong đó:
wij: Là trọng số kết nối từnơron thứ i đến nơron thứ j
α: Là tốc độ học, α [0,1]
j: là môt hệ số phụ thuộc tính chất của nơron j
pi: là ngõ vào của nơron i
Nếu j là nơron ra th̀: j j j j f δ = t - a net (4.7) Và nếu j là nơron ẩn thì: j kj k k j f δ = w δ net (4.8) Với j f net là đạo hàm của hàm kích hoạt f.
tj: là ngõ ra mong muốn của nơron j
aj: là ngõ ra thực tế của nơron j
wkj: là trọng số kết nối từnơron k tới nơron j k : là nơron của lớp ẩn phía trước lớp của j
k tính giống như j, nhưng đối với lớp phía sau (lan truyền ngược từ ngõ
ra ngược về ngõ vào) thì k đầu tiên chính là j của các nơron ở lớp ra. Quá trình lặp lại cho đến khi nào sai sốđủ nhỏ.
4.1.6. u đi m c a mạng nơron.
- Mạng nơron tương đối mềm dẻo, có khả năng học và tổng quát hóa dữ liệu
mẫu học.
- Mạng nơron tính toán nhanh do có khảnăng xử lý song song.
- Mạng nơron cho phép xử lý các thông tin không chắc chắn, không chính xác
và bị nhiễu.
4.1.7. Phạm vi ứng d ng.
Mạng nơron được ứng dụng trong nhiều lĩnh vực như: giao thông, ngân hàng,
Trong phạm vi luận văn này, mạng nơron được ứng dụng để ước lượng từ
thông của động cơ không đồng bộ để thay thế các cảm biến phức tạp khó lắp đặt trong khe hởkhông khí động cơ.
4.1.8. Tóm t t.
Mạng nơron nhân tạo là một lĩnh vực khoa học rộng lớn. Từ thập niên 40 đến
nay, nó không ngừng phát triển và được ứng dụng trong hầu hết các lĩnh vực, từ
những lĩnh vực phục vụ cuộc sống đời thường như giải trí, y tế… cho đến các ứng
dụng quan trọng trong cuộc cách mạng khoa học kỹ thuật nhằm trinh phục không
gian vũ trụ.
Việc tr̀nh bày mô h̀nh nơron sinh học, cho thấy ý tưởng và nguyên tắc để xây
dựng một nơron nhân tạo cũng như sự so sánh giữa chúng giúp hiểu rõ hơn về hoạt
động của nơron nhân tạo, lấy đó làm cơ sởđể phát triển thành mạng nơron nhân tạo.
ωhương này cũng tr̀nh bày về kiến trúc mạng nơron và các giải thuật huấn
luyện chúng. Do mục tiêu của để tài là ước lượng các trạng thái của động cơ không đồng bộnên người thực hiện đã nghiêng về giải thuật huấn luyện có giám sát cụ thể
là giải thuật lan truyền ngược sai số. Còn các giải thuật khác chỉ được trình bày
Chương 5
XÂY D NG C U TRÚC CÁC KH I ĐI U KHI N
Trong chương này ta tiến hành xây dựng cấu trúc các khối điều khiển từ các
phương tr̀nh toán đã được trình bày ở chương 2, chương 3 và chương 4 như: mô
h̀nh động cơ KĐψ 3 pha, sơ đồ mô phỏng FOC, khối điều khiển PID, khối ước
lượng từ thông, ứng dụng mạng nơron ước lượng từ thông.
5.1. Sơ đ mô ph ng FOC.
Hình 5.1 Sơ đồ tổng quan mô phỏng FOC