xem xét?
Sai
Mạng nơ - ron được sử dụng trong báo cáo là mạng truyền thẳng (feedforward network) với hàm truyền sigmoid ở cả lớp ẩn và lớp ngõ ra. Thuật toán mạng nơ - ron được thế kế hoạt động qua 7 bước cơ bản:
Bước 1: Thu thập dữ liệu.
Bước 2: Khởi tạo mạng nơ - ron. Bước 3: Thiết lập cấu hình mạng.
Bước 4: Khởi tạo các trọng số (weight) và độ lệch (bias). Bước 5: Thực hiện huấn luyện mạng.
Bước 6: Thực hiện đánh giá mạng. Bước 7: Sử dụng mạng.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Trước khi bắt đầu quá trình thiết kế mạng, cần phải thu thập và chuẩn bị dữ liệu mẫu. Việc kết hợp những kiến thức tiên nghiệm vào trong một mạng nơ - ron là rất khó, vì vậy độ chính xác của mạng phụ thuộc vào độ chính xác của dữ liệu được đưa vào để huấn luyện mạng. Mạng đa lớp có thể được huấn luyện để tổng quát hoá tốt hơn trong phạm vi ngõ vào mà chúng đã được huấn luyện. Tuy nhiên, chúng khơng có khả năng suy luận chính xác vượt quá phạm vi này, vì thế dữ liệu huấn luyện phải bao gồm đầy đủ các trường hợp của không gian ngõ vào. Sau khi dữ liệu được thu thập, có hai bước cần phải được thực hiện trước khi dữ liệu được đưa vào huấn luyện mạng, đó là tiền xử lý dữ liệu và phân chia dữ liệu thành các tập dữ liệu con.
Việc huấn luyện mạng nơ - ron sẽ được thực hiện hiệu quả hơn khi các ngõ vào và mục tiêu của mạng được xử lí trước. Trong các mạng đa lớp, hàm truyền sigmoid thường được sử dụng trong các lớp ẩn, những hàm này trở nên bão hoà khi ngõ vào của mạng lớn hơn 3. Nếu điều này xảy ra tại thời điểm ban đầu của quá trình huấn luyện thì độ dốc (gradient) sẽ rất nhỏ, dẫn đến việc huấn luyện mạng sẽ diễn ra rất chậm. Nếu ngõ vào quá lớn, thì trọng số sẽ phải rất nhỏ để ngăn cản hàm truyền khơng bị bão hồ. Nói chung, bước chuẩn hố được áp dụng cho cả vec - tơ ngõ vào và vec - tơ mục tiêu của tập dữ liệu. Bằng cách này, ngõ ra của mạng luôn rơi vào một phạm vi chuẩn hoá.
Dữ liệu trước khi được đưa vào huấn luyện mạng sẽ được chia làm 3 tập dữ liệu con. Tập huấn luyện (Training set), tập đánh giá (Validation set) và tập kiểm nghiệm (Test set). Tập huấn luyện dùng để tính tốn độ dốc, cập nhật trọng số và độ lệch. Tập xác nhận đánh giá khả năng xấp xỉ của các mẫu và tập kiểm nghiệm kiểm tra khả năng tổng quát hoá của một mạng đã được huấn luyện. Tập kiểm nghiệm không được sử dụng trong lúc huấn luyện mà dùng để so sánh với các mẫu khác.
Sau khi mạng nơ - ron được khởi tạo, nó cần phải được thiết lập cấu hình. Thiết lập cấu hình cho mạng nơ - ron bao gồm kiểm tra dữ liệu ngõ vào và mục tiêu, thiết lập kích cỡ ngõ vào và ngõ ra của mạng cho phù hợp với dữ liệu, và chọn các cài đặt ngõ và và ngõ ra cho phù hợp để đạt được hiệu suất huấn luyện mạng tốt nhất.
Quá trình huấn luyện một mạng nơ - ron liên quan đến việc điều chỉnh các trọng số và độ lệch nhằm đạt hiệu suất mạng tốt nhất. Hàm mặc định được sử dụng ở đây là
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
sai số bình phương trung bình MSE (Mean Square Error), nghĩa là sai số bình phương trung bình giữa các ngõ ra a và mục tiêu t của mạng, được định nghĩa như sau:
MSE = ଵ ∑୧◌ୀଵ(e୧)ଶ = ଵ ∑୧◌ୀଵ(t୧ − a୧)ଶ (2.7)
Có nhiều giải thuật được sử dụng cho huấn luyện mạng nơ - ron. Nhưng đối với tập dữ liệu lớn và ứng dụng cho nhận dạng mẫu thì giải thuật Gradient liên hợp (Conjugate Gradient) là lựa chọn tốt nhất. Giải thuật Gradient liên hợp sẽ tìm dọc theo hướng liên hợp, thông thường tạo ra độ hội tụ nhanh hơn hướng giảm dốc nhất. Có bốn phương pháp khác nhau về giải thuật Gradient liên hợp: phương pháp cập nhật Fletcher - Reeves, phương pháp cập nhật Polak - Ribiére, phương pháp khởi động lại Rowell - Beale và phương pháp Scaled Conjugate Gradient backpropagation. Trong mỗi thuật tốn Gradient liên hợp đều u cầu hướng tìm ở mỗi vịng lặp. Việc tìm này rất phức tạp vì yêu cầu mạng đáp ứng cho tất cả ngõ vào huấn luyện và được tính nhiều lần trong mỗi vòng lặp. Phương pháp Scaled Conjugate Gradient backpropagation (trainscg) sẽ tránh được sự phức tạp này.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Khởi tạo huấn luyện
Khởi tạo trọng số và độ lệch bằng các giá trị ngẫu nhiên
Trình bày mẫu ngõ vào và tính tốn các giá trị ngõ ra Tính tốn MSE Epoch = Epoch + 1 MSE ≤ MSEmin NO Epoch ≥ Epochmax NO Cập nhật trọng số và độ lệch YES YES Kết thúc huấn luyện
Hình 2.11. Lưu đồ thuật tốn huấn luyện mạng đa lớp với phương pháp TRAINSCG.
Sau khi quá trình huấn luyện hồn tất, chúng ta cần kiểm tra chất lượng và xác định xem có cần phải thay đổi yếu tố nào cho quá trình huấn luyện, cấu trúc mạng hay tập dữ liệu. Việc đầu tiên đó là kiểm tra biểu đồ kết quả huấn luyện.
Hình 2.12 khơng nói lên điều gì đáng kể xảy ra trong quá trình huấn luyện mạng nơ - ron. Đường đặc tính đánh giá và kiểm nghiệm gần giống nhau. Nếu đường đặc tính kiểm nghiệm tăng lên đột ngột trước khi đường đặc tính đánh giá giảm xuống thì có khả năng mạng bị học q khớp.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Hình 2.12. Biểu đồ kết quả huấn luyện mạng nơ - ron.
Tiếp theo, chúng ta cần kiểm tra biểu đồ hồi quy (regression). Biểu đồ hồi quy cho thấy mối quan hệ giữa ngõ ra của mạng và mục tiêu. Nếu việc huấn luyện mạng hoàn hảo, thì ngõ ra của mạng và mục tiêu sẽ giống nhau. Tuy nhiên, điều này rất khó xảy ra trên thực tế.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Ba biểu đồ ở Hình 2.13 thể hiện mối quan hệ giữa ngõ ra của mạng và mục tiêu của ba tập dữ liệu huấn luyện, đánh giá và kiểm nghiệm. Đường nét đứt ở mỗi biểu đồ đại diện cho kết quả huấn luyện hoàn hảo. Đường kẻ đậm đại điện cho đường hồi quy tuyến tính tốt nhất giữa ngõ ra và mục tiêu. Giá trị R cho thấy mối quan hệ giữa ngõ ra và mục tiêu. Nếu R = 1, chứng tỏ ngõ ra và mục tiêu có mối quan hệ tuyến tính chuẩn xác. Nếu R càng tiến về 0 thì giữa chúng khơng có mối quan hệ tuyến tính nào.
Hình 2.14 thể hiện kết quả ngõ ra của q trình huấn luyện. Có bốn ma trận tương ứng với kết quả ngõ ra của tập huấn luyện, tập đánh giá, tập kiểm nghiệm và ba tập dữ liệu kết hợp. Các con số trong ô vuông màu xanh lá cây thể hiện số lượng và tỉ lệ phần trăm mẫu phân loại đúng. Các con số trong ô vuông màu đỏ thể hiện số lượng và tỉ lệ phần trăm mẫu phân loại sai. Tổng hợp các giá trị này được thể hiện ở ô vuông màu xanh nước biển ở bên dưới.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Kết luận:
Mạng nơ - ron nhân tạo được thiết kế để bắt chước khả năng ra quyết định của não bộ, do đó nó có cấu trúc tương tự như của hệ thần kinh sinh học. Trong vô số các cấu trúc mạng nơ - ron, mạng nơ - ron nhiều lớp (MLP) được nghiên cứu rộng rãi và được thử nghiệm trên nhiều ứng dụng, do đó nó được biết đến nhiều hơn.
Một nơ - ron được mơ hình hố gồm có nhiều ngõ vào được gắn kết với một trọng số. Ngõ ra của nơ - ron là một hàm tổng các ngõ vào của nó thơng qua một hàm truyền. Hàm truyền này có thể làm hàm ngưỡng, hàm tuyến tính hay hàm sigmoid.
Hai phương pháp học phổ biến của mạng nơ - ron là học khơng có giám sát và học có giám sát. Học khơng có giám sát gồm hai giai đoạn khởi tạo và giai đoạn ổn định.
Việc chuẩn bị dữ liệu huấn luyện mạng nơ - ron phải bao gồm đầy đủ các trường hợp của không gian ngõ vào, nó thường được chia làm ba tập dữ liệu con: tập huấn luyện, tập đánh giá và tập kiểm nghiệm. Quá trình huấn luyện một mạng nơ - ron liên quan đến việc điều chỉnh các trọng số và độ lệch nhằm đạt được hiệu suất huấn luyện mạng tốt nhất.
Có nhiều giải thuật được sử dụng cho huấn luyện mạng nơ - ron, nhưng trong nghiên cứu của tác giả thì giải thuật Gradient liên hợp với phương pháp Scaled Conjugate Gradient backpropagation (trainscg) là sự lựa chọn tốt nhất.
Sau khi việc huấn luyện hoàn tất, cần kiểm tra chất lượng và xác định xem có cần phải thay đổi yếu tố nào cho quá trình huấn luyện, cấu trúc mạng hay tập dữ liệu bằng cách kiểm tra độ tương đồng của các đường đặc tính huấn luyện, đánh giá và kiểm nghiệm thông qua biểu đồ kết quả huấn luyện mạng nơ - ron. Bên cạnh đó, cũng cần kiểm tra mức độ tuyến tính giữa ngõ ra và mục tiêu. Sau cùng là xem tỉ lệ kết quả huấn luyện. Một giải thuật huấn luyện tốt sẽ cho ra kết quả có độ chính xác cao.
Đề tài Nghiên cứu khoa học - 2017 TDC - Khoa Điện - Điện tử
Chương 3: