Hầu hết các sai lệch thơng thường đều được tối thiểu trong mơ hình Neural
Network là tổng các sai lệch bình phương. Các hàm sai lệch khác được đưa ra nhờ các phần mềm. Các hàm số sai lệch này có thể khơng phải là các tiêu chuẩn cuối cùng từ khi các phương pháp dự báo thông thường khác như MAPE thường khơng được tối thiểu trong mơ hình này.
Trong trường hợp các hệ thống điều chỉnh thông thường, các dự báo của Neural Network có thể chuyển thành tín hiệu mua bán tùy thuộc vào các tiêu chuẩn đã quyết định trước. Ví dụ, tất cả các dự báo đều lớn hơn 0.8 hay 0.9 điều đó nghĩa là đó là dấu hiệu mua, còn dự báo nhỏ hơn 0.2 hay 0.1 là dấu hiệu bán. Dấu hiệu mua hay bán sau đó được đưa vào chương trình để tính xem các loại rủi ro và được huấn luyện lại và Neural Network đưa ra kết quả được điều chỉnh rủi ro. Mức độ sai sót thấp và lợi nhuận giao dịch đều cần thiết đối với nhà đầu tư. Lọc lại chuỗi thời gian để loại bỏ nhiều sự thay đổi giá nhỏ có thể phần lớn ngăn chặn được trường hợp mà Neural Network với những điểm dự báo cao nhưng lại không mang đến lợi nhuận. Cũng vậy, giá trị của hệ thống giao dịch đơn lẻ nào cũng chỉ có thể xác định đưa theo hệ thống danh mục đầu tư của người dùng. Theo quan điểm này, mơ hình Neural Network rất hữu ích nếu chúng hành động như là hệ thống đếm xu hướng trái với những hệ thống theo sau xu hướng của các trái phiếu thông thường
2.8. LỰA CHỌN KIỂU HUẤN LUYỆN MÔ HÌNH NEURAL NETWORK
Q trình huấn luyện một mạng lưới Neural nhằm học hỏi các mơ hình dữ liệu có liên quan đến việc giới thiệu mạng lưới Neural có tính lặp đi lặp lại với các ví dụ nhằm nhận biết những câu trả lời nào là chính xác. Mục tiêu của việc huấn luyện là tìm cách để bố trí các trọng số ở giữa các neural nhằm định rõ toàn bộ số lượng tối thiểu của chức năng sai số. Nếu mơ hình khơng được “khít q mức”, điều
các trọng số để di chuyển xuống một độ dốc nhất của bề mặt sai số. Việc tìm thấy tồn bộ số lượng tối thiểu thì khơng được bảo đảm từ khi bề mặt sai số có thể chứa đựng một lượng cực tiểu cục bộ mà trong thuật tốn có thể trở nên bế tắc. Thuật ngữ momentum và 5 cho tới 10 việc xếp đặt ngẫu nhiên của các trọng số ban đầu có thể cải tiến các cơ hội của sự đạt đến một mức tối thiểu chung. Phần này sẽ được thảo luận khi kết thúc việc huấn luyện một mạng lưới Neural và việc lựa chọn tỷ lệ nghiên cứu và các giá trị momentum
2.8.1. Xác định thơng số lặp lại q trình huấn luyện
Có hai trường phái tư duy quan tâm về điểm mà việc huấn luyện nên được ngừng lại. Các căng thẳng đầu tiên là sự nguy hiểm của việc đánh bẫy trong các mức cực tiểu cục bộ và sự khó khăn của việc đạt đến một mức cực tiểu chung. Nhà nghiên cứu nên chỉ dừng việc huấn luyện cho đến khi khơng có sự cải tiến nào trong cơng thức sai số được dựa trên một số lượng hợp lý các trọng số ban đầu được lựa chọn ngẫu nhiên. Điểm mà mạng lưới không cải tiến được gọi là sự hội tụ. Cách nhìn thứ hai tán thành một chuỗi các gián đoạn mang tính huấn luyện. Việc huấn luyện được dừng lại sau khi một số lượng các gián đoạn được định trước và khả năng của mạng lưới là tổng qt hóa các q trình kiểm tra đã được đánh giá và quá trình huấn luyện được tiếp tục. Việc tổng qt hóa là ý kiến mà một mơ hình dựa trên vật mẫu của dữ liệu thì thích hợp cho việc dự báo tổng số lượng. Mạng lưới mà trong đó việc xếp đặt huấn luyện lỗi sai được chọn từ khi nó được cho rằng để khái quát hóa tốt nhất.
Sự phê bình các thủ tục huấn luyện – kiểm tra rằng là các gián đoạn của các q trình huấn luyện – kiểm tra thêm vào có thể gây ra lỗi sai trong việc xếp đặt huấn luyện – kiểm tra để rời xa hơn trước khi tăng trở lại hoặc nó thậm chí có thể rơi theo đường tiệm cận. Nói một cách khác, nhà nghiên cứu khơng có cách nào để biết được nếu việc huấn luyện thêm có thể cải thiện khả năng khái quát hóa một cách đặc biệt của mạng lưới khi mà các trọng số ban đầu được lựa chọn ngẫn nhiên.
Cả hai trường phái đều đồng ý rằng khái quát hóa q trình cơng nhận là mục tiêu cuối cùng và cả hai trường phái này đều sử dụng các tập hợp kiểm tra để đánh giá một số lượng lớn các mạng lưới. Điểm mà cả hai trường phái tiếp cận các trung tâm khởi hành với ý niệm của việc huấn luyện quá nhiều chống lại với việc “học quá mức”. Sự hội tụ tiếp cận đến các trạng thái khơng có huấn luyện q mức mà chỉ có “học quá mức”. “Học quá mức” chỉ đơn giản là dấu hiệu của một mạng lưới mà có quá nhiều trọng số. Giải pháp nhằm để giảm thiểu số lượng các neural ẩn (hoặc các lớp ẩn nếu có hơn 1) và (hoặc) gia tăng kích cỡ của tập hợp huấn luyện. Việc huấn luyện – kiểm tra nhằm cố gắng để cảnh giác chống lại “học quá mức” bằng cách dừng lại việc huấn luyện dựa trên khả năng khái quát hóa của mạng lưới.
Ưu điểm của lối tiếp cận hội tụ là chúng có thể thêm tin cậy rằng mức tối thiểu chung đã được đạt đến. Sự tái tạo thì dường như khó khăn cho việc huấn luyện tiếp cận đến các trọng số ban đầu được đưa ra một cách ngẫu nhiên thường xuyên và sự tương quan có thể dao động dữ dội như các tiến trình huấn luyện. Một ưu điểm khác là nhà nghiên cứu có ít hơn hai thơng số để lo lắng; cụ thể là điểm mà tại đó để dừng việc huấn luyện và phương pháp để đánh giá những gì của các huấn luyện của các mạng lưới là tối ưu. Một ưu điểm của việc tiếp cận các huấn luyện có thể là các mạng lưới với ít cấp độ tự do có thể được thi hành với sự khái quát hóa tốt hơn là sự hội tụ của việc huấn luyện mà đưa ra kết quả trong “học quá mức”. Tuy nhiên, công việc mang tính kinh nghiệm khơng được nhằm vào kết quả này một cách đặc biệt. Việc tiếp cận huấn luyện có thể cũng u cầu ít thời gian huấn luyện hơn.
Mục tiêu của sự hội tụ huấn luyện là nhằm với tới một mức tối thiểu chung. Điều đó yêu cầu việc huấn luyện cho đủ số lượng của các epoch sử dụng một số lượng hợp lý các trọng số ban đầu được chọn lựa một cách ngẫu nhiên. Thậm chí khơng có sự bảo đảm với một mạng lưới Backpropagation rằng mức tối thiểu chung được
sinh. Nhà nghiên cứu phải sắp đặt lại số lượng các kết nối bên trong có thể thay đổi được để được huấn luyện, khoảng thời gian các neural ẩn nhiều hơn của mỗi mạng lưới được huấn luyện, số lượng của các trọng số ban đầu được chọn lựa một cách ngẫu nhiên, và số lượng tối đa của các cuộc hành trình ngắn. Ví dụ như, 50 kết nối có thể biến đổi bên trong được kiểm tra nhiều hơn 3 neural tiềm ẩn khác nhau với 5 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và số lượng tối đa của quãng đường đi ngắn của 4.000 kết quả trong 3.000.000 epoch. Với cùng thời gian tính tốn được u cầu cho 10 kết nối bên trong có thể biến đổi được kiểm tra cho hơn 6 neural ẩn với 6 nhóm các trọng số ban đầu được chọn lựa một cách ngẫu nhiên và 5.000 tỷ epoch.
Một phương pháp để xác định giá trị hợp lý cho số lượng tối đa các quãng đường đi ngắn là để vẽ sơ đồ ra sự tương quan, tổng của các sai số ước lệ, hoặc một phương pháp đo lường lỗi sai thích hợp khác cho mỗi epoch hoặc các khoảng thời gian đã được xác định trước đến một điểm mà nơi đó sự cải tiến khơng đáng kể (thường lên tới tối đa là 10,000 epoch). Mỗi epoch có thể được vẽ sơ đồ một cách dễ dàng nếu phần mềm mạng lưới neural tạo ra một dữ liệu thống kê hoặc, nếu như không đúng như thế, sự tương quan có thể được ghi nhận với khoảng thời gian từ 100 đến 200 từ màn hình máy vi tính. Sau khi vẽ sơ đồ sự tương quan của một số lượng các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên, nhà nghiên cứu có thể chọn số lượng tối đa xu hướng được dựa trên điểm mà sự tương quan dừng việc gia tăng một cách nhanh chóng và dừng lại.
Nhiều nghiên cứu đã đề cập đến số lượng các epoch ghi nhận sự hội tụ từ 85 đến 5,000 epoch. Tuy nhiên, việc xếp loại thì rất rộng như 50,000 và 191,400 epoch và thời gian huấn luyện của 60 giờ đã được ghi nhận. Việc huấn luyện bị ảnh hưởng bởi nhiều tham số như là sự chọn lựa tỷ lệ tiếp thu kiến thức và mometum, các sự cải tiến độc quyền sở hữu đến thuật toán Backpropagation, nằm trong những cái khác nữa, mà khác nhau giữa các nghiên cứu và thật là khó khăn để xác định một giá trị chung cho số lượng tối đa các xu hướng. Ngồi ra, sự chính xác bằng số của phần mềm mạng lưới neural có thể ảnh hưởng đến việc huấn luyện bởi vì độ dốc
của các dẫn xuất sai số có thể trở nên rất nhỏ gây ra một vài chương trình mạng lưới neural để di chuyển về hướng sai nhờ vào các sai số mà có thể được tạo ra một cách nhanh chóng trong thuật tốn huấn luyện có tính lặp đi lặp lại cao. Điều đó yêu cầu rằng các nhà nghiên cứu xác định số lượng các epoch được yêu cầu để đạt được sự cải tiến không đáng kể cho các vấn đề cụ thể của họ và kiểm tra càng nhiều các trọng số khởi đầu được chọn lựa một cách ngẫu nhiên càng nhiều thúc ép có sử dụng máy điện tốn được cho phép
2.8.2. Lựa chọn learning rate và momentum
Một mạng lưới BP được huấn luyện để sử dụng một thuật toán dộ dốc xuống nhằm tuân theo các diễn biến của bề mặt sai số bằng cách luôn luôn di chuyển xuống một độ dốc nhất. Mục tiêu của việc huấn luyện này nhằm tối thiểu tổng các sai số ước lệ, đuợc định nghĩa như sau:
1 M 1 M N
E = E h = (thi – Ohi) 2 2
2 h h i
với E là tổng sai số của tất cả các mẫu hình, Eh là sai số trên mơ hình h, chỉ số h xếp hạng tồn bộ các mơ hình đầu vào, và i ám chỉ i neural đầu ra. Giá trị thay đổi
thi là giá trị đầu ra được yêu cầu cho neural đầu ra ith khi mà mơ hình h được
trình bày. Nguyên tắc nghiên cứu để huấn luyện trọng số giữa neural i và j được định nghĩa như sau:
hi = (thi – Ohi) Ohi (1 – Ohi)
N hi = Ohi (1- Ohi)hkwjk k Δwij (n + 1) = ε ( δhiOhj) với: nlà số trình bày
δhi là sai số của neural i của mơ hình h
€là tỷ lệ nghiên cứu.
(3) (4) (5)
Tỷ lệ nghiên cứu thì mang tính cân xứng cố định nhằm xác định kích cỡ của các thay đổi trọng số. Thay đổi trọng số của một neural thì cân xứng với tác động của trọng số từ neural khác trên sai số đó. Sai số của neural bên ngồi và neural ẩn được tính tốn bởi Eq. (3) và (4), thường dùng.
Hình 2.3. Ví dụ đơn giản về bề mặt sai số của Neural Network
Như là một sự tương đồng đối với thuật tốn kiểm nghiệm BP, một khi có thể xem xét vấn đề trong việc cố gắng ném quả banh từ điểm A đến điểm C như trong hình 2.3, mặc dù trong thực tế bề mặt sai số là nhiều thứ nguyên của một đại lượng và khơng thể được trình bày dưới dạng đồ thị. Lực đẩy vào trái banh thì tương tự như tỷ lệ nghiên cứu. Việc áp dụng quá nhiều lực đẩy sẽ làm cho quả banh bắn xa hơn ra ngồi mục tiêu của nó và nó có thể khơng bao giờ trở lại điểm A hoặc nó có thể dao động chính giữa điểm A và diểm B. Trong suốt quá trình huấn luyện, tỷ lệ nghiên cứu mà quá cao bị khám phá khi công thức sai số đang thay đổi một cách dữ dội mà đang không chỉ ra một sự cải thiện tiếp tục. Q ít lực đẩy vào quả banh và nó khơng thể thoát ra khỏi điểm A như là bằng chứng trong suốt q trình huấn luyện khi có q ít hoặc khơng có sự cải thiện nào trong cơng thức sai số. Một tỷ lệ nghiên cứu rất nhỏ cũng yêu cầu thêm thời gian huấn luyện. Trong trường hợp này, người nghiên cứu phải huấn luyện tỷ lệ nghiên cứu trong suốt quá trình huấn luyện hoặc “ tẩy não” mạng lưới bằng cách lựa chọn ngẫu nhiên tất cả các trọng số và thay đổi tỷ lệ nghiên cứu theo cách mới thông qua cài đặt việc huấn luyện. Một phương pháp nhằm gia tăng tỷ lệ nghiên cứu và nhờ đó tốc độ làm gia tăng thời gian huấn luyện mà không cần hướng đến sự dao dộng mà bao gồm lực đẩy
trong Backpropagation quy tắc huấn luyện. Thuật ngữ momentum chỉ ra rằng các thay đổi trọng số trong quá khứ tác động như thế nào đến các thay đổi trọng số ở hiện tại. Quy tắc huấn luyện được sửa đổi BP được định nghĩa như sau:
Δwij(n + 1) = ε( δhiOhi ) + α Δwij(n) (6)
với α là thuật ngữ động lượng, và các thuật ngữ khác đã được định nghĩa ở trên. Thuật ngữ động lượng ngăn chặn sự dao động từ bên này sang bên kia bằng cách lọc ra những thay đổi có tần số xuất hiện cao. Sự tìm kiếm sự hướng dẫn mới là tổng trọng số hiện tại và độ dốc trước đó.
2.9. TIẾN HÀNH THỰC HIỆN MƠ HÌNH
Tiến hành thực hiện mơ hình được đưa ra như là bước cuối, nhưng trong thực tế đòi hỏi phải xem xét cẩn thận trước khi tập hợp dữ liệu. Dữ liệu có sẵn, tiêu chuẩn định giá và các lần huấn luyện tất cả được sắp đặt bởi mơi trường mà trong đó hệ thống Neural Network sẽ được phát triển. Hầu hết các nhà bán phần mềm của mơ hình Neural Network cung cấp phương tiện bởi các mạng lưới được huấn luyện có thể được bổ sung trong các chương trình của mơ hình Neural Network hoặc như là một tập tin thi hành. Nếu không một mạng lưới được huấn luyện có thể được tạo ra một cách dễ dàng trong bảng tính bằng cách hiểu rõ cấu trúc của nó, các hàm truyền, và trọng số. Sự thận trọng nên được đặt vào các dữ liệu biến đổi, việc chia tỷ lệ, và các tham số để duy trì cùng lúc từ lúc huấn luyện cho đến khi sử dụng thực tế.
Một ưu điểm của mơ hình Neural Network là khả năng của nó có thể thích nghi được với sự thay đổi các điều kiện của thị trường thông qua sự huấn luyện trước đó. Trước khi triển khai, sự thể hiện của mơ hình Neural Network sẽ giảm giá trị theo thời gian nếu khơng có huấn luyện lại để thay thế. Tuy nhiên, với sự huấn luyện lại trước đó cũng khơng có bất kỳ một sự bảo đảm nào là sự thể hiện của mơ hình có thể được duy trì như là các giá trị thay đổi độc lập được chọn có thể trở
Có đề nghị rằng độ thường xuyên của việc huấn luyện lại cho mạng lưới được triển khai cùng lức với việc sử dụng trong suốt quá trình huấn luyện cuối cùng của mơ hình. Tuy nhiên, khi huấn luyện một số lượng lớn các mạng lưới để thu được mơ hình cuối cùng, độ thường xun của việc huấn luyện lại ít đi cũng được chấp nhận để giữ cho số lần huấn luyện là hợp lý. Một mơ hình tốt nên mạnh đối với độ thường xuyên của việc huấn luyện lại và sẽ thường xuyên cải thiện bằng cách thay thế việc huấn luyện lại thường xuyên.
KẾT LUẬN
Để thiết kế một mơ hình Neural Network hồn chỉnh cần thơng qua qui trình tám