Có vơ số cách để tạo nên Neural Network. Neurodynamic và architecture là hai cách dùng để miêu tả cách thức tổ chức mơ hình Neural Network. Sự kết hợp giữa Neurodynamics và architecture xác định rõ mẫu của Neural Network.
Neurodynamic miêu tả các đặc điểm của một Neuron riêng lẻ như chức năng truyền tải của nó và những biến đầu vào được kết nối như thế nào. Một Neural Network architecture xác định cấu trúc của nó bao gồm số lượng neuron trong mỗi lớp và số lượng cũng như loại và mối liên hệ của chúng với nhau.
Số lượng neuron đầu vào là một trong những mẫu dễ nhất có thể thu thập được khi các biến độc lập đã được huấn luyện sơ lược vì mỗi biến độc lập được trình bày bởi neuron đầu vào của chính nó.
Các lớp ẩn cung cấp cho Network với khả năng của nó để phổ biến nó.Về mặt lý thuyết, một Neural Network với một lớp ẩn với số lượng đủ các neuron ẩn có thể duy trì bất kỳ chức năng nào. Về thực tiễn, hệ thống Neural Network với một hay thỉnh thoảng là 2 lớp ẩn thường được dùng phổ biến và cũng cho thấy chức năng tốt. Gia tăng các lớp ẩn cũng đồng nghĩa với việc gia tăng thời gian tính tốn, và nguy hiểm của “học quá mức” làm cho việc dự báo ngoải mẫu tệ đi. “Học quá mức” xảy ra khi mà một mơ hình dự báo có q nhiều cấp dễ dãi. Nói các khác, nó có tương đối nhiều quan sát có quan hệ với mẫu của nó. Trong trường hợp hệ thống Neural Network, mức độ ảnh hưởng, không làm thay đổi số lượng lớp ẩn và neuron và kích cở của bước huấn luyện ( số lượng quan sát) quyết định của việc có thể xảy ra của “học quá mức”. Mức độ ảnh hưởng càng lớn có liên quan đến kích cỡ của bước huấn luyện, khả năng của Network để nhớ đặc tính của một quan sát riêng lẻ càng lớn. Kết quả là việc khái quát cho bước cơng nhận bị mất đi và mơ hình trở nên ít được sử dụng trong dự báo thực tế.
Vì thế, cần nên nhớ là mọi hệ thống Neural Network nên bắt đầu tốt nhất là với một hay hầu hết là 2 lớp ẩn. Nếu một Neural Network có 4 lớp ( ví dụ có 2 lớp ẩn ) chứng tỏ sự khơng thỏa mãn sau khi được kiểm tra nhiều lần với các neuron ẩn sử dụng một số lượng hợp lý các trọng số được thu thập ngẫu nhiên, sau đó các nhà nghiên cứu nên chú ý các biến đầu vào một thời gian trước khi thêm vào lớp ẩn thứ ba. Cả lý thuyết và các công việc kinh nghiệm thực tế đều khuyên rằng Neural Network với nhiều hơn bốn lớp ẩn sẽ không cải tiến được kết quả.
2.6.2. Tính tốn số lượng các neuron ẩn
Mặc dù rất quan trọng, nhưng khơng có cơng thức thần kỳ nào trong việc lựa chọn số lượng các neuron ẩn tốt nhất. Vì thế, các nhà nghiên cứu đều sa vào các thí nghiệm. Tuy nhiên, một vài quy luật ngón tay cái phát huy lợi thế.Việc số xấp xỉ gần đúng có thể tuân theo quy luật kim tự tháp được nghiên cứu bởi Masters. Với một Network gồm 3 lớp với n neuron đầu vào và m neuron đầu ra thì sẽ có
Baily và Thompson đề nghị số lượng các neuron ẩn trong Neural Network ba lớp nên bằng 75% số lượng neuron đầu vào. Katz chỉ ra rằng số lượng neuron ẩn tốt nhất sẽ được tìm thấy trong khoảng từ ½ đến 3 lần số neuron đầu vào. Ersoy đề nghị nên gấp đôi số lượng các neuron ẩn cho đến khi mơ hình Network thể hiện tốt trong giai đoạn kiểm tra. Klimasauskas đề nghị nên có ít nhất 5 lần giai đoạn huấn luyện, để tạo giới hạn trên cho số lượng các neuron đầu vào và neuron ẩn. Điều quan trọng là cần phải chú ý đến quy luật tính tốn số lượng các neuron ẩn là bội số của số lượng các neuron đầu vào cũng đã coi như ám chỉ rằng bước huấn luyện cũng cần ít nhất hai lần số lượng trọng số và có thể lớn hơn gấp bốn lần hoặc hơn thế nữa. Nếu không trong trường hợp này, những quy luật này sau này sẽ nhanh chóng dẫn các mơ hình “khít q mức” kể từ khi số lượng các neuron ẩn phụ thuộc hoàn toàn vào số lượng các neuron đầu vào (nó sẽ lần lượt quyết định số lượng các trọng số). Cách giải quyết này hoặc gia tăng kích cỡ của bước huấn luyện, hoặc nếu nó khơng thể, để xác lập mức giới hạn trên của các neuron đầu vào để số lượng các trọng số ít nhất cũng được phân nửa số lượng thực tế đã huấn luyện. Việc lựa chọn các biến đầu vào trở nên cực kỳ quan trọng trong một Neural Network nhỏ từ khi sự thoải mái trong việc lựa chọn số lượng biến đầu vào quá nhiều và cho nó phớt lờ đi những cái không phù hợp đang dần biến mất ngày càng nhiều.
Lựa chọn số lượng các neuron ẩn “tốt nhất” đòi hỏi cần phải huấn luyện. Ba phương pháp thường được sử dụng là phù hợp, phát triển và cấu trúc lại. Trong cách tiếp cận phù hợp, một nhóm các Neural Network với các neuron ẩn khác nhau đã được huấn luyện và mỗi cái được đánh giá trong phần kiểm tra sử dụng số lượng hợp lý các trọng số bắt đầu được lựa chọn một cách ngẫu nhiên. Việc gia tăng số lượng các neuron ẩn có thể là một hai hoặc nhiều hơn phụ thuộc vào các tài nguyên máy tính phù hợp. Việc đưa ra các tiêu chuẩn ước lượng (ví dụ như tổng các sai lệch ) trong phần kiểm tra như là một công thức của nhiều neuron ẩn cho mỗi Neural Network một cách phổ biến sản sinh ra một đồ thị sai lệch có dạng hình cái bát. Network với sai số ít nhất được thấy ở đáy bát đã được thu thập bởi vì
có thể phổ biến tốt nhất. Cách tiếp cận này mất nhiều thời gian, nhưng hầu như đều cho kết quả tốt.
Lối tiếp cận triển khai và cấu trúc lại bao gồm việc thay đổi số lượng các neuron ẩn trong quá trình huấn luyện hơn là tạo nên những Network riêng biệt với những neuron ẩn khác nhau như trong lối phù hợp. Nhiều phần mềm đóng gói Neural Network không hỗ trợ việc thêm vào hay bớt đi các neuron ẩn trong quá trình huấn luyện. Lối tiếp cận cấu trúc bao gồm việc thêm vào các neuron ẩn cho đến khi mơ hình cho thấy làm xấu đi các yếu tố ban đầu. Lối tiếp cận cấu trúc lại cũng gần vậy ngoại trừ các neuron được xóa bỏ trong quá trình huấn luyện.
Dù cho phương pháp nào được sử dụng để thu thập các neuron ẩn cho q trình kiểm tra, ngun tắc là ln lựa các neuron thể hiện tốt trong giai đoạn huấn luyện với số lượng neuron ẩn ít nhất. Khi kiểm tra một loạt các neuron ẩn, rất quan trọng để giữ tất cả các biến khác nhất quán. Việc thay đổi bất kỳ biến nào trong việc tạo ra ấn tượng tốt về một mơ hình Neural Network mới với bộ mặt về các sai phạm tiềm tàng khác nhau, cái có thể làm phức tạp khơng cần thiết việc lựa chọn số lượng tốt nhất các neuron ẩn.
2.6.3. Tính tốn số lượng các neuron đầu ra
Việc quyết định số lượng các neuron đầu ra là cái gì đó khó hơn đường thẳng phía trước kể từ khi có các lý do hấp dẫn ln sử dụng chỉ một neuron đầu ra. Hệ thống Neural Network với nhiều loại neuron đầu ra, đặc biệt nếu những đầu ra này được trải dài, sẽ tạo ra nhiều kết quả tồi khi so sánh với một Network chỉ với một biến đầu ra. Một Neural Network đã được huấn luyện bằng cách chọn các trọng số như sai số trung bình trên tất cả các neuron đầu ra đã được giới hạn thấp nhất. Ví dụ, một Neural Network cố gắng dự báo một tháng rưỡi giá tương lai sẽ tập trung hầu hết các hiệu quả của nó trong việc giảm dự báo với những sai lệch lớn giống như là dự báo 6 tháng. Kết quả là có một sự cải thiện lớn liên quan đến đến dự báo 1 tháng sẽ không được tạo ra nếu nó gia tăng hồn tồn sai sót của dự báo 6 tháng bằng một số lượng
các network phân biệt cho từng dự báo. Sự chun mơn hóa cũng tạo ra các sản phẩm được thiết kế dùng thử và sai sót một cái gì đó đơn giản hơn từ khi mỗi Neural Network nhỏ hơn và nhiều biến hơn cần để thay đổi sự hòa hợp trong mơ hình cuối cùng
2.6.4. Xác định loại hàm truyền
Các hàm truyền là những cơng thức tốn học mà quyết định số đầu ra của một quá trình neuron. Chúng cũng đồng thời nối kết với các chức năng thay đổi, nén lại, kích hoạt hay đổi mới. Điểm chính trong mơ hình Neural Network hiện nay sử dụng chức năng hình S, nhưng những cái khác như tiếp tuyến và hồi quy cũng được đưa ra. Mục đích của hàm truyền là để ngăn chặn các biến đầu ra trong việc đặt đến các giá trị lớn mà chúng có thẻ “làm liệt” mơ hình và do đó hạn chế huấn luyện.
Hàm truyền tuyến tính khơng có ích lắm trong các ánh xạ và loại phi tuyến. Levich và Thoma, Kao và Ma nhận ra rằng các thị trường tài chính đều phi tuyến và cũng nhớ đề nghị rằng các hàm truyền phi tuyến thì thích hợp hơn. Các hàm truyền như hình sigma thì thường sử dụng phổ biến hơn cả cho dữ liệu chuỗi thời gian vì chúng cũng phi tuyến và những đặc trưng tiếp diễn có thể là những tính năng ao ước được dùng cho mơ hình Neural Network.
Dữ liệu thơ thường đều có cùng tỷ lệ và ở giữa 0 – 1 và -1 đến 1, vì thế nó thường nhất qn với loại hàm truyền đang được sử dụng.
Tuyến tính và độ lệch chuẩn là hai trong các phương pháp phổ biến nhất được sử dụng trong hệ thống Neural Network. Trong phương pháp tuyến tính, tât cả các biến đều được đo với số lớn nhất và nhỏ nhất được xác định theo công thức sau:
Với SV là giá trị cần cân, TF là giá trị tương ứng của hàm truyền, D là giá trị của mẫu, là giá trị lớn nhất và nhỏ nhất của mẫu.