Giới thiệu sơ lược về mô hình Neural Network
Trong những năm gần đây, Neural Network đã thu hút sự chú ý và được ứng dụng thành công trong nhiều lĩnh vực như tài chính, y tế, địa chất và vật lý Công nghệ này có khả năng giải quyết các vấn đề về dự báo, phân loại và điều khiển, cho thấy tính linh hoạt và hiệu quả của nó Sự thành công nhanh chóng của Neural Network có thể được lý giải bởi một số yếu tố quan trọng.
Mạng nơ-ron (Neural Network) là một kỹ thuật mô phỏng tinh vi, có khả năng xử lý và mô phỏng các hàm phức tạp với tính phi tuyến Trong nhiều năm qua, mô hình tuyến tính đã được sử dụng rộng rãi trong nhiều lĩnh vực nhờ vào tính hiệu quả trong tối ưu hóa.
Neural Network dễ sử dụng vì có khả năng học từ các ví dụ Người dùng chỉ cần thu thập dữ liệu đặc trưng và áp dụng các thuật toán huấn luyện để hệ thống tự học cấu trúc dữ liệu Tuy nhiên, mặc dù người dùng đã chuẩn bị dữ liệu và chọn loại mạng phù hợp, mức độ thành thạo trong việc áp dụng Neural Network vẫn thấp hơn so với các phương pháp thống kê truyền thống.
Nền tảng của mô hình Neural Network
Mạng nơ-ron được phát triển từ nghiên cứu về trí tuệ nhân tạo, với mục tiêu mô phỏng bộ não con người, đặc biệt là khả năng học hỏi và chấp nhận sai sót của các nơ-ron sinh học Bộ não của con người chứa một số lượng lớn nơ-ron, khoảng
Hệ thống thần kinh của con người bao gồm khoảng 10 tỷ neuron, mỗi neuron kết nối với hàng triệu neuron khác thông qua các synapse Khi một neuron được kích hoạt, nó tạo ra xung điện hóa học dọc theo sợi thần kinh, truyền tín hiệu đến các neuron khác qua synapse, kích hoạt chúng tiếp theo Neuron chỉ hoạt động khi tín hiệu nhận được tại thân tế bào vượt qua ngưỡng hoạt động Độ nhạy của synapse quyết định cường độ tín hiệu mà neuron nhận được, và việc học có thể thay đổi cường độ kết nối giữa các synapse.
Bộ não con người hoạt động thông qua nhiều đơn vị xử lý đơn giản, mỗi đơn vị tổng hợp các ngõ vào và kích hoạt tín hiệu nhị phân khi vượt ngưỡng Mặc dù sự phức tạp của bộ não không thể được mô tả đầy đủ, nhưng mạng trí tuệ nhân tạo vẫn có thể đạt được những kết quả ấn tượng mà không cần mô hình phức tạp hơn bộ não.
Hoạt động của một Neural Network
Mỗi neuron trong mạng nơ-ron nhận nhiều ngõ vào từ dữ liệu gốc hoặc từ các neuron khác Mỗi kết nối đến ngõ vào có một trọng số tương ứng với tác dụng của synapse trong neuron sinh học Ngoài ra, mỗi neuron còn có một giá trị ngưỡng Tín hiệu được truyền qua hàm kích hoạt, từ đó tạo ra giá trị ngõ ra cho neuron.
Hàm truyền nấc, với ngõ ra neuron là 0 khi ngõ vào nhỏ hơn 0 và 1 khi ngõ vào lớn hơn hoặc bằng 0, mô phỏng hoạt động của neuron sinh học Tuy nhiên, hàm nấc ít được sử dụng trong mạng trí tuệ nhân tạo Cần lưu ý rằng trọng số có thể âm, cho phép synapse có tác dụng kiềm chế thay vì kích hoạt neuron, và các neuron kiềm chế này có mặt trong bộ não.
Các neuron không hoạt động đơn lẻ mà được kết nối chặt chẽ với nhau trong mạng Khi mạng hoạt động, nó cần có ngõ vào, đại diện cho các giá trị hoặc biến từ thế giới thực, và ngõ ra để dự báo hoặc điều khiển Ngõ vào tương ứng với các neuron giác quan, như tín hiệu từ mắt, trong khi ngõ ra liên quan đến các neuron vận động, như điều khiển cánh tay Ngoài ra, mạng còn bao gồm các neuron ẩn, đóng vai trò quan trọng trong quá trình xử lý thông tin.
Ngõ vào, neuron ẩn và ngõ ra cần được kết nối với nhau.
Mạng Neural Network tiến (feed-forward) được tổ chức theo cấu trúc lớp riêng biệt, trong đó lớp ngõ vào không chứa neuron thực mà chỉ giới thiệu các giá trị biến Các neuron ở lớp ẩn và lớp ngõ ra được kết nối với tất cả neuron của lớp trước đó Mặc dù có thể định nghĩa mạng với các kết nối một phần giữa một số neuron trong lớp trước, nhưng trong hầu hết các ứng dụng, mạng có kết nối đầy đủ thường mang lại hiệu quả tốt hơn.
Hình 1.1 Cấu trúc Neural Network
Khi mạng nơ-ron hoạt động, các giá trị đầu vào được đưa vào các neuron đầu vào, sau đó kích hoạt các neuron ở lớp ẩn và lớp đầu ra Mỗi neuron tính toán giá trị kích hoạt bằng cách tổng hợp các trọng số đầu ra từ các neuron ở lớp trước, sau đó trừ đi ngưỡng Giá trị kích hoạt này được truyền qua hàm kích hoạt để tạo ra giá trị đầu ra cho neuron Cuối cùng, các đầu ra từ lớp đầu ra sẽ đại diện cho đầu ra tổng thể của toàn bộ mạng.
Các mô hình mạng Neural Network
Các dạng mô hình Neuron
Mô hình cấu trúc một Neuron
Ngõ vào của một neuron có thể là đại lượng vô hướng hoặc có hướng, được nhân với trọng số tương ứng và có thể cộng thêm ngưỡng (bias), thường bằng 1 Mô hình neuron cho thấy ngõ vào vô hướng p được nhân với trọng số w để tạo thành wp, sau đó qua hàm truyền f cho ra kết quả đầu ra a = f(wp) Trong trường hợp có ngưỡng b, giá trị b được cộng với wp và qua hàm truyền f cho ra đầu ra a = f(wp+b) Các thông số của neuron như trọng số và ngưỡng (w và b) có thể được điều chỉnh để "huấn luyện" mạng đạt được yêu cầu mong muốn.
Hình 1.3 Mô hình cấu trúc một Neuron
Mô hình Neuron với vector nhập
Một neuron được cho trên hình 1.4 với vector nhập p = [p1, p2, ……pR ], trọng số
Trong một mạng nơ-ron, đầu ra n được tính bằng tổng các trọng số w1,1, w1,2,…, w1,R nhân với các đầu vào p1, p2,…, pR cộng với ngưỡng b, biểu thức có thể được viết là n = W*p + b Khi có nhiều nơ-ron, cách biểu diễn này trở nên không hiệu quả, vì vậy cần định nghĩa một lớp nơ-ron để cải thiện khả năng xử lý, như minh họa trong hình 1.5.
Hình 1.4 Mô hình Neuron với vector nhập
Hình 1.5 Một lớp gồm nhiều neuron
Mô hình mạng một lớp Neuron
Trong hình dưới mô tả một lớp neuron với :
R : số phần tử của vectơ đầu vào
S : số neuron trong lớp a : vector ngõ ra của lớp neuron
Hình 1.6 Mô hình mạng một lớp Neuron
Một lớp mạng được vẽ gọn theo hình 1.7
Hình 1.7 Mô hình mạng một lớp được vẽ gọn
Các dạng mô hình
Mạng nơ-ron bao gồm nhiều lớp, mỗi lớp có ma trận W, ngưỡng b và vectơ ngõ ra a Giá trị ra của một lớp thường là giá trị vào của lớp tiếp theo Lớp sản sinh kết quả cuối cùng được gọi là lớp ngõ ra, trong khi các lớp còn lại được gọi là lớp ẩn Mạng đa lớp có khả năng xử lý mạnh mẽ, ví dụ như mạng có hai lớp với lớp đầu tiên là sigmoid và lớp thứ hai là linear có thể được huấn luyện để gần đúng một hàm với các kết nối cố định.
Mô hình Backpropagation Neural Network
Hoạt động của mạng Backpropagation
Mô hình Neural Network bao gồm nhiều dạng mạng khác nhau như Perception, Radial bias, hồi tiếp, Backpropagation v.v…
Mạng nơ-ron hồi tiếp (Backpropagation Neural Network) bao gồm các thông số đầu vào và các đơn vị xử lý gọi là nơ-ron, với mỗi nơ-ron trong các lớp được kết nối hoàn toàn thông qua trọng số, lưu trữ kiến thức của hệ thống đào tạo Ngoài các nơ-ron, còn có một nơ-ron bias kết nối đến từng đơn vị xử lý trong các lớp đầu ra và ẩn, với giá trị dương nhằm cung cấp chức năng tương tự như hệ số chặn trong các mô hình hồi quy Các nơ-ron và bias được tổ chức thành các lớp: một lớp đầu vào, một hoặc nhiều lớp ẩn và một lớp đầu ra, trong đó số lượng lớp ẩn và nơ-ron trong từng lớp có thể thay đổi tùy thuộc vào kích thước và bản chất của bộ dữ liệu.
Mạng nơ-ron (Neural Network) tương tự như mô hình hồi quy bình phương bé nhất, cả tuyến tính và phi tuyến, và được coi là một phương pháp thống kê thay thế để giải quyết vấn đề bình phương bé nhất Cả hai đều nhằm tối thiểu hóa tổng bình phương các sai số Thuật ngữ "bias" tương đồng với hệ số chặn trong phương trình hồi quy Số lượng nơ-ron đầu vào tương ứng với số biến độc lập, trong khi nơ-ron đầu ra đại diện cho các biến phụ thuộc Mô hình hồi quy tuyến tính có thể xem như một mạng nơ-ron feed-forward nhưng không có lớp ẩn và nơ-ron đầu ra với chức năng chuyển đổi tuyến tính Các trọng số kết nối nơ-ron đầu vào tới nơ-ron đầu ra tương tự như hệ số trong hồi quy bình phương bé nhất tuyến tính Mô hình mạng nơ-ron với một lớp ẩn tương tự như mô hình hồi quy phi tuyến.
Mạng backpropagation là một loại Neural Network theo phương pháp feed-forward với quy tắc giám sát, trong đó thông tin di chuyển từ các lớp đầu vào đến lớp đầu ra Các thông số đầu vào được truyền qua Neural Network một lần và đến trực tiếp đầu ra Học có giám sát liên quan đến việc so sánh mỗi dự đoán của hệ thống với câu trả lời chính xác đã biết, từ đó điều chỉnh trọng số để giảm thiểu sai số dự đoán và tối ưu hóa chức năng sai số.
Mạng Backpropagation là hệ thống đa lớp phổ biến nhất, được ước tính sử dụng trong 80% ứng dụng và trở thành tâm điểm của báo chí nhờ vào khả năng dự báo chuỗi thời gian trong tài chính Hornik et al đã chỉ ra rằng hệ thống Backpropagation chuẩn, với hàm tùy ý, có thể xấp xỉ bất kỳ hàm nào có thể đo lường một cách chính xác nếu có đủ số lượng neuron ẩn Hecht-Nielsen cũng đã mô tả hệ thống này bao gồm các mạng định kỳ, mạng xác suất và mạng nơ-ron mờ.
Các thông số phổ biến trong thiết kế một Backpropagation
Xử lý dữ liệu (Data processing) Đơn vị thời gian: theo ngày, tuần, tháng, năm, quý Loại dữ liệu: kỹ thuật, cơ bản
Phương pháp lấy mẫu dữ liệu Phương pháp chia thang dữ liệu: lớn nhất, nhỏ nhất, trung vị, sai số chuẩn.
Chỉ số học Learning rate mỗi layer Thuật ngữ Momentum
Dung sai huấn luyện Kích cỡ Epoch Giới hạn Learning rate
Số lượng tối đa của các lần hoạt động
Số lần để lấy ngẫu nhiên các trọng số Kích thước của các dữ liệu dùng để huấn luyện, kiểm tra, và đánh giá
Số lượng của neurons đầu vào
Số lượng của layers ẩn
Số lượng của neuron ẩn trong mỗi layer
Số lượng của neurons đầu raHàm truyền cho mỗi neuronHàm sai số
Mục đích, công dụng của mô hình Neural Network
Mô hình này không chỉ so sánh dữ liệu quá khứ với ước lượng trước đó để dự đoán xu hướng tương lai, mà còn cung cấp công cụ hữu ích cho cả nhà đầu tư tổ chức và cá nhân Đối với nhà đầu tư cá nhân, option chỉ số ngày càng trở nên phổ biến, giúp họ phòng ngừa rủi ro và đầu tư hiệu quả trên thị trường Việt Nam đang trong quá trình phát triển các công cụ phái sinh, trong đó có option chỉ số chứng khoán như VN-INDEX, đáp ứng nhu cầu của nhà đầu tư Đối với nhà đầu tư tổ chức, đặc biệt là các tập đoàn đa quốc gia, việc đầu tư vào nền kinh tế hay ngành cụ thể yêu cầu phân tích tổng quát và dự báo chỉ số kinh tế để quyết định tỷ trọng đầu tư Họ cũng chú trọng vào các ngành tiềm năng thông qua các chỉ số đại diện, và việc áp dụng mô hình Neural Network sẽ giúp dự đoán sự phát triển của các ngành trong tương lai.
Trong những năm gần đây, mô hình Neural Network đã được áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, y tế, địa chất và vật lý Điều này được lý giải bởi tính dễ sử dụng và khả năng xử lý tinh vi của nó, cho phép mô phỏng các hàm phức tạp Cấu trúc và quy trình hoạt động của mô hình này tương tự như cách con người học hỏi và chấp nhận sai sót trong hệ thống neuron sinh học.
Hiện nay, mô hình Neural Network rất đa dạng, trong đó mô hình Backpropagation nổi bật với cấu trúc đa lớp và nhiều tính năng ưu việt Mô hình này được sử dụng rộng rãi trong dự báo chuỗi thời gian trong tài chính và thu hút sự chú ý của giới báo chí Các thông số quan trọng trong thiết kế Backpropagation bao gồm xử lý dữ liệu, huấn luyện và topology Điểm mạnh của mô hình là khả năng xử lý hàm phi tuyến và so sánh các kết quả dự báo, từ đó đưa ra kết quả chính xác dựa trên tiêu chuẩn tối thiểu hóa sai số.
Các bước thiết kế một mô hình dự báo Neural Network 2.1 Sơ lược về việc thiết kế mô hình dự báo Neural Network
Quá trình lựa chọn các biến số
Thành công trong thiết kế Neural Network phụ thuộc vào việc hiểu rõ vấn đề cần giải quyết và xác định các biến số đầu vào quan trọng trong thị trường dự báo Điều này không hề đơn giản, nhưng sức mạnh của Neural Network trong việc phát hiện các mối quan hệ phi tuyến phức tạp giữa các biến số là lý do khiến nó ngày càng được ưa chuộng Các lý thuyết kinh tế có thể hỗ trợ trong việc chọn lựa các biến số dự báo quan trọng Trong giai đoạn này của thiết kế, việc xử lý dữ liệu thô từ nhiều chỉ số đa dạng là cần thiết, vì chúng sẽ tạo thành các đầu vào thực sự cho Neural Network.
Các nhà nghiên cứu tài chính đang tìm cách dự báo giá thị trường bằng cách kết hợp các yếu tố đầu vào kinh tế cơ bản và kỹ thuật từ nhiều thị trường Yếu tố kỹ thuật bao gồm các giá trị trễ của biến phụ thuộc, trong khi yếu tố cơ bản là các biến kinh tế ảnh hưởng đến các biến này Mô hình Neural Network cơ bản sử dụng các giá trị trễ để dự đoán giá cả, thường cho kết quả tốt hơn so với mô hình Box-Jenkins truyền thống Một phương pháp phổ biến là tính toán các chỉ số kỹ thuật từ giá cả trong quá khứ và các yếu tố ngẫu nhiên khác Việc sử dụng dữ liệu liên thị trường, như tỷ giá chéo giữa các đồng tiền và chênh lệch lãi suất, có thể cải thiện độ chính xác của dự báo Thông tin cơ bản như tài khoản vãng lai, cung tiền và chỉ số giá bán sỉ cũng rất hữu ích trong quá trình dự báo.
Chu kỳ dữ liệu phụ thuộc vào mục tiêu nghiên cứu của nhà đầu tư Nhà kinh doanh không sàn trong thị trường cổ phiếu hay hàng hóa giao sau thường sử dụng dữ liệu theo ngày khi thiết kế Neural Network cho hệ thống giao dịch Ngược lại, nhà đầu tư với tầm nhìn dài hạn thường chọn dữ liệu theo tuần hoặc tháng để tối ưu hóa tài sản hỗn hợp, thay vì áp dụng chiến lược mua hay giữ tiêu cực Ngoài ra, các dự báo kinh tế về GDP, tỷ lệ thất nghiệp và các chỉ số kinh tế vĩ mô thường dựa vào dữ liệu theo tháng hoặc quý.
Quá trình thu thập dữ liệu
Nhà nghiên cứu cần xem xét chi phí và tính khả dụng của dữ liệu khi thu thập thông tin cho các biến số đã chọn Dữ liệu kỹ thuật thường dễ dàng tiếp cận từ các nhà cung cấp với chi phí hợp lý, trong khi thông tin cơ bản lại khó thu thập hơn Thời gian dành cho việc thu thập dữ liệu có thể ảnh hưởng đến quá trình xử lý, đào tạo và đánh giá hiệu suất của hệ thống Việc chọn nhà cung cấp uy tín là quan trọng để đảm bảo dữ liệu chất lượng cao, tuy nhiên, tất cả dữ liệu cần được kiểm tra kỹ lưỡng để phát hiện lỗi, bao gồm việc theo dõi các thay đổi hàng ngày, phạm vi và tính ổn định của dữ liệu, cũng như xử lý các quan sát bị thiếu.
Các quan sát bị thiếu có thể được xử lý theo nhiều cách, bao gồm việc loại bỏ hoàn toàn hoặc sử dụng phương pháp nội suy để giả định rằng các quan sát này vẫn giữ nguyên giá trị Một phương pháp phổ biến là mã hóa các neuron đầu vào của những quan sát bị thiếu thành giá trị không hoặc một giá trị đại diện cho sự thiếu hụt.
Khi sử dụng dữ liệu cơ bản làm đầu vào cho Neural Network, cần chú ý bốn vấn đề quan trọng Đầu tiên, phương pháp tính toán các chỉ số cơ bản phải được duy trì ổn định qua các khoảng thời gian Thứ hai, dữ liệu không nên bị lặp lại từ thời điểm có hiệu lực trong quá khứ sau khi đã được công bố lần đầu, vì các con số lặp lại không có sẵn trong dự báo thực tế Thứ ba, cần đảm bảo rằng dữ liệu có độ trễ phù hợp khi đưa vào Neural Network, do dữ liệu cơ bản không nhanh chóng có sẵn như các công bố từ thị trường Cuối cùng, nhà nghiên cứu cần tin tưởng rằng các nguồn thông tin sẽ tiếp tục cung cấp các dữ liệu cơ bản cụ thể hoặc các nguồn tương tự vẫn có sẵn.
Quá trình xử lý và phân tích dữ liệu
Xử lý dữ liệu là quá trình phân tích và chuyển đổi các biến đầu vào và đầu ra nhằm giảm thiểu độ nhiễu, nhấn mạnh các mối quan hệ quan trọng, phát hiện xu hướng, và làm phẳng sự phân phối của các biến số để hỗ trợ Neural Network trong việc học tập các mẫu hình liên quan Việc thể hiện dữ liệu là rất quan trọng trong thiết kế hệ thống thành công, vì Neural Network hoạt động dựa trên các sự kết hợp mẫu hình Dữ liệu thu thập thường không được cung cấp dưới dạng thô mà cần được phân chia thành các ranh giới trên và dưới của hàm chuyển đổi, thường nằm trong khoảng [0 – 1] hoặc [-1 – 1].
Trong quá trình chuyển đổi dữ liệu, hai phương pháp phổ biến là lấy đạo hàm và áp dụng log tự nhiên cho biến số Đạo hàm giúp loại bỏ xu hướng tuyến tính trong dữ liệu, trong khi việc sử dụng logarit rất hữu ích cho các dữ liệu có giá trị dao động lớn và nhỏ, đặc biệt là khi phân phối có đuôi dài về phía bên phải.
Biểu đồ 2.1 thể hiện rõ ràng hiệu ứng của việc chuyển đổi logarit trong khối lượng giao dịch tương lai hàng tháng của lúa mì Những chuyển đổi này không chỉ bao gồm các phép logarit mà còn liên quan đến nhiều lần và các tỷ số, nhằm đơn giản hóa và cải thiện quá trình đào tạo của hệ thống.
Hình 2.1: Phép chuyễn đổi logaric khối lượng giao dịch tương lai hàng tháng của lúa mì
Ttrước khi chuyển đổi Log tự nhiên
Sau khi chuyển đổi Log tự nhiên
Một phương pháp chuyển đổi dữ liệu phổ biến là sử dụng tỷ số giữa các biến đầu vào, giúp làm nổi bật các mối quan hệ quan trọng như giữa lợn và bắp, cũng như các tỷ số trong báo cáo tài chính Đồng thời, việc này cũng yêu cầu mức độ bảo tồn khác nhau của sự tự do, vì khi số lượng neuron đầu vào giảm, cần phải mã hóa các biến độc lập một cách hiệu quả hơn.
Các nhà phân tích kỹ thuật có thể sử dụng Neural Network để tích hợp nhiều chỉ số như trung bình di động, oscillators, và đường phương hướng nhằm tối ưu hóa quy trình phân tích Việc kết hợp các chỉ số này không chỉ giảm thiểu sự dư thừa của các biến số mà còn giúp hệ thống thích ứng linh hoạt với những thay đổi của thị trường.
Việc san bằng dữ liệu đầu vào và đầu ra bằng trung bình di động đơn và mũ là một phương pháp phổ biến Kinh nghiệm trong huấn luyện lý thuyết thị trường cho thấy giá cả thể hiện sự phụ thuộc theo thời gian và có tính tự tương quan dương, trong khi sự biến động giá cả xung quanh xu hướng hoặc ngẫu nhiên Do đó, việc dự báo sự thay đổi giá cả như một đầu vào có thể gặp nhiều khó khăn Sử dụng trung bình di động để san bằng các biến độc lập và dự báo xu hướng có thể là một cách tiếp cận tiềm năng hơn.
Lấy mẫu và lọc dữ liệu giúp tạo ra phân phối đồng nhất hơn từ các quan sát trong quá trình huấn luyện Neural Network Việc chọn lọc bộ lọc phù hợp với mục tiêu nghiên cứu là rất quan trọng, ví dụ như trong phân tích biến động giá hàng hóa, nơi những thay đổi nhỏ có thể không mang lại lợi nhuận cho nhà đầu cơ Những biến động nhỏ này ảnh hưởng lớn đến quá trình đào tạo Neural Network, vì chúng chiếm phần lớn dữ liệu thực tế Hệ thống tối thiểu hóa tổng bình phương sai số trong quá trình đào tạo, và việc loại bỏ những thay đổi nhỏ này có thể cải thiện hiệu quả của hệ thống, giúp tập trung vào những biến động giá lớn hơn mang lại lợi nhuận tiềm năng Các hệ thống giao dịch có thể trở nên phi lợi nhuận ngay cả khi Neural Network dự đoán đúng 85% các điểm xoay chiều, vì những điểm này có thể không quan trọng Tuy nhiên, các nhà giao dịch nắm giữ vị thế qua đêm lại quan tâm đến những thay đổi nhỏ này Nhà nghiên cứu cần hiểu rõ cách nghiên cứu Neural Network, và lọc dữ liệu cũng giúp giảm số lượng huấn luyện thực tế, cho phép kiểm tra nhiều biến đầu vào hơn.
Quá trình tiền xử lý dữ liệu thường liên quan đến việc thử nghiệm và điều chỉnh, trong đó việc lựa chọn các biến đầu vào phù hợp có thể được thực hiện bằng cách kiểm tra nhiều sự kết hợp khác nhau Một phương pháp là lập danh sách “top 20” các biến số, bao gồm các chỉ số kỹ thuật, và thử nghiệm từng nhóm mười biến một với các biến kết hợp khác nhau Mặc dù phương pháp này đòi hỏi nhiều tài nguyên tính toán, nhưng nó giúp xác định các biến số có khả năng dự đoán tốt khi kết hợp với nhau Lý thuyết hỗn độn và các phương pháp thống kê không thể đưa ra quyết định chính xác như vậy Danh sách top 20 cũng có thể được điều chỉnh theo thời gian, dựa trên kinh nghiệm của nhà nghiên cứu về các phương pháp tiền xử lý phù hợp cho ứng dụng của họ, điều này đặc biệt hữu ích khi tất cả 20 biến đầu vào được đưa vào Neural Network cùng một lúc.
Phân chia dữ liệu cho từng giai đoạn: huấn luyện, kiểm tra và công nhận
Thủ tục thông thường trong huấn luyện mô hình Neural Network được chia thành ba giai đoạn: huấn luyện, kiểm tra và công nhận Giai đoạn huấn luyện chiếm phần lớn thời gian, giúp mô hình nắm bắt kiểu mẫu của dữ liệu Quá trình kiểm tra sử dụng 10% đến 30% dữ liệu từ nhóm huấn luyện để đánh giá khả năng tổng quát của mô hình Nhà nghiên cứu sẽ lựa chọn các hệ thống có hiệu suất tốt nhất trong giai đoạn này Giai đoạn công nhận là bước kiểm tra cuối cùng, cần được thiết kế sao cho có đủ mẫu để đánh giá hệ thống mà vẫn giữ lại đủ dữ liệu cho huấn luyện và kiểm tra Quá trình công nhận nên tập trung vào các quan sát gần nhau và không nên sử dụng như một bước kiểm tra lặp lại trong chuỗi huấn luyện – kiểm tra – công nhận.
Quá trình kiểm tra có thể được thực hiện bằng cách chọn ngẫu nhiên từ dữ liệu huấn luyện hoặc sử dụng toàn bộ các quan sát ngay sau quá trình huấn luyện Việc lựa chọn ngẫu nhiên giúp tránh được rủi ro từ việc kiểm tra trên một thị trường cụ thể, ví dụ như một quá trình kiểm tra nhỏ có thể chỉ phản ánh giá trong điều kiện thị trường tăng mạnh Điều này dẫn đến việc quá trình kiểm tra thiên về các hệ thống chuyên về xu hướng tăng giá, trong khi các hệ thống được mô tả tốt cho cả xu hướng tăng và giảm giá có thể bị bỏ qua Hơn nữa, các mẫu được lấy ngay sau quá trình huấn luyện thường quan trọng hơn so với dữ liệu cũ hơn trong kiểm tra thực tế.
Việc chọn ngẫu nhiên trong kiểm tra các sự kiện không nên bị thay thế trong quá trình huấn luyện, vì điều này có thể ảnh hưởng đến khả năng đánh giá tổng quát, đặc biệt khi mối quan hệ giữa quá trình kiểm tra và huấn luyện lớn hơn 30% Ngoài ra, phương pháp quyết định như việc chọn mỗi quan sát trong kiểm tra thực tế cũng không cần thiết, vì nó có thể dẫn đến kết quả không chính xác trong các chu kỳ dữ liệu mẫu, hoàn toàn phụ thuộc vào kỹ thuật chọn mẫu đã sử dụng.
Một phương pháp hiệu quả để đánh giá Neural Network là sử dụng phép thử walk-forward, hay còn gọi là phép thử trượt Phép thử này phân chia dữ liệu thành các chuỗi huấn luyện, kiểm tra và công nhận chồng chéo Mỗi chuỗi này được di chuyển qua thời gian, nhằm đánh giá tính trung thực và thực tiễn của mô hình trong một tập dữ liệu ngoài mẫu Kích thước của quá trình công nhận yêu cầu mô hình Neural Network phải được huấn luyện lại thường xuyên Mặc dù việc huấn luyện lại tốn nhiều thời gian, nhưng nó giúp mạng lưới nhanh chóng thích nghi với những thay đổi của thị trường.
Tính nhất quán của kết quả trong nhóm dữ liệu ngoài mẫu là một chỉ số quan trọng, đặc biệt trong các hệ thống điều chỉnh thông thường Chẳng hạn, nếu Neural Network dự đoán kém trong những giai đoạn ngoài mẫu dẫn đến sự giảm sút vốn nghiêm trọng, nó sẽ không được bổ sung để giảm thiểu rủi ro phá sản.
Hình 2.2 Phép thử Wark-forward trong chuỗi thời gian
Cần lưu ý rằng tỷ lệ giữa quá trình huấn luyện và kiểm tra phải đồng nhất, bởi vì mục tiêu của kiểm tra là đánh giá khả năng của mạng nơ-ron Đồng thời, quá trình công nhận cũng cần tương ứng với quá trình huấn luyện hoặc kiểm tra, nhằm đảm bảo tính toàn vẹn và độc lập trong việc kiểm duyệt mạng nơ-ron Trong thực tế, các nhà nghiên cứu không thể biết chính xác các giá trị tương lai, mà chỉ có thể đưa ra đánh giá hợp lý dựa trên các quá trình huấn luyện và kiểm tra đã thực hiện.
Xác định các thông số cho Neural Network
Có nhiều phương pháp để xây dựng Mạng Nơ-ron Neurodynamic và kiến trúc là hai cách để mô tả cách tổ chức của Mạng Nơ-ron Sự kết hợp giữa Neurodynamics và kiến trúc giúp xác định rõ ràng cấu trúc của Mạng Nơ-ron.
Neurodynamic mô tả chức năng truyền tải của từng neuron và cách mà các biến đầu vào được kết nối Kiến trúc của mạng nơ-ron xác định cấu trúc của nó, bao gồm số lượng neuron trong mỗi lớp, cũng như số lượng, loại và mối quan hệ giữa chúng.
Số lượng neuron đầu vào là yếu tố dễ dàng thu thập khi các biến độc lập đã được huấn luyện sơ bộ, vì mỗi biến độc lập tương ứng với một neuron đầu vào riêng biệt.
2.6.1 Tính toán số lượng các lớp ẩn
Các lớp ẩn trong mạng nơ-ron cung cấp khả năng cho mạng để học và biểu diễn các chức năng phức tạp Về lý thuyết, một mạng nơ-ron với đủ số lượng nơ-ron trong một lớp ẩn có thể mô phỏng bất kỳ chức năng nào Tuy nhiên, trong thực tế, các mạng nơ-ron thường sử dụng một hoặc hai lớp ẩn và vẫn cho hiệu suất tốt Việc tăng số lượng lớp ẩn có thể dẫn đến thời gian tính toán dài hơn và nguy cơ "học quá mức", làm giảm khả năng dự đoán cho dữ liệu ngoài mẫu "Học quá mức" xảy ra khi mô hình trở nên quá phức tạp và phù hợp quá mức với dữ liệu huấn luyện Trong mạng nơ-ron, mức độ ảnh hưởng của các yếu tố như kích thước tập huấn luyện và số lượng nơ-ron quyết định khả năng xảy ra "học quá mức" Khi kích thước tập huấn luyện lớn, khả năng của mạng để ghi nhớ các đặc điểm riêng lẻ cũng tăng, dẫn đến việc mất khả năng khái quát hóa và làm giảm hiệu quả dự đoán trong thực tế.
Khi xây dựng hệ thống Neural Network, nên bắt đầu với một hoặc hai lớp ẩn Nếu Neural Network có bốn lớp, tức là hai lớp ẩn, điều này có thể cho thấy sự không thỏa mãn sau nhiều lần kiểm tra với các neuron ẩn sử dụng trọng số ngẫu nhiên hợp lý Các nhà nghiên cứu nên xem xét các biến đầu vào trước khi thêm lớp ẩn thứ ba Cả lý thuyết và thực tiễn đều cho thấy rằng Neural Network với hơn bốn lớp ẩn thường không mang lại cải thiện về kết quả.
2.6.2 Tính toán số lượng các neuron ẩn
Việc lựa chọn số lượng neuron ẩn trong mạng nơ-ron không có công thức cố định nào, do đó các nhà nghiên cứu thường phải tiến hành các thí nghiệm Tuy nhiên, có một số quy tắc ngón tay cái có thể áp dụng, chẳng hạn như quy luật kim tự tháp do Masters nghiên cứu Theo quy luật này, trong một mạng gồm 3 lớp với n neuron đầu vào và m neuron đầu ra, số lượng neuron ẩn có thể được xác định gần đúng.
Baily và Thompson đề xuất rằng số lượng neuron ẩn trong Neural Network ba lớp nên bằng 75% số neuron đầu vào Katz chỉ ra rằng số lượng neuron ẩn tối ưu nằm trong khoảng từ 1 đến 3 lần số neuron đầu vào Ersoy khuyến nghị nên gấp đôi số neuron ẩn cho đến khi mô hình thể hiện tốt trong giai đoạn kiểm tra Klimasauskas cho rằng cần ít nhất 5 lần giai đoạn huấn luyện để xác định giới hạn trên cho số lượng neuron đầu vào và neuron ẩn Quy luật tính toán số neuron ẩn là bội số của số neuron đầu vào, đồng nghĩa với việc bước huấn luyện cần ít nhất gấp đôi số trọng số, và có thể lớn hơn gấp bốn lần Nếu không, quy luật này có thể dẫn đến mô hình "khít quá mức" do số neuron ẩn phụ thuộc hoàn toàn vào số neuron đầu vào Giải pháp là tăng kích thước bước huấn luyện hoặc thiết lập giới hạn trên cho số neuron đầu vào để số trọng số ít nhất bằng một nửa số lượng đã huấn luyện Việc lựa chọn biến đầu vào trở nên cực kỳ quan trọng trong Neural Network nhỏ, vì sự thoải mái trong việc lựa chọn số lượng biến đầu vào có thể dẫn đến việc bỏ qua những biến không phù hợp.
Việc chọn số lượng neuron ẩn "tốt nhất" cần được huấn luyện thông qua ba phương pháp chính: phù hợp, phát triển và cấu trúc lại Trong phương pháp phù hợp, nhiều Neural Network với số lượng neuron ẩn khác nhau được huấn luyện và đánh giá dựa trên các trọng số ngẫu nhiên Số lượng neuron ẩn có thể tăng lên tùy thuộc vào tài nguyên máy tính có sẵn Các tiêu chí ước lượng, như tổng sai lệch trong phần kiểm tra, thường tạo ra đồ thị sai lệch hình cái bát, với network có sai số thấp nhất nằm ở đáy bát, cho thấy hiệu suất tốt nhất Mặc dù phương pháp này tốn thời gian, nhưng thường mang lại kết quả khả quan.
Lối tiếp cận triển khai và cấu trúc lại tập trung vào việc điều chỉnh số lượng neuron ẩn trong quá trình huấn luyện, thay vì tạo ra các mạng lưới riêng biệt với số lượng neuron khác nhau Nhiều phần mềm Neural Network hiện tại không cho phép thêm hoặc bớt neuron ẩn trong quá trình huấn luyện Phương pháp cấu trúc bao gồm việc bổ sung neuron ẩn cho đến khi mô hình bắt đầu thể hiện sự suy giảm hiệu suất Trong khi đó, lối tiếp cận cấu trúc lại tương tự nhưng tập trung vào việc loại bỏ các neuron trong quá trình huấn luyện.
Để thu thập các neuron ẩn cho quá trình kiểm tra, nguyên tắc quan trọng là lựa chọn các neuron thể hiện tốt trong giai đoạn huấn luyện với số lượng neuron ẩn tối thiểu Khi kiểm tra các neuron ẩn, cần giữ tất cả các biến khác nhất quán để tránh gây ra sự phức tạp không cần thiết trong việc xác định số lượng neuron ẩn tối ưu, đồng thời giảm thiểu các sai phạm tiềm tàng trong mô hình Neural Network.
2.6.3 Tính toán số lượng các neuron đầu ra
Quyết định số lượng neuron đầu ra trong Neural Network là một thách thức, vì có lý do hấp dẫn để chỉ sử dụng một neuron đầu ra Hệ thống Neural Network với nhiều loại neuron đầu ra, đặc biệt khi chúng được trải dài, thường cho kết quả kém hơn so với một mạng chỉ có một biến đầu ra Neural Network được huấn luyện bằng cách tối ưu hóa trọng số để giảm sai số trung bình trên tất cả các neuron đầu ra Ví dụ, khi dự báo giá trong một tháng rưỡi, mạng sẽ tập trung vào việc giảm sai lệch lớn, tương tự như dự báo cho 6 tháng Do đó, việc cải thiện dự báo cho 1 tháng sẽ không hiệu quả nếu nó chỉ làm tăng sai số của dự báo 6 tháng thông qua nhiều mạng phân biệt Sự chuyên môn hóa trong thiết kế các mạng nhỏ hơn với nhiều biến hơn cũng giúp đơn giản hóa quá trình thử nghiệm và cải thiện độ chính xác của mô hình cuối cùng.
2.6.4 Xác định loại hàm truyền
Hàm truyền là các công thức toán học xác định đầu ra của quá trình neuron, đồng thời kết nối với các chức năng như thay đổi, nén, kích hoạt và đổi mới Hiện nay, mô hình Neural Network chủ yếu sử dụng hàm hình S, bên cạnh các hàm khác như tiếp tuyến và hồi quy Mục đích chính của hàm truyền là ngăn chặn các biến đầu ra đạt giá trị quá lớn, điều này có thể "làm liệt" mô hình và hạn chế quá trình huấn luyện.
Hàm truyền tuyến tính không có ích lắm trong các ánh xạ và loại phi tuyến
Levich và Thoma, cùng với Kao và Ma, đã chỉ ra rằng các thị trường tài chính mang tính phi tuyến Họ cũng đề xuất rằng các hàm truyền phi tuyến sẽ phù hợp hơn để phân tích Trong số các hàm truyền, hình sigma được sử dụng phổ biến cho dữ liệu chuỗi thời gian nhờ vào tính phi tuyến của nó, và các đặc trưng tiếp diễn có thể trở thành những tính năng quan trọng trong mô hình Neural Network.
Dữ liệu thô thường đều có cùng tỷ lệ và ở giữa 0 – 1 và -1 đến 1, vì thế nó thường nhất quán với loại hàm truyền đang được sử dụng.
Tuyến tính và độ lệch chuẩn là hai phương pháp phổ biến trong hệ thống Neural Network Trong phương pháp tuyến tính, tất cả các biến được đo dựa trên giá trị lớn nhất và nhỏ nhất, được xác định theo công thức cụ thể.
SV là giá trị cần cân, trong khi TF đại diện cho giá trị tương ứng của hàm truyền D được xác định là giá trị của mẫu, bao gồm cả giá trị lớn nhất và nhỏ nhất của mẫu.
Lựa chọn kiểu huấn luyện mô hình Neural Network
Trong các hệ thống điều chỉnh thông thường, dự báo từ Neural Network có thể được chuyển đổi thành tín hiệu mua hoặc bán dựa trên các tiêu chuẩn đã thiết lập Cụ thể, nếu tất cả các dự báo đều lớn hơn 0.8 hoặc 0.9, đó được coi là dấu hiệu mua, trong khi dự báo nhỏ hơn 0.2 hoặc 0.1 sẽ là dấu hiệu bán Những tín hiệu này sau đó được đưa vào chương trình để tính toán các loại rủi ro, từ đó huấn luyện lại Neural Network để đưa ra kết quả đã được điều chỉnh theo rủi ro.
Mức độ sai sót thấp và lợi nhuận giao dịch đều cần thiết đối với nhà đầu tư.
Lọc lại chuỗi thời gian giúp loại bỏ các biến động giá nhỏ, từ đó giảm thiểu khả năng Neural Network đưa ra dự báo cao nhưng không mang lại lợi nhuận Giá trị của mỗi hệ thống giao dịch chỉ có thể được đánh giá trong bối cảnh danh mục đầu tư của người dùng Do đó, mô hình Neural Network trở nên hữu ích khi hoạt động như một hệ thống đếm xu hướng, khác với các hệ thống theo sau xu hướng của trái phiếu truyền thống.
2.8 LỰA CHỌN KIỂU HUẤN LUYỆN MÔ HÌNH NEURAL NETWORK
Quá trình huấn luyện mạng lưới Neural nhằm học hỏi các mô hình dữ liệu liên quan đến việc nhận diện câu trả lời chính xác thông qua mạng lưới Neural có tính lặp lại Mục tiêu chính là điều chỉnh trọng số giữa các neuron để đạt được mức tối thiểu của chức năng sai số Nếu mô hình không bị "khít quá mức", trọng số sẽ được điều chỉnh để giảm thiểu sai số Tuy nhiên, việc tìm ra mức tối thiểu toàn cục không được đảm bảo, vì bề mặt sai số có thể chứa các cực tiểu cục bộ, dẫn đến khả năng bế tắc trong thuật toán.
Thuật ngữ momentum và việc xếp đặt ngẫu nhiên các trọng số ban đầu từ 5 đến 10 có thể nâng cao khả năng đạt được mức tối thiểu chung Phần này sẽ được thảo luận sau khi hoàn thành quá trình huấn luyện mạng Neural, bao gồm việc lựa chọn tỷ lệ học và các giá trị momentum.
2.8.1 Xác định thông số lặp lại quá trình huấn luyện
Có hai trường phái tư duy về thời điểm dừng huấn luyện trong mạng nơ-ron Thứ nhất, việc dừng huấn luyện nên dựa trên việc không còn cải tiến nào trong công thức sai số, cho đến khi mạng đạt được sự hội tụ với các trọng số ban đầu được chọn ngẫu nhiên Thứ hai, một phương pháp khác là dừng huấn luyện sau một số lượng gián đoạn nhất định, cho phép mạng tổng quát hóa tốt hơn thông qua việc đánh giá khả năng của nó trên các quá trình kiểm tra Tổng quát hóa được coi là quan trọng, vì nó cho phép mô hình dự đoán chính xác hơn dựa trên mẫu dữ liệu đã có Mạng nơ-ron nên được huấn luyện để tối ưu hóa khả năng tổng quát hóa này.
Sự phê bình về các thủ tục huấn luyện và kiểm tra cho thấy rằng các gián đoạn trong quá trình này có thể dẫn đến lỗi trong việc thiết lập huấn luyện và kiểm tra, gây khó khăn trong việc cải thiện hiệu suất Điều này đặt ra vấn đề về khả năng khái quát hóa của mạng lưới, đặc biệt khi các trọng số ban đầu được chọn một cách ngẫu nhiên, khiến cho việc xác định hiệu quả của việc huấn luyện thêm trở nên khó khăn.
Cả hai trường phái đều đồng thuận rằng khái quát hóa quá trình công nhận là mục tiêu cuối cùng, sử dụng các tập hợp kiểm tra để đánh giá nhiều mạng lưới Họ tiếp cận việc huấn luyện với ý niệm về “học quá mức”, trong đó “học quá mức” là dấu hiệu của mạng lưới có quá nhiều trọng số Giải pháp là giảm số lượng các lớp ẩn và tăng kích cỡ tập huấn luyện Việc huấn luyện - kiểm tra nhằm ngăn chặn “học quá mức” bằng cách dừng lại dựa trên khả năng khái quát hóa của mạng Ưu điểm của phương pháp hội tụ là đảm bảo đạt mức tối thiểu chung, mặc dù tái tạo có thể khó khăn do sự biến động trong quá trình huấn luyện Nhà nghiên cứu chỉ cần lo lắng về hai thông số: thời điểm dừng huấn luyện và phương pháp đánh giá Mạng lưới có ít cấp độ tự do có thể đạt khái quát hóa tốt hơn so với phương pháp hội tụ dẫn đến “học quá mức”, và phương pháp huấn luyện có thể yêu cầu ít thời gian hơn.
Mục tiêu của sự hội tụ huấn luyện là đạt được một mức tối thiểu chung, yêu cầu huấn luyện đủ số lượng epoch với các trọng số ban đầu được chọn ngẫu nhiên Tuy nhiên, không có đảm bảo rằng mạng Backpropagation sẽ đạt được mức tối thiểu này Các nhà nghiên cứu cần điều chỉnh số lượng kết nối bên trong có thể thay đổi, số lượng neural ẩn, và số lượng trọng số ban đầu ngẫu nhiên Ví dụ, có thể kiểm tra 50 kết nối bên trong với 3 neural tiềm ẩn khác nhau, 5 nhóm trọng số ban đầu ngẫu nhiên và tối đa 4.000 quãng đường đi trong 3.000.000 epoch.
Trong thời gian tính toán tương đương, 10 kết nối bên trong có thể được kiểm tra với hơn 6 lớp neural ẩn, sử dụng 6 nhóm trọng số ban đầu được chọn ngẫu nhiên và thực hiện 5.000 tỷ epoch.
Một phương pháp xác định giá trị hợp lý cho số lượng tối đa các quãng đường đi ngắn là vẽ sơ đồ sự tương quan và tổng sai số ước lệ qua các epoch Số lượng này thường được xác định đến tối đa 10,000 epoch, với mỗi epoch có thể dễ dàng được vẽ sơ đồ nếu phần mềm mạng lưới neural cung cấp dữ liệu thống kê Nếu không, sự tương quan có thể được ghi nhận trong khoảng thời gian từ 100 đến 200 từ màn hình Sau khi vẽ sơ đồ sự tương quan của các trọng số khởi đầu ngẫu nhiên, nhà nghiên cứu có thể chọn số lượng tối đa dựa trên điểm mà sự tương quan ngừng gia tăng nhanh chóng.
Nhiều nghiên cứu đã chỉ ra rằng số lượng epoch ghi nhận sự hội tụ dao động từ 85 đến 5,000, nhưng cũng có các trường hợp lên đến 50,000 và 191,400 epoch với thời gian huấn luyện lên tới 60 giờ Việc huấn luyện bị ảnh hưởng bởi nhiều tham số như tỷ lệ học và momentum, cùng với các cải tiến độc quyền của thuật toán Backpropagation, khiến việc xác định một giá trị chung cho số lượng epoch tối ưu trở nên khó khăn Hơn nữa, độ chính xác của phần mềm mạng nơ-ron có thể ảnh hưởng đến quá trình huấn luyện, vì độ dốc của các dẫn xuất sai số có thể rất nhỏ, dẫn đến việc một số mạng nơ-ron di chuyển theo hướng sai do sai số được tạo ra nhanh chóng trong thuật toán huấn luyện lặp lại Do đó, các nhà nghiên cứu cần xác định số lượng epoch cần thiết để đạt được sự cải tiến không đáng kể cho các vấn đề cụ thể và kiểm tra nhiều trọng số khởi đầu ngẫu nhiên để tối ưu hóa hiệu suất máy tính.
2.8.2 Lựa chọn learning rate và momentum
Một mạng lưới BP được huấn luyện với thuật toán dốc xuống nhằm điều chỉnh theo diễn biến của bề mặt sai số Mục tiêu chính của quá trình huấn luyện này là tối thiểu hóa tổng các sai số ước lệ.
E là tổng sai số của tất cả các mẫu hình, trong đó E_h là sai số trên mô hình h Chỉ số h đại diện cho xếp hạng của các mô hình đầu vào, và i là chỉ số của neural đầu ra Giá trị t_hi là đầu ra mong muốn cho neural đầu ra i_th khi mô hình h được áp dụng Nguyên tắc nghiên cứu để huấn luyện trọng số giữa các neural i và j được định nghĩa bằng công thức: hi = (thi – Ohi) Ohi (1 – Ohi).
N hi = Ohi (1- Ohi)hkwjk k Δwij (n + 1) = ε ( δhiOhj) với: n là số trình bày δ hi là sai số của neural i của mô hình h
€là tỷ lệ nghiên cứu.
Tỷ lệ nghiên cứu sử dụng phương pháp cân xứng cố định để xác định kích thước của các thay đổi trọng số Những thay đổi trọng số của một neural mạng được cân xứng với ảnh hưởng của trọng số từ các neural khác đến sai số Sai số của neural bên ngoài và neural ẩn được tính toán theo các phương trình thường được sử dụng.
Hình 2.3 Ví dụ đơn giản về bề mặt sai số của Neural Network
Thuật toán kiểm nghiệm BP có thể được hình dung như việc ném quả banh từ điểm A đến điểm C, mặc dù thực tế bề mặt sai số là một đại lượng nhiều thứ nguyên không thể biểu diễn bằng đồ thị Lực đẩy vào quả banh tương tự như tỷ lệ nghiên cứu; nếu áp dụng quá nhiều lực, quả banh sẽ bay ra ngoài mục tiêu và có thể không trở lại điểm A hoặc dao động giữa A và B Trong quá trình huấn luyện, tỷ lệ nghiên cứu quá cao dẫn đến sự thay đổi dữ dội trong công thức sai số mà không cho thấy sự cải thiện liên tục Ngược lại, nếu lực đẩy quá ít, quả banh không thể thoát khỏi điểm A, thể hiện qua sự thiếu cải thiện trong công thức sai số Tỷ lệ nghiên cứu quá nhỏ cũng đòi hỏi thêm thời gian huấn luyện, buộc người nghiên cứu phải điều chỉnh tỷ lệ nghiên cứu hoặc "tẩy não" mạng lưới bằng cách thay đổi ngẫu nhiên các trọng số trong quá trình huấn luyện.
Tiến hành thực hiện mô hình
Việc thực hiện mô hình là bước cuối cùng, nhưng cần xem xét kỹ lưỡng trước khi tập hợp dữ liệu Dữ liệu có sẵn, tiêu chuẩn định giá và quá trình huấn luyện đều phụ thuộc vào môi trường phát triển hệ thống Neural Network Các nhà cung cấp phần mềm mô hình Neural Network thường cung cấp mạng lưới đã được huấn luyện, có thể tích hợp vào chương trình hoặc dưới dạng tệp thực thi Nếu không, việc tạo ra một mạng lưới huấn luyện có thể thực hiện dễ dàng trong bảng tính bằng cách hiểu cấu trúc, hàm truyền và trọng số Cần thận trọng với dữ liệu biến đổi, tỷ lệ và các tham số để đảm bảo tính nhất quán từ giai đoạn huấn luyện đến khi sử dụng thực tế.
Một trong những ưu điểm nổi bật của mô hình Neural Network là khả năng thích nghi với sự thay đổi của điều kiện thị trường thông qua quá trình huấn luyện trước đó Tuy nhiên, nếu không được huấn luyện lại, hiệu suất của mô hình sẽ giảm dần theo thời gian Mặc dù việc huấn luyện lại có thể cải thiện hiệu suất, nhưng không có đảm bảo rằng mô hình sẽ duy trì hiệu quả khi các giá trị thay đổi độc lập được lựa chọn.
Có ý kiến cho rằng việc huấn luyện lại mạng lưới nên diễn ra đồng thời với quá trình sử dụng trong giai đoạn huấn luyện cuối cùng của mô hình Tuy nhiên, khi huấn luyện nhiều mạng lưới để đạt được mô hình cuối cùng, tần suất huấn luyện lại có thể giảm để đảm bảo số lần huấn luyện hợp lý Một mô hình hiệu quả cần phải có khả năng chịu đựng tốt trước tần suất huấn luyện lại và sẽ thường xuyên cải thiện thông qua việc thay thế huấn luyện lại định kỳ.
Để thiết kế một mô hình Neural Network hoàn chỉnh, cần tuân theo quy trình tám bước Bước đầu tiên là lựa chọn các yếu tố đầu vào liên quan đến yếu tố đầu ra, tiếp theo là thu thập dữ liệu Sau khi có dữ liệu, chúng sẽ trải qua quá trình xử lý và phân tích Cuối cùng, cần phân chia dữ liệu cho từng giai đoạn khác nhau.
Để xây dựng một Neural Network hiệu quả, cần thực hiện các bước huấn luyện, kiểm tra và công nhận Đầu tiên, xác định các thông số quan trọng như số lượng lớp ẩn, neuron ẩn, neuron đầu ra và loại hàm truyền Tiếp theo, thiết lập các tiêu chuẩn đánh giá kết quả mong đợi và yêu cầu cho quá trình huấn luyện Cuối cùng, triển khai mô hình trên phần mềm phù hợp để đạt được kết quả tối ưu.
Ứng dụng Neural Network vào thị trường tài chính Việt Nam 3.1 Dự báo kinh tế Việt Nam 2008
Lạm phát
Trong những tháng gần đây, tỷ lệ lạm phát đã tăng cao, đạt 8,6% vào tháng 8 và 8,8% vào tháng 9 năm 2007, chủ yếu do giá thực phẩm tăng mạnh Dự báo giá dầu thô thế giới sẽ giảm, giúp giảm áp lực tăng giá nhiên liệu và các dịch vụ, hàng hóa khác Chính phủ đã cắt giảm thuế nhập khẩu cho một số sản phẩm nhằm kiểm soát lạm phát Tuy nhiên, dòng vốn đầu tư vào trong nước dự kiến vẫn tăng, dẫn đến tăng cung tiền và áp lực lạm phát Dự báo lạm phát cả năm 2007 sẽ ở mức khoảng 8,1%, giảm xuống 7,8% vào năm 2008 và 7,2% vào năm 2009.
Tỷ giá hối đoái
Vào đầu tháng 1 năm 2007, Ngân hàng Nhà nước đã quyết định nới rộng biên độ dao động tỷ giá VND/USD từ 0,25% lên 0,5% mỗi ngày, cho phép tỷ giá có khả năng biến động mạnh hơn.
Trong năm 2008, đồng VND dự báo sẽ tăng giá so với USD nhờ vào luồng vốn vào mạnh mẽ, thu từ xuất nhập khẩu và kiều hối gia tăng Tỷ giá VND/USD được ước tính ở mức trung bình 16.059 trong năm 2008, nhưng sẽ giảm xuống 16.150 vào năm 2009 khi đồng USD được củng cố trên thị trường ngoại hối quốc tế.
Tỷ giá VNĐ/JPY được dự báo sẽ tăng trong giai đoạn 2008 – 2009 Trong bối cảnh hiện tại, VNĐ có khả năng sẽ tiếp tục giảm giá so với đồng euro trong năm 2008, nhưng dự kiến sẽ tăng giá vào năm 2009.
Trong giai đoạn 2008-2009, tổng kim ngạch xuất khẩu hàng hóa của Việt Nam dự báo tăng 15,3% tính theo giá USD, mặc dù tốc độ tăng này thấp hơn so với giai đoạn 2005-2006 Sự gia nhập WTO đã giúp các nhà xuất khẩu Việt Nam dễ dàng tiếp cận thị trường toàn cầu và giảm bớt hàng rào thuế quan Mặc dù có khả năng đạt mức tăng kim ngạch xuất khẩu hai con số, Việt Nam vẫn bị coi là nền kinh tế "phi thị trường" trong 12 năm sau khi gia nhập WTO, dễ bị kiện chống bán phá giá Đồng thời, nhập khẩu dự báo sẽ tăng nhanh do nhu cầu về hàng hóa trung gian, máy móc thiết bị và hàng hóa tiêu dùng gia tăng, khi Việt Nam tiếp tục cắt giảm thuế theo cam kết với ASEAN và WTO.
Cán cân thương mại hàng hóa dự báo tiếp tục thâm hụt trong giai đoạn 2008 –
Năm 2009, thâm hụt tài khoản dịch vụ và thu nhập gia tăng, mặc dù doanh thu từ du lịch có xu hướng tăng Tuy nhiên, việc nhập khẩu các dịch vụ thương mại cũng tăng mạnh, cùng với sự mở rộng của khu vực đầu tư nước ngoài, dẫn đến việc dự báo tăng lợi nhuận chuyển ra nước ngoài Các dòng vốn chuyển giao vãng lai tiếp tục tăng, và khoản thặng dư trong chuyển giao này sẽ bù đắp cho thâm hụt trong tài khoản dịch vụ và thu nhập Dù vậy, thâm hụt thương mại hàng hóa cũng gia tăng, khiến tài khoản vãng lai dự kiến sẽ thâm hụt 2,1%.
GDP trong năm 2008 và 2,3% GDP trong năm 2009.
3.2 LỰA CHỌN PHẦN MỀM XỨ LÝ MÔ HÌNH
Hiện nay, nhu cầu sử dụng mô hình Neural Network ngày càng tăng, dẫn đến sự phát triển của nhiều phần mềm thiết kế và xử lý bên cạnh MATLAB truyền thống Một số phần mềm phổ biến cho mô hình Neural Network bao gồm Alyuda NeuroIntelligence, Stuttgart Neural Network Simulator, Emergen, JavaNNS và NeuroSolutions.
Sau khi thử nghiệm và tìm hiểu nhiều phần mềm khác nhau, chúng tôi đã quyết định chọn Neuro Solutions để xây dựng mô hình Neural Network, nhờ vào những tính năng đặc biệt mà nó cung cấp.
NeuroSolutions là một trong những phần mềm hàng đầu hiện nay trong việc mô phỏng mô hình Neural Network Chương trình bao gồm hai module chính: Neuro Expert và Neuro Builder Trong khi Neuro Builder yêu cầu người dùng có kiến thức sâu về thuật toán và cách thiết kế mô hình, Neuro Expert lại cung cấp một giao diện thân thiện hơn, giúp đơn giản hóa quá trình thiết lập mô hình nhờ vào tính năng tự động hóa Do đó, để thuận tiện cho việc ứng dụng mô hình, tôi đã chọn sử dụng Neuro Expert.
Hình 3.1: Giới thiệu giao diện phần mềm NeuroSolutions
Chương trình NeuroSolutions tự động chọn lớp ẩn phù hợp với dữ liệu đầu vào và đầu ra, đồng thời điều chỉnh các hệ số như Learning rate, Momentum và số epoch Mặc định, số epoch trong quá trình training là 1000 Ngoài ra, chương trình còn cung cấp tiện ích theo dõi dữ liệu training qua biểu đồ kết quả Đặc biệt, ngay cả khi dữ liệu đầu vào có mối tương quan thấp với dữ liệu đầu ra, chúng vẫn được sử dụng và điều chỉnh với trọng số nhỏ.
3.3 CÁCH THỨC THU THẬP VÀ XỬ LÝ DỮ LIỆU THÔ 3.3.1 Các nhân tố ảnh hưởng thị trường chứng khoán Việt Nam
Thị trường chứng khoán đóng vai trò quan trọng trong nền kinh tế, vì vậy mọi biến động trong nền kinh tế sẽ ảnh hưởng trực tiếp hoặc gián tiếp đến thị trường này.
Theo các chuyên gia và nhà đầu tư chứng khoán, tâm lý bầy đàn hiện đang là yếu tố ảnh hưởng lớn nhất đến thị trường chứng khoán Tuy nhiên, kỳ vọng của nhà đầu tư còn bị tác động bởi các chính sách kinh tế của Chính phủ Sự thay đổi thường xuyên trong các chính sách này đã khiến nhiều nhà đầu tư giảm bớt đầu tư vào thị trường chứng khoán và chuyển hướng sang các kênh sinh lời khác như bất động sản, thị trường vàng và kinh doanh ngoại tệ.
Các yếu tố tác động đến tâm lý nhà đầu tư bao gồm tỷ giá USD/VND, lãi suất tiền gửi, GDP, CPI, và giá trị giao dịch của nhà đầu tư nước ngoài, cùng với khối lượng giao dịch hàng ngày của VN-INDEX Ngoài ra, các yếu tố quốc tế như chỉ số S&P500 của Mỹ và SSE của Trung Quốc cũng có ảnh hưởng đáng kể Những yếu tố này phản ánh tình trạng nền kinh tế Việt Nam, đặc biệt là sau khi gia nhập WTO, khiến nền kinh tế toàn cầu ngày càng tác động mạnh mẽ đến thị trường chứng khoán trong nước.
VN-INDEX là chỉ số chính của thị trường chứng khoán Việt Nam, phản ánh tình hình giao dịch và biến động giá cổ phiếu Khối lượng giao dịch toàn thị trường của VN-INDEX (KL_VNINDEX) cho thấy mức độ hoạt động của nhà đầu tư, trong khi tổng khối lượng mua vào của nhà đầu tư nước ngoài (NNKLMUA), bao gồm cả giao dịch thỏa thuận, cung cấp cái nhìn về sự quan tâm của nhà đầu tư quốc tế đối với thị trường Việt Nam.
NNKLBAN: Tổng khối lượng bán ra của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
NNGTMUA: Tổng giá trị tiền mua vào của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
NNGTBAN: Tổng giá trị tiền bán ra của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
CPI: Chỉ số hàng tiêu dùng của cả nước LAMPHAT: Tỷ số phần trăm lạm phát so với kỳ gốc năm 2005 là 100 USD/VND: Tỷ giá USD/VND
JPY/VND: Tỷ giá JPY/VNDEUR/VND: Tỷ giá EUR/VNDXKXANG: Khối lượng xuất khẩu dầu thôNKXANG: Khói lượng nhập khẩu xăng
GDP_GTT là tổng sản phẩm quốc nội được tính theo giá thực tế, phản ánh sức mạnh kinh tế của một quốc gia SP500 là chỉ số đại diện cho các công ty vừa và nhỏ tại Mỹ, thể hiện tình hình thị trường chứng khoán của khu vực này SSE B là chỉ số chứng khoán của thị trường Thượng Hải, Trung Quốc, cung cấp cái nhìn về hoạt động tài chính tại đây LS3THANG là lãi suất tiết kiệm áp dụng cho kỳ hạn 3 tháng, ảnh hưởng đến quyết định đầu tư và tiết kiệm của người dân.
LS6THANG và LS12THANG là lãi suất tiết kiệm tương ứng với kỳ hạn 6 tháng và 12 tháng Mô hình Neural Network tự động phát hiện các mối tương quan giữa các biến, cho phép chúng ta không cần phải đồng nhất đơn vị tính của từng biến Các biến nhập có thể ở bất kỳ đơn vị nào, và trong quá trình huấn luyện, mô hình sẽ tự động điều chỉnh sự khác biệt về đơn vị và làm việc với dữ liệu đã được chuẩn hóa.
3.3.2 Cách thức thu thập và điều chỉnh dữ liệu đầu vào
Cách thức thu thập và xử lý dữ liệu thô
Thị trường chứng khoán là một phần quan trọng của nền kinh tế, do đó, mọi biến động trong nền kinh tế sẽ ảnh hưởng trực tiếp hoặc gián tiếp đến hoạt động của thị trường chứng khoán.
Theo nhiều chuyên gia và nhà đầu tư chứng khoán, tâm lý bầy đàn đang là yếu tố tác động lớn nhất đến thị trường chứng khoán hiện nay Tuy nhiên, kỳ vọng của nhà đầu tư còn chịu ảnh hưởng từ các chính sách kinh tế của Chính phủ Sự thay đổi liên tục trong các chính sách này đã khiến nhiều nhà đầu tư giảm bớt đầu tư vào thị trường chứng khoán và chuyển hướng sang các kênh sinh lời khác như bất động sản, thị trường vàng và kinh doanh ngoại tệ.
Các yếu tố tác động đến tâm lý nhà đầu tư bao gồm tỷ giá USD/VND, lãi suất tiền gửi, GDP, CPI, giá trị giao dịch của nhà đầu tư nước ngoài và khối lượng giao dịch hàng ngày của VN-INDEX Ngoài ra, các yếu tố quốc tế như chỉ số S&P500 của Mỹ và SSE của Trung Quốc cũng có ảnh hưởng đáng kể Những yếu tố này phản ánh tình trạng nền kinh tế Việt Nam, đặc biệt là sau khi gia nhập WTO, khi mà nền kinh tế toàn cầu ngày càng tác động mạnh mẽ đến thị trường trong nước.
VNINDEX là chỉ số chính của thị trường chứng khoán Việt Nam, phản ánh tình hình chung của các cổ phiếu niêm yết KL_VNINDEX đại diện cho khối lượng giao dịch toàn thị trường, cho thấy mức độ hoạt động của nhà đầu tư NNKLMUA thể hiện tổng khối lượng mua vào của nhà đầu tư nước ngoài, bao gồm cả giao dịch thỏa thuận, giúp đánh giá sự quan tâm của nhà đầu tư quốc tế đối với thị trường Việt Nam.
NNKLBAN: Tổng khối lượng bán ra của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
NNGTMUA: Tổng giá trị tiền mua vào của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
NNGTBAN: Tổng giá trị tiền bán ra của nhà đầu tư nước ngoài (bao gồm giao dịch thỏa thuận)
CPI: Chỉ số hàng tiêu dùng của cả nước LAMPHAT: Tỷ số phần trăm lạm phát so với kỳ gốc năm 2005 là 100 USD/VND: Tỷ giá USD/VND
JPY/VND: Tỷ giá JPY/VNDEUR/VND: Tỷ giá EUR/VNDXKXANG: Khối lượng xuất khẩu dầu thôNKXANG: Khói lượng nhập khẩu xăng
GDP_GTT là tổng sản phẩm quốc nội được tính theo giá thực tế, phản ánh sức mạnh kinh tế của một quốc gia SP500 là chỉ số đại diện cho các công ty vừa và nhỏ tại Mỹ, cho thấy tình hình thị trường chứng khoán của những doanh nghiệp này SSE B là chỉ số chứng khoán của thị trường Thượng Hải, Trung Quốc, cung cấp cái nhìn tổng quan về hiệu suất của các công ty niêm yết tại đây LS3THANG là lãi suất tiết kiệm cho kỳ hạn 3 tháng, ảnh hưởng đến quyết định đầu tư và tiết kiệm của người dân.
LS6THANG và LS12THANG là các lãi suất tiết kiệm tương ứng với kỳ hạn 6 tháng và 12 tháng Nhờ vào tính năng của mô hình Neural Network, hệ thống tự động nhận diện các mối quan hệ giữa các biến mà không yêu cầu phải thống nhất đơn vị đo lường Các biến đầu vào có thể sử dụng bất kỳ đơn vị nào, và trong quá trình huấn luyện, mô hình sẽ tự động điều chỉnh các sai lệch về đơn vị và làm việc với dữ liệu đã được điều chỉnh.
3.3.2 Cách thức thu thập và điều chỉnh dữ liệu đầu vào
Việc thu thập dữ liệu phải dựa trên các trang web uy tín và cần đảm bảo tính nhất quán về thời gian Chúng tôi tổ chức dữ liệu mẫu theo tuần để cung cấp số liệu dự báo kịp thời cho nhà đầu tư Do một số dữ liệu không có theo tháng, chúng tôi tính trung bình cho các tuần trong tháng Các yếu tố sử dụng theo phương pháp bình quân bao gồm CPI, XKXANG, NKXANG, GDP_SS_1994 và GDP_TT.
LAMPHAT Trong trường hợp đặc biệt của GDP thì dữ liệu được tổ chức theo quý nên lấy bình quân cho các tuần trong quý đó.
Các dữ liệu trên đầy đều được lấy trong năm 2006, 2007 và ba tháng đầu năm
2008 để đảm bảo dữ liệu mẫu đủ lớn trong việc chạy mô hình, toàn bộ ta có được
111 mẫu được trình bày chi tiết trong phụ lục.
Nguồn dữ liệu được dùng để xây dựng mô hình Neural Network được lấy từ những nguồn khác nhau phù hợp với từng loại biến như sau:
VNINDEX: Dữ liệu dùng cho MetaStock từ trang web Phân tích cổ phiếu
KL_VNINDEX: Dữ liệu dùng cho MetaStock từ trang web Phân tích cổ phiếu
(www.phantichcophieu.com) NNKLMUA: Phần mềm “Giao dịch nhà đầu tư nước ngoài” từ trang web
Phân tích cổ phiếu (www.phantichcophieu.com) NNKLBAN: Phần mềm “Giao dịch nhà đầu tư nước ngoài” từ trang web
Phân tích cổ phiếu (www.phantichcophieu.com) NNGTMUA: Phần mềm “Giao dịch nhà đầu tư nước ngoài” từ trang web
Phân tích cổ phiếu (www.phantichcophieu.com) NNGTBAN: Phần mềm “Giao dịch nhà đầu tư nước ngoài” từ trang web
Phân tích cổ phiếu (www.phantichcophieu.com)
CPI: Tổng cục thống kê
LAMPHAT: Tổng cục thống kê USD/VND: Trang web của ngân hàng TMCP Xuất nhập khẩu www.exim.com.vn
JPY/VND: Trang web của ngân hàng TMCP Xuất nhập khẩu www.exim.com.vn
EUR/VND: Trang web của ngân hàng TMCP Xuất nhập khẩu www.exim.com.vn
XKXANG: Tổng cục thống kê NKXANG: Tổng cục thống kê GIA_VANG: Trang web của ngân hàng TMCP Xuất nhập khẩu www.exim.com.vn
Tổng cục Thống kê cung cấp dữ liệu GDP_SS_1994 và GDP_GTT Thông tin về chỉ số SP500 có thể được tìm thấy trên trang web Yahoo!Finance, cụ thể tại www.finance.yahoo.com Ngoài ra, SSE B cũng được cập nhật trên cùng trang web này Đối với thông tin liên quan đến LS3THANG, bạn có thể tham khảo Ngân hàng Đầu tư phát triển quốc tế.
3.3.3 Tổ chức file dữ liệu
Tất cả dữ liệu đầu vào được nhập vào file Excel, nhưng chương trình NeuroSolutions chỉ có thể đọc dữ liệu dưới dạng text ASCII, vì vậy cần chuyển đổi dữ liệu từ Excel sang định dạng text Các bước thực hiện dưới đây sẽ sử dụng Microsoft Office 2007.
Đầu tiên, tạo một file Access và thực hiện lệnh nhập file Excel vào Microsoft Access Chọn các trường trong Access có tên tương ứng với các cột trong file Excel Định dạng từng cột, trong đó tất cả đều có kiểu số, ngoại trừ cột NGAY được định dạng kiểu Date/Time Cuối cùng, chọn cột STT làm khóa chính cho bảng này.
Sau khi có table dữ liệu từ excel chuyển qua ta xuất dữ liệu sang file text.
Trong quá trình xuất, chọn dấu phân cách các cột là dấu “,” và dòng đầu tiên là tiêu đề của các cột.
Sau khi xuất ra thành file text, ta có thể dùng file này vào chương trình NeuroSolutions để chạy mô hình Neural Network.
3.3.4 Phân tích các biến đầu vào bẳng Data Manager
Mở Data Manager và chọn file dữ liệu đầu vào, sau đó xác định biến VN-INDEX Tiến hành phân tích dữ liệu đầu vào để đo lường mức độ tương quan giữa các biến đầu vào và biến đầu ra Kết quả được thể hiện qua biểu đồ tương quan trong hình 3.3.
Biểu đồ minh họa mối quan hệ giữa các biến đầu vào và biến đầu ra Mặc dù một số biến có mức tương quan thấp, chúng vẫn được giữ lại trong mô hình nhằm phản ánh tác động của những yếu tố này đối với nền kinh tế.
Hình 3.3: Biểu đồ thể hiện độ tương quan giữa các biến đầu vào và biến đầu ra
Quá trình xử lý mô hình và phân tích kết quả
Trước khi triển khai chương trình, chúng tôi đã xem xét lại các điều kiện ban đầu mà chúng tôi áp dụng để xây dựng mô hình Neural Network nhằm dự báo VN-INDEX.
- Mô hình thu thập số liệu từ ngày 3/1/2006 đến ngày 25/3/2008
- Phần mềm sử dụng là phiên bản Demo
Các số liệu và thông tin được thu thập từ những nguồn đáng tin cậy nhất, tuy nhiên vẫn có thể xảy ra những thiếu sót do các nguyên nhân khách quan.
Chọn chương trình Neuro Expert để chạy mô hình Ta thực hiện lần lược các bước
Bước 1: Chọn kiểu mô hình là dự báo dựa trên những dữ liệu quá khứ và ước lượng từ mô hình.
Bước 2: Lựa chọn đường dẫn đến tệp văn bản chứa dữ liệu đầu vào đã được chuyển đổi Bước 3: Chọn các dữ liệu đầu vào không phải dạng số (trong mô hình này, chỉ có biến NGAY là không phải dạng số).
4: Chọn file dùng làm biến output, ta chọn là dữ liệu giống dữ liệu ban đầu
Bước 5: Lựa chọn biến số đầu ra, trong trường hợp này là VN-INDEX Bước 6: Xác định xem biến đầu ra có cần được trình bày dưới dạng số hay không Bước 7: Chọn thời điểm mà mô hình dự đoán sẽ được áp dụng tiếp theo.
Bước 8: Lựa chọn biến để kiểm tra dữ liệu trong quá trình huấn luyện mô hình Ở đây, tôi quyết định sử dụng 20% dữ liệu ban đầu để đánh giá hiệu quả của mô hình.
Chọn out of sample, chương trình mặc định là 20%
Bước 10: Chọn phương pháp so sánh các mô hình, tính năng này sẽ được bỏ qua Bước 11: Chọn dạng thay đổi của phương sai, chúng ta chọn mức thấp, tức là mục tiêu là giảm thiểu phương sai xuống mức thấp nhất.
Để thiết kế một mô hình Neural Network hiệu quả, cần thực hiện nhiều bước quan trọng Tuy nhiên, với số lượng mẫu hạn chế, độ chính xác của mô hình có thể không cao Để cải thiện kết quả, mô hình cần được training ít nhất 3 lần, trong mỗi lần training, mô hình sẽ tự động thực hiện 1000 lần chạy với các biến đầu vào dựa trên biến động trong quá khứ của VN-INDEX Sau khi hoàn tất quá trình training, bước Testing sẽ được thực hiện để đạt được kết quả đầu ra mong muốn.
3.4.2 Kết quả nhận được từ phần mềm NeuroSolutions
Sau khi hoàn thành quá trình đào tạo dữ liệu, kết quả đầu ra và dự báo của VN-INDEX được thể hiện trong hình 3.4 Hình này cho thấy dữ liệu dự báo gần gũi với kết quả từ 20% dữ liệu được sử dụng để kiểm tra độ chính xác của mô hình Do đó, có thể khẳng định rằng quá trình huấn luyện đã thành công và sẵn sàng tiếp tục với giai đoạn kiểm tra để đưa ra kết quả dự báo cho VN-INDEX.
Hình 3.4 Chỉ số VN-INDEX đầu ra và mong đợi sau quá trình huấn luyện
3.4.3 Kết quả dự báo VN-INDEX từ tháng 4/2008 đến tháng 5/2008
Do hạn chế của phiên bản Demo, kết quả dự báo cho tuần thứ 1 và thứ 2 không đạt yêu cầu Chúng tôi đã thực hiện mô hình dự báo với số lượng dự báo từ 3 đến 8 trong bước 7, cho ra kết quả dự báo cho tuần thứ 3 và thứ 8 như thể hiện trong hình 3.5 Dữ liệu VN-INDEX thực tế được lấy từ trang web của Sở giao dịch chứng khoán Thành phố Hồ Chí Minh để so sánh với kết quả từ phần mềm Sử dụng hai cột số liệu này, chúng tôi đã vẽ được đồ thị như trong hình 3.6.
Hình 3.5 Dữ liệu VN-INDEX dự báo từ mô hình và dữ liệu thực tế từ tuần th ứ 3 đến tuần thứ 8 tiếp theo của dữ liệu ban đầu
Tuần dự báo tiếp theo Kết quả Thực tế
Hình 3.6 Đồ thị so sánh VN-INDEX từ kết quả dự báo và VN-INDEX thực tế
Mô hình Neural Network, thông qua quá trình xử lý thông tin phức tạp và đào tạo, đã mang lại kết quả dự báo chính xác và đáng tin cậy Khác với các công cụ dự báo truyền thống, Neural Network mô phỏng hoạt động của bộ não con người để phát triển trí tuệ nhân tạo, giúp giải quyết các vấn đề phức tạp trong dự báo Công cụ này là một trợ thủ đắc lực cho các nhà đầu tư, hỗ trợ họ trong việc đưa ra quyết định đúng đắn trong quá trình đầu tư.
Sự sai lệch giữa kết quả dự báo và thực tế có thể do các nguyên nhân chính sau:
- Do có sai số trong các dữ liệu đầu vào do bị hạn chế về thời gian và nguồn thông tin.
Việc tìm kiếm các biến số liên quan đến Vn-Index gặp khó khăn do những yếu tố không thể định lượng, như tâm lý bầy đàn của nhà đầu tư và sự chưa hiệu quả trong phát triển của thị trường chứng khoán Việt Nam.
Chứng cứ ứng dụng mô hình Neural Network
Trong những năm gần đây, mô hình Neural Network đã trở thành công cụ phổ biến trong lĩnh vực kinh tế - tài chính Nhiều tổ chức và cá nhân đã công bố các nghiên cứu đáng chú ý, như dự báo tỷ lệ lạm phát của Chính Phủ Nhật và Hồng Kông, cũng như dự báo chỉ số S&P 500 của Jason E.Kutsurelis Vào năm 1998, Jason E.Kutsurelis đã áp dụng mô hình Neural Network để dự báo chỉ số S&P 500, sử dụng dữ liệu đầu vào từ 1/3/1991 đến 18/8/1998.
- Chỉ số ngành vận tải Dow Jones
- Chỉ số ngành công nghiệp Dow Jones
- Chỉ số ngành dịch vụ công cộng Dow Jones
- Thông tin nghiên cứu về hàng hóa
- Chỉ số về dầu AMEX
- Chỉ số về vàng và bạc
Mô hình Neural Network được huấn luyện thông qua phương pháp backpropagation cho cả hai trường hợp kiểm nghiệm Hình 3.7 minh họa sự biến động của chỉ số S&P 500, cho thấy thị trường giảm mạnh 730 điểm vào ngày 10/10/1986 và tăng vọt 1110 điểm vào ngày 21/1/1994 Việc quan sát mô hình hoạt động trong những tình huống khó khăn giúp hiểu rõ hơn về khả năng hoạt động hiệu quả khi dữ liệu huấn luyện và kiểm nghiệm được xử lý đồng nhất.
Mô hình được huấn luyện để thử nghiệm trong các giai đoạn quan trọng từ năm 1972 đến 1996, sử dụng dữ liệu 4 năm trước sự sụp đổ năm 1986 và trước đợt đầu cơ giá lên năm 1994 Mô hình này bao gồm một lớp ẩn với 7 neuron và 19 neuron đầu vào, với các tham số ban đầu được khởi tạo ngẫu nhiên trong khoảng [-1,1] Các lớp ẩn và đầu ra áp dụng hàm kích hoạt sigmoid, trong khi số lượng khoảng trống cho lớp ẩn được xác định bởi neuron đầu ra thứ 19, không có khoảng trống cho các sigmoid trong lớp đầu ra Các thử nghiệm và kết quả thu được sẽ được phân tích trong phần tiếp theo.
3.5.2 Trường hợp 1: Đầu cơ giá lên từ tháng 1 năm 1994
Hình 3.8 minh họa quá trình huấn luyện và thử nghiệm dữ liệu được bình thường hóa liên quan đến chỉ số S&P 500, trong khi hình 3.9 thể hiện việc huấn luyện và thử nghiệm dữ liệu bình thường hóa cho lãi suất Dữ liệu được bắt đầu từ điểm số ban đầu.
Trong nghiên cứu này, dữ liệu được huấn luyện trong 275 tuần và thử nghiệm trong 50 tuần cho thấy lãi suất dài hạn đang gia tăng trong hầu hết các giai đoạn của việc đầu cơ giá lên, trong khi lãi suất ngắn hạn tăng lên trong 20 tuần đầu tiên trước khi ổn định Sự chuyển biến từ gia tăng đến ổn định dự kiến sẽ ảnh hưởng đến thị trường, tuy nhiên, tác động chính trong lĩnh vực này chủ yếu đến từ động lực của thị trường, được các nhà kinh tế học phân tích ở các nghiên cứu khác.
Kết quả kiểm nghiệm cho thấy mô hình có khả năng dự đoán chính xác xu hướng giá cổ phiếu trước 1 tuần, với 43 lần dự đoán vượt ngoài phạm vi mẫu 50 điểm Phần trăm sai số lớn nhất chỉ đạt 4.044%, trong khi sai số trung bình là 0.95% Điều này chứng tỏ rằng các mô hình đã hoạt động hiệu quả và có thể được áp dụng để lựa chọn thời điểm đầu tư trên thị trường.
Hình 3.8 Việc huấn luyện và thử nghiệm dữ liệu (chỉ số S&P 500) trong trường hợp đầu cơ giá lên
Hình 3.9 Việc huấn luyện và thử nghiệm dữ liệu cho lãi suất trong trường hợp đầu cơ giá lên
Sau khi thực hiện việc detrending và bình thường hóa, đầu ra của mô hình vẫn cao hơn giá trị huấn luyện, cho thấy khả năng dự báo sự gia tăng ngay cả khi không được huấn luyện cho các giá trị chính xác Những tiên đoán khả quan này mở ra triển vọng tích cực trong tương lai, nhấn mạnh tầm quan trọng của việc bình thường hóa dữ liệu để tránh hiện tượng bão hòa Hơn nữa, mô hình có thể được huấn luyện hàng tuần, thay vì chỉ dựa vào dữ liệu huấn luyện cũ, giúp duy trì độ chính xác và tính hiệu quả trong dự đoán.
50 Việc dịch chuyển cửa sổ huấn luyện mỗi tuần và huấn luyện lại mô hình là một cách tiếp cận hợp lý, điều này là cần thiết trong thực tế Tuy nhiên, có một sai lầm lớn của việc huấn luyện mô hình đó là việc kế thừa những thay đổi theo tuần và theo đó các hoạt động của mô hình sẽ tồi tệ hơn Trong bất kỳ trường hợp nào, thủ tục này có thể được sửa đổi cho thích hợp và cửa sổ dự báo có thể được giảm bớt để phù hợp với các yêu cầu.
Hình 3.10 Chỉ số S&P 500 được dự báo và kỳ vọng trong trường hợp đầu cơ giá lên
3.5.3 Trường hợp 2: Sự sụp đổ vào tháng 10 năm 1986
Hình 3.11 minh họa các giá trị của chỉ số trong quá trình huấn luyện và thử nghiệm cho trường hợp thứ hai, trong đó việc huấn luyện dữ liệu bắt đầu từ dữ liệu điểm thứ.
Dữ liệu 500 và điểm số dài 200 cho thấy rằng dữ liệu thử nghiệm đã vượt quá 75 tuần ngay sau khi hoàn thành quá trình huấn luyện, kèm theo một sự sụp đổ mạnh.
Hình 3.12 cho thấy lãi suất cho việc huấn luyện và thử nghiệm được kết nối.
Trong bối cảnh hiện tại, lãi suất trì hoãn dài hạn đang giảm trong chu kỳ huấn luyện khi chỉ số S&P 500 có xu hướng tăng, trong khi lãi suất trong chu kỳ thử nghiệm lại tăng nhanh chóng khi chỉ số giảm Lãi suất trì hoãn ngắn hạn trong 20 tuần cũng đang gia tăng, nhưng với tốc độ chậm hơn trong thời kỳ thử nghiệm Do đó, có khả năng rằng sự gia tăng lãi suất sẽ dự báo sự sụp đổ của chỉ số Tuy nhiên, điều này không phải là động lực chính trong việc huấn luyện dữ liệu cho chỉ số, vì chỉ số có thể tăng và giảm hoặc thay đổi giữa các giá trị tốt nhất và xấu nhất Mạng lưới được huấn luyện với 7 neuron trong lớp ẩn qua 900 quá trình lặp lại, với kích cỡ bước cố định là 0.4, và các kết quả thử nghiệm sẽ được trình bày chi tiết trong phần sau.
Hình 3.11 Việc huấn luyện và thử nghiệm dữ liệu (chỉ số S&P 500) trong trường hợp giá xuống
Các kết quả kiểm nghiệm
Hình 3.13 trình bày kết quả kiểm nghiệm cho thấy mô hình có khả năng dự báo sự sụp đổ mạnh trước một tuần Tuy nhiên, đầu ra của mô hình thấp hơn giá trị thực tế trong giai đoạn đầu của thử nghiệm, không có xu hướng rõ ràng cho chỉ số cổ phiếu, điều này có thể ảnh hưởng đến khả năng dự báo sụp đổ Mô hình chỉ dựa vào các giá trị chỉ số trong quá khứ có thể không đủ để dự báo sự sụp đổ, mà chỉ nhằm gia tăng lãi suất dài hạn Trong trường hợp này, mô nghiệm đạt 75 điểm, với phần trăm sai số lớn nhất là 13.7% và sai số trung bình là 4.18% Nguyên nhân chính của sai số là mạng lưới không thể dự báo tốt sự gia tăng ban đầu của thị trường Sự thận trọng là cần thiết, vì bất kỳ mô hình nào dự báo tốt sự gia tăng ban đầu có thể dẫn đến việc đặt lệnh mua một cách hấp tấp, tiếp theo là lệnh bán, gây ra những thay đổi nhanh chóng không mong muốn khi khối lượng giao dịch gia tăng cùng với chi phí giao dịch.
Hình 3.12 Việc huấn luyện và kiểm nghiệm dữ liệu cho lãi suất trong trường hợp giá xuống
Hình 3.13 Chỉ số S&P 500 được dự báo và kỳ vọng trong trường hợp giá xuống
3.5.4 Kết quả thử nghiệm cho cả hai trường hợp
Sau khi đưa ra dự báo kết quả được so sánh với thực tế theo như hình 3.14
Hình 3.14 Kết quả so sánh của S&P 500 thực tế và dự báo
Ta có kết quả thống kê kết quả đầu ra như sau:
Mean square error 130.975 Mean absolute error 8.821 Min absolute error 0.039 Max absolute error 31.792
Xác suất chính xác của mô hình :
So sánh với phương pháp thống kê truyền thống là mô hình hồi quy tuyến tính đa biến ta có được kết quả sau:
Neural network Mô hình hồi quy tuyến tính đa biến
Trung bình 0.1759 0.2914 Độ lệch chuẩn 11.50 24.95
Xác suất chính xác thị 88.13% 84.21% trường lên
Xác suất chính xác thị 72.5% 57.71% trường xuống
Mô hình neural network cho thấy khả năng dự đoán chính xác thị trường tài chính khi được cung cấp dữ liệu đầu vào phù hợp So với phân tích hồi quy, neural network mang lại lợi ích vượt trội cho các nhà đầu tư nhờ vào khả năng xử lý dữ liệu phức tạp và phát hiện các mẫu ẩn mà phương pháp truyền thống khó nhận diện.
Khi áp dụng hồi quy tuyến tính đa biến, việc đảm bảo các giả định hồi quy là rất quan trọng Giả định tuyến tính không bao gồm nhiều tình huống khác nhau, trong khi đó, mạng nơ-ron có khả năng xử lý cả mối quan hệ tuyến tính và phi tuyến.
Khi áp dụng phân tích hồi quy tuyến tính đa biến, nhà đầu tư cần trang bị kiến thức vững vàng về thống kê để xác định và sử dụng các biến độc lập cần thiết một cách hiệu quả.
- Sau khi nghiên cứu, kết quả cho thấy Neural Network chính xác hơn đáng kể so với hồi quy tuyến tính đa biến.
