Luật huấn luyện để điều chỉnh trọng số giữa nơron i và j được định nghĩa như sau: ) 1 ( ) ( hi hi hi hi hi t O O O (3) N k jk hk hi hi hi O O w (1 ) (4) wij(n1)(hiOhi) (5)
Trong đó n là số biểu diễn, δhi là tín hiệu lỗi của nơron i đối với mẫu h và ε
là tốc độ học.
Hệ số học là một hằng số quyết định độ lớn của sự thay đổi trọng số. Sự thay đổi trọng số của một nơron tỷ lệ với ảnh hưởng của trọng số của nơron đó đối với lỗi. Tín hiệu lỗi của một nơron đầu ra và một nơron ẩn lần lượt được tính theo các phương trình (3) và (4).
Có thể xem việc huấn luyện một mạng truyền thẳng tương tự như việc một người ném một quả bóng từ điểm A tới điểm C trong hình 9, dù trong thực tế mặt phẳng lỗi là đa chiều và không thể biểu diễn dưới dạng đồ họa như vậy. Lực để ném quả bóng cũng tương tự như tốc độ học. Ném quá mạnh có thể khiến quả bóng bay quá khỏi mục tiêu, thậm chí quay trở lại điểm A hoặc nó có thể đu đưa giữa 2 điểm A và B. Trong quá trình huấn luyện, tốc độ học quá cao có thể nhận thấy khi hàm đánh giá thay đổi nhanh mà không cho thấy sự cải tiến nào. Nếu
lực ném quả bóng quá nhẹ, nó sẽ khó đi xa được khỏi điểm A, trong huấn luyện mạng cũng vậy, hàm đánh giá sẽ được cải tiến rất ít, thậm chí không được cải tiến. Tốc độ học quá nhỏ do vậy sẽ đòi hỏi nhiều thời gian huấn luyện hơn. Trong cả hai trường hợp, người nghiên cứu phải điều chỉnh hệ số học trong khi huấn luyện hoặc “tẩy não” mạng bằng cách chọn ngẫu nhiên tất cả các trọng số và thay đổi tốc độ học để tạo ra một lần chạy mới trên tập huấn luyện.
Một phương pháp tăng hệ số học, đồng nghĩa với việc tăng tốc độ huấn luyện mà không dẫn tới tình trạng vượt quá mục tiêu là thêm vào luật huấn luyện của giải thuật truyển thẳng một hệ số xung lượng. Hệ số xung lượng sẽ quyết định mức độ ảnh hưởng của lần thay đổi trọng số trước đó đối với lần thay đổi trọng số hiện tại. Luật huấn luyện mới cho mạng truyền thẳng được định nghĩa như sau:
) ( ) ( ) 1 (n O w n wij hi hi ij
trong đó α là hệ số xung lượng.
Hệ số xung lượng sẽ lọc bỏ những sự thay đổi về tần suất cao. Mỗi hướng tìm kiếm mới sẽ là tổng trọng số của gradient hiện thời và gradient trước đó. Giá trị trung bình của gradient trong 2 giai đoạn như vậy sẽ lọc bớt những thay đổi bất thường ở tốc độ nhanh của tốc độ học. Hệ số xung lượng quá lớn sẽ ngăn cản thuật toán đi theo các đường gấp khúc của mặt phẳng trọng số. McClelland và Rumelhart chỉ ra rằng hệ số xung lượng rất hữu ích trong mặt phẳng lỗi có chứa các khe sâu, tường cao và đáy hơi dốc. Nếu không có hệ số xung lượng, để đi xuống các khe sâu, cần sử dụng một tốc độ học rất nhỏ và sẽ mất rất nhiều thời gian. Sử dụng hệ số xung lượng sẽ cho phép dùng tốc độ học cao hơn để đi qua các khe đó.
Hầu hết các phần mềm mạng nơron đều cung cấp các giá trị mặc định tốt cho tốc độ học và hệ số xung lượng. Các thực nghiệm cho thấy nên bắt đầu huấn luyện với tốc độ học vào khoảng 0.7 và giảm dần trong quá trình huấn luyện. Nhiều chương trình mạng nơron sẽ tự động giảm tốc độ học và tăng hệ số xung lượng khi đạt tới sự hội tụ.
8). Bước 8: Thực thi
Bước thực thi là bước cuối cùng, nhưng trong thực tế cần chú ý cẩn thận ngay từ bước thu thập dữ liệu. Mức độ sẵn sàng của dữ liệu, tiêu chí đánh giá, và thời gian huấn luyện đều bị ảnh hưởng lớn bởi môi trường trong đó mạng nơron
chương trình độc lập. Nếu không, một mạng đã huấn luyện có thể được tạo dễ dàng trong một chương trình bảng tính nếu biết kiến trúc, hàm kích hoạt và các trọng số. Cũng cần chú ý là việc chuyển đổi dữ liệu, chuẩn hóa và các tham số khác cần thống nhất từ khi kiểm thử tới khi sử dụng thực tế.
Ưu điểm của mạng nơron là có thể thích nghi với những thay đổi của điều kiện thị trường nhờ vào việc huấn luyện lại. Sau khi triển khai, nếu không tiếp tục huấn luyện lại, khả năng thực thi của mạng sẽ bị giảm sút theo thời gian. Tuy vậy, ngay cả khi thường xuyên huấn luyện lại mạng thì cũng không có gì đảm bảo rằng khả năng thực thi của mạng sẽ tốt mãi vì mức độ quan trọng của các biến độc lập có thể thay đổi.
Người ta khuyến nghị rằng chu kỳ huấn luyện lại các mạng nơron sau khi triển khai nên đúng theo chu kỳ đã sử dụng để kiểm tra trên mô hình cuối cùng. Một mô hình tốt sẽ luôn mạnh mẽ đối với việc phải thường xuyên huấn luyện lại và thường sẽ được cải tiến nếu thường xuyên huấn luyện lại hơn.
KẾT LUẬN CHƢƠNG 2
Trong Chương 2, luận văn tập trung giới thiệu về mạng nơron nhân tạo hiện đang được ứng dụng rộng rãi trong nhiều lĩnh vực: không gian vũ trụ, dự báo tài chính kinh tế, dự báo biến động giá cả, hoạt động ngân hàng, hệ thống quân sự, điện tử viễn thông… Chương này cũng giới thiệu về thuật toán lan truyền sai số ngược, một thuật toán rất nổi tiếng và hiệu quả trong ứng dụng mạng nơron.
Để ứng dụng mạng nơron vào các hoạt động dự báo định lượng, chương 2 đã giới thiệu phương pháp thiết kế, xây dựng mạng nơron để dự báo định lượng trong lĩnh vực kinh tế, tài chính được đề xuất bởi của Icebeling Kaastra và Milton Boyd. Đó là một quy trình gồm 8 bước: Lựa chọn biến, Thu thập dữ liệu, Tiền xử lý dữ liệu, Xác định tập huấn luyện, tập kiểm thử, Xác định mô hình
mạng nơron, Xác định tiêu chí đánh giá, Huấn luyện mạng nơron, Thực thi.
Trong Chương 3, thông qua bộ công cụ phần mềm khai phá dữ liệu YALE, luận văn sẽ thiết kế các mạng nơron nhân tạo và ứng dụng chúng để giải quyết bài toán “Dự báo kết quả hoạt động SXKD cho VNPT”.
CHƢƠNG 3. DỰ BÁO KẾT QUẢ HOẠT ĐỘNG SXKD CHO VNPT BẰNG PHƢƠNG PHÁP MẠNG NƠRON NHÂN TẠO
3.1. Xác định bài toán dự báo kết quả hoạt động sản xuất kinh doanh của VNPT
Tập đoàn Bưu chính Viễn thông Việt Nam (VNPT) là một doanh nghiệp gồm nhiều đơn vị thành viên hoạt động trong lĩnh vực bưu chính, viễn thông, CNTT. Hàng tháng, các đơn vị thành viên phải báo cáo số liệu theo các chỉ tiêu SXKD về Tập đoàn. Bộ số liệu SXKD được tổng hợp từ tháng 01/1999 đến 12/2007 bao gồm 1.569.861 bản ghi của:
- 613 chỉ tiêu SXKD;
- 79 đơn vị thành viên.
Các chỉ tiêu SXKD này có quan hệ, ảnh hưởng, tác động với nhau và được phân theo từng nhóm chỉ tiêu như: nhóm chỉ tiêu về điện thoại cố định, nhóm chỉ tiêu về điện thoại di động, nhóm chỉ tiêu về mạng Internet…
Hiện nay, hàng tháng, các chuyên viên của Tập đoàn phải ước lượng kết quả SXKD của tháng này hoặc tháng sau bằng phương pháp ngoại suy từ kết quả SXKD của những tháng trước đó, độ chính xác trung bình thường đạt là 10%. Tuy nhiên, phương pháp này rất thủ công, tốn công sức và độ chính xác không cao.
Bài toán đặt ra: cần dự báo trước từ 1 tháng tới 6 tháng một số chỉ tiêu SXKD
quan trọng cho từng đơn vị và cho toàn Tập đoàn, với độ chính xác dự báo tốt hơn hoặc bằng phương pháp dự báo hiện đang được sử dụng.
3.2. Xác định hệ thống chỉ tiêu cần đƣợc phân tích, dự báo về kết quả SXKD SXKD
3.2.1. Phân tích quy trình nghiệp vụ báo cáo số liệu tại VNPT
Việc dự báo số liệu SXKD của VNPT được thực hiện bởi các chuyên viên theo trình tự các bước như sau:
- Bước 1: Hàng tháng, số liệu SXKD của các đơn vị được gửi về Tập đoàn dưới dạng các báo cáo giấy hoặc dưới dạng file excel theo quy định của Tập đoàn. - Bước 2: Các báo cáo đó sẽ được xử lý bởi các chuyên viên để tạo thành các bảng tổng hợp số liệu của toàn Tập đoàn cho tất cả các chỉ tiêu SXKD.
kinh nghiệm của các chuyên viên lâu năm trong ngành cùng với sự trợ giúp của các hàm Microsoft Excel (hàm forecast,…) cũng như tham khảo các phần mềm dự báo trên mạng.
Một số chỉ tiêu thường được các chuyên viên dự báo là:
- Tổng doanh thu phát sinh, bao gồm:
÷ Doanh thu kinh doanh dịch vụ BC-VT phân theo Bưu chính; Phát hành bưu
chính; Viến thông.
÷ Doanh thu hoà mạng, dịch chuyển thuê bao
÷ Thu khác bao gồm: Doanh thu kinh doanh khác, Doanh thu hoạt động tài chính và Thu nhập khác.
- Thuê bao viễn thông thực tăng
÷ Máy điện thoại ( phát triển - huỷ bỏ ) phân theo: Máy cố định; Máy di động
trả sau VinaPhone; Máy CityPhone, CDMA, GSM nội vùng…
÷ Thuê bao Internet gián tiếp: Thuê bao 1260; Thuê bao 1268 và 1269.
÷ Thuê bao MegaVNN
Các chỉ tiêu được dự báo đạt độ chính xác lên tới 96-98% (đối với dự báo tháng) và 95-96% (dự báo năm), trong đó các chỉ tiêu càng tổng quát thì kết quả dự báo càng chính xác và các chỉ tiêu càng chi tiết thì kết quả dự báo sẽ thấp hơn.
Đối với các sản phẩm, dịch vụ mới thì kết quả dự báo theo phương pháp hiện đang được ứng dụng cho kết quả rất hạn chế.
Mặt khác hiện tại công tác dự báo và lập kế hoạch của VNPT vẫn gặp một số khó khăn chủ yếu là:
- Không có phần mềm chuyên dụng cho công tác dự báo ở VNPT: việc dự báo
chủ yếu dựa trên kinh nghiệm với sự trợ giúp của Microsoft Excel, khả năng dự báo cho các những chỉ tiêu và dịch vụ mới gặp nhiều khó khăn.
- Kỹ năng sử dụng phần mềm trợ giúp dự báo (như Microsoft Excel, Access)
của các chuyên viên không đồng đều: do kinh nghiệm sử dụng phần mềm của
mỗi chuyên viên khác nhau nên việc sử dụng các phần mềm hỗ trợ cũng khác nhau, dẫn đến sự thiếu thống nhất trong công tác tổng hợp số liệu và dự báo các chỉ tiêu.
3.2.2. Xác định hệ thống chỉ tiêu cần được phân tích và dự báo
Số liệu sản xuất kinh doanh hiện nay của VNPT được lưu trữ tập trung với hàng ngàn biểu mẫu báo cáo và hàng trăm chỉ tiêu, bao gồm các số liệu chính xác định kỳ và đột xuất về tình hình sản xuất kinh doanh của các đơn vị thành viên thuộc Tập đoàn.
Hiện cơ quan Tập đoàn lưu số liệu báo cáo về 4 mảng sản phẩm dịch vụ chính của Tập đoàn là:
- Các sản phẩm, dịch vụ mạng hội tụ: bao gồm các sản phẩm,dịch vụ liên quan đến mạng đường trục của Tập đoàn. Số liệu báo cáo về tình hình sản xuất kinh doanh các sản phẩm, dịch vụ này được báo cáo thông qua các bưu điện tỉnh, các công ty viễn thông vùng và đơn vị quản lý kinh doanh mạng đường trục của Tập đoàn là công ty VTN.
- Các sản phẩm, dịch vụ mạng cố định: bao gồm các sản phẩm, dịch vụ điện thoại cố định và các sản phẩm, dịch vụ kèm theo. Số liệu báo cáo về tình hình sản xuất kinh doanh các sản phẩm, dịch vụ này do các bưu điện tỉnh và các công ty viễn thông vùng thu thập, tổng hợp và báo cáo định kỳ hoặc đột xuất lên Văn phòng Tập đoàn.
- Các sản phẩm, dịch vụ mạng di động: bao gồm các sản phẩm, dịch vụ điện thoại di động trên 2 mạng VinaPhone, MobiPhone và các sản phẩm, dịch vụ kèm theo. Số liệu báo cáo về tình hình sản xuất kinh doanh các sản phẩm, dịch vụ này được báo cáo thông qua các các bưu điện tỉnh, công ty vùng và thông qua các đơn vị chủ quản của 2 mạng di động này là GPC (mạng VinaPhone) và VMS (mạng MobiPhone).
- Các sản phẩm, dịch vụ mạng Internet: bao gồm các sản phẩm, dịch vụ Internet và các dịch vụ kèm theo. Số liệu báo cáo về tình hình sản xuất kinh doanh các sản phẩm, dịch vụ này được báo cáo thông qua các các bưu điện tỉnh, công ty vùng và thông qua đơn vị quản lý kinh doanh các dịch vụ Internet của Tập đoàn là công ty VDC.
Cụ thể là:
- Các sản phẩm, dịch vụ mạng hội tụ, gồm:
÷ Dịch vụ thuê kênh viễn thông nội hạt;
÷ Dịch vụ thuê kênh viễn thông quốc tế;
÷ Dịch vụ thuê kênh riêng;
÷ Dịch vụ cài đặt và thuê cổng kết nối trực tiếp Internet quốc tế (IIG) của các
IXP;
÷ Dịch vụ kết nối giữa các mạng điện thoại IP liên tỉnh với các mạng viễn thông công cộng (PSTN).
- Các sản phẩm, dịch vụ mạng cố định:
÷ Dịch vụ điện thoại cố định: bao gồm các chỉ tiêu chính như:
Số điện thoại nội hạt;
Số điện thoại đường dài nội tỉnh;
Số điện thoại đường dài liên tỉnh;
Số điện thoại ISDN nội hạt;
Số điện thoại VoIP trong nước;
Số điện thoại VoIP 171 trong nước;
Số điện thoại VoIP 171 ngoài nước;
Số điện thoại đường dài ngoài nước.
÷ Số điện thoại Access Collect:
÷ Số Collect Call;
÷ Số Home Country Direct;
÷ Số điện thoại thẻ (Cardphone);
÷ Số thẻ điện thoại vô tuyến nội thị;
÷ Số thẻ điện thoại VoIP trả trước (1717);
÷ Số điện thoại truy nhập Internet;
÷ Số cuộc gọi dịch vụ 108/1080;
÷ Số dịch vụ kết nốiVoIP 179 trong nước;
÷ Số dịch vụ kết nốiVoIP 179 ngoài nước;
÷ Số dịch vụ kết nốiVoIP 175 trong nước;
÷ Số dịch vụ kết nốiVoIP 175 ngoài nước;
- Các sản phẩm, dịch vụ mạng di động:
÷ Dịch vụ điện thoại di động Vinaphone, Mobiphone, Cityphone bao gồm các
chỉ tiêu:
Số điện thoại di động nội thị;
Số điện thoại di động nội vùng;
Số điện thoại di động cận vùng;
Số điện thoại di động cách vùng;
Số điện thoại di động quốc tế;
Số điện thoại di động trả trước.
÷ Số bản tin gửi SMS theo nhóm;
÷ Lượng thời gian cung cấp dịch vụ thông tin – giải trí (phút);
÷ Lượng thời gian thực hiện dịch vụ nhắn tin (phút);
÷ Số lần hòa mạng thuê bao điện thoại di động;
÷ Số lần hòa mạng thuê bao điện thoại di động nội tỉnh.
- Các sản phẩm, dịch vụ mạng Internet:
÷ Số trang thư điện tử (VN mail);
÷ Thời gian cung cấp dịch vụ VNN1260 (phút);
÷ Thời gian cung cấp dịch vụ VNN1268 (phút);
÷ Thời gian cung cấp dịch vụ VNN1269 (phút);
÷ Thời gian cung cấp dịch vụ VNN1267(phút);
÷ Thời gian điện thoại Internet/VNN-PC to Phone đi Quốc tế (phút);
÷ Thời gian điện thoại Internet/VNN-PC to PC TN và QT (phút);
÷ Sô thẻ Internet trả trước (VNN 1260.P…);
÷ Thời gian cung cấp dịch vụ WAP (VNN 999…)(phút);
÷ Thời gian cung cấp dịch vụ kết nối WAP (VNN 999…) (phút);
÷ Số lần thực hiện dịch vụ VNN-Infogate trong nước;
÷ Số thuê bao Internet;
÷ Số thuê bao Internet trực tiếp;
÷ Số thuê bao Internet 1260;
÷ Số thuê bao Internet 1260-P;
÷ Số thuê bao Internet 1268;
÷ Số thuê bao Internet 1268;
÷ Số thuê bao Internet TĐC ADSL-VNN;
÷ Số thuê bao Internet 1267;
÷ Số thuê bao Internet xDSL-WAN;
÷ Số thuê bao Internet nghiệp vụ (trực tiếp + gián tiếp);
÷ Sô hộp thư thông thin (Voicelink);
÷ Số lần hòa mạng thuê bao Internet trực tiếp;
÷ Số lần hòa mạng thuê bao Internet 1260;
÷ Số lần hòa mạng thuê bao Internet 1267;
÷ Số lần hòa mạng thuê bao Internet ADSL-VNN;
÷ Số lần hòa mạng thuê bao Internet xDSL-WAN;
- Các sản phẩm, dịch vụ khác
÷ Số cuộc điện báo phổ thông;
÷ Số cuộc điện báo khẩn
÷ Số cuộc điện báo khí tượng thuỷ văn "OBS"