Với dạng hàm này, giá trị ở đầu ra của mỗi nơ-ron nằm trong phạm vi hoảng (0,1) và nĩ đạt các giá trị bão hồ ( xấp xỉ 0 hay 1 ) khi ⎢x ⎢ lớn. Do đĩ, khi đầu vào của mạng cĩ giá trị tuyệt đối lớn thì ta cần chuẩn hố nĩ về khoảng cĩ giá trị nhỏ, nếu khơng thì các nơ-ron tại các lớp ẩn ngay ban đầu đã cĩ thể đạt giá trị bão hồ và quá trình học của mạng khơng đạt kết quả mong muốn. Với dạng hàm như trên thì giá trị đầu vào của mạng thường được chuẩn hố về khoảng thuộc đoạn [-3, 3]. Mặt khác, do tín hiệu đầu ra của nơ-ron nằm trong khoảng giá trị (0,1) nên các giá trị đầu ra thực tế trong các mẫu học cũng cần chuẩn hố về khoảng giá trị này để cĩ thể dùng cho quá trình luyện mạng. Do vậy trong quá trình tính tốn, để cĩ các giá trị thực tế ở đầu ra của mạng chúng ta cần phải chuyển các giá trị trong khoảng (0,1) về miền các giá trị thực tế [2].
Khởi tạo trọng số
Các giá trị được khởi tạo ban đầu cho các trọng số trong mạng lan truyền ngược sai số ảnh hưởng rất lớn đến kết quả học cuối cùng của mạng. Các giá trị này thường được khởi tạo ngẫu nhiên trong phạm vi giá trị tương đối nhỏ. Thơng thường hàm chuyển sử dụng cho mạng MLP là hàm sigmoid, do vậy nếu ta chọn các giá trị trọng số khởi tạo lớn thì các hàm này cĩ thể bão hồ ngay từ đầu và dẫn tới hệ thống cĩ thể bị tắc ngay tại một cực tiểu địa phương hoặc tại một vùng bằng phẳng nào đĩ gần điểm xuất phát. Theo nghiên cứu của Wessels và Barnard, năm 1992 [18], thì việc khởi tạo
các trọng số liên kết wij nên trong phạm vi 3/, 3/ i i ⎡⎣− k k ⎤⎦ với ki là số liên kết của các nơ-ron j tới nơ-ron i.
Tốc độ học
Tốc độ học η cũng là một yếu tố quan trọng ảnh hưởng đến hiệu quả và độ hội tụ của giải thuật lan truyền ngược sai số. Khơng cĩ hằng số η phù hợp cho tất cả các bài tốn khác nhau. Tốc độ học này thường được chọn bằng thực nghiệm cho mỗi bài tốn ứng dụng cụ thể bằng phương pháp thử sai. Trong nhiều ứng dụng thực tế cho thấy một tốc độ học cĩ thể phù hợp ở thời điểm bắt đầu của quá trình học nhưng lại khơng phù hợp với giai đoạn sau của quá trình học. Do đĩ, cĩ một phương pháp hiệu quả hơn đĩ là sử dụng tốc độ học thích nghi. Một cách xử lý đơn giản cho vấn đề này đĩ là
kiểm tra xem các trọng số mới cĩ làm giảm hàm giá hay khơng, nếu khơng thì cĩ thể các trọng số đã vượt quá xa vùng cực tiểu và như vậy hằng số η cần phải giảm. Trái lại, nếu sau vài vịng lặp hàm giá liên tục giảm thì ta cĩ thể thử tăng hằng số η để đẩy nhanh hơn tốc độ hội tụ đến giá trị cực tiểu. Năm 1991, trong nghiên cứu của mình Hertz và các cộng sự [9] đã đề xuất luật điều chỉnh hằng số học như sau:
trong đĩ ΔE là thay đổi của hàm giá, a và b là các hằng số dương, việc ΔE luơn nhỏ hơn 0 được đánh giá dựa trên k bước lặp liên tiếp.
d. Ứng dụng của mạng nơ-ron
Hiện nay, mạng nơ-ron ngày càng được áp dụng rộng rãi đặc biệt là trong các lĩnh vực sau:
Xử lý ngơn ngữ: trong lĩnh vực này, mạng nơ-ron chủ yếu được dùng để nhận dạng tiếng nĩi, áp dụng trong các hệ điều khiển thiết bị bằng tiếng nĩi. Thơng thường, các mạng nơ-ron được huấn luyện để nhận dạng tiếng nĩi của một người. Sau khi được huấn luyện, mạng cĩ thể nhận dạng được trên 20.000 từ khác nhau do một người nĩi với điều kiện khoảng thời gian cách nhau giữa hai từ phải đủ lớn. Ngày nay, các nhà khoa học vẫn tiếp tục nghiên cứu để mở rộng khả năng này với mục tiêu tìm ra mơ hình mạng nơ-ron cĩ thể nhận dạng tiếng nĩi của nhiều người với số từ ít hơn.
Nhận dạng chữ: Chữ ở đây cĩ thể là chữ đánh máy hoặc viết tay. Với chữ đánh máy (sách, báo,….) ta cĩ các ứng dụng như số hố các tài liệu giấy trong thư viện, phân loại tài liệu, … Với chữ viết tay, các ứng dụng cĩ vẻ đa dạng hơn như nhập liệu tự động các phiếu ghi thơng tin, phân loại tự động địa chỉ thư ở bưu điện, kiểm tra tài khoản ở ngân hàng,…Ngày càng cĩ nhiều nghiên cứu về mạng nơ-ron trong lĩnh vực này đặc biệt là trong nhận dạng chữ viết tay. Dự báo (Forecasting): Mạng nơ-ron được sử dụng để đưa ra những tiên đốn
khoa học mang tính xác suất và tính phương án trong khoảng thời gian hữu hạn của đối tượng nghiên cứu. Ngày nay, việc sử dụng mơ hình mạng nơ-ron trong bài tốn dự báo rất phổ biến, cĩ thể kể đến như: dự báo trị trường cổ phiếu, quản lý rủi ro cá nhân,…
Nén ảnh (dữ liệu): Cĩ thể nĩi, ứng dụng của mạng nơ-ron trong lĩnh vực này chưa nhiều. Tuy nhiên, các nghiên cứu cũng cho thấy rằng mạng nơ-ron cĩ thể nén/giải nén dữ liệu và ảnh. Các mạng kết hợp cĩ thể giảm số bit biểu diễn dữ liệu từ 8 bits xuống cịn 3 bits sau đĩ mạng cĩ thể thực hiện quá trình ngược lại
(giải nén) để khơi phục lại 8 bits như ban đầu. Các nghiên cứu về mạng nơ-ron áp dụng trong lĩnh vực này tiếp tục được đầu tư nhiều thời gian và cơng sức. Nhận dạng mẫu: các ứng dụng trong lĩnh vực này cĩ thể kể đến như nhận dạng
vân tay, nhận dạng tiền xu, nhận dạng các khối hình trong khi thiết bị điện tử di chuyển với các sensor, …
Ngồi các lĩnh vực tiêu biểu kể trên, mạng nơ-ron cịn được áp dụng trong nhiều lĩnh vực khác như xử lý tín hiệu, mơ hình hố dữ liệu, lọc dữ liệu, …Với sự thúc đẩy của quá trình tin học hố và tự động hố, cĩ thể khẳng định rằng các nghiên cứu về mạng nơ-ron và các mơ hình khác sẽ tiếp tục được đầu tư nhiều hơn nữa nhằm phát triển các ứng dụng thực tiễn phục vụ cho các quá trình trên.
2.3.2Mơ hình máy vector hỗ trợ (SVM)
a. Giới thiệu
Trong học máy, SVM là một phương pháp phân lớp dựa trên lý thuyết thống kê được đề xuất bởi Vapnik và Chervonenkis, xây dựng vào năm 1995 và đã cĩ nhiều tiềm năng phát triển về mặt lý thuyết cũng như ứng dụng trong thực tế, nhất là đối với bài tốn phân lớp. Mơ hình SVM lần đầu tiên được áp dụng cho các bài tốn phân lớp và sau đĩ được Vipnik phát triển để phù hợp với bài tốn hồi quy (1996). SVM phù hợp với những bài tốn phân lớp cĩ khơng gian biểu diễn bởi một tập rất lớn các thuộc tính và phương pháp này cũng được biết đến là một trong các phương pháp cho hiệu quả cao đối với bài tốn phân lớp văn bản và bài tốn phân lớp trong dữ liệu chứng khốn[11].
SVM là thuật tốn học cĩ giám sát (supervised learning). SVM là phương pháp dựa trên cơ sở các hàm nhân (kernel) để tối thiếu hĩa rủi ro cấu trúc. SVM sử dụng thuật tốn học nhằm xây dựng một siêu phẳng làm cực tiểu hĩa độ phân lớp sai của một đối tượng dữ liệu mới.
Tư tưởng của phương pháp này là cho trước một tập huấn luyện, được biểu diễn trong khơng gian vector, trong đĩ mỗi tài liệu là một điểm, phương pháp này tìm ra một siêu phẳng quyết định tốt nhất cĩ thể chia các điểm trên khơng gian này thành hai lớp riêng biệt tương ứng là lớp + và lớp -. Chất lượng của siêu phẳng này được quyết định bởi khoảng cách (gọi là biên) của điểm dữ liệu gần nhất của mỗi lớp đến mặt phẳng này. Khi đĩ, khoảng cách biên càng lớn thì mặt phẳng quyết định càng tốt, đồng thời việc phân loại càng chính xác.
Mục đích của phương pháp SVM là tìm được khoảng cách biên lớn nhất, điều này được minh họa như sau: