II. Cơ sở lý thuyết
b. Các phương pháp thu thập thông tin
b.2.1 Kỹ thuật mạng Nơ-ron (Neural network)
Có thể nói tương đối mạnh rằng, các nghiên cứu gần đây về IR khá thành công trong các kỹ thuật được đề xuất để “hiểu” nội dung của tài liệu và truy vấn, hay nói cách khác là thực hiện được các phân tích ngữ nghĩa. Với mục tiêu này, hệ thống có thể áp dụng các lĩnh vực tri thức cho các xử lý để tìm kiếm và thu thập thông tin. Thành công này có được theo nghĩa đạt được khả năng học và khả năng tổng quát hoá của mạng Nơ-ron (Neural network).
Với việc sử dụng mạng nơ-ron, chúng ta có thể biểu diễn một phần tượng trưng tri thức trong lĩnh vực của bài toán, và có thể được sử dụng thành công trong hệ thống thu thập thông tin.
Để có thể hiểu làm thế nào mạng nơ-ron có thể áp dụng cho xử lý thu thập thông tin, chúng ta sẽ định nghĩa một số khái niệm được sử dụng trong lý thuyêt mạng nơ-ron.
Xây dựng các khối của mô hình tính toán cho mạng nơ-ron thành các đơn vị gọi là
nút mạng (neurode) mang rất nhiều các đặc tính của rơ-ron sinh học [4], hay nói
đúng hơn là các nút mạng này được mô phỏng theo các nơ-ron của động vật.
Ở các nút mạng ở Hình 5 thể hiện các phép toán logic AND. Đầu ra của nút mạng sẽ
sáng nếu các đầu vào đều sáng. Nó được thực hiện bởi phép so sánh với giá trị
ngưỡng (T) mà mọi đầu ra đều có. Hiển nhiên là việc thực hiện phép logic OR sẽ có
giá trị ngưỡng giảm còn 0.5 (xem Hình 5.b). Các giá trị trong ngoặc được gọi là các trọng số, định nghĩa độ mạnh của liên kết. Trong mô hình tính toán của mạng nơ-ron, trọng số thường được định nghĩa là giá trị nằm trong khoảng [-1, 1].
Trong trường hợp phức tạp hơn, ví dụ khi thực hiện phép toán NOR, chúng ta cần nhiều hơn một đơn vị, các đơn vị đó gọi là đơn vị ẩn.
Mô hình tính toán mạng nơ-ron được biểu diễn bởi các thuật ngữ về kết nối của nó (các mẫu kết nối) và trong các thuật ngữ về cách mà chúng được đào tạo (các luật sửa các trọng số). (1) (1) T=2 3 (1) (1) T=2 1
Hình 5. Mạng nơ-ron: toán tử AND (a) và toán tử OR (b)
(a)
b.2.1.2. Mô hình truyền ngược ba lớp
Mô hình được đề xuất là một mô hình ba lớp:
- Lớp các thuật ngữ truy vấn (các nút mạng đầu vào) – Q layer
- Lớp các tài liệu (các nút mạng đầu ra) – D layer
- Lớp các chỉ mục (các nút ẩn) – T layer
Trong hình 7, chúng ta có các ký hiệu sau:
- ti - chỉ mục thuật ngữ
- Di - tài liệu
- Qi - thuật ngữ truy vấn của người dùng
- pij - trọng số kết nối giữa ngăn của mạng thuật ngữ và một ngăn của mạng tài liệu
- qi - trọng số liên kết giữa thuật ngữ của truy vấn và thuật ngữ ti
- wij - giá trị liên kết giữa thuật ngữ ti và tj
- dij - trọng số liên kết giữa tài liệu Di và tài liệu Dj
0.5
1.5
1 -2 1
1 1
Hình 6. Mạng nơ-ron với lớp ẩn: toán tử NOR
Lớp thuật ngữ truy vấn biểu diễn các yêu cầu người dùng. Mỗi một nút là một thuật ngữ trong truy vấn. Lớp tài liệu biểu diễn tập các tài liệu. Mỗi nút quy chiếu đến một tài liệu. Các nút trong lớp này có các liên kết hai chiều có trọng số, thể hiện sự tương đồng giữa các tài liệu. Giá trị tương đồng này được tính toán bởi trọng số ngữ nghĩa của các thuật ngữ trong mỗi tài liệu. Lớp các thuật ngữ là lớp động. Mỗi nút biểu diễn một thuật ngữ được đánh chỉ mục. Các liên kết có giá trị giữa các nút là các kết lối giữa các thuật ngữ trong pha truy vấn.
Các liên kết có trọng số giữa các ngăn thuộc lớp thuật ngữ có chỉ dẫn và các ngăn thuộc lớp thuật ngữ pij biểu diễn khả năng hay ý nghĩa của thuật ngữ ti trong tài liệu
Dj. Liên kết có trọng số qi định nghĩa độ quan trọng của thuật ngữ ti trong toàn bộ tổ hợp các tài liệu. Các giá trị khởi đầu của các trọng số này có thể được trọng ngẫu nhiên hoặc với bất cứ cách xác định nào. Nếu giá trị ngẫu nhiên được sử dụng, có thể ta sẽ phải đối mặt với các vấn đề sau:
- Thời gian học dài
- Khó đạt được sự hội tụ
Để tìm ra trọng số wij (liên kết giữa ti và tj), chúng ta giả sử rằng độ liên kết giữa hai thuật ngữ tăng khi đồng xuất hiện trong một tài liệu, và giá trị này chỉ giảm khi có một lần xuất hiện trong một tài liệu.
Liên kết giữa hai tài liệu được biểu diễn bởi công thức sau:
j i k kj ki kj ki k kj ki P P P P P P R(Di,Dj) ; . ) ( . b.2.1.3. Chức năng của mạng
Chức năng mạng gồm hai pha:
- Pha thu thập thông tin
- Pha học
Pha thu thập thông tin bắt đầu khi người dùng gửi cho hệ thống một yêu cầu (thường được viết dưới dạng ngôn ngữ tự nhiên). Yêu cầu này được phân tích và tương ứng lớp Q sẽ được xây dựng. Mỗi ngăn trong lớp Q được liên kết với một ngăn trong lớp T với cùng thuật ngữ. Liên kết này sẽ bắt đầu được kích hoạt dọc theo các mối liên kết qi. Mỗi ngăn của lớp T nhận một tín hiệu từ lớp Q sẽ tính toán rằng độ kích hoạt và sau đó truyền nó tới mạng.
Trong trường hợp đó có hai khả năng có thể xảy ra:
- Truyền lan tín hiệu tới ngăn khác từ T (tự động tính toán lại yêu cầu)
- Truyền lan nó tới ngăn đó từ D
Trong trường hợp thứ hai, mỗi ngăn của lớp D sẽ tính một giá trị kích hoạt phản xạ độ tương đồng giữa yêu cầu và tài liệu. Các tài liệu thu thập được sắp xếp theo giá trị kích hoạt của chúng.
Khi đó, người dùng có những cơ hội để lan truyền lan sự kích hoạt của tài liệu tới những ngăn khác thuộc lớp D hoặc gây ra một sự lan truyền phản hồi của các ngăn thuộc lớp D tới các ngăn thuộc lớp T. Điều đó có nghĩa là sự lan truyền tài liệu phù
hợp đến lớp T sẽ gây ra quá trình sự kích hoạt hay truyền lan trong lớp T và lớp D. Nhưng trong thực tế, quá trình này không mang bất kỳ tài liệu mới nào, nhưng dù sao đi nữa nó có thể giảm bớt số tài liệu ở đầu ra.
Quá trình học bao gồm :
- Thay đổi các liên kết giữa các ngăn thuộc lớp D và lớp T
- Thay đổi liên kết trong một lớp
Trước hết, áp dụng luật HEBB để sửa đổi các trọng số kết nối pi,j. Ý tưởng này sẽ tăng các giá trị trọng số của kết nối giữa các tài liệu bằng cách xem xét độ phù hợp và độ kích hoạt của các thuật ngữ, và giảm trọng số nếu các tài liệu được xét thấy không phù hợp. Các hoạt động này ảnh hưởng đến ý nghĩa của các thuật ngữ được so sánh với tài liệu theo sự phù hợp của tài liệu.
Thứ đến, sửa đổi các liên kết giữa ti,j. Giải thuật sử dụng trong giai đoạn huấn luyện này phần lớn được dựa trên các nghiên cứu của Kohonen. Tóm lại, phương pháp này dực trên độ phù hợp của các tài liệu nhận được sau một truy vấn.
Ở giai đoạn đầu tiên, có sự tăng giá trị của các kết nối thực chất là kích hoạt các ngăn với các tài liệu phù hợp và việc giảm giá trị nếu các kết giữa các ngăn với tài liệu là không phù hợp. Ở giai đoạn thứ hai, quá trình huấn luyện tạo ra kết nối giữa các thuật ngữ và kích hoạt các ngăn với các tài liệu phù hợp.
Giải thuật này được sử dụng cho mục đích nhóm các thuật ngữ được liên kết tới tài liệu trên cùng chủ đề.
Cách huấn luyện này có khả năng hướng việc mở rộng cách đối xử của các mạng nơ- ron, đặc biệt trong lĩnh vực thu thập thông tin.