Mó hoỏ dữ liệu tập mẫu RCV1

Một phần của tài liệu XÂY DỰNG THỬ NGHIỆM TẬP MẪU VÀ PHẦN MỀM PHÂN TỰ ĐỘNG PHÂN LOẠI VĂN BẢN TIẾNG VIỆT (Trang 44)

5 Chương 3 Tổng quan về tập mẫu

5.3.2.2Mó hoỏ dữ liệu tập mẫu RCV1

1. Cỏc văn bản ( The Documents)

Reuters la trung tõm quốc tế lớn nhất, là nơi lưu giữ cỏc bản tin trờn bỏo và tivi. Mỗi ngày bộ phận xuất bản sản xuất ra hn 11000 bài bỏo dịch ra 23 ngụn ngữ khỏc nhau. RCVI được tạo ra từ một trong những kho dữ liệu trực tuyến. Nú bao gồm tất cả cỏc bài bỏo, trong đú cú những bài bỏo bằng tiếng Anh của cỏc nhà bỏo của Reuters từ 20 thỏng 8 năm 1996 đến 19 thỏng 8 năm 1997. Những dự liệu được chứa đựng trong hai CD_ ROMs và được tạo lập dưới dạng XML. Quỏ trỡnh mó húa được thực hiện từ lưu giữ dữ liệu và cỏc cụng việc như việc kiểm chứng xỏc minh tớnh đầy đủ, tớnh hiệu lực của nội dung, loại bỏ những văn bản khụng xỏc thực và bản sao, tiờu chuẩn hoỏ ngày và nơi bài bỏo được biờn soạn... đó được tiến hành

2. Cỏc phõn lớp

Việc tạo lập phõn lớp từ ba tập hợp (tiờu đề, ngành nghề và khu vực) được gỏn cho cỏc bài bỏo. Việc lập trỡnh lỳc đầu chỉ là để đỏp ứng yờu cầu của khỏch hàng cho việc tiếp cận cỏc thụng tin kinh tế.

a. Tạo lập tiờu đề bài bỏo (Topic Codes )

Tạo lập tiờu đề bài bỏo nghĩa là nắm được nụi dung cơ bản của bài bỏo. Chỳng được tổ chức thành bốn nhúm phõn cấp như sau: CCAT (ngành, doanh nghiệp), ECAT (kinh tế học ), GCAT (chớnh phủ, xó hội), và MCAT ( thị trường). Cỏc tiờu đề của RCV1 mở rộng về mặt nội dung nhưng việc tạo lập tập hợp chỉ tập trung nhấn mạnh vào sự phõn biệt liờn quan đến khỏch hàng của Reuters. Vớ dụ, cú ba việc tạo lập Chủ đề khỏc nhau thay đổi cho chủ cỏc cụng ty nhưng cho lĩnh vực khoa học và kỹ thuật chỉ cú một phõn lớp đơn giản ( GSCI).

b.Việc tạo lập theo ngành nghề (Industry Codes)

Việc tạo lập theo ngành nghề chủ yếu dựa vào hỡnh thức kinh doanh được đề cập đến trong bài bỏo. chỳng được sắp xếp thành 10 cấp độ tiếp theo. Việc tạo lập này tạo nờn một trong ba code sets lớn nhất, hỗ trợ sự phõn tỏch.

c.Việc tạo lập theo vựng khu vực (Region Codes)

Việc tạo lập này bao gồm cả sự phõn bố địa lý và sự phõn loại theo nhúm kinh tế chớnh trị. Khụng cú sự phõn loại theo mụ hỡnh phõn cấp nào được xỏc định.

Một phần của tài liệu XÂY DỰNG THỬ NGHIỆM TẬP MẪU VÀ PHẦN MỀM PHÂN TỰ ĐỘNG PHÂN LOẠI VĂN BẢN TIẾNG VIỆT (Trang 44)