Khối liệu đặc trưng và phân loại

Khối liệu - đặc trưng phân loại Khối liệu - đặc trưng phân loại Bởi: TS Đào Hồng Thu Dẫn nhập Khối liệu tập hợp liệu tương đồng mặt ngôn ngữ, trình bày dạng model văn điện tử, theo cấu trúc định Khối liệu sử dụng để giải vấn đề ngôn ngữ lĩnh vực khoa học cụ thể Việc tìm kiếm liệu khối liệu theo từ cho phép lập danh mục tất trường hợp sử dụng từ cho ngữ cảnh với đầy đủ dẫn nguồn Khối liệu sử dụng làm cẩm nang hướng dẫn tìm kiếm thông tin, liệu thống kê đơn vị ngôn ngữ lời nói Trên sở khối liệu nhận liệu tần số hình thái từ, đơn vị từ vựng, phạm trù ngữ pháp; theo dõi thay đổi tần số ngữ cảnh thời điểm khác v.v Cuối cùng, khối liệu sử dụng làm sở công cụ biên soạn thể loại từ điển lịch sử đại khác nhau; sử dụng để xây dựng giải thích ngữ pháp; để phục vụ cho việc dạy học ngữ ngoại ngữ dịch thuật Các đặc trưng khối liệu Có thể nói khối liệu mô hình nhỏ ngôn ngữ Căn vào hoạt động khối liệu hệ thống thấy đặc trưng sau: Tính điển hình Đây khái niệm quan trọng Ngôn ngữ học khối liệu Đặc trưng xác định tính thực tiễn khối liệu, có nghĩa khối liệu phải tập hợp nhiều loại văn phù hợp cho việc nghiên cứu nhiều ngôn ngữ Điều đặc biệt quan trọng khối liệu chung phải hàm chứa tỉ lệ xác định văn thuộc nhiều thể loại, nhiều thời điểm lịch sử, nhiều tác giả khác v.v Tính điển hình khối liệu hiểu thể tỉ lệ cần đủ khối liệu dung lượng, thể loại, phong cách, số lượng tác giả, vùng địa lí, thời kì lịch sử v.v 1/5 Khối liệu - đặc trưng phân loại Kích cỡ xác định Khái niệm "khối liệu" có nghĩa thông thường tập hợp văn có kích cỡ xác định Theo thời gian, kích cỡ (dung lượng thành phần) khối liệu thay đổi Tuy nhiên, thay đổi không kéo theo thay đổi tính điển hình toàn khối phải thay đổi khối liệu cần thay đổi Các khối liệu ban đầu khối liệu Brown khối liệu tiếng Nga Upsanski bao gồm triệu đơn vị từ cụm từ sử dụng Ngày nay, khối liệu cần chứa 100 triệu đơn vị từ cụm từ sử dụng Khi xây dựng khối liệu cần lưu ý đến mục đích sử dụng ngữ liệu khối người sử dụng khối liệu tạo lập Quá trình xây dựng khối liệu cho thấy nhóm người sử dụng khối liệu có nhu cầu riêng Ví dụ, phần lớn người sử dụng tìm khối liệu từ cụm từ gặp phải vấn đề tả phong cách chúng, thường họ tìm đồng nghĩa từ cụm từ Đối với trường hợp cần xây dựng khối liệu ngôn ngữ vừa đủ, chấp nhận số từ cụm từ khối chưa mang đầy đủ tính điển hình khối liệu tạo dựng với nguồn từ điển thông dụng ngôn ngữ toàn dân Một ví dụ khác với trường hợp dẫn chứng cho tầm quan trọng việc lựa chọn mục đích xây dựng khối liệu đáp ứng nhu cầu người sử dụng khối liệu Đối với người sử dụng chuyên gia chuyên ngành công nghệ chẳng hạn người xây dựng khối liệu cần tuân thủ đầy đủ nguyên tắc tính điển hình, kích cỡ xác định phong cách ngôn ngữ chuyên ngành bên cạnh lượng dự trữ từ cụm từ từ điển thông dụng Hoặc người sử dụng nhà từ vựng học nguồn từ cụm từ từ điển thông dụng cần lượng đơn vị từ theo chuyên ngành cụ thể phương tiện ngôn ngữ kèm theo Đối với người sử dụng nhà lí luận ngôn ngữ chuyên gia lĩnh vực soạn thảo ngôn ngữ máy tính cần khối liệu đặc trưng mặt ngôn ngữ, bao gồm liệu từ vựng - ngữ nghĩa, cú pháp hình thái học Tính giải Để giải vấn đề ngôn ngữ khác khối liệu, xây dựng khối liệu cần có lượng đáng kể giải thông tin ngôn ngữ ngoại ngôn ngữ thuộc thể loại khác Vì vậy, Ngôn ngữ học khối liệu hình thành khối giải thông tin Chú giải (tagging) phần giải thích thông tin đặc thù làm rõ nghĩa cho văn khối liệu giải bên ngoài, ngoại ngôn ngữ (ví dụ, giải tác giả: tên, tuổi, giới tính, năm sinh v.v văn bản: tác giả, tên văn bản, năm nơi xuất bản, thể loại, phong cách ngôn ngữ v.v.); giải cấu trúc (ví dụ, chương, đoạn, câu, hình thái từ v.v.); giải cho ngôn ngữ văn từ vựng, cú pháp 2/5 Khối liệu - đặc trưng phân loại Các nghiên cứu Ngôn ngữ học khối liệu cho thấy việc xác định lựa chọn loại hình giải phải nhà ngôn ngữ tiến hành sở văn lựa chọn cho việc xây dựng khối liệu Chú giải khối liệu chia thành: * Chú giải hình thái học (POS-tagging) Đây dạng phân tích xây dựng khối liệu phần lớn khối liệu lớn khối liệu nhỏ giải hợp lại mặt hình thái học Trong trình xây dựng khối liệu, phân tích hình thái học xem sở phân tích cú pháp phân tích ngữ nghĩa Chú giải hình thái học bao gồm giải thành phần lời nói (viết nói) phạm trù ngữ pháp thành phần khối liệu Đơn vị giải hình thái học từ () cụm từ Hiện nay, thành tựu hình thái học máy tính phát triển mức độ cho phép tự động giải khối liệu có kích cỡ lớn Chú giải hình thái học ngày thường thực cách tự động bắt buộc phải có tham gia người vào việc lựa chọn nghĩa từ xác định ngữ cảnh cụ thể cho khối liệu phân tích hình thái học xảy tượng đa nghĩa từ Các nghiên cứu khối liệu cho thấy giải hình thái học lựa chọn nhiều phân tích văn chi tiết nhiêu Ngày có xu hướng giảm số lượng giải hình thái học dung lượng khối liệu ngày tăng Hệ thống làm đơn giản trình mã hóa tạo điều kiện cho việc tránh mắc lỗi không cần thiết, sử dụng cách lôgíc liệu, tránh trường hợp đa nghĩa từ văn tăng tốc độ giải khối liệu lớn với hàng triệu từ * Chú giải cú pháp (parsing) Chú giải cú pháp kết phân tích cú pháp thực sở liệu phân tích hình thái học Đây dạng giải mô tả mối quan hệ cú pháp đơn vị từ vựng cấu trúc cú pháp khác (ví dụ, mệnh đề phụ thuộc, mệnh đề độc lập, thành ngữ v.v.) Hiện nay, mức độ phân tích cú pháp tồn xu hướng chi tiết hóa nhỏ việc mã hóa giải để tăng tốc độ trình tự phân tích văn Điều diễn giải hình thái học giải ngữ nghĩa * Chú giải ngữ nghĩa (semantic tagging) 3/5 Khối liệu - đặc trưng phân loại Trong trình xây dựng khối liệu phần giải ngữ nghĩa phần phức tạp khó khăn Cho đến nay, ngữ nghĩa học dành cho khối liệu chưa có đồng chung mặt lí luận Tuy vậy, phạm trù ngữ nghĩa đơn vị từ cụm từ sử dụng xác định rõ ràng cho việc xây dựng khối liệu cụ thể Do tính chất phức tạp việc lựa chọn giải ngữ nghĩa cho khối liệu nên nhà nghiên cứu ngôn ngữ học khối liệu tập trung nhiều công sức vào lĩnh vực phát triển Một điều hiển nhiên giải ngữ nghĩa phát triển mạnh tính xác thực hoạt động khối liệu, nghĩa giải ngữ nghĩa đảm bảo cho việc thực chức quan trọng hệ thống khối liệu tạo khả so sánh văn khác với mục đích tích lũy ngân hàng kiến thức phục vụ cho việc nhanh chóng tìm kiếm thông tin cần thiết Kiểu giải ngữ nghĩa mã (code) gồm chữ chữ số Các nghiên cứu cho thấy có khoảng 250 - 300 đơn vị mã để phân loại toàn từ vựng * Ngoài loại hình giải chủ yếu tồn giải khác giải từ loại, giải ngôn điệu, giải bình luận tranh luận v.v Phân loại khối liệu chủ yếu Trong Ngôn ngữ học khối liệu, khối liệu phân loại theo phương thức phân nhóm theo kiểu giải ngôn ngữ Mặc dù tồn nhiều kiểu giải, thực tế, phần lớn khối liệu có kiểu giải cú pháp / hình thái học (treebanks - ngân hàng cấu trúc cú pháp - ĐHT dịch) Một điều hiển nhiên cần nhấn mạnh khối liệu có giải cú pháp hàm chứa đặc trưng hình thái học đơn vị từ vựng Căn vào mục đích nghiên cứu - sử dụng khối liệu đặc điểm hoạt động nó, phân loại sau: * Theo kiểu liệu, khối liệu chia thành khối liệu viết, khối liệu nói, khối liệu kết hợp; * Theo ngôn ngữ văn bản, khối liệu chia thành khối liệu tiếng Việt, khối liệu tiếng Anh, khối liệu tiếng Nga v.v * Theo đặc tính song song văn bản, khối liệu chia thành khối liệu đơn ngữ, khối liệu song ngữ khối liệu đa ngữ * Theo thể loại chuyên ngành, khối liệu chia thành khối liệu khoa học phổ biến, khối liệu không phổ biến, khối liệu ngôn ngữ học ứng dụng, khối liệu khoa học kĩ thuật công nghệ v.v 4/5 Khối liệu - đặc trưng phân loại * Theo tính chất giải, khối liệu chia thành khối liệu có giải khối liệu giải * Theo chức mục đích sử dụng, khối liệu chia thành khối liệu nghiên cứu, khối liệu minh họa, khối liệu tham khảo v.v * Theo tính chất xã hội văn bản, khối liệu chia thành khối liệu cộng đồng, khối liệu tác phẩm v.v 5/5 ... động nó, phân loại sau: * Theo kiểu liệu, khối liệu chia thành khối liệu viết, khối liệu nói, khối liệu kết hợp; * Theo ngôn ngữ văn bản, khối liệu chia thành khối liệu tiếng Việt, khối liệu tiếng... khối liệu khoa học phổ biến, khối liệu không phổ biến, khối liệu ngôn ngữ học ứng dụng, khối liệu khoa học kĩ thuật công nghệ v.v 4/5 Khối liệu - đặc trưng phân loại * Theo tính chất giải, khối liệu. .. Anh, khối liệu tiếng Nga v.v * Theo đặc tính song song văn bản, khối liệu chia thành khối liệu đơn ngữ, khối liệu song ngữ khối liệu đa ngữ * Theo thể loại chuyên ngành, khối liệu chia thành khối