4. Những nội dung nghiên cứu chính
1.4Đánh giá chất lượng dịch tự động dựa trên điểm BLEU
Muốn đánh giá chất lượng các hệ thống dịch có thể sử dụng phương pháp thủ công bởi chuyên gia hoặc sử dụng phương pháp đánh giá tự động. Q trình đánh giá thủ cơng cho điểm cho các câu dịch dựa trên sự trôi chảy và chính xác của câu dịch. Có thể khẳng định rằng đây là phương pháp đánh giá có độ chính xác nhất. Tuy nhiên, cơng việc đánh giá thủ công này lại tiêu tốn quá nhiều thời gian, đặc biệt khi cần so sánh nhiều mơ hình ngôn ngữ, nhiều hệ thống khác nhau. Công bằng mà nói, mỗi phương pháp đều có ưu nhược điểm riêng. Mặc dù đánh giá tự động có thể khơng phản ánh được hết mọi khía cạnh của chất lượng dịch, nhưng nó có thể nhanh chóng cho ta biết: chất lượng của hệ dịch ở mức nào, có tăng hay không sau khi được cải tiến hoặc thay đổi một vài tham số nào đó. Thực tế, hai phương pháp này được sử dụng song song, và điểm BLEU là độ đo chất lượng hệ dịch phổ biến nhất hiện nay, được đề xuất bởi Papineni năm 2002.
Đối chiếu kết quả dịch với tài liệu dịch tham khảo và tài liệu nguồn là cách tính điểm của BLEU. Dù [9] chỉ ra rằng điểm BLEU thường không thực sự tương quan với đánh giá thủ công bằng chuyên gia với các loại hệ thống khác nhau, thế nhưng vẫn có thể khá chính xác để đánh giá trên cùng một hệ thống, hoặc những hệ thống tương tự nhau. Vì thế, trong khóa luận này, tơi sử dụng điểm BLEU làm thước đo chất lượng dịch và từ đó so sánh các loại mơ hình ngơn ngữ khác nhau.
CHƯƠNG 2
MƠ HÌNH NGƠN NGỮ BLOOM FILTER
Mơ hình ngơn ngữ kể từ khi xuất hiện đến nay đã có những bước phát triển đáng kể cùng với các thuật toán làm mịn ngày càng tốt hơn [5]. Tuy nhiên cũng còn nhiều thách thức mà LM phải đối mặt. Đó là làm thế nào tạo ra được mơ hình đại diện hiệu quả ngôn ngữ tự nhiên, bằng cách sử dụng ngữ liệu lớn, tăng bậc mơ hình n-gram và giảm độ phức tạp trong tính tốn và sử dụng ít bộ nhớ. Một tập ngữ liệu như của Google là quá lớn (24GB khi đã nén), bộ nhớ RAM thông thường không thế chứa vừa. Điều này là động lực thúc đẩy các nhà nghiên cứu cần tìm ra một giải pháp thay thế cách biểu diễn n-gram truyền thống, nếu vẫn muốn tận dụng ưu thế của các tập ngữ liệu lớn mà không cần sử dụng các phương thức tốn kém truyền thống như hệ thống siêu máy tính trong mơi trường điện tốn phân tán của Google.
Bloom Fillter (BF) [4] là một loại cấu trúc dữ liệu có khả năng đáp ứng
phần nào những yêu cầu nêu trên, đó chính là, sử dụng một dạng mã hóa có
mất mát thơng tin (lossy encoding), ý tưởng của BF là thay vì lưu trữ tất cả
các n-gram, chúng ta chỉ lưu tập đại diện mang tính ngẫu nhiên của nó. Mã
hóa có mất mát thơng tin là một loại kỹ thuật phổ biến thường được dùng
trong lưu trữ đa phương tiện như chuẩn nén JPEG cho hình ảnh, MP3 cho âm thanh hay MPEG cho nén video. Trong đó mặc dù một phần dữ liệu bị mất đi khi mã hóa, nhưng đại diện mới được tạo thành sau khi được giải mã vẫn chứa đựng khá đầy đủ các thơng tin hữu ích.
Để trả lời cho câu hỏi “Liệu phần tử x có thuộc tập S hay không?” mà một cấu trúc dữ liệu xác suất Bloom Filter đã được xây dựng. Nếu câu trả lời là có thì ta gọi đó là một HIT, cịn ngược lại thì ta gọi là MISS. Khi đối tượng được truy vấn không thuộc tập S (xS), nhưng lại HIT có hai loại lỗi có thể xảy ra. Cịn false negative thì trái ngược với false positive, tức là một đối
tượng xS bị kết luận là MISS trong khi thực tế thì hồn tồn ngược lại. Cấu trúc dữ liệu thống kê nào chỉ gặp một trong hai loại lỗi này được gọi là có lỗi
một phía (one-side error) và lỗi hai phía trong trường hợp cịn lại. BF là cấu
trúc dữ liệu chỉ có lỗi một phía.
Cấu trúc dữ liệu này yêu cầu dung lượng lưu trữ thấp hơn khá nhiều ngưỡng dưới của thuyết Entropy nhưng lại có tỉ lệ lỗi khá thấp và có thể xác định được. Bloom Filter ngun bản khơng hỗ trợ lưu trữ cả cặp khóa-giá trị. Tuy nhiên Talbot và Osborne đã đề xuất những cách cho phép tích hợp giá trị vào trong mơ hình ngơn ngữ Bloom Filter.