mô hình dịch dựa trên đơn vị từ

Nghiên cứu dịch máy thống kê & Thử nghiệm xây dựng hệ dịch máy thống kê Anh-Việt

... Mô hình dịch dựa đơn vị từ   Đơn vị dịch: từ IBM Model 1-5:  Phương pháp sinh: chia trình gióng hàng thành bước nhỏ Mô hình hóa bước xác suất điều kiện dựa giả thuyết đơn giản 11 Mô hình dịch ... 13 Dịch máy thống kê dựa đơn vị từ  Hạn chế mô hình IBM:  Chỉ giải gióng hàng 1-nhiều  Không giải gióng hàng nhiều- nhiều  Gióng hàng theo đơn vị cụm từ (phrase) 14 Dịch máy thống kê dựa đơn ...  Dịch máy thống kê  Mô hình ngôn ngữ  Mô hình dịch  Giải mã    Hệ dịch máy thống kê Anh-Việt Thử nghiệm Kết luận Tổng quan  Dịch máy thống kê: dịch văn từ ngôn ngữ sang ngôn ngữ khác dựa...

32
1,073
3

XỬ LÝ NHẬP NHẰNG NGỮ NGHĨA TRONG DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ

Danh mục: Kỹ thuật - Công nghệ

... dataset Domain adaptation Dựa vào cụm từ Dựa vào tri thức Dựa từ Mô hình kênh nhiễu Mô hình dóng hàng từ Độ hỗn loạn Cụm từ Mô hình trật tự từ Mô hình ngôn ngữ Mô hình dịch Làm mịn Ước lượng hợp ... khác giúp cho trình dịch máy thống kê dựa đơn vị cụm từ mô hình trật tự từ, trọng số dịch từ vựng, hàm phạt từ Sau tích hợp, WSD thành phần mô hình log-linear Ta thấy mô hình dịch thống kê áp dụng ... chất lượng có tốt mô hình dịch thống kê dựa đơn vị từ, mô hình dịch thống kê dựa cụm từ chưa giải số vấn đề ngữ pháp, khả lựa chọn cụm từ với tính xác cao, dịch tên, lượng từ vựng có hạn việc...

60
1,142
1

Tối ưu bảng cụm từ cho dịch máy thống kê dựa vào cụm

Danh mục: Thạc sĩ - Cao học

... CHƢƠNG MÔ HÌNH DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ Error! Bookmark not defined 2.1 Giới thiệu mô hình dịch máy dựa cụm từError! Bookmark not defined 2.2 Kiến trúc mô hình dịch máy thống kê dựa cụm từ ... not defined Hình 1.10 Mô hình dịch dựa cú pháp Error! Bookmark not defined Hình 1.11 Dịch liên ngữ Error! Bookmark not defined Hình 2.1 Kiến trúc mô hình dịch máy thống kê dựa cụm từ Error! ... thống kê sở từ, cụm từ cú pháp Trong đó, dịch máy thống kê sở cụm từ có mục đích để giảm bớt hạn chế dịch máy thống kê sở từ cách dịch cụm từ, độ dài cụm từ nguồn cụm từ đích khác Các cụm từ kỹ thuật...

11
417
0

Luận văn sử dụng mô hình xác suất cho bài toán chuyển đổi trật tự từ trong dịch máy thống kê anh – việt dựa trên ngữ

Danh mục: Báo cáo khoa học

...

72
300
0

Dịch máy Anh - Việt dựa trên phương pháp thống kê tích hợp với thông tin ngôn ngữ

Danh mục: Công nghệ thông tin

... hệ dịch Mô hình dịch dựa yếu tố ngôn ngữ Hàm đặc trưng Mô hình ngôn ngữ Từ gốc dạng phân tích đơn giản Dịch máy Hình thái từ Nhãn từ loại Các cụm từ mô hình dịch thống kê dựa đơn vị cụm từ Dịch ... 2.2.2 Mô hình ngôn ngữ 19 2.2.3 Làm mịn 20 2.3 Mô hình dịch 21 2.3.1 Mô hình dịch thống kê dựa đơn vị từ 22 2.3.2 Mô hình dịch thống kê dựa đơn vị cụm từ ... Trong mô hình dịch thống kê dựa đơn vị cụm từ, mô hình thường sử dụng mô hình log-linear đề xuất Och Ney năm 2002 [33] Chi tiết mô hình thành phần mô hình mô tả chi tiết chương III 2.3.3 Mô hình dịch...

63
974
5

043_Phân tích thiết kế và xây dựng hệ thống phòng chống virus thông minh dựa trên hành vi hoạt động của Virus

Danh mục: Điện - Điện tử - Viễn thông

... việc nghiên cứu cách tương tác chương trình ứng dụng với hệ điều hành, từ tìm chế kiểm soát từ can thiệp, tìm đâu virus dựa hành động k k k+1 -19- ... chương trình, đưa thuật toán nhất, nghiên cứu đưa kết luận đâu virus đơn giản cấu trúc lẫn cài đặt không hiệu quả: a) Xác định virus dựa độ nguy hiểm trung bình + Mỗi hành động nguy hiểm đánh trọng ... sử dụng thiết bị, giảm bớt nỗi lo ngại lây nhiễm virus isVirus k–n k k–n+1 k+1 b) Xác định virus dựa tần số thực hành động nguy hiểm Thuật toán đặt giới hạn cho loại hành động nhạy, giới hạn dùng...

2
518
1

ỨNG DỤNG MÔ HÌNH DỊCH MÁY THỐNG KÊ CHO BÀI TOÁN BỎ DẤU CHO VĂN BẢN TIẾNG VIỆT

Danh mục: Công nghệ thông tin

... hình dƣới 3.3.1.2 Mô hình dịch dựa cụm từ Mô tả trình dịch theo cụm từ: đầu vào phân đoạn theo cụm từ câu (phrases) Mỗi cụm từ đƣợc dịch sang cụm từ tiếng anh, cụm từ đầu xếp lại 23 Mô hình dịch ... liền với từ nƣớc chƣa đƣợc dịch Trong khuôn khổ mô hình cụm từ, từ đơn lẻ đƣợc dịch riêng lẻ, mà liên tiếp nhƣ cụm từ Mỗi hoạt động dịch mang chi phí dịch, Đối với mô hình dịch chi phí mô hình ngôn ... dịch có hƣớng tiếp cận chính: Mô hình dịch dựa từ (word-based) Mô hình dịch dựa cụm từ (phrase-based) Mô hình dịch dựa cú pháp (syntax-based) Cả hƣớng tiếp cận dựa tƣ tƣởng Đó tƣơng ứng hai câu...

44
820
5

ỨNG DỤNG của mô HÌNH NGÔN NGỮ TRONG DỊCH máy THỐNG kê

Danh mục: Lập trình

... thành phần lại mô hình dịch máy thống kê 2.2.3 Mô hình dịch Mô hình dịch có hướng tiếp cận chính: Mô hình dịch dựa từ (word-based) Mô hình dịch dựa cụm từ (phrase-based) Mô hình dịch dựa cú pháp ... ngôn ngữ nguồn f Mô hình dịch từ tiếng Anh sang tiếng Việt hình dung thông qua biểu đồ đây: Hình 2.4 : Mô hình dịch máy thống kê từ tiếng Anh sang tiếng Việt Mô hình dịch mô hình ngôn ngữ trình ... thực mô hình Perplexity mô hình đánh giá tập kiểm tra Trong thực tế, Perplexity thước đo để đánh giá mô hình ngôn ngữ, coi hàm cả ngôn ngữ mô hình Trên phương diện hàm mô hình, đánh giá mô hình mô...

46
1,187
2

Nghiên cứu giải mã trong kỹ thuật dịch máy thống kê

Danh mục: Kỹ thuật

... đơn vị tính xác suất mô hình dịch mà SMT có hướng tiếp cận chính: dựa từ (word-based), dựa đoạn câu (phrase-based) dựa cú pháp (syntax-based) 2.1.1 Dịch máy thống kê dựa từ (Word-based SMT) Dịch ... máy thống kê dựa từ, mô hình dịch P(f|e) tính dựa vào xác suất dịch từ hay gọi gióng hàng từ dựa vào ngữ liệu song ngữ Tới đây, ta thấy xuất vấn đề gà – trứng, có sẵn gióng hàng từ dễ dàng ước ... dụng mô hình ngôn ngữ cú pháp (syntactic language models) Câu dịch tốt câu dịch có cú pháp “đúng” dựa vào mô hình ngôn ngữ cú pháp, mô hình cho phép kiểm tra số ràng buộc từ cách xa (trật tự từ) ...

26
280
0

LUẬN VĂN: Ứng dụng mô hình dịch máy thống kê cho bài toán bỏ dấu cho văn bản Tiếng Việt ppt

Danh mục: Công nghệ thông tin

... hình dƣới 3.3.1.2 Mô hình dịch dựa cụm từ Mô tả trình dịch theo cụm từ: đầu vào phân đoạn theo cụm từ câu (phrases) Mỗi cụm từ đƣợc dịch sang cụm từ tiếng anh, cụm từ đầu xếp lại 23 Mô hình dịch ... liền với từ nƣớc chƣa đƣợc dịch Trong khuôn khổ mô hình cụm từ, từ đơn lẻ đƣợc dịch riêng lẻ, mà liên tiếp nhƣ cụm từ Mỗi hoạt động dịch mang chi phí dịch, Đối với mô hình dịch chi phí mô hình ngôn ... dịch có hƣớng tiếp cận chính: Mô hình dịch dựa từ (word-based) Mô hình dịch dựa cụm từ (phrase-based) Mô hình dịch dựa cú pháp (syntax-based) Cả hƣớng tiếp cận dựa tƣ tƣởng Đó tƣơng ứng hai câu...

45
599
1

Luận văn:NGHIÊN CỨU GIẢI MÃ TRONG KỸ THUẬT DỊCH MÁY THỐNG KÊ pptx

Danh mục: Thạc sĩ - Cao học

... đơn vị tính xác suất mô hình dịch mà SMT có hướng tiếp cận chính: dựa từ (word-based), dựa đoạn câu (phrase-based) dựa cú pháp (syntax-based) 2.1.1 Dịch máy thống kê dựa từ (Word-based SMT) Dịch ... máy thống kê dựa từ, mô hình dịch P(f|e) tính dựa vào xác suất dịch từ hay gọi gióng hàng từ dựa vào ngữ liệu song ngữ Tới đây, ta thấy xuất vấn đề gà – trứng, có sẵn gióng hàng từ dễ dàng ước ... dụng mô hình ngôn ngữ cú pháp (syntactic language models) Câu dịch tốt câu dịch có cú pháp “đúng” dựa vào mô hình ngôn ngữ cú pháp, mô hình cho phép kiểm tra số ràng buộc từ cách xa (trật tự từ) ...

26
379
1

Nghiên cứu khai thác sử dụng một số phương pháp phân tích số liệu thống kê dựa trên phần mềm SPSS

Danh mục: Báo cáo khoa học

...

125
1,138
3

ĐỀ TÀI: TÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO HỆ DỊCH MÁY THỐNG KÊ ANH-VIỆT pptx

Danh mục: Thạc sĩ - Cao học

... mẫu Nguyên mẫu Từ loại Từ loại Hình thái Hình thái Hình 2.5 Mô hình dịch factored SMT Mô hình có trình huấn luyện dịch giống mô hình dịch dựa trên ngữ Tuy nhiên, bƣớc tạo mô hình dịch hệ factored ... thống kê dựa ngữ 20 Hình 2.5 Mô hình dịch factored SMT 27 Hình 4.1 Mô hình chung luận văn 43 Hình 4.2 Mô hình ngôn ngữ từ vựng 49 Hình 4.3 Mô hình ngôn ngữ từ loại ... 2.1.4 Mô hình dịch máy thống kê dựa cú pháp Mô hình dịch máy thống kê dựa cú pháp mô hình dịch kết hợp thống kê tri thức, ràng buộc ngữ pháp vào trình dịch Dịch thống kê dựa cú pháp có nhiều mô hình, ...

92
379
0

CẢI TIẾN CHẤT LƯỢNG DỊCH máy THỐNG kê VIỆT – ANH BẰNG mô HÌNH PHÁT SINH từ CHỨC NĂNG

Danh mục: Kỹ thuật lập trình

... mô hình chèn từ chức TFWIM.Giai đoạn phát sinh từ chức mô hình hóa thành toán phân lớp định vị trí chèn từ chức năng.Thực nghiệm liệu 1000 câu tiếng Anh, mô hình đạt độ xác 87,172% Trong mô hình ... nhiên, ĐHQG-HCM Hình Mô hình cải tiến chất lượng dựa vào từ chức Mô hình gồm giai đoạn: Xác định tập từ chức cần xóa Xóa từ chức năng: trình diễn suốt thời gian huấn luyện mô hình Mục đích giai ... thống: Hệ thống sở (Baseline) Hệ thống dịch Post-generation (phát sinh từ chức kết dịch) : mô hình SMT phát sinh từ chức kết dịch Hệ thống TFWIM: mô hình phát sinh từ chức đượctích hợp lúc giải mã Trong...

9
315
2

THAY đổi TRỌNG số mô HÌNH GIẢI mã TRONG DỊCH máy THỐNG kê

Danh mục: Kỹ thuật lập trình

... câu có từ không gióng hàng nhóm câu từ không gióng hàng Từ gióng hàng với nhiều từ Một thử thách hệ thống dịch máy thống kê trường hợp từ gióng hàng với nhiều từ. Từ gióng hàng với nhiều từ từ (thuộc ... ứng cử viên dịch bắt nguồn từ lỗi chọn sai từ Loại 2: Sự khác biệt hai ứng cử viên dịch bắt nguồn từ lỗi trật tự từ Loại 3: Sự khác biệt hai ứng cử viên dịch bắt nguồn từ lỗi chèn xóa từ không hợp ... vào hai nhóm, nhóm dễ dịch nhóm khó dịch. Các câu có từ chưa biết vào nhóm khó dịch, câu lại vào nhóm dễ dịch. Và thử nghiệm hình thức dịch sau so sánh với MERT Dịch DB-M: dịch phân lớp chưa biết...

10
320
4

tích hợp thông tin hình thái từ vào hệ dịch máy thống kê anh việt

Danh mục: Công nghệ thông tin

... Nguyên mẫu Từ loại Từ loại Hình thái Hình thái Hình 2.5 Mô hình dịch factored SMT Mô hình có trình huấn luyện dịch giống mô hình dịch dựa trên ngữ Tuy nhiên, bước tạo mô hình dịch hệ factored SMT ... thống kê dựa ngữ 20 Hình 2.5 Mô hình dịch factored SMT 27 Hình 4.1 Mô hình chung luận văn 43 Hình 4.2 Mô hình ngôn ngữ từ vựng 49 Hình 4.3 Mô hình ngôn ngữ từ loại ... pháp Mô hình dịch máy thống kê dựa cú pháp mô hình dịch kết hợp thống kê tri thức, ràng buộc ngữ pháp vào trình dịch Dịch thống kê dựa cú pháp có nhiều mô hình, sau số mô hình tiêu biểu: - Dịch từ...

96
654
0

Tối ưu bảng cụm từ để cái tiến dịch máy thống kê

Danh mục: Công nghệ thông tin

... không thực theo trình tự phương pháp dựa sở từ, mà sử dụng khuôn dạng ghi tuyến tính Các thành phần mô hình ngôn ngữ, mô hình dịch cụm từ, mô hình dịch từ vựng mô hình đảo cụm sử dụng cách thích hợp ... Xây dựng mô hình ngôn ngữ, mô hình dịch SRILM gói công cụ để xây dựng mô hình dịch ngôn ngữ Nó giúp xây dựng mô hình ngôn ngữ trước cho vào máy dịch Sử dụng GIZA++ để xây dựng mô hình dịch dùng ... arg max p(v | e)* p(v) Mô hình dịch: P(e|v) Hậu xử lý Ngữ liệu song ngữ Câu đích v: “Cô giáo viên” Hình 1.5: Mô hình dịch từ Tiếng Anh- Tiếng Việt 10 Mô hình dịch dựa cụm từ thường không thực theo...

59
268
1

TÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO HỆ DỊCH MÁY THỐNG KÊ ANH VIỆT

Danh mục: Kinh tế

... 64 Hình 4.2 Mô hình ngôn ngữ từ vựng 49 Bảng 5.5 Số liên kết gióng hàng từ mô hình 65 Hình 4.3 Mô hình ngôn ngữ từ loại 49 Bảng 5.6 Kết dịch hệ dịch tích hợp từ loại ... hàng từ đƣợc xem mô hình tiên tiến Mô hình giả sử Để ƣớc lƣợng tham số mô hình dịch, bảng dịch ngữ đƣợc tạo dựa gióng hàng từ Gióng hàng tạo liên kết cặp từ (ngữ) tƣơng ứng cách đánh dấu vị trí từ ... suất dịch từ câu 𝑒 sang câu 𝑣, ta phải tính hàm đặc trƣng 𝑕𝑖 bao gồm hàm đặc Mô hình dịch máy thống kê dựa cú pháp mô hình dịch kết hợp trƣng mô hình ngôn ngữ, mô hình chuyển đổi trật tự, bƣớc dịch...

46
344
0

XÂY DỰNG HỆ THỐNG CUNG CẤP DỊCH VỤ QUA SMS DỰA TRÊN VỊ TRÍ THUÊ BAO DI ĐỘNG

Danh mục: Điện - Điện tử - Viễn thông

... 21 Hình 4: BTS phát sóng theo hướng 25 Hình 5: Kỹ thuật định vị Cell-ID 27 Hình 6: Định vị sử dụng Cell-ID TA 29 Hình 7: Định vị dựa trên: E-OTD hyperbol 30 Hình ... GSM - Dịch vụ tin nhắn SMS mạng GSM Chương – Kỹ thuật định vị thuê bao qua trạm BTS - Tìm hiểu số dịch vụ dựa vị trí - Một số kỹ thuật định vị thuê bao qua trạm BTS - Một số dịch vụ dựa vị trí ... cấp dịch vụ truy cập internet  Một số thành phần khác phục vụ việc cung cấp dịch vụ cho mạng GSM gọi, hay nhắn tin SMS… Mô hình hệ thống thông tin di động mô tả hình vẽ sau: Hình 1: Mô hình...

68
577
1

Xây dựng hệ thống cung cấp dịch vụ qua SMS dựa trên vị trí thuê bao di động

Danh mục: Thương mại điện tử

... cấp dịch vụ qua SMS dựa vị trí thuê bao di động 44 CHƯƠNG - XÂY DỰNG HỆ THỐNG MÔ PHỎNG CÁC DỊCH VỤ DỰA TRÊN VỊ TRÍ 3.1 Phát biểu toán Bài toán: Xây dựng hệ thống cung cấp dịch vụ qua SMS dựa vị ... THUẬT ĐỊNH VỊ THUÊ BAO QUA CÁC TRẠM BTS 22 2.1 Một số dịch vụ dựa vị trí 22 2.1.1 Dịch vụ thông tin dựa vị trí 22 2.1.2 Tính cước theo vị trí địa lý 23 2.1.3 Dịch vụ khẩn ... đáp ứng nhiều dịch vụ đáp ứng nhu cầu người tin nhắn hình, âm thanh, file, truy cập internet, xem truyền hình di động, định vị thuê bao 2.1 Một số dịch vụ dựa vị trí Việc xác định vị trí thuê...

69
952
5