phần mềm hỗ trợ người khiếm thị học tiếng anh

Trang 1 ỦY BAN NHÂN DÂN TP.HCM SỞ KHOA HỌC VÀ CÔNG NGHỆ BÁO CÁO NGHIỆM THU (Đã chỉnh sửa theo góp ý của Hội đồng nghiệm thu) PHẦN MỀM HỖ TRỢ NGƯỜI KHIẾM THN HỌC TIẾNG ANH CHỦ NHIỆM ĐỀ TÀI (Ký tên) CƠ QUAN QUẢN LÝ CƠ QUAN CHỦ TRÌ (Ký tên/đóng dấu xác nhận) (Ký tên/đóng dấu xác nhận) THÀNH PHỐ HỒ CHÍ MINH THÁNG 04 / 2009 Trang 2 TÓM TẮT NỘI DUNG NGHIÊN CỨU Theo ước tính của Bộ Thương Binh Lao Động và Xã Hội và Hội Người Mù Việt Nam, hiện có khoảng 600.000 người mù và kém mắt ở nước ta. Đối với ngưòi khiếm thị, máy tính đã thể hiện một vai trò quan trọng đố i người khiế m thị trong việ c tiếp cận thông tin. So với phưong cách truyền thống của người khiếm thị trong việc tiếp nhận thông tin bằng băng ghi âm, tài liệu chữ nổi; máy tính đã giúp người khiếm thị có thể truy cập nguồn thông tin qua âm thanh một cách chủ động. Bên cạnh đó, ngôn ngữ tiếng Anh hiện là ngôn ngữ phổ biến nhất trong giao tiếp trên thế giới. Ngôn ngữ cũng đóng vai trò quan trọng cho người khiếm thị, đặc biệt trong xã hội mà Internet ngày càng phát triển thì biết tiếng Anh sẽ mở ra cơ hội lớn cho người khiếm thị trong giao tiếp cộng đồng và nghề nghiệp. Tuy nhiên, công cụ và phương tiện cho người khiếm thị học tiếng Anh thì còn rất ít, vì vậy học tiếng Anh đối người khiếm thị là công việc khó khăn hơn rất nhiều so với người sáng mắt. Với định hướng giúp ngưòi khiếm thị Việt Nam có thể dễ dàng tiếp cận với máy tính phục vụ cho việc học tập tiếng Anh, dự án này nghiên cứu và xây dựng các công cụ và phần mềm cần thiết cho nhu cầu cơ bản của người khiếm thị. Với những công cụ và phần mềm của dự án, người khiếm thị có thể dễ dàng học ngôn ngữ tiếng Anh một cách thuận lợi và hiệu quả. Trong đề tài này, chúng tôi tập trung nghiên cứu những vấn đề sau: Bộ phát âm tiếng Việt:. Bộ phát âm máy tính thể hiện một cách chính xác như người thường đọc trong việc ngưng nghỉ, nhấn nhá âm thanh để người nghe có thể nắm bắt được thông tin. Với mô hình nghiên cứu mạng nơ-ron, chúng tôi xây dựng bộ phát âm đạt theo những yêu cầu mong muốn cho người khiếm thị. Phần mềm Từ điển Anh – Việt: Chúng tôi tập trung nghiên cứu hành vi sử dụng máy tính của của người khiếm thị và đề ra giải pháp xây dựng phần mềm từ điển để người khiếm thị có thể tự sử dụng học tiếng Anh. Chương trình đọc màn hình: Với quan điểm thiết kế một chương trình tổng quan có thể giúp người khiếm thị điều khiển các thành phần trên máy tính. Chúng tôi tập trung nghiên cứu kĩ thuật lập trình trên Windows để truy cập các thông tin các đối tượng Windows và mô tả lại bằng tiếng nói cho người khiếm thị. Với công cụ này người khiếm thị có thể sử dụng máy tính soạn thảo văn bản, sử dụng các chương trình phục vụ học tiếng Anh. Phần mềm giáo trình học tiếng Anh cho người khiếm thị: Qua phân tích các cấu trúc và phương pháp học tiếng Anh, chúng tôi xây dựng phần mềm dựa trên giáo trình học tiếng Anh sẵn có nhằm giúp người khiếm thị dễ dàng học tiếng Anh Trang 3 ABSTRACT According to the Ministry of Labor and Vietnamese Blind Association, there are about 600,000 blind and visually impaired people in Vietnam. The blind people realise the important role of computers to access information. In compared with the traditional methods in accessing information such as tape recording, Braille materials, the computer helps blind people can actively manage information by speech responses. In addition, English language is currently the most popular language in communications over world. In developing society, English is used an essential tool in communication in business, education and technology, so those who are good at English have good opportunities and advantages in jobs and life. Unfortunately , the blind people have many obstacles to access English language because most of English books are written and printed for the sight people. The project aims to help Vietnamese blind people to utilize the advantages of the computer in learning English. It focuses on studying and developing software which use text-to-speech engine to assist the blind people in using computer and improve English skill. Text-to-Speech Engine based on neuron network: The project pursuits a goal to build an engine that reads the inputted Vietnamese text like a real voice of human. It uses studies on neuron network to analyze the significant factors of human voice and applies for machine’s voice English – Vietnamese Dictionary: The project concentrates to study the blind people’s behaviors in using the computer. Based on that, it proposes the solutions for blinds in using computers and develops an dictionary application which helps the bind people to look up English words easily and quickly. Screen reader: With the point of view that the blind people can control the computer in Windows, the project aims to research technologies of GUI components in Windows OS to get the information and describe these components in voice. With the results in the project, the blind people can control the Windows and edit Word documents for learning English. English electronic textbook: Based on knowledge in English education from contemporary English textbook, we develop an electronic textbook for the blind people which can speak in English and Vietnamese in most of basic situations in English learning. Trang 4 MỤC LỤC TÓM TẮT NỘI DUNG NGHIÊN CỨU 2 DANH SÁCH BẢNG 8 DANH SÁCH HÌNH 9 PHẦN 1 PHẦN MỞ ĐẦU 13 1 THÔNG TIN VỀ DỰ ÁN 13 2 MỤC TIÊU 13 3 NỘI DUNG 14 4 SẢN PHẨM CỦA ĐỀ TÀI 15 PHẦN 2 TỔNG HỢP TIẾNG NÓI 16 1 GIỚI THIỆU 16 1.1 Tổng hợp tiếng nói nhân tạo 16 1.2 Một vài đặc điểm của tiếng việt, ngữ âm, ngữ điệu 19 1.3 Những khó khăn trong tổng hợp tiếng nói 23 2 CÁC CÔNG TRÌNH LIÊN QUAN 24 2.1 Các hướng tiếp cận liên quan đến xử lý ngữ điệu 24 2.2 Các mô hình biểu diễn tần số cơ bản 27 2.3 Các hướng tiếp cận tổng hợp tín hiệu tiếng nói 28 2.4 Nhận xét về các hướng tiếp cận 31 3 MÔ HÌNH MẠNG NƠ-RON XÁC ĐNNH CÁC THÔNG SỐ NGỮ ĐIỆU CHO CÁC ÂM TIẾT TIẾNG VIỆT 32 3.1 Sơ lược về mạng nơ-ron 32 3.2 Xác định các thông số ngữ điệu cho bộ phát âm tiếng việt bằng mạng nơ-ron 35 4 XÂY DỰNG BỘ PHÁT ÂM TIẾNG VIỆT 44 4.1 Cấu trúc và quy trình xử lý của bộ phát âm 44 4.2 Mô tả các xử lý 45 4.3 Minh họa quá trình xử lý phát âm 50 5 THỬ NGHIỆM VÀ KẾT QUẢ 56 Trang 5 5.1 Thử nghiệm 56 5.2 Kết quả 62 5.3 Nhận xét 73 5.4 Một số kết quả tiêu biểu 74 6 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 76 6.1 Kết luận 76 6.2 Hướng phát triển 77 PHẦN 3 PHẦN MỀM TỪ ĐIỂN NÓI ANH – VIỆT 79 1 NHU CẦU VÀ GIẢI PHÁP 79 1.1 Phân tích vấn đề: 79 1.2 Thiết kế: 82 2 CÀI ĐẶT – THỬ NGHIỆM – KẾT LUẬN 85 2.1 Cài đặt: 85 2.2 Thử nghiệm 89 2.3 Kết luận 89 PHẦN 4 PHẦN MỀM ĐỌC MÀN HÌNH 91 1 TỔNG QUAN 91 1.1 Ý nghĩa 91 1.2 Nội dung nghiên cứu 92 2 KHẢO SÁT CÔNG CỤ VÀ YÊU CẦU HỆ THỐNG 92 2.1 Phần mềm Narrator 92 2.2 Phần mềm NonVisual Desktop Access 93 2.3 Phần mềm Jaws 95 2.4 Yêu cầu hệ thống 96 3 TỔNG QUAN VỀ ACTIVE ACCESSIBILITY VÀ HOOK 99 3.1 Cách hoạt động của Active Accessibility 100 3.2 Nền tảng Active Accessibility 101 3.3 Giao tiếp giữa Client và Server 104 3.4 Giao diện IAccessible 105 3.5 Thu nhận tham chiếu giao diện Accessible Object 111 3.6 WinEvents Hook dùng trong Active Accessibility 112 3.7 Hook trong Windows 115 Trang 6 4 NHỮNG KỸ THUẬT SỬ DỤNG TRONG ỨNG DỤNG 122 4.1 Các kỹ thuật tương tác với mã khơng quản lý 122 4.2 Xây dựng lớp xử lý thơng tin một đối tượng 124 4.3 Cài đặt Hook 126 4.4 Xử lý văn bản 128 4.5 Cơ chế thực thi bất đồng bộ 132 4.6 Xử lý bắt phím & Thực hiện chức năng 134 5 PHÂN TÍCH THIẾT KẾ ỨNG DỤNG 137 5.1 Sơ đồ Use Case 137 5.2 Danh sách các Actor 140 5.3 Danh sách các Use-case 140 5.4 Kiến trúc hệ thống 144 5.5 Thiết kế giao diện 149 6 TỔNG KẾT 153 6.1 So sánh với những ứng dụng hỗ trợ người khiếm thị khác 153 6.2 Kết quả đạt được 155 6.3 Hướng phát triển 155 PHẦN 5 PHẦN MỀM GIÁO TRÌNH HỌC TIẾNG ANH 156 1 TỔNG QUAN 156 2 PHÂN TÍCH YÊU CẦU 156 2.1 Yêu cầu chức năng 156 2.2 Yêu cầu phi chức năng 159 3 THIẾT KẾ ĐỐI TƯNG 160 3.1 Lớp đối tượng người dùng 160 3.2 Đối tượng Đơn vò bài : 160 3.3 Đối tượng bài : 161 3.4 Quan hệ làm bài : 161 4 THIẾT KẾ DỮ LIỆU 162 4.1 Sơ đồ các bảng 162 4.2 Danh sách các bảng : 162 4.3 Mô tả chi tiết các bảng 163 Trang 7 5 THIẾT KẾ GIAO DIỆN SOẠN BÀI GIÁO TRÌNH 167 5.1 Sơ đồ màn hình : 167 5.2 Màn hình giới thiệu : 167 5.3 Màn hình chính : 168 5.4 Màn hình thêm bài mới 169 5.5 Màn hình soạn đơn vò bài 170 5.6 Màn hình soạn từ khoá 171 5.7 Màn hình soạn văn phạm : 172 5.8 Màn hình soạn trắc nghiệm 174 5.9 Màn hình soạn bài học 175 5.10 Màn hình xử lý âm thanh cho bài đọc 177 5.11 Màn hình soạn điền vào chỗ trống 178 6 HỆ THỐNG MÀN HÌNH BÀI HỌC 183 6.1 Sơ đồ màn hình: 183 6.2 Màn hình chính 184 6.3 Màn hình chọn bài 185 6.4 Màn hình bài đọc 186 6.5 Màn hình bài tập Điền Từ 187 6.6 Màn hình học văn phạm 188 6.7 Màn hình tra cứu văn phạm 189 6.8 Màn hình trắc nghiệm(Bài tập True False) 190 7 CÀI ĐẶT KIỂM NGHIỆM 191 Trang 8 DANH SÁCH BẢNG Bảng 1 Các đặc trưng ngôn ngữ của âm tiết trong câu và nội dung tương ứng 37 Bảng 2 Minh họa cấu trúc nội dung của dữ liệu đánh dấu 39 Bảng 3 Minh họa thông tin xác định giá trị các đặc trưng của các âm tiết 52 Bảng 4 Minh họa thông tin các đặc trưng của âm tiết đã được chuNn hóa 53 Bảng 5 Minh họa kết quả xác định các thông số ngữ điệu của mạng nơ-ron 54 Bảng 6 Minh họa kết quả xác định các thông số ngữ điệu 55 Bảng 7 Giá trị trung bình và độ lệch chuNn của các yếu tố ngữ điệu 61 Bảng 8 Mạng nơ-ron xác định cường độ 62 Bảng 9 Mạng nơ-ron xác định trường độ 64 Bảng 10 Mạng nơ-ron xác định khoảng ngừng 66 Bảng 11Mức độ ảnh hưởng của các thuộc tính đặc trưng âm tiết đối với cường độ 70 Bảng 12 Mức độ ảnh hưởng của các thuộc tính đặc trưng âm tiết đối với trường độ 71 Bảng 13 Mức độ ảnh hưởng của các thuộc tính đặc trưng âm tiết đối với khoảng ngừng 72 Bảng 14 Những hạn chế và hướng cải tiến cho bộ phát âm 77 Bảng 15 Danh sách các Actor 140 Bảng 16 Danh sách các UseCase 143 Bảng 17 Mô tả các lớp trong module HOOK 146 Bảng 18 Mô tả các lớp trong COMMON FEATURES 148 Bảng 19 Mô tả các lớp trong TEXT PROCESS 149 Trang 9 DANH SÁCH HÌNH Hình 1 Cấu trúc tổng quát của một bộ phát âm 16 Hình 2 Cấu trúc của âm tiết tiếng Việt 21 Hình 3 Cấu trúc của một nơ-ron nhân tạo 32 Hình 4 Đồ thị hàm sigmoid 33 Hình 5 Minh họa một kiến trúc mạng nơ-ron 34 Hình 6 Màn hình công cụ Transcriber 42 Hình 7 Xác định các thông số ngữ điệu bằng các mạng nơ-ron 42 Hình 8 Cấu trúc và quy trình xử lý của bộ phát âm 44 Hình 9 Các bước xây dựng vector đặc trưng âm tiết 48 Hình 10 Xử lý tổng hợp tín hiệu tiếng nói 50 Hình 11 Biểu đồ histogram phân bố cường độ của tập dữ liệu thử nghiệm. 57 Hình 12 Biểu đồ histogram phân bố trường độ của tập dữ liệu thử nghiệm. 57 Hình 13 Biểu đồ histogram phân bố khoảng ngừng của tập dữ liệu thử nghiệm 58 Hình 14 Biểu đồ histogram phân bố cường độ của tập dữ liệu huấn luyện 58 Hình 15 Biểu đồ histogram phân bố trường độ của tập dữ liệu huấn luyện. 59 Hình 16 Biểu đồ histogram phân bố khoảng ngừng của tập dữ liệu huấn luyện. 59 Hình 17 Biểu đồ histogram phân bố cường độ của tập dữ liệu kiểm thử. 60 Hình 18 Biểu đồ histogram phân bố trường độ của tập dữ liệu kiểm thử. 60 Hình 19 Biểu đồ histogram phân bố khoảng ngừng của tập dữ liệu kiểm thử. 61 Hình 20 Biểu đồ histogram phân bố sai lệch cường độ đối với tập dữ liệu huấn luyện. 63 Hình 21 Biểu đồ histogram phân bố sai lệch cường độ đối với tập dữ liệu kiểm thử. 63 Hình 22 Biểu đồ histogram phân bố sai lệch cường độ đối với toàn tập dữ liệu thử nghiệm. 64 Hình 23 Biểu đồ histogram phân bố sai lệch trường độ đối với tập dữ liệu huấn luyện. 65 Hình 24 Biểu đồ histogram phân bố sai lệch trường độ đối với tập dữ liệu kiểm thử. 65 Hình 25 Biểu đồ histogram phân bố sai lệch trường độ đối với toàn tập dữ liệu thử nghiệm. 66 Hình 26 Biểu đồ histogram phân bố sai lệch khoảng ngừng đối với tập dữ liệu huấn luyện. 67 Trang 10 Hình 27 Biểu đồ histogram phân bố sai lệch khoảng ngừng đối với tập dữ liệu kiểm thử. 67 Hình 28 Biểu đồ histogram phân bố sai lệch khoảng ngừng đối với toàn tập dữ liệu thử nghiệm. 68 Hình 29 Biểu đồ histogram phân bố output cường độ đối với toàn tập dữ liệu thử nghiệm. 68 Hình 30 Biểu đồ histogram phân bố output trường độ đối với toàn tập dữ liệu thử nghiệm. 69 Hình 31 Biểu đồ histogram phân bố output khoảng ngừng đối với toàn tập dữ liệu thử nghiệm. 69 Hình 32 Kết quả đọc câu “Hôm nay trời đẹp quá!” 74 Hình 33 Kết quả đọc câu “Hôm nay trời nắng chang chang” 75 Hình 34 Kết quả đọc câu “Mèo con đi học chẳng mang thứ gì” 75 Hình 35 Kết quả đọc câu “Địa chỉ: 227 Nguyễn Văn Cừ.” 76 Hình 36 Giao tiếp giữa người khiếm thị và máy tính 80 Hình 37 Mô hình xử lý tra từ điển 82 Hình 38 Mô hình phát âm tiếng Anh 83 Hình 39 Bộ điều phối phát âm tiếng Anh và tiếng Việt 84 Hình 40 Màn hình tra từ điển 88 Hình 41 Hệ thống bảng chọn 89 Hình 42 Phần mềm Narrator 93 Hình 43 Chương trình NVDA 94 Hình 44 Phần mềm Jaws 95 Hình 45 Minh họa Simple Element 103 Hình 46 Minh họa một cửa sổ Window chuNn 104 Hình 47 Mối quan hệ giữa các miền 110 Hình 48 Một điểm hook trong quá trình lưu chuyển thông điệp không có hàm lọc 117 Hình 49 Một điểm hook trong quá trình lưu chuyển thông điệp có hàm lọc 118 Hình 50 Một điểm hook có 3 thủ tục Hook đính kèm 118 Hình 51 Chương trình Winword 131 Hình 52 Thêm thư viện Word 131 Hình 53 Minh họa lớp ShortCutKeyInfo 136 [...]... bằng tiếng nói cho người khiếm thị Với cơng cụ này người khiếm thị có thể sử dụng máy tính soạn thảo văn bản, sử dụng các chương trình phục vụ học tiếng Anh - Phần mềm giáo trình học tiếng Anh cho người khiếm thị: Qua phân tích các cấu trúc và phương pháp học tiếng Anh, chúng tơi xây dựng phần mềm dựa trên giáo trình học tiếng Anh sẵn có nhằm giúp người khiếm thị dễ dàng học tiếng Anh 4 SẢN PHẨM CỦA... muốn cho người khiếm thị Cơng cụ hỗ trợ học tiếng Anh: Trong đề tài này chúng tơi tập trung nghiên cứu và xây dựng hai phần mềm chính giúp người khiếm thị học tiếng Anh - Phần mềm Từ điển Anh – Việt: Từ điển là cơng cụ khơng thể thiếu với người học tiếng Anh Đã có nhiều từ điển sách, từ điển máy tính như Lạc Việt, nhưng một từ điển để người khiếm thị sử dụng để tự học thì còn thiếu Trong phần mềm này... xây dựng các cơng cụ và phần mềm cần thiết cho nhu cầu cơ bản của người khiếm thị Với những cơng cụ và phần mềm của dự án, người khiếm thị có thể dễ dàng học ngơn ngữ tiếng Anh một cách thuận lợi và hiệu quả 3 NỘI DUNG Với mục đích xây dựng cơng cụ hỗ trợ cho người khiếm thị học tiếng Anh như nêu trên, đề tài tập trung vào nghiên cứu những vấn đề sau: Bộ phát âm tiếng Việt: Tiếng nói đóng vai trò quan... cơ hội lớn Trang 13 cho người khiếm thị trong giao tiếp cộng đồng và nghề nghiệp Tuy nhiên, cơng cụ và phương tiện cho người khiếm thị học tiếng Anh còn rất ít, vì vậy việc học tiếng Anh đối người khiếm thị là cơng việc khó khăn hơn rất nhiều so với người sáng mắt Với định hướng giúp ngưòi khiếm thị Việt Nam có thể dễ dàng tiếp cận với máy tính phục vụ cho việc học tập tiếng Anh, dự án này nghiên cứu... Sản phNm đề tài bao gồm 3 thành phần chính: - Bộ phát âm tiếng Việt dựa trên nghiên cứu mạng nơ-ron - Phần mềm Từ điển Anh – Việt - Phần mềm đọc màn hình - Phần mềm Giáo trình học tiếng Anh Trong báo cáo này chúng tơi trình bày thành ba phần theo từng nội dung sản phNm của đề tài Trang 15 PHẦN 2 TỔNG HỢP TIẾNG NĨI 1 1.1 GIỚI THIỆU Tổng hợp tiếng nói nhân tạo Tổng hợp tiếng nói là q trình tạo ra lời... của người khiếm thị và đề ra giải pháp xây dựng phần mềm từ điển để người khiếm thị có thể tự sử dụng học tiếng Anh - Chương trình đọc màn hình: Với quan điểm thiết kế một chương trình tổng quan có thể giúp người khiếm thị điều khiển các thành phần trên máy Trang 14 tính Chúng tơi tập trung nghiên cứu kĩ thuật lập trình trên Windows để truy cập các thơng tin các đối tượng Windows và mơ tả lại bằng tiếng. .. phưong cách truyền thống của người khiếm thị trong việc tiếp nhận thơng tin bằng băng ghi âm, tài liệu chữ nổi; máy tính đã giúp người khiếm thị có thể truy cập nguồn thơng tin qua âm thanh một cách chủ động Trên thế giới và Việt Nam đã có những phần mềm giúp người khiếm thị tương tác với máy tính phục vụ cho nhu cầu của mình như học tập, làm việc và tra cứu thơng tin Các phần mềm này đều có những mục... nước ngồi chỉ cho người biết tiếng Anh, phần mềm chun đọc web Ngơn ngữ tiếng Anh hiện là ngơn ngữ phổ biến nhất trong giao tiếp trên thế giới Một điều khơng thể phủ nhận rằng tiếng Anh là hành trang cho tất cả mọi người trong con đường lập nghiệp Người khiếm thị cũng vậy, ngơn ngữ cũng đóng vai trò quan trọng, đặc biệt trong xã hội mà Internet ngày càng phát triển thì biết tiếng Anh sẽ mở ra cơ hội... dựng, tiếng nói tạo ra có độ tự nhiên, giống tiếng người và nhược điểm của nó là dữ liệu lớn, khơng mềm dẻo khi cần thay đổi giọng nói (cần phải tạo tại cơ sở dữ liệu đơn vị ghép nối mới) và phạm vi điều khiển các tham số âm học hạn chế Phần mềm VnVoice[11] theo hướng ghép bán âm tiết [21]; phần mềm nhu liệu đọc tiếng Việt VietVoice[9] và một số sản phNm tổng hợp tiếng Việt bằng cách ghép âm tiết như phần. .. khít với âm tiết, và đơn vị đó cũng chính là “hình vị tiếng Việt” hay còn gọi là tiếng (tiếng Việt sử dụng khoảng 10.000 tiếng) • Ranh giới từ khơng được xác định mặc nhiên bằng khoảng trắng như các thứ tiếng biến hình khác Ví dụ: học sinh học sinh học Điều này khiến cho việc phân tích hình thái (tách từ) tiếng Việt trở nên khó khăn Việc nhận diện ranh giới từ là quan trọng làm tiền đề cho các bài . cho người khiếm thị. Công cụ hỗ trợ học tiếng Anh: Trong đề tài này chúng tôi tập trung nghiên cứu và xây dựng hai phần mềm chính giúp người khiếm thị học tiếng Anh - Phần mềm Từ điển Anh. cho người khiếm thị: Qua phân tích các cấu trúc và phương pháp học tiếng Anh, chúng tôi xây dựng phần mềm dựa trên giáo trình học tiếng Anh sẵn có nhằm giúp người khiếm thị dễ dàng học tiếng Anh. người khiếm thị: Qua phân tích các cấu trúc và phương pháp học tiếng Anh, chúng tôi xây dựng phần mềm dựa trên giáo trình học tiếng Anh sẵn có nhằm giúp người khiếm thị dễ dàng học tiếng Anh.