XÂY DỰNG DỊCH vụ WEB học từ VỰNG

` ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Quang Trung XÂY DỰNG DỊCH VỤ WEB HỌC TỪ VỰNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thơng Tin HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Quang Trung XÂY DỰNG DỊCH VỤ WEB HỌC TỪ VỰNG KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán hướng dẫn: TS Trương Anh Hoàng HÀ NỘI - 2010 II LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI NĨI ĐẦU Tơi xin cảm ơn Khoa Công Nghệ Thông Tin – Đại Học Công Nghệ tạo điều kiện cho học tập, trau dồi kiến thức để vững bước đường sau Tôi xin chân thành cảm ơn thầy trường tận tình giảng dạy, truyền cho kiến thức quý báu suốt bốn năm học Tôi xin chân thành cảm ơn thầy TS Trương Anh Hồng tận tình giúp đỡ tơi trình làm đồ án Những bảo thầy giúp mở mang thêm nhiều Và cuối xin gửi lời biết ơn sâu sắc tới cha mẹ, người sát cánh bên con, nuôi dưỡng lên người, trở thành người có ích cho xã hội I LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC LỜI NÓI ĐẦU I BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT IV BẢNG CÁC HÌNH VẼ V BẢNG CÁC BẢNG BIỂU VII TÓM TẮT NỘI DUNG VIII CHƯƠNG 1: GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Tổng quan giải pháp 1.2.1 Tại dịch vụ Web? .2 1.2.2 Giải pháp Webdict .2 CHƯƠNG 2: TỔNG QUAN VỀ DỊCH VỤ WEB .5 2.1 Giới thiệu dịch vụ Web 2.1.1 Dịch vụ web gì? .5 2.1.2 Đặc điểm dịch vụ web 2.1.2.1 Sự tương kết có ưu tiên cao 2.1.2.2 XML .6 2.1.2.3 WSDL 2.1.3 Giao thức dịch vụ web – SOAP 2.2 Python .11 2.3 Sphinx .12 2.3.1 Giới thiệu 12 2.3.2 Tính chất 13 2.3.3 Cài đặt .13 2.3.4 Tạo mục lục .14 2.4 CakePHP 15 2.4.1 Giới thiệu 15 2.4.2 Mơ hình MVC 16 2.4.3 Sử dụng .17 2.5 OpenID 18 CHƯƠNG 3: PHÂN TÍCH HỆ THỐNG 21 3.1 Phân tích yêu cầu 21 3.1.1 Yêu cầu người sử dụng 21 3.1.2 Yêu cầu hệ thống .21 II LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.2 Biểu đồ Ca sử dụng 22 3.3 Luồng kiện 22 3.3.1 Đăng nhập 22 3.3.2 Tra từ .23 3.3.3 Học từ .23 3.3.4 Đọc báo .24 3.3.5 Quản lý từ vựng .25 CHƯƠNG 4: THIẾT KẾ 26 4.1 Thiết kế hệ thống .26 4.1.1 Biểu đồ 26 4.1.1.1 Đăng nhập 26 4.1.1.2 Tra từ 27 4.1.1.3 Học từ 31 4.1.1.4 Đọc báo .32 4.1.1.5 Quản lý từ vựng 33 4.1.2 Biểu đồ hoạt động 33 4.1.2.1 Đăng nhập 34 4.1.2.2 Tra từ 34 4.1.2.3 Học từ 36 4.1.2.4 Đọc báo .37 4.1.2.5 Quản lý từ vựng 38 4.1.3 Biểu đồ lớp 39 4.2 Thiết kế sở liệu 39 4.3 Thiết kế giao diện 43 4.3.1 Đăng nhập 43 4.3.2 Tra/Học từ 44 4.3.3 Đọc báo .44 CHƯƠNG 5: CÀI ĐẶT VÀ THỬ NGHIỆM 46 5.1 Đăng nhập .46 5.2 Tra từ/Học từ vựng 47 5.3 Đọc báo 49 KẾT LUẬN .51 TÀI LIỆU THAM KHẢO 52 III LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu MVC RSS HTML HTTP XML WSDL SOAP RPC Diễn giải Model-View-Controller Really Simple Syndication HyperText Markup Language Hypertext Transfer Protocol Extensible Markup Language Web Services Description Language Simple Object Access Protocol Remote procedure call IV LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BẢNG CÁC HÌNH VẼ Hình Tính tra từ Stardict Hình So sánh Vdict Webdict Hình Thành phần SOAP Hình MVC 16 Hình Biểu đồ Ca sử dụng 22 Hình Thiết kế tổng quan hệ thống 26 Hình Biểu đồ chức Đăng nhập 26 Hình Biểu đồ chức Tra từ - Searchdict 28 Hình Biểu đồ chức Tra từ - autoComplete 29 Hình 10 Biểu đồ chức Tra từ .30 Hình 11 Biểu đồ chức Học từ 31 Hình 12 Biểu đồ chức Đọc báo 32 Hình 13 Biểu đồ chức Quản lý từ vựng 33 Hình 14 Biểu đồ hoạt động chức Đăng nhập 34 Hình 15 Biểu đồ hoạt động chức Tra từ 35 Hình 16 Biểu đồ hoạt động chức Học từ 36 Hình 17 Biểu đồ hoạt động chức Đọc báo .37 Hình 18 Biểu đồ hoạt động chức Quản lý từ vựng 38 Hình 19 Biểu đồ lớp hệ thống 39 Hình 20 Bảng Users .39 Hình 21 Bảng Dictionaries .40 Hình 22 Bảng New Categories .40 Hình 23 Bảng New Domain .40 Hình 24 Bảng New Content .41 Hình 25 Bảng Words .41 Hình 26 Bảng User Words .42 V LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 27 Bảng Known Words 42 Hình 28 Biểu đồ quan hệ bảng 42 Hình 29 Cửa sổ Đăng nhập 43 Hình 30 Cửa sổ Tra từ .44 Hình 31 Cửa sổ Đọc báo .45 Hình 32 Cửa sổ Đọc báo .45 Hình 33 Cửa sổ Đăng nhập thất bại 46 Hình 34 Cửa sổ sau Đăng nhập 47 Hình 35 Cửa sổ Tra từ gợi ý 48 Hình 36 Cửa sổ Đọc báo chi tiết 50 VI LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BẢNG CÁC BẢNG BIỂU Bảng Các nhà cung cấp OpenID 18 Bảng Luồng kiện Đăng nhập 22 Bảng Luồng kiện Tra từ 23 Bảng Luồng kiện Học từ 23 Bảng Luồng kiện Đọc báo 24 Bảng Luồng kiện Quản lý từ vựng 25 Bảng Users 39 Bảng Dictionaries 39 Bảng News Categories 40 Bảng 10 News Domain 40 Bảng 11 News Content 40 Bảng 12 Words 41 Bảng 13 User Words 41 Bảng 14 Known Words 42 VII LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÓM TẮT NỘI DUNG Học từ vựng vấn đề lớn nhiều người Học theo cách truyền thống sử dụng từ điển đơn thường không hiệu Hệ thống học từ vựng tiện ích giúp người tăng khả ngoại ngữ Những tính đơn giản mà hiệu quả, tra từ nhanh chóng, học từ theo từ điển tự chọn, phát âm chuẩn, hình ảnh gần với từ cần học giúp khả ghi nhớ lâu Chức đọc báo đáp với liệu tự động cập nhật hàng ngày từ báo tiếng internet, thuộc nhiều lĩnh vực khác Asia, Americas, Sport, Entertainment Chức với tính thơng minh, tự động làm bật từ người dùng chưa biết, đồng thời hiển thị nghĩa di chuột lên từ tầm nhìn trình duyệt giúp người dùng học từ đọc tin tức Những tính hy vọng giúp người dùng có trải nghiệm học từ vựng, không theo lối khô khan trước Chức đọc báo dựa kiến thức từ vựng người, tạo hứng thú Hệ thống người dùng có tương tác cao, tạo hiệu lớn trình học tập VIII LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com - Chọn tin truy vấn từ vựng học, đồng thời truy vấn tới dịch vụ web để tìm từ gốc từ nội dung Tiếp làm bật từ chưa học, đồng thời hiển thị nội dung - Di chuột lên từ vựng bơi đậm truy vấn tới dịch vụ web, tìm nghĩa từ hiển thị 4.1.2.5 Quản lý từ vựng Hình 18 Biểu đồ hoạt động chức Quản lý từ vựng - Hiển thị từ vựng người dùng - Chọn từ vựng truy vấn tới dịch vụ web hiển thị nghĩa từ vựng 38 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.1.3 Biểu đồ lớp Hình 19 Biểu đồ lớp hệ thống 4.2 Thiết kế sở liệu Bảng Users id username Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR Độ dài 11 255 Hình 20 Bảng Users Bảng Dictionaries id name Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR Độ dài 11 255 39 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 21 Bảng Dictionaries Bảng News Categories id name Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR Độ dài 11 255 Hình 22 Bảng New Categories Bảng 10 News Domain id name Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR Độ dài 11 255 Hình 23 Bảng New Domain Bảng 11 News Content id original_link title description content created news_domain_id category_id Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR VARCHAR TEXT TEXT DATETIME INT INT Độ dài 11 255 255 11 11 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 24 Bảng New Content Bảng 12 Words id name name_search dictionary_id meaning img_link pronounce_link Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR VARCHAR INT TEXT TEXT TEXT Độ dài 11 255 255 11 Hình 25 Bảng Words Bảng 13 User Words id userId word Kiểu khóa PRIMARY Kiểu liệu INT INT VARCHAR Độ dài 11 11 255 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 26 Bảng User Words Bảng 14 Known Words id name Kiểu khóa PRIMARY Kiểu liệu INT VARCHAR Độ dài 11 255 Hình 27 Bảng Known Words Hình 28 Biểu đồ quan hệ bảng Dữ liệu âm thanh, hình ảnh từ điển xử lý Python Thông qua trang web google.com tratu.vn để lấy liệu 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cách thức tiến hành sau: Với hình ảnh, từ bảng words ta vào liên kết http://tratu.vn/dict/en_vn/ Chẳng hạn với từ hello, ta có liên kết http://tratu.vn/dict/en_vn/hello Vào liên kết này, dựa vào thẻ ta tìm liên kết phát âm từ hello Liên kết tìm http://tratu.vn/TratuAudio/5/5d/5d41402abc4b2a76b9719d911017c592.mp3 Lấy liên kết đó, cập nhật lại vào bảng words Với hình ảnh tương tự 4.3 Thiết kế giao diện 4.3.1 Đăng nhập Cửa sổ đăng nhập yêu cầu nhập email mật Hình 29 Cửa sổ Đăng nhập Chức đăng nhập mô tả chi tiết hoạt động phần 4.1.1.1 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.3.2 Tra/Học từ Hình 30 Cửa sổ Tra từ Chức Tra/Học từ mô tả chi tiết hoạt động phần 4.1.1.2 4.1.1.3 Trong cửa sổ có thành phần sau: - Một danh sách loại từ điển: Anh - Việt, Việt – Anh, Pháp – Việt, Việt-Pháp, Đức-Việt, Việt-Đức, Nga-Việt, Việt-Việt, Foldoc, WorldNet - Một ô để gõ từ tìm kiếm - Một nút Tra từ - Một nút Previous - Một nút Play - Một nút Next - Một liên kết Thêm vào từ vựng 4.3.3 Đọc báo Trang liệt kê tin tức từ chuyên mục Chức mô tả chi tiết hoạt động phần 4.1.1.4 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong cửa sổ có thành phần sau: - Bên trái: Hiển thị chuyên mục - Bên phải: Khi vào chuyên mục, hiển thị tin tức từ chuyên mục Khi vào chi tiết tin, hiển thị nội dung tin Hình 31 Cửa sổ Đọc báo Trang chi tiết đọc tin Hình 32 Cửa sổ Đọc báo 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CHƯƠNG 5: CÀI ĐẶT VÀ THỬ NGHIỆM 5.1 Đăng nhập Sử dụng OpenID mà Google cung cấp để đăng nhập vào hệ thống Để làm điều này, trước hết trang web phải đăng ký xác nhận Google Khi đó, chương trình, muốn sử dụng đăng nhập cần thiết lập vài thơng số cần thiết Hình 33 Cửa sổ Đăng nhập thất bại Địa OpenId Google, https://www.google.com/accounts/o8/ud, địa mà đăng ký với Google Địa phải xác, khơng khơng xác nhận trình đăng nhập thất bại Cuối địa mà sau đăng nhập thành công trình đăng nhập tự động trỏ sang, địa http://vsearch.vn/webdict/users/login/google Khi nhấn Sign in, toàn Google xử lý trả kết cho hệ thống Như bên dưới, đăng nhập không thành cơng, có thơng báo lên Trong trường hợp đăng nhập thành công, cửa sổ đăng nhập tự động đóng lại chuyển người dùng trang chủ, với tên người dùng email đăng nhập 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 34 Cửa sổ sau Đăng nhập 5.2 Tra từ/Học từ vựng Hệ thống sử dụng dịch vụ web, điều quan trọng máy chủ SOAP Có file wsdl mô tả dịch vụ web Trong CakePHP, để tạo máy chủ SOAP, sử dụng câu lệnh sau: $server = new SoapServer("dicts.wsdl"); $server->setClass("Dict"); SOAP khởi tạo sẵn sàng chờ yêu cầu từ phía khách Để gởi yêu cầu lên máy chủ dịch vụ web, sử dụng CakePHP sau: $client = new SoapClient("dicts.wsdl"); $result = $client->searchdict($search); Trên máy chủ có phương thức searchdict Tham số đầu vào mảng, gồm có dictionary_id từ cần tìm kiếm Khi tìm từ trả kết mảng bao gồm tên, id, nghĩa, đường dẫn file âm thanh, đường dẫn file ảnh từ Phương thức searchdict dùng nhiều lần Vì dịch vụ web, sau muốn phát triển ứng dụng ngơn ngữ hồn tồn gọi phương thức cần hiển thị liệu tìm giao diện chương trình được, khơng thời gian xử lý lại liệu Khi người dùng tra từ có chức gợi ý từ Chức sử dụng phương thức request Khác với searchdict, phương thức trả kết mảng từ bắt đầu với ký tự người dùng gõ vào Ví dụ bên người dùng gõ vào từ “big”, từ gợi ý ra: 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 35 Cửa sổ Tra từ gợi ý Khi tra từ, chương trình gọi tới hàm searchdict Chẳng hạn từ điển chọn Anh-Việt, tìm kiếm từ big, mảng $search sau: $search[‘dictionary_id’]=1, $search[‘search_term’]=”big” Truyền tham số vào hàm searchdict Kết hàm trả mảng bao gồm id=id big, name=’big’, meaning=nghĩa big, img_link pronounce_link Khi hiển thị, âm hình ảnh đồng thời hiển thị Trong sở liệu số từ tìm với Google khơng kết khơng có ảnh, nhiên số lượng khơng nhiều Có vấn đề tìm kiếm Đó người dùng khơng biết từ gốc từ muốn tìm kiếm Ví dụ từ babies, từ loved Điều xảy người dùng gõ từ Với từ theo quy tắc, số nhiều khứ Với số nhiều, chẳng hạn: baby -> babies love -> loves teach -> teaches … Với khứ: love -> loved 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com teach -> teached search -> searched … Tất có quy tắc Do để xử lý trường hợp với từ này, ta làm sau: Tìm kiếm bình thường với từ người dùng gõ vào, khơng tìm thấy thực cắt bỏ từ theo quy tắc Những từ có quy tắc từ kết thúc với đuôi sau đây: s, es, ies, d, ed, ied, ing, er, ly, est Tìm kiếm lại với từ cắt bỏ đuôi, thực lại vịng lặp khơng tìm thấy Cứ làm tìm thấy từ khơng thể cắt bỏ nữa, trả kết tìm kiếm Module tra từ module quan trọng hệ thống Nó sử dụng lại nhiều lần, chức đọc báo 5.3 Đọc báo Hiện hệ thống có báo ngơn ngữ tiếng Anh, lấy từ hai báo tiếng voanews bbc Dữ liệu cập nhật thường xuyên sử dụng python Người dùng đọc báo nên đăng nhập vào hệ thống, vừa học từ, vừa thêm từ vào từ vựng, từ tăng dần khả từ vựng Để hiển thị từ người dùng chưa biết, nguyên tắc xử lý sau Có bảng chứa từ thơng dụng, will, have, you, me, they … Kết hợp với bảng từ vựng người dùng Khi đọc chi tiết tin, chương trình phân tách tin thành từ Nếu từ khơng nằm từ thông dụng hay từ mà người dùng học từ bơi đậm, cho biết từ Khi người dùng rê chuột lên từ chờ lát, nghĩa phát âm từ lên Xem minh họa bên Nghĩa lên qua cửa sổ nhỏ, tầm nhìn người dùng Để làm điều này, chương trình tự động xác định vị trí từ bơi đậm, sổ theo vị trí Chẳng hạn với hình bên dưới, từ “slick” nằm vị trí gần cuối trang, cửa sổ nghĩa từ lên bên Làm người dùng cảm thấy thuận tiện Cửa sổ nghĩa lên không làm khuất vùng đọc người dùng Chẳng hạn từ “slick” kia, người dùng đọc tới từ tiếp đến từ “although toxic fumes …”, không bị che Hoặc đọc đến dịng thứ 3, có từ controlled, từ dịng khơng bị che khuất 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 36 Cửa sổ Đọc báo chi tiết 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com KẾT LUẬN Xuất phát từ nhu cầu học ngoại ngữ cần thiết, Webdict phát triển với mục đích đáp ứng tốt cho người học Trong trình phát triển hệ thống, học nhiều điều Kỹ phát triển toàn diện hệ thống từ đầu, sử dụng tiện ích, cơng nghệ cách thục Thầy Hồng cung cấp cho tơi nhiều kiến thức bổ ích, dạy cho tơi lối tư theo cách phục vụ tốt cho người dùng Để đáp ứng tốt nhu cầu người sử dụng, hệ thống cần nhanh, xác, thuận tiện sử dụng Dựa yêu cầu đó, CakePHP, SOAP, Sphinx giải pháp tốt cho hệ thống Không cần cài đặt, cần kết nối Internet học tập thoải mái với Webdict Tra từ nhanh chóng, học từ hiệu quả, người dùng học tập thấy kiến thức nâng cao rõ rệt Tin tức cập nhật hàng ngày với liệu từ báo tiếng Đọc báo với từ điển theo kiến thức người sử dụng tiện ích khác, người dùng khơng thấy chán dùng hệ thống Hệ thống đáp ứng tốt cho người học tiếng Anh Tuy từ điển khác hỗ trợ, Pháp, Đức, chưa chuẩn Để đáp ứng nhiều ngơn ngữ hệ thống cần nâng cấp nhiều Hy vọng người dùng tìm thấy người bạn thân thiết trình học tập ngoại ngữ 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIỆU THAM KHẢO [1] David Golding Beginning CakePHP: From Novice to Professional Apress 2008 [2] Eric Newcomer Understanding Web Services- XML, WSDL, SOAP and UDDI Addison-Wesley Professional 5/2002 [3] Harald Storrle Semantics of UML 2.0 Activities 2004 [4] Harald Storrle Semantics and Verification of Data Flow in UML 2.0 Activities 2004 [5] John Anderson CakePHP Programmer's Reference Guide Cake Software Foundation Inc 2006 [6] Mark Pilgrim Dive Into Python Free Software Foundation 5/2004 [7] Robert Englander Java and SOAP O'Reilly 5/2002 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... tưởng xây dựng trang web trợ giúp người học từ vựng cần phải thực hóa Hệ thống có chức cần thiết giúp người dùng học từ vựng cách hiệu 1.2 Tổng quan giải pháp 1.2.1 Tại dịch vụ Web? Dịch vụ web. .. truy vấn từ vựng học, đồng thời truy vấn tới dịch vụ web để tìm từ gốc từ nội dung Tiếp làm bật từ chưa học, đồng thời hiển thị nội dung - Di chuột lên từ vựng bôi đậm truy vấn tới dịch vụ web, tìm... tìm nghĩa từ hiển thị 4.1.2.5 Quản lý từ vựng Hình 18 Biểu đồ hoạt động chức Quản lý từ vựng - Hiển thị từ vựng người dùng - Chọn từ vựng truy vấn tới dịch vụ web hiển thị nghĩa từ vựng 38 LUAN