PHẦN V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

PHẦN V: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 1. KẾT LUẬN Ngày nay, internet đã chở thành cuộc cách mạng lớn của nhân loại mà động lực của nó chính là sự phát triển kinh tế mang tính toàn cầu. Nhưng sự phát triển đó cũng đòi hỏi ngày càng nhiều cơ sở lưu trữ dữ liệu hơn dẫn đến việc khai thác hiệu quả dữ liệu trở nên khó khăn. Để nâng cao khả năng sử lý dữ liệu thì dữ liệu phải được chọn lọc trước. Một hướng chọn lọc dữ liệu hiểu quả đó là phân tích ngữ nghĩa của văn bản. Toàn bộ văn bản được cô đọng trong ngữ nghĩa của nó. Chính vì vậy nếu phân tích được ngữ nghĩa của văn bản chúng ta sẽ giảm được một khối lượng lớn câu chữ không hàm chứa thông tin. Việc nghiên cứu ngữ nghĩa của văn bản mở ra một hướng phát triển mới trong khai thác thông tin trên dữ liệu. Ngữ nghĩa của văn bản mang lại nhiều thuận lợi như vậy nhưng để thật sự hiểu rõ được các phương pháp nghiên cứu phân tích ngữ nghĩa là không dễ dàng. Do vậy mục tiêu của đồ án đặt ra gồm hài vấn đề chính như sau: Về lý thuyết: Mục tiêu tìm hiểu, nghiên cứu về ngữ nghĩa của văn bản bao gồm các phần như: Phân tích, tách văn bản thành tập từ khoá, lọc tách từ khoá của văn bản nhằm cô đọng những từ khoá đặc trưng cho ngữ nghĩa của văn bản, thống kê và trích lọc những văn bản có ngữ nghĩa tương đồng. Về phần ứng dụng minh hoạ: Mục tiêu là xây dựng được một ứng dụng mang tính demo sự khả thi của các kỹ thuật phân tích ngữ nghĩa. Nội dung của đề tài đưa ra khá rộng và chỉ được thực thiện trong vòng 4 tháng do vậy để hoàn tất đề tài này chúng em gặp rất nhiều khó khăn về mặt tìm kiếm tài liệu, đọc hiểu tài liệu và một số kỹ thuật để vận dụng kiến thức mình đã tìm hiểu được. Nhưng bù đắp lại những khó khăn vất vả đó là chúng em đã tiếp thu được rất nhiều kiến thức mới lạ và rất bổ ích về ứng dụng ngữ nghĩa của văn bản trong công nghệ thông tin – mở ra một hướng phát triển mới trong thế giớ công nghệ thông tin. Kết quả xứng đáng đó chính là chúng em đã hoàn thành được những mục tiêu, yêu cầu đề ra của đồ án. 1 Kết quả về mặt nghiên cứu Qua quá trình nghiên cứu và tìm hiều về lĩnh vực ứng dụng ngữ nghĩa của văn bản, chúng em đã hiểu được và ghi nhận lại một số kết quả đạt được như sau: • Tìm kiếm được nhiều tài liệu hay và bổ ích về ngữ nghĩa của văn bản. • Nắm được các kỹ thuật phân tích ngữ nghĩa của văn bản, một hướng nghiên cứu mới nhất của công nghệ thông tin hiện tại và trong tương lai. Đông thời những ý tưởng mới xuất phát có thể mang lại nhiều lợi ích cho con người cũng như phát triển kinh tế. Kết quả đạt được khi nghiên cứu về ngữ nghĩa của văn bản như sau:  Nắm rõ các kỹ thuật tách văn bản với các định dạng bất kỳ.  Nắm vững các kỹ thuật lọc tách từ khoá đặc trưng cho nội dung văn bản.  Tìm hiểu và nắm được các kỹ thuật thống kê trích lọc những văn bản có ngữ nghĩa tương đồng.  Tìm hiểu các kỹ thuật phân tích logfile. Kết quả về mặt phát triển ứng dụng Đối với ứng dụng minh hoạ chúng em đã hoàn tất được mục tiêu của đồ án đề ra là nắm vững các kỹ thuật: Tổ chức, lưu trữ dữ liệu và truy vấn dữ liệu trên SQL. Cách sử dụng các kỹ thuật tách văn bản để tách văn bản ở định dạng bất kỳ thành các tập từ khoá đại diện cho ngữ nghĩa của nó. Cài đặt và phát triển kỹ thuật lọc từ khoá cho phép loại bỏ những từ khoá ít hàm chứa ngữ nghĩa của văn bản. Cài đặt và phát triển kỹ thuật LSA cho phép so sánh độ tương đồng ngữ nghĩa của các văn bản. Về mặt chương trình kết quả thu được là hai phân hệ: Một phân hệ dành cho người sử dụng, một phân hệ dành cho người quản trị: • Đối với phân hệ người dùng: Hệ thống hỗ trợ việc tìm kiếm tài liệu và gợi ý tài liệu dựa trên ngữ nghĩa vủa văn bản. Cho phép người dùng đăng ký thành viên nhắm nâng cao khả năng hỗ trợ của hệ thông đối với người dùng. • Đối với phân hệ người quản trị: Hệ thống hỗ trợ việc cập nhập thông tin về các đối tượng trong hệ thống như thêm, sửa, xoá văn bản, thành viên, cấu hình hệ thống. Sau khi hoàn tất ứng dụng chúng em còn nắm thêm được các kiến thức về công nghệ: .Net, JavaScript, SQLserver, quan trọng hơn cả là chúng em nắm được khả năng phân tích ngử nghĩa của văn bản, từ đó tự động trích rút được những văn bản đồng nghĩa. 2. Hướng phát triển Vì thời gian phát triển đồ án không nhiều nên chúng em tập trung vào những vấn đề chính của đồ án đó là phân tích ngữ nghĩa của văn bản. Việc phát triển thuật toán so sánh độ tương đồng của văn bản và khai thác dữ liệu đã đạt được nhiều thành công. Dựa vào những thành quả đó chúng ta có thể mở ra những hướng mới nhằm tối ưu hoá thuật toán và nâng cao độ chính xác của kết quả. Đồng thời mở rộng nguồn dữ liệu nhờ trực tiếp tìm kiếm các dữ liệu trên mạng hay cải thiện tính năng tìm kiếm nhờ sử dụng các engine có sẵn. Dựa trên những khả năng phát triển đó, đồ án có thể hoàn thiện khi có thêm các tính năng sau: Thu thập dữ liệu trực tuyến 2 Dữ liệu trực tuyến trên mạng là một tài nguyên gần như vô hạn. Nếu có một cơ chế cho phép khai thác dữ liệu trên mạng là đầu vào cho hệ thống thì các chức năng của hệ thống sẽ đạt hiệu quả cao và phong phú hơn. Hơn nữa, việc có một nguồn dữ liệu động như vậy thì công việc cập nhập dữ liệu sẽ không cần thiết, việc quả lý dữ liệu coi như tiến hành tự động. Tóm lại, hệ thống rất cần một module cho phép lấy dữ liệu trực tuyến. Đây chính là một hướng phát triển chủ chốt củ đồ án nhằm làm cho đồ án hoàn thiện hơn và có tính ứng dụng thực tế cao hơn. Thông tin người dùng Thông tin người dùng hiện tại ở các hệ thống website chỉ đơn thuần được tổ chức lưu trữ dưới dạng bảng dữ liệu. Thông tin người dùng chỉ đáp ứng vai trò xác thực trong hệ thống chưa góp phần thể hiện được nhu cầu của từng cá nhân. Việc nghiên cưa các thức tổ chức và lưu trữ thông tin người dùng hiệu quả sẽ đem lại một kết quả bất ngờ, giúp hệ thống có thể gợi ý tìm kiếm đối với từng các nhân người dùng. Đây cũng là một điển nhấn của thế hệ web mới, hướng tới cá nhân người dùng. Vậy cách thức tổ chức lưu trữ thông tin người dùng thế nào đó là một hướng mở ra của đồ án. Đồng thời việc thu thập thông tin người dùng thế nào cũng là một kỹ thuật cần phải nghiên cứu. Hiện tại chúng em chú ý tới hai cách thức thu thập thông tin người dùng. Một là thu thập tĩnh, dựa trên nhưng form đăng ký và feedback của người dùng. Hai là thu thập động, dựa trên các kỹ thuật trích lọc thông tin thông qua phân tích logfile. Các kỹ thuật phân tích logfile đã được phát triển và ứng dụng ngay từ khi internet ra đời. Tuy nhiên tuỳ vào mục đích của hệ thống việc phân tích logfile có thể sử dụng những kỹ thuật khác nhau. Ở đây chúng em muốn nhấn mạnh tới một khả năng mà phân tích logfile có thể đáp ứng đó chính là thu thập thông tin người dùng. Phát triển một module cho phép quản lý thông tin người dùng rất có ích cho một hệ thông tìm kiếm, gợi ý. Hệ thông sẽ mang tính hướng người dùng hơn bởi những kết quả của hệ thống được lọc dựa trên thông tin quan tâm của người dùng. Sử dụng search engine Ngày nay, các kỹ thuật tìm kiếm không chỉ đạt độ chính xác cao mà còn đạt tốc độ cao. Tốc độ đó chính là tiêu chuẩn cạnh tranh cho các hệ thống tìm kiềm. Google đã nổi lên như là một site tìm kiếm toàn cầu với độ chính xác cao và nhanh. Không những thế Google còn cho phép các hệ thống khác sử dụng thành quả của nó đó chính là module search engine. Module này cho phép các hệ thống có thể lấy kết quả tìm kiếm một cách nhanh chóng dựa trên những tài nguyên mà máy chủ google cung cấp. Nếu hệ thống có thể sử dụng module này thì hiệu năng tìm kiếm sẽ được nâng cao hơn. Đây cũng chính là một hướng phát triển của hệ thống trong tương lai. 3 TÀI LIỆU THAM KHẢO [1] Cải tiến giải thuật CYK cho bài toán phân tích cú pháp tiếng Việt -Đinh ThịPhương Thu, Huỳnh Quyết Thắng, Hoàng Vĩnh Sơn [2] Gán nhãn từ loại cho tiếng Việt dựa trên văn phong - Nguyễn Quang Châu, Phan Thị Tươi, Cao Hoàng Trụ [3] Kết hợp xử lý ngôn ngữ tự nhiên và mạng Kohonen để nâng cao khả năng gom cụm văn bản tiếng Việt -Đỗ Phúc, Mai Xuân Hùng, Nguyễn Thị Kim Phụng [4] A case study of the probabilistic tagger QTAG for Tagging Vietnamese Texts Nguyen Thi Minh Huyen,Vu Xuan Luong, Le Hong Phuong [5] Dinh Dien, Từ tiếng Việt, Vietnam National University, HCMC, Vietnam, 2000. [6] Dinh Dien, Hoang Kiem, Nguyen Van Toan, Vietnamese Word Segmentation, The Sixth Natural Language Processing Pacific Rim Symposium, Tokyo, Japan 2001, pp749- 756. [7] Automata and Formal Language. An Introduction – Dean Kelley – Prentice Hall, Englewood Cliffs, New Jersey 07632. [8] Compilers : Principles, Technique and Tools - Alfred V.Aho, Jeffrey D.Ullman - Addison - Wesley Publishing Company, 1986. [9] Compiler Design – Reinhard Wilhelm, Dieter Maurer - Addison - Wesley Publishing Company, 1996. [10] Design of Compilers : Techniques of Programming Language Translation - Karen A. Lemone - CRC Press, Inc, 1992. [11] Modern Compiler Implementation in C - Andrew W. Appel - Cambridge University Press, 1997. [12] Hoàng Văn Hành.1997. Ngữ nghĩa học – Các khuynh hướng và phương pháp phân tích ngữ nghĩa. Hà nội. [13] PTS. Vương Tất Đạt . Logich hình thức. Trường Đại học Sư Phạm Hà Nội 1 [14] Đặng Thị Hưởng. Semantics, TP.Hồ Chí Minh 1997 (Tài liệu lưu hành nội bộ) [15]. Trương Gia Vinh. Những bài giảng Cơ sở Ngôn ngữ học. BXB Đại Học mở Bán công TP.HCM.(Tài liệu lưu hành nội bộ) [16]. Nguyễn Thiện Giáp (chủ biên) Dẫn luận Ngôn ngữ học. NXB Giáo dục. 2000 [17]. Trần Văn Cơ . Ngôn ngữ. Đại học sư phạm TP.Hồ Chí Minh.1986. [18]. Roderick A. Jacobs. English syntax. A Grammar for English language professionals. Oxford American English. [19]. A.S. Hornby. Guide to patterns and usage in English. Second edition. 4 . PHẦN V: KẾT LUẬN V HƯỚNG PHÁT TRIỂN 1. KẾT LUẬN Ngày nay, internet đã chở thành cuộc cách mạng lớn của nhân loại mà động lực của nó chính là sự phát triển. của v n bản, từ đó tự động trích rút được những v n bản đồng nghĩa. 2. Hướng phát triển V thời gian phát triển đồ án không nhiều nên chúng em tập trung v o