3.4.1. Một số ví dụ cụ thể
Độ tƣơng tự ngữ nghĩa văn bản đƣợc minh họa bởi một số ví dụ sau: Ví dụ 1:
Văn bản 1 (Text 1):
Một cơn giông bão dữ dội chỉ còn cách Trƣờng Sa khoảng năm bảy km. Đừng chần chờ chống bão.
Văn bản 2 (Text 2):
Truyện thơ là những truyện kể bằng thơ, biểu hiện cảm nghĩ bằng ngôn ngữ giàu hình ảnh, cảm xúc, chứa đựng vấn đề xã hội. Có sƣ kết hợp yếu tố tự sự và trữ tình, dung lƣợng lớn, mang tính chất cố sự của truyện kể dân gian, biểu hiện dƣới hình thức thơ ca với màu sắc trữ tình đậm.
Độ tƣơng tự giữa hai văn bản: Sim(Text1, Text2) = 0.0016756471374935402 Về mặt thực tế, văn bản 1 nói về tin tức dự báo thời tiết, còn văn bản 2 nói về đặc điểm của truyện thơ. Hai nội dung này hoàn toàn khác nhau, không có từ nào trùng nhau và không có bất cứ mối liên hệ nào về mặt ý nghĩa.
Còn theo thực nghiệm trên máy, chúng ta có độ tƣơng tự giữa hai văn bản trên là 0.0016756471374935402. Độ đo này tƣơng đối hợp lý vì hai văn bản trên khác nhau hoàn toàn.
Ví dụ 2:
Văn bản 1 (Text 1):
Nhận án chung thân, ông Sĩ còn bị điều tra “bỏ túi” 2 triệu USD
Dù ông Sĩ một mực cho rằng không nhận hối lộ từ PCI nhƣng tòa vẫn khẳng định có đủ căn cứ buộc tội nên tuyên phạt mức án chung thân. Tòa còn kiến nghị tiếp tục điều tra về cáo buộc nhận hơn 2 triệu USD trƣớc đó của ông này.
Theo HĐXX, hồ sơ vụ án đã thể hiện, để đƣợc trúng thầu gói thầu “Tƣ vấn thiết kế”, “Tƣ vấn giám sát” và đƣợc ƣu ái những điều kiện có lợi, các quan chức PCI đã nhiều lần hối lộ ông Sĩ.
Ngoài ra, tòa buộc ông Sĩ phải nộp lại 262.000 USD phạm tội. Do ông Sĩ đang phải chịu mức án 6 năm tù về tội “lợi chức vụ quyền hạn trong khi thi hành công vụ” nên HĐXX gộp chung hai bản án, buộc ông Sĩ phải nhận mức án chung thân cho cả hội tội.
Cơ quan xét xử cũng kiến nghị cơ quan điều tra và VKSND Tối cao tiếp tục làm rõ hành vi nhận 6 lần tiền trƣớc đó (hơn 2 triệu USD) từ phía PCI.
Văn bản 2 (Text 2):
Đề nghị ông Sĩ tù chung thân
Đến phút cuối, ông Huỳnh Ngọc Sĩ vẫn cho rằng mình không có tội, mong
HĐXX xem xét, làm rõ, đánh giá từng chi tiết để minh oan.
Tiếp tục phiên tòa sơ thẩm xét xử ông Huỳnh Ngọc Sĩ, nguyên phó giám đốc Sở GTVT kiêm giám đốc Ban Quản lý dự án đại lộ Đông Tây và môi trƣờng nƣớc TPHCM (gọi tắt là BQLDA), về tội nhận hối lộ, ngày 16-10, VKSND TPHCM đƣợc ủy quyền của VKSND Tối cao thực hành quyền công tố tại tòa nhận định trong quá trình điều tra và tại phiên tòa, bị cáo Sĩ không thừa nhận việc nhận tiền của các quan chức Công ty Tƣ vấn Quốc tế Thái Bình Dƣơng (PCI) và làm trái quy định Nhà nƣớc. Tuy nhiên, căn cứ hồ sơ vụ án, tài liệu, chứng cứ thu thập đƣợc và lời khai nhận của
các quan chức PCI..., đã đủ cơ sở kết luận ông Sĩ đã nhận 262.000 USD và làm theo yêu cầu của ngƣời đƣa hối lộ. Vị công tố đề nghị tù chung thân đối với bị cáo Sĩ. Hai văn bản trên về mặt nội dung không hoàn toàn giống nhau nhƣng có một số từ bị lặp lại ở cả hai văn bản (các từ in đậm). Theo thực nghiệm trên máy ta có độ tƣơng tự giữa hai văn bản: Sim(Text1, Text2) = 0.36826248198851375
Ví dụ 3:
Văn bản 1:
Huỳnh Ngọc Sĩ: “Cáo trạng hoàn toàn không đúng”
Ra trƣớc vành móng ngựa, bị cáoHuỳnh Ngọc Sĩ đã phản đối toàn bộ nội dung bản cáo trạng của Viện Kiểm sát nhân dân tối cao truy tố bị cáo nhận hối lộ.
Bƣớc vào phần thẩm vấn, khi Chủ tọa phiên tòa vừa hỏi Huỳnh Ngọc Sĩ, cáo trạng truy tố đúng hay sai? Bị cáo Sĩ đã phản ứng gay gắt: "Tôi phản bác hoàn toàn nội dung cáo trạng truy tố tôi nhận hối lộ. Việc đƣa nhận hối lộ chỉ là lời khai của các cá nhân PCI; không có nhân chứng, chứng cứ trực tiếp”. Bị cáo Sĩ cũng khẳng định: “Bốn vấn đề mà cáo trạng nêu tôi làm lợi cho PCI là hoàn toàn không đúng, quy kết tội cho tôi”.
Văn bản 2:
Huỳnh Ngọc Sĩ: “Tôi không nhận hối lộ”
(Dân trí) - “Việc PCI rút tiền từ ngân hàng Tokyo chi nhánh TPHCM, đem tiền từ Nhật qua và trả lƣơng… không đồng nghĩa là tiền hối lộ. Tôi hoàn toàn không nhận tiền hối hộ”, bị cáo Huỳnh Ngọc Sĩ liên tục “phản pháo” HĐXX.
Huỳnh Ngọc Sĩ nói: “Lời khai nhƣ thế là không đúng. Tôi không tiếp ai tại phòng làm việc riêng hay thƣơng lƣợng với ai tại khách sạn cả”. Suốt phiên tòa, bị cáo Sĩ đều không thừa nhận mình đã nhận “bôi trơn” số tiền 262.000 USD. Sĩ khai mình không hề biết đến ông Takasu Kunio, nguyên giám đốc điều hành PCI (ngƣời đƣợc xác định đã đƣa tiền hối lộ cho ông Sĩ).
Bị cáo Sĩ vẫn giữ nguyên quan điểm: “Không chính xác. Không đúng sự thật. (adsbygoogle = window.adsbygoogle || []).push({});
Không nhận…”. Để làm rõ sự việc, cơ quan điều tra cho các quan chức PCI nhận dạng thì họ nhận đúng hình và vẽ đúng sơ đồ phòng làm việc của ông Sĩ.
Bị cáo Sĩ quả quyết: “Việc PCI rút tiền từ ngân hàng Tokyo chi nhánh TPHCM, đem tiền từ Nhật qua và trả lƣơng… không đồng nghĩa là tiền hối lộ. Tôi
hoàn toànkhông nhận tiền hối hộ”.
Hai văn bản trên có số từ ngữ bị lặp lại không nhiều nhƣng về mặt ý nghĩa chúng cũng có điểm tƣơng đồng. Độ tƣơng tự của chúng là 0.5206761702244165 cũng phản ánh đƣợc phần nào nội dung đó.
Ví dụ 4
Văn bản 1 (Text 1):
Bán chung cƣ Văn Phú Victoria-Hà Nội LH: 0943212996
Dự án nằm giữa khu đô thị Văn Phú, quận Hà Đông, TP.Hà Nội, đƣợc tƣ vấn thiết kế và giám sát bởi các công ty Nhật Bản với phong cách độc đáo, hiện đại. Khu vực: Q. Hà Đông, Hà Nội .
Tổng diện tích: 94,1 ha Khởi công: 2009
Dự kiến hoàn thành: 2012 Trạng thái dự án: Đang thi công
Chủ đầu tƣ: Công ty cổ phần đầu tƣ Văn Phú-invest
+ Căn hộ 95,3m2: 01 Phòng khách, 01 bếp, 01 Phòng ăn, 02 Phòng ngủ, 02 phòng WC. + Căn hộ 116,2 m2: 01 Phòng khách, 01 Phòng bếp, 01 Phòng ăn, 02 Phòng ngủ, 02 Phòng WC. + Căn hộ 117m2: 01 Phòng khách, 01 bếp, 01 Phòng ăn. 03 Phòng ngủ, 02 Phòng WC.
Hiện nay tôi đang có các căn tầng 23, 24 với đủ loại S trên. Giá bán cực kỳ hợp lí.
Văn bản 2 (Text 2):
Bán căn hộ chung cƣ dự án văn phú victoria- diện tích 95m2 giá 19.7tr
DỰ ÁN VĂN PHÚ VICTORIA
Dự án nằm giữa khu đô thị Văn Phú, quận Hà Đông, TP.Hà Nội, đƣợc tƣ vấn thiết kế và giám sát bởi các công ty Nhật Bản với phong cách độc đáo, hiện đại.
Khu vực: Q. Hà Đông, Hà Nội Loại hình: Chung cƣ/Căn hộ cao cấp Tổng diện tích: 94,1 ha
Dự kiến hoàn thành: 2012 Trạng thái dự án: Đang thi công
Chủ đầu tƣ: Công ty cổ phần đầu tƣ Văn Phú-invest
+ Căn hộ 95,3m2: 01 Phòng khách, 01 bếp, 01 Phòng ăn, 02 Phòng ngủ, 02 phòng WC.
+ Căn hộ 116,2 m2: 01 Phòng khách, 01 Phòng bếp, 01 Phòng ăn, 02 Phòng ngủ, 02 Phòng WC.
+ Căn hộ 117m2: 01 Phòng khách, 01 bếp, 01 Phòng ăn. 03 Phòng ngủ, 02 Phòng WC. Độ tƣơng tự giữa hai văn bản: Sim(Text1, Text2) = 0.81338799771947
Hai văn bản trên có khá nhiều từ giống nhau, chúng chỉ khác nhau ở một số chỗ: dòng đầu tiên và dòng cuối cùng trong cả hai văn bản. Các từ ngữ trong câu cuối cùng của văn bản 1 (các từ in nghiêng) không xuất hiện trong văn bản 2. Và độ tƣơng tự tính đƣợc theo công thức là 0.81338799771947. Tuy nhiên, ở đây ta cũng cần chú ý đến những trƣờng hợp văn bản là các tài liệu có cùng cấu trúc, cùng khuôn dạng nhất định. Chắc chắn chúng sẽ có nhiều từ giống nhau nhƣng về mặt nội dung lại khác nhau, chẳng hạn:
Văn bản 1 (Text 1):
Khu vực: Đan Phƣợng, Hà Nội . Tổng diện tích: 80 ha
Khởi công: 2007
Dự kiến hoàn thành: 2010
Trạng thái dự án: Đã thi công xong Chủ đầu tƣ: Công ty TNHH Sơn Hà
+ Căn hộ 70 m2: 01 Phòng khách, 01 bếp, 02 Phòng ngủ, 01 phòng WC. (adsbygoogle = window.adsbygoogle || []).push({});
+ Căn hộ 80 m2: 01 Phòng khách, 01 Phòng bếp, 01 Phòng ăn, 02 Phòng ngủ, 01 Phòng WC.
Văn bản 2 (Text 2):
Khu vực: Hà Đông, Hà Nội . Tổng diện tích: 99 ha
Dự kiến hoàn thành: 2012 Trạng thái dự án: Đang thi công
Chủ đầu tƣ: Công ty xây dựng Hà Nhung
Căn hộ 100 m2: 01 Phòng khách, 01 Phòng bếp, 01 Phòng ăn, 02 Phòng ngủ, 02 Phòng WC
Độ tƣơng tự giữa hai văn bản: Sim(Text1, Text2) = 0.9442956354090183
Nhƣ vậy độ đo này chƣa đƣợc chính xác bởi vì hai văn bản có nhiều từ giống nhau nhƣng trên thực tế lại khác nhau.
Ví dụ 5:
Văn bản 1:
Lúc 12h55 hôm nay (giờ Hà Nội), tại lễ khai mạc Đại hội Toán học thế giới tổ chức ở Hyderabad, Ấn Độ, bà Pratibha Patil - Tổng thống Ấn Độ đã trao huy chƣơng Fields - giải thƣởng cao quý nhất trong lĩnh vực toán học cho GS Ngô Bảo Châu.
Văn bản 2:
Tại Hyderabad, Ấn Độ, Tổng thống Ấn Độ, bà Pratibha Patil trao huy chƣơng Fields - giải thƣởng toán học cao quý nhất thế giới – cho giáo sƣ Ngô Bảo Châu lúc 12:55 hôm nay (giờ Hà Nội).
Hai văn bản trên khá giống nhau, chúng chỉ khác nhau về thứ tự xuất hiện của các từ trong câu và có một số từ (in nghiêng) xuất hiện trong văn bản 1 mà không có trong văn bản 2. Theo thực nghiệm trên máy:
Độ tƣơng tự giữa hai văn bản: Sim(Text1, Text2) = 0.9256739306748865
Ví dụ 6:
Văn bản 1 (Text 1):
Sáng 28/8, máy bay chở giáo sƣ Ngô Bảo Châu, ngƣời vừa giành giải thƣởng Fields dự kiến hạ cánh xuống sân bay Nội Bài. Các hoạt động chào mừng, đón tiếp
trọng thị đang đƣợc Chính phủ và các bộ gấp rút chuẩn bị.
Văn bản 2 (Text 2):
Sáng 28/8, phi cơ chở giáo sƣ Ngô Bảo Châu, ngƣời vừa đoạt giải thƣởng Fields dự định hạ cánh xuống phi trƣờng Nội Bài. Các hoạt động chào mừng, tiếp đón
trọng thị đang đƣợc Chính phủ và các bộ gấp rút chuẩn bị.
Trong ví dụ này, hai văn bản chỉ khác nhau duy nhất hai cặp từ:
Cặp thứ nhất: Văn bản 1 dùng từ “máy bay” còn văn bản 2 dùng từ “phi cơ”. Cặp thứ hai: Văn bản 1 dùng từ “ đón tiếp” còn văn bản 2 dùng từ “tiếp đón”. Tuy nhiên, đây lại là các cặp từ đồng nghĩa trong tập từ đồng nghĩa “Same Meaning”. Do vậy độ tƣơng tự của chúng là 0.996660325250488
3.4.2. Kết quả thử nghiệm 3.4.2.1. Cách tiến hành
Để đánh giá độ tƣơng tự của các tài liệu, chúng tôi sử dụng 2 phƣơng pháp: Phƣơng pháp 1: Con ngƣời đánh giá
Tập các tài liệu sẽ đƣợc giao cho một nhóm gồm 5 ngƣời ở 5 địa điểm khác nhau. Họ có nhiệm vụ đọc nội dung và đánh giá độ tƣơng tự của hai tài liệu bất kỳ dựa trên cảm tính của mình.
Phƣơng pháp 2: Thực nghiệm trên máy.
3.4.2.2. Kết quả thử nghiệm
Chúng tôi tiến hành thử nghiệm dựa trên hai tập dữ liệu: tập các văn bản là các tin tức trên Internet và tập các tin rao vặt trên Internet. (adsbygoogle = window.adsbygoogle || []).push({});
Tập dữ liệu 1: Tập gồm 20 văn bản gồm các tin tức trên một số trang Web:
Địa chỉ của các tài liệu này nhƣ sau:
File Địa chỉ 1 http://vietbao.vn/An-ninh-Phap-luat/Huynh-Ngoc-Si-Toi-bi-vu- cao/11186417/218/ 2 http://vnexpress.net/GL/Phap-luat/2010/10/3BA21A71/ 3 http://dantri.com.vn/c20/s20-429715/huynh-ngoc-si-phan-bac- toan-bo-noi-dung-cao-trang.htm 4 http://cand.com.vn/vi-VN/phapluat/2010/10/138468.cand 5 http://m.tuoitre.vn/news/detail?id=11318 6 http://www.tienphong.vn/Phap-Luat/515536/Xet-xu-ong-Huynh- Ngoc-Sy-nhan-hoi-lo-tien-ti.html 7 http://www.baodatviet.vn/Home/phapluat/Huynh-Ngoc-Si-cao- trang-hoan-toan-khong-dung/201010/115255.datviet
8 http://tintuc.xalo.vn/00- 1341775005/ong_si_lien_tiep_khang_dinh_khong_nhan_hoi_lo_t u_pci.html 9 http://dantri.com.vn/c20/s20-429799/huynh-ngoc-si-toi-khong- nhan-hoi-lo.htm 10 http://dantri.com.vn/c20/s20-430246/huynh-ngoc-si-bi-ket-an-tu- chung-than.htm 11 http://vnexpress.net/GL/Phap-luat/2010/10/3BA21B52/ 12 http://vnexpress.net/GL/Phap-luat/2010/10/3BA21AD7/ 13 http://vnexpress.net/GL/Phap-luat/2010/10/3BA21BEA/ 14 http://vietbao.vn/An-ninh-Phap-luat/Huynh-Ngoc-Si-Dung-suy- dien-de-ket-an-toi/11186642/218/ 15 http://www.cand.com.vn/vi-VN/phapluat/2010/10/138538.cand 16 http://nld.com.vn/20101016030227409P0C1019/ong-si-buc-xuc- voi-de-nghi-tu-chung-than-cua-vks.htm 17 http://nld.com.vn/2010101609292553P0C1019/ong-huynh-ngoc- si-bi-de-nghi-tu-chung-than.htm 18 http://nld.com.vn/20101017013426629P0C1019/de-nghi-ong-si- tu-chung-than.htm 19 http://nld.com.vn/2010101612063396P0C1019/ong-si-phan-bac- cao-trang.htm 20 http://vietbao.vn/An-ninh-Phap-luat/Nhan-an-chung-than-ong-Si- con-bi-dieu-tra-bo-tui-2-trieu-USD/11186794/218/
Bảng 4: Địa chỉ của 20 tin tức trên một số trang Web
Chẳng hạn ta có kết quả đánh giá độ tƣơng tự ngữ nghĩa của hai file nào đó trong tổng số các tài liệu có địa chỉ đƣợc nêu ở trên nhƣ sau:
File 1 File 2 Ngƣời đánh giá Thực nghiệm trên máy
13 15 0.4 0.21854826011617284 2 4 0.4 0.24008952428716562 13 17 0.3 0.29548872180126395 3 8 0.2 0.3297415587214319 6 8 0.4 0.364800386307795 4 7 0.5 0.39024157344076293 1 7 0.4 0.4247928748969288 1 6 0.5 0.4621222286840157
13 19 0.6 0.500689564972599 10 19 0.6 0.5501094543011812 10 15 0.7 0.5768032097459137 3 9 0.7 0.5912167395883572 15 16 0.7 0.6367496647525064 4 5 0.8 0.6504860662096876 15 18 0.6 0.6749330889903177 3 7 0.6 0.702918830317079 6 7 0.6 0.7650383060856087 16 18 0.9 0.863923370318344 1 2 0.9 0.9279451135471808 13 20 0.9 0.9523695076604557 11 14 1.0 0.9706441434356016
Bảng 5: Một số kết quả độ tƣơng tự của hai file bất kỳ Kết quả độ tƣơng tự của 20 tin tức trên nhƣ sau:
Độ tƣơng tự Ngƣời đánh giá Thực nghiệm trên máy
0.0-0.3 7,1% 8%
0.3-0.5 50% 56%
0.5-0.7 32,5% 30%
0.7-0.8 4% 2%
0.8-1.0 6,4% 4%
Bảng 6: Kết quả đánh giá 20 tin tức do ngƣời và máy thực hiện
Tập gồm 30 tin rao vặt trên một số trang web:
File Đƣờng dẫn 30 http://www.raovat.vn/mua-ban-nha-dat/raovat-403716128-ba-n- cccc-du-a-n-van-phu-victoria.html 31 http://www.raovat.vn/mua-ban-nha-dat/raovat-403717095-ban- mat-san-chung-cu-victoria-van-phu-gia-hop-ly-d.html 32 http://www.raovat.vn/mua-ban-nha-dat/raovat-403713047-ban- chung-cu-van-phu-victoria-ha-dong.html 33 http://www.raovat.vn/mua-ban-nha-dat/raovat-403682192-ban- can-ho-chung-cu-victoria-van-phu-du-an-van-phu.html 34 http://www.raovat.vn/mua-ban-nha-dat/raovat-403695330-ban- can-ho-chung-cu-du-an-van-phu-victoria-dien-ti.html 35 http://www.raovat.vn/mua-ban-nha-dat/raovat-403701394-van-
phu-victoria-chung-cu-van-phu-victoria-can-ho-.html 36 http://www.raovat.vn/mua-ban-nha-dat/raovat-403717095-ban- mat-san-chung-cu-victoria-van-phu-gia-hop-ly-d.html 37 http://www.raovat.vn/mua-ban-nha-dat/raovat-403696872-ban- chcc-van-phu-toa-v1-gia-hap-dan.html 38 http://www.raovat.vn/mua-ban-nha-dat/raovat-403704630-can- ban-mot-so-can-ho-chung-cu-van-phu-gia-chi-19-.html 39 http://www.raovat.vn/mua-ban-nha-dat/raovat-403715227-can- ban-mot-so-can-ho-chung-cu-van-phu-victoria.html 40 http://www.raovat.vn/mua-ban-nha-dat/raovat-403675585-ban-ca- san-victoria-van-phu-pm-gap-de-co-xuat-vip.html 41 http://www.raovat.vn/mua-ban-nha-dat/raovat-403676457-ban-ca- san-victoria-van-phu-pm-gap-de-co-xuat-vip.html 42 http://www.raovat.vn/mua-ban-nha-dat/raovat-403686663-ban-ca- san-victoria-van-phu-pm-som-de-co-suat-vip.html