(LUẬN văn THẠC sĩ) giải pháp lọc thư điện tử theo phân tích nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đỗ Đức Nam GIẢI PHÁP LỌC THƯ ĐIỆN TỬ THEO PHÂN TÍCH NỘI DUNG Ngành : Cơng nghệ Thơng tin Chuyên ngành : Hệ thống Thông tin Mã số : 60 48 05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN NGỌC HÓA Hà Nội 2009 TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC MỤC LỤC i DANH SÁCH HÌNH VẼ viii MỞ ĐẦU viiiv CHƢƠNG TỔNG QUAN VỀ LỌC THƢ ĐIỆN TỬ 1.1 Khái niệm chung 1.1.1 Thƣ điện tử 1.1.2 Các giao thức sử dụng hệ thống thƣ điện tử 1.1.3 Vấn đề thƣ rác 1.2 Tổng quan lọc thƣ điện tử 14 1.3 Mơ hình chung hệ thống lọc thƣ 18 1.3.1 Trình duyệt thƣ 18 1.3.2 Máy chủ thƣ 18 1.4 Các phƣơng pháp lọc thƣ điện tử 27 1.4.1 Phƣơng pháp sử dụng DNS blacklist 27 1.4.2 Phƣơng pháp sử dụng SURBL list 27 1.4.3 Kiểm tra ngƣời nhận 28 1.4.4 Kiểm tra địa 28 1.4.5 Chặn IP 28 1.4.6 Sử dụng lọc Bayesian 29 1.4.7 Sử dụng danh sách Black/white list 29 1.4.8 Kiểm tra Header 30 1.4.9 Sử dụng tính Challenge/Response 30 1.5 Một số giải pháp lọc thƣ thƣơng mại điển hình 31 1.5.1 Exim mail 34 1.5.2 Qmail 35 1.5.3 BayesSpam 36 CHƢƠNG MƠ HÌNH LỌC THƢ ĐIỆN TỬ ĐỀ XUẤT 40 2.1 Yêu cầu đặt 40 2.1.1 Nội dung lọc 40 2.1.2 Cơ chế lọc 40 2.1.3 Định dạng 41 2.1.4 Ngƣời sử dụng 41 2.1.5 Ngữ cảnh 41 2.1.6 Hiệu 42 2.2 Mơ hình hệ thống 42 2.2.1 Mơ hình mạng 42 i TIEU LUAN MOI download : skknchat@gmail.com 2.2.2 2.3 Nguyên lý hoạt động chung 43 Phƣơng pháp lọc thƣ Bayesian 44 2.3.1 Hƣớng tiếp cận 44 2.3.2 Các thuộc tính phân loại 46 2.4 Mơ hình chi tiết 48 2.4.1 2.5 Kiến trúc nguyên lý hoạt động hệ thống 48 Đặc tả thành phần 49 2.5.1 Bộ điểu khiển truyền thƣ 49 2.5.2 Module Proxy gửi thƣ 53 2.5.3 Module Proxy nhận thƣ 54 2.6 Các lọc nội dung 56 2.6.1 Bộ lọc tiếng Việt 56 2.6.2 Bộ lọc tiếng Anh 58 2.6.3 Bộ lọc ảnh 60 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 65 3.1 Hệ thống lọc nội dung thƣ mFilter 65 3.1.1 Mơi trƣờng tích hợp 65 3.1.2 Mô tả mơ hình thử nghiệm 65 3.1.3 Tích hợp lọc 66 3.2 Cài đặt, cấu hình 69 3.2.1 Cài đặt 69 3.2.2 Cấu hình 69 3.3 Thực nghiệm đánh giá hệ thống 73 KẾT LUẬN 76 TÀI LIỆU THAM KHẢO i MỤC LỤC i DANH SÁCH HÌNH VẼ iii MỞ ĐẦU iv CHƢƠNG TỔNG QUAN VỀ LỌC THƢ ĐIỆN TỬ 1.1 Khái niệm chung 1.1.1 Thƣ điện tử 1.1.2 Các giao thức sử dụng hệ thống thƣ điện tử 1.1.3 Vấn đề thƣ rác 1.2 Tổng quan lọc thƣ điện tử 14 1.3 Mơ hình chung hệ thống lọc thƣ 18 1.3.1 Trình duyệt thƣ 18 1.3.2 Máy chủ thƣ 18 ii TIEU LUAN MOI download : skknchat@gmail.com 1.4 Các phƣơng pháp lọc thƣ điện tử 27 1.4.1 Phƣơng pháp sử dụng DNS blacklist 27 1.4.2 Phƣơng pháp sử dụng SURBL list 27 1.4.3 Kiểm tra ngƣời nhận 28 1.4.4 Kiểm tra địa 28 1.4.5 Chặn IP 28 1.4.6 Sử dụng lọc Bayesian 29 1.4.7 Sử dụng danh sách Black/white list 29 1.4.8 Kiểm tra Header 30 1.4.9 Sử dụng tính Challenge/Response 30 1.5 Một số giải pháp lọc thƣ thƣơng mại điển hình 31 1.5.1 Exim mail 34 1.5.2 Qmail 35 1.5.3 BayesSpam 36 CHƢƠNG MÔ HÌNH LỌC THƢ ĐIỆN TỬ ĐỀ XUẤT 40 2.1 Yêu cầu đặt 40 2.1.1 Nội dung lọc 40 2.1.2 Cơ chế lọc 40 2.1.3 Định dạng 41 2.1.4 Ngƣời sử dụng 41 2.1.5 Ngữ cảnh 41 2.1.6 Hiệu 42 2.2 Mơ hình hệ thống 42 2.2.1 Mơ hình mạng 42 2.2.2 Nguyên lý hoạt động chung 43 2.3 Phƣơng pháp lọc thƣ Bayesian 44 2.3.1 Hƣớng tiếp cận 44 2.3.2 Các thuộc tính phân loại 46 2.4 Mơ hình chi tiết 48 2.4.1 2.5 Kiến trúc nguyên lý hoạt động hệ thống 48 Đặc tả thành phần 49 2.5.1 Bộ điểu khiển truyền thƣ 49 2.5.2 Module Proxy gửi thƣ 53 2.5.3 Module Proxy nhận thƣ 54 2.6 Các lọc nội dung 56 2.6.1 Bộ lọc tiếng Việt 56 2.6.2 Bộ lọc tiếng Anh 58 iii TIEU LUAN MOI download : skknchat@gmail.com 2.6.3 Bộ lọc ảnh 60 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 65 3.1 Hệ thống lọc nội dung thƣ mFilter 65 3.1.1 Môi trƣờng tích hợp 65 3.1.2 Mô tả mô hình thử nghiệm 65 3.1.3 Tích hợp lọc 66 3.2 Cài đặt, cấu hình 68 3.2.1 Cài đặt 68 3.2.2 Cấu hình 69 3.3 Thực nghiệm đánh giá hệ thống 72 KẾT LUẬN 75 TÀI LIỆU THAM KHẢO i iv TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung DANH SÁCH HÌNH VẼ Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 10 Hình 11 Hình 12 Hình 13 Hình 14 Hình 15 Hình 16 Hình 17 Hình 18 Hình 19 Hình 20 Hình 21 Hình 22 Hình 23 Hình 24 Hình 25 Hình 26 Hình 27 Hình 28 Hình 29 Hình Hình Hình Hình Hình Hình Hình Hình Hình Mơ hình ứng dụng hệ thống thƣ điện tử Phƣơng thức hoạt động hệ thống thƣ điện tử Ví dụ kiểm tra giao thức SMTP Sơ đồ phân phối thƣ Ví dụ phiên giao dịch POP3 Giao diện phần mềm thƣ điện tử Outlook Express 18 Giao diện phần mềm thƣ điện tử Microsoft Outlook 18 Lƣợc đồ khởi tạo proxy 21 Lƣợc đồ hoạt động proxy server 22 Lƣợc đồ hoạt động Proxy client 23 Lƣợc đồ hoạt động module lọc theo đƣờng lên 24 Lƣợc đồ hoạt động module lọc theo đƣờng xuống 25 Phân loại thƣ rác áp dụng lƣợc đồ liên kết Graham 37 Phân loại thƣ rác áp dụng lƣợc đồ Central Limit 38 Mơ hình kết nối có hệ thống lọc thƣ nhà cung cấp dịch vụ ISP 42 Mạng Bayesian tƣơng ứng với (a); (b) 46 Phần trăm ký tự đặc biệt chứa thƣ 48 Kiến trúc mơ hình hệ thống lọc thƣ 48 Sơ đồ hoạt động Qmail 52 Mơ hình hoạt động Proxy SMTP 54 Nguyên lý hoạt động proxy server 55 Mô hình giao tiếp thơng qua proxy 55 Mơ hình lọc thƣ điện tử thực nghiệm 65 Quy trình thực lọc thƣ hệ thống mFilter 67 Cấu hình địa mạng ngồi 70 Cấu hình địa mạng 71 Cấu hình NAT 72 Cấu hình địa mạng mail client 73 Màn hình kết thực thi hệ thống thử nghiệm mFilter 75 Mơ hình ứng dụng hệ thống thƣ điện tử Phƣơng thức hoạt động hệ thống thƣ điện tử Ví dụ kiểm tra giao thức SMTP Sơ đồ phân phối thƣ Ví dụ phiên giao dịch POP3 Giao diện phần mềm thƣ điện tử Outlook Express 18 Giao diện phần mềm thƣ điện tử Microsoft Outlook 18 Lƣợc đồ khởi tạo proxy 21 Lƣợc đồ hoạt động proxy server 22 v (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 10 Hình 11 Hình 12 Hình 13 Hình 14 Hình 15 Hình 16 Hình 17 Hình 18 Hình 19 Hình 20 Hình 21 Hình 22 Hình 23 Hình 24 Hình 25 Hình 26 Hình 27 Hình 28 Lƣợc đồ hoạt động Proxy client 23 Lƣợc đồ hoạt động module lọc theo đƣờng lên 24 Lƣợc đồ hoạt động module lọc theo đƣờng xuống 25 Phân loại thƣ rác áp dụng lƣợc đồ liên kết Graham 37 Phân loại thƣ rác áp dụng lƣợc đồ Central Limit 38 Mơ hình kết nối có hệ thống lọc thƣ nhà cung cấp dịch vụ ISP 42 Mạng Bayesian tƣơng ứng với (a); (b) 46 Phần trăm ký tự đặc biệt chứa thƣ 48 Kiến trúc mơ hình hệ thống lọc thƣ 48 Sơ đồ hoạt động Qmail 52 Mơ hình hoạt động Proxy SMTP 54 Nguyên lý hoạt động proxy server 55 Mơ hình giao tiếp thơng qua proxy 55 Mơ hình lọc thƣ điện tử thực nghiệm 65 Cấu hình địa mạng ngồi 69 Cấu hình địa mạng 70 Cấu hình NAT 71 Cấu hình địa mạng mail client 72 Màn hình kết thực thi hệ thống thử nghiệm mFilter 74 DANH SÁCH BẢNG BIỂU Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu 10 Bảng biểu 11 Bảng biểu 12 Bảng biểu 13 Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Bảng biểu Danh sách tập lệnh giao thức SMTP Danh sách tập lệnh giao thức POP Biểu đồ tỷ lệ máy chủ thƣ theo quốc gia 11 Biểu đồ tỷ lệ máy chủ thƣ theo loại MTA 12 Biểu đồ tỷ lệ Open Relay Server 12 Biểu đồ tỷ lệ MTA bị chặn 13 Biểu đồ tỷ lệ thƣ rác theo lĩnh vực 13 Biểu đồ tỷ lệ thƣ rác quốc gia 14 Biểu đồ tỷ lệ thƣ rác theo khu vực 14 Bảng so sánh cơng cụ lọc thƣ theo tính lọc 33 Kết thử nghiệm lọc thƣ tiếng Việt 74 Kết thử nghiệm lọc thƣ tiếng Anh 74 Kết thử nghiệm lọc ảnh 74 Danh sách tập lệnh giao thức SMTP Danh sách tập lệnh giao thức POP Biểu đồ tỷ lệ máy chủ thƣ theo quốc gia 11 Biểu đồ tỷ lệ máy chủ thƣ theo loại MTA 12 Biểu đồ tỷ lệ Open Relay Server 12 Biểu đồ tỷ lệ MTA bị chặn 13 vi (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Bảng biểu Biểu đồ tỷ lệ thƣ rác theo lĩnh vực 13 Bảng biểu Biểu đồ tỷ lệ thƣ rác quốc gia 14 Bảng biểu Biểu đồ tỷ lệ thƣ rác theo khu vực 14 Bảng biểu 10 Bảng so sánh cơng cụ lọc thƣ theo tính lọc 33 Bảng biểu 11 Kết thử nghiệm lọc thƣ tiếng Việt 73 Bảng biểu 12 Kết thử nghiệm lọc thƣ tiếng Anh 73 Bảng biểu 13 Kết thử nghiệm lọc ảnh 73 vii (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung MỞ ĐẦU Sự phát triển Internet dần tạo định hƣớng số hóa kinh tế tồn cầu, số hóa hoạt động xã hội Sự hội tụ Viễn thơng – Tin học q trình phát triền khẳng định xu hƣớng ngày ảnh hƣởng mạnh mẽ đến tất quốc gia, khu vực Điều đem lại hàng loạt chuyển biến đại hóa lĩnh vực kinh tế, xã hội Trong đó, dịch vụ thƣ điện tử đóng vai trị quan trọng khơng thể thiếu đƣợc lĩnh vực Thƣ điện tử tham gia vào hầu hết hoạt động mạng: thƣơng mại điển tử, giải trí, điều hành doanh nghiệp, phủ điện tử… Thƣ rác mã độc hại phát tán qua thƣ rác gây tác hại quảng bá nội dung xấu, thông tin cá nhân; lãng phí truyền thơng; mặt khác lƣợng thƣ rác lớn khiến cho ngƣời dùng chán ngán với dịch vụ hữu ích Nhu cầu sử dụng dịch vụ thƣ “an toàn” “tin cậy” (cá nhân, tổ chức, nhà cung cấp) trở thành nhu cầu cấp thiết Trong năm gần đây, nghiên cứu phát triển hệ thống lọc nội dung áp dụng cho vấn đề lọc chặn thƣ rác quản lý nhận đƣợc quan tâm đặc biệt cá nhân, tổ chức hầu hết quốc gia giới Tại Việt Nam, song song với sở pháp lý nhà nƣớc ban hành nhằm ngăn chặn thƣ rác; việc xây dựng giải pháp lọc thƣ điện tử dựa phân tích nội dung mục tiêu nghiên cứu nhiều cá nhân, tập thể mục tiêu luận văn Nội dung luận văn gồm có phần mở đầu, ba chƣơng phần kết luận: Chƣơng 1: Tổng quan lọc thƣ điện tử theo phân tích nội dung Giới thiệu khái niệm liên quan đến thƣ điện tử, giao thức mạng sử dụng dịch vụ thƣ; tìm hiểu mơ hình, thành phần tham gia trình lọc thƣ; tìm hiểu số liệu thống kê liên quan đến vấn đề thƣ thƣ rác; nghiên cứu kỹ thuật áp dụng lọc thƣ; so sánh công cụ lọc thƣ, giải pháp lọc thƣ điển hình; Chƣơng 2: Mơ hình lọc thƣ điện tử đề xuất Đặt yêu cầu mơ hình lọc thƣ đề xuất; đề xuất mơ hình lọc thƣ điện tử; trình bày phƣơng pháp lọc nội dung áp dụng mơ hình phân loại bayesian; mô tả chi tiết nguyên lý hoạt động đặc tả thành phần Chƣơng 3: Thực nghiệm đánh giá thực nghiệm Xây dựng thử nghiệm hệ thống thƣ điện tử lọc dựa mã nguồn mở; đánh giá dựa kết thử nghiệm viii (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung CHƢƠNG TỔNG QUAN VỀ LỌC THƢ ĐIỆN TỬ 1.1 Khái niệm chung 1.1.1 Thƣ điện tử Thƣ điện tử, hay email (electronic mail), hệ thống chuyển nhận thƣ từ qua mạng máy tính Email phƣơng tiện thơng tin nhanh Một mẫu thơng tin đƣợc gửi dạng mã hố hay dạng thơng thƣờng đƣợc chuyển qua mạng máy tính đặc biệt mạng Internet Nó chuyển mẫu thơng tin từ máy nguồn tới hay nhiều máy nhận lúc Ngày nay, email truyền gửi đƣợc chữ, cịn truyền đƣợc dạng thơng tin khác nhƣ hình ảnh, âm thanh, phim, đặc biệt phần mềm thƣ điện tử kiểu cịn hiển thị email dạng sống động tƣơng thích với kiểu tệp HTML Hình Mơ hình ứng dụng hệ thống thƣ điện tử (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 3.1 Hệ thống lọc nội dung thƣ mFilter Dựa vào mơ hình lọc thƣ điện tử đề xuất, luận văn thực xây dựng hệ thống lọc nội dung thƣ mFilter sản phẩm mã nguồn mở sẵn có 3.1.1 Mơi trƣờng tích hợp Hệ điều hành: CentOS5, Redhat linux Máy chủ thƣ: SendMail Proxy mail: Smtp-gated Mơ hình lọc áp dụng : o Bộ lọc tiếng Anh o Bộ lọc tiếng Việt o Bộ lọc ảnh 3.1.2 Mơ tả mơ hình thử nghiệm Dựa vào mơ hình lọc thƣ điện tử đề xuất, luận văn thực xây dựng thành phần mơ hình dựa sản phẩm mã nguồn mở sẵn có Smtp-gated Queue (Smtp-gated) Bộ chuẩn hóa liệu Bộ xác định ngôn ngữ Bộ định Bộ kiểm soát Bộ lọc tiếng Anh CSDL Bộ lọc ảnh Bộ lọc tiếng Việt Hệ thống phân tích nội dung thư Hình 23 Mơ hình lọc thƣ điện tử thực nghiệm 65 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Trong đó: Smtp-gated (Smtp-gated) : đóng vai trị nhƣ Proxy Mail SpamBayes : có tác dụng nhƣ lọc tiếng Anh SpamBayes sử dụng liệu tự học lấy csdl Bộ lọc tiếng Anh : sử dụng thuật toán Paul Graham sử dụng mã nguồn mở SpamBayes o Ngôn ngữ: Python o Dữ liệu đầu vào: nội dung thƣ tiếng Anh o Xử lý: phân tích nội dung thƣ đầu vào, phát triển liệu tập huấn luyện o Kết trả về: thƣ rác hay thƣ hợp lệ Bộ lọc tiếng Việt: sử dụng kết có sẵn đề tài nghiên cứu KI o Ngôn ngữ : java o Dữ liệu đầu vào: Nội dung thƣ tiếng Việt Bao gồm tiêu đề nội dung o Kết trả về: số nguyên Mô tả tốt xấu liệu đầu vào Bộ lọc ảnh: sử dụng kết o Ngôn ngữ: java o Dữ liệu đầu vào: Nội dung thƣ chứa ảnh không lành mạnh o Kết trả về: số nguyên Mô tả tốt xấu liệu ảnh đƣa vào Bộ định: với điều kiện xây dựng hệ thống theo hƣớng tích hợp vai trị định không rõ rệt Trong mô hình thử nghiệm, lọc (bộ lọc ảnh, lọc tiếng Việt, lọc tiếng Anh) đƣa định độ xấu tốt thƣ 3.1.3 Tích hợp lọc Trong phần mô tả đóng góp luận văn vấn đề tích hợp để lọc thực thi mail proxy mFilter Quy trình tích hợp mơ đun phân tích nội dung vào hệ thống lọc thƣ điện tử đƣợc tiến hành nhƣ sau: 66 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 24 Quy trình thực lọc thƣ hệ thống mFilter Spool  {spamscanner/virusscanner/chuan hoa liệu  {lọc ảnh / xác định ngôn ngữ  {lọc tiếng Anh/ lọc tiếng Việt}}} Quá trình đƣợc thực cụ thể nhƣ sau: - Kiểm tra thƣ rác: thủ tục đọc file cấu hình để tìm loại lọc thƣ rác đƣợc khai báo thực hiên lọc o Kiểm tra lọc thƣ rác spamassasin  Hàm: static spam_result as_spamassassin(char *filename, double *score)  Đầu vào:  tTên file lƣu nội dung thƣ spooler proxy mail  Score: nNgƣỡng đánh giá áp dụng phân loại thƣ rác  Đầu ra: thơng báo thƣ có phải thƣ rác hay không? o Kiểm tra lọc thƣ rác lidb  Hàm: static spam_result as_libdspam(char *filename, double *score)  Đầu vào:  Tên file lƣu nội dung thƣ spooler proxy mail  Ngƣỡng đánh giá áp dụng phân loại thƣ rác Filename: tên file Score: ngƣỡng đánh giá áp dụng phân loại thƣ rác  Đầu ra: thơng báo thƣ có phải thƣ rác hay không? 67 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung - Kiểm tra virus: thủ tục đọc file cấu hình để tìm cách thức xác định virus đƣợc khai báo thực hiên lọc Khi phát file có virus, thủ tục cố gắng thực kill tiến trình o Kiểm tra Anti virus clam antivirus daemon  Hàm: static av_result av_clamd(char *filename, char **result)  Đầu vào:  Tên file lƣu nội dung thƣ spooler proxy mail Ngƣỡng đánh giá áp dụng phân loại thƣ rác.Filename: tên file  Score: ngƣỡng đánh giá áp dụng phân loại thƣ rác  Đầu ra: thơng báo thƣ có chứa virus hay không? o Kiểm tra Anti virus mksd  Hàm: static av_result av_mksd(char *filename, char **result)  Đầu vào:  Tên file lƣu nội dung thƣ spooler proxy mail  Ngƣỡng đánh giá áp dụng phân loại thƣ rác Filename: tên file Score: ngƣỡng đánh giá áp dụng phân loại thƣ rác  Đầu ra: thơng báo thƣ có chứa virus hay khơng? o Kiểm tra Anti virus mksd  Hàm: static av_result av_mks32(char *filename, char **name)  Đầu vào:  Tên file lƣu nội dung thƣ spooler proxy mail Ngƣỡng đánh giá áp dụng phân loại thƣ rác.Filename: tên file  Score: ngƣỡng đánh giá áp dụng phân loại thƣ rác  Đầu ra: thơng báo thƣ có chứa virus hay không? - Lọc nội dung: thủ tục thực việc lọc ngẫu nghiên với thƣ nhận, gửi để phát nội dung vi phạm Quá trình lọc nội dung thƣ đc áp dụng theo trình tự: Nội dung thƣ (tiêu đề, nội dung, thuộc tính mở rộng dạng văn bản) đƣợc đƣa lần lƣợt qua lọc Quá trình đƣợc lặp lại với nội dung file đính kèm o Lọc nội dung Tiếng Việt 68 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung  Hàm: int checkVnDoc(char * filename)  Đầu vào: tên file  Tên file lƣu nội dung thƣ spooler proxy mail   Đầu ra: thông báo thƣ bị vi phạm hay hợp lệ o Lọc nội dung Tiếng Anh  Hàm: int checkEnDoc(char * filename) Đầu vào: Tên file lƣu nội dung thƣ spooler proxy mail Đầu vào: tên file  Đầu ra: thông báo thƣ bị vi phạm hay hợp lệ o Lọc nội dung ảnh  Hàm: int checkImage(char * filename)  Đầu vào: Tên file lƣu nội dung thƣ spooler proxy mailĐầu vào: tên file  Đầu ra: thông báo thƣ bị vi phạm hay hợp lệ Cài đặt, cấu hình 3.2 Phần trình bày điểm trình cài đặt, cấu hình thử nghiệm Chi tiết trình: Tài liệu cài đặt cấu hình hệ thống lọc thƣ http://222.252.18.117/namdd/mFilter_setup_config_steps doc 3.2.1 Cài đặt Quá trình thử nghiệm cần cài đặt thành phần mFilter: sử dụng công cụ terminal thực thao tác thƣ mục gốc mFilter o Dịch mFilter: make o Cài đặt: install mFilter o Cấu hình mFilter: sau cấu hình mFilter file mFilter.conf, chép file vào thƣ mục /etc Thực nghiệm : mfilter –f /etc/mFilter.conf Mail client: cài đặt ứng dụng gửi nhận mail cho máy client Trong trình thử nghiệm mail client sử dụng ứng dụng thunderbird o 3.2.2 Cấu hình - mFilter: máy chủ mFilter cần có cấu hình địa mạng o Ethernet 0: địa mạng 69 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung o Ethernet 1: địa mạng trong, địa nhận gói tin từ mail client đƣa sang Hình 24.Hình 25 Cấu hình địa mạng ngồi 70 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 25.Hình 26 Cấu hình địa mạng o Cấu hình NAT: thực NAT gói tin nhận đƣợc từ port theo giao thức nhận/gửi thƣ port mặc định lọc 71 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 26.Hình 27 Cấu hình NAT - Mail client: thực cấu hình địa mạng cho mail client 72 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 27.Hình 28 3.3 Cấu hình địa mạng mail client Thực nghiệm đánh giá hệ thống 3.3 3.4 Áp dụng mơ hình lọc thƣ điện tử đề xuất, luận văn thực xây dựng thử nghiệm hệ thống lọc mFilter với số kết đạt đƣợc: - Xây dựng hệ thống lọc thƣ tích hợp lọc - Trong điều kiện thử nghiệm: sử dụng tính forward thƣ từ địa thƣ gmail tới hòm thƣ thử nghiệm, chƣơng trình thử nghiệm đạt đƣợc số kết quả: o Đối với thƣ nội dung tiếng Anh: chƣơng trình đạt kết tốt Hiệu suất thu đƣợc 80% o Đối với thƣ nội dung tiếng Việt: chƣơng trình cho kết thấp nhiều Hiệu suất đạt đƣợc 53.3% o Đối với thƣ nội dung ảnh khơng lành mạnh: chƣơng trình cho kết tƣơng đối khả quan Hiệu suất đạt đƣợc 73.3% 73 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Thƣ vi phạm Thƣ hợp pháp Tổng Thƣ vi phạm 12 (80%) 15 Thƣ hợp pháp 14 (93.3%) 15 Tổng 13 17 30 Bảng biểu 11 Kết thử nghiệm lọc thƣ tiếng Việt Thƣ vi phạm Thƣ hợp pháp Tổng Thƣ vi phạm (53.3%) 15 Thƣ hợp pháp 13 (86.67%) 15 Tổng 10 20 30 Bảng biểu 12 Kết thử nghiệm lọc thƣ tiếng Anh Thƣ vi phạm Thƣ hợp pháp Tổng Thƣ vi phạm 11 (73.3%) 15 Thƣ hợp pháp 10 (66.7%) 15 Tổng 16 14 30 Bảng biểu 13 Kết thử nghiệm lọc ảnh 74 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung Hình 28.Hình 29 Màn hình kết thực thi hệ thống thử nghiệm mFilter 75 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung KẾT LUẬN Kết đạt đƣợc luận văn: Theo kết phân tích thực trạng thƣ rác, thƣ vi phạm cho thấy yêu cầu đặt giải pháp lọc nội dung thƣ điện tử cần thiết, luận văn thực hiện: - Phân tích nội dung bản, kỹ thuật sử dụng việc thực lọc thƣ điện tử (chƣơng 1) - Khảo sát vấn đề thƣ rác, mã độc hại; đƣa số liệu thống kê đặc thù vấn đề thƣ rác trình bày giải pháp lọc thƣ đƣợc áp dụng (chƣơng 1) - Nghiên cứu vấn đề lọc thƣ nội dung áp dụng phƣơng pháp Bayesian đề xuất giải pháp lọc thƣ (chƣơng 2) - Xây dựng thử nghiệm thành cơng hệ thống lọc mFilter tích hợp lọc thƣ rác, lọc thƣ tiếng Việt, lọc tiếng Anh; tích hợp kiểm tra virus Dựa thơng tin sở thƣ vấn đề lọc thƣ đƣợc trình bày chƣơng một; kết hợp với mơ hình đề xuất đƣợc đƣa chƣơng hai, luận văn thực xây dựng phần mềm thử nghiệm theo giải pháp đề dựa việc tích hợp sản phẩm mã nguồn mở Trong trƣờng hợp thử nghiệm, chƣơng trình hoạt động với chức đề Phƣơng hƣớng nghiên cứu Xuất phát từ vấn đề thƣ rác, công tác quản lý, giải pháp lọc thƣ điện tử theo phân tích nội dung hƣớng nghiên cứu đƣợc thực quốc gia nhiều tổ chức lớn Các giải pháp đặt trọng tâm vào vấn đề nghiên cứu phƣơng pháp phân tích nội dung tìm cách áp dụng chúng vào hệ thống thƣ điển tử Nghiên cứu, xây dựng một hệ thống lọc thƣ điện đạt hiệu cao vấn đề nghiên cứu luận văn 76 (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TÀI LIỆU THAM KHẢO Tiếng Việt Cục Công nghệ Tin học nghiệp vụ Bộ Công An (03/2008), “Đề tài KC.01.07/10 - Nghiên cứu, phát triển hệ thống lọc nội dung hỗ trợ quản lý đảm bảo an tồn – an ninh thơng tin mạng Internet”, tài liệu kỹ thuật Cục Công nghệ Tin học nghiệp vụ Bộ Công An, “Tài liệu nghiên cứu, phân tích đánh giá tình hình quản lý Nhà nước lọc nội dung giới”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ - ĐTCT-KC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Công An, “Tài liệu nghiên cứu, phân tích đề xuất sách pháp lý Việt nam cho vấn đề lọc nội dung thông tin mạng Internet”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ - ĐTCT-KC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Công An, “Tài liệu nghiên cứu đánh giá tổng quan thực trạng lọc nội dung Internet giới”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ ĐTCT-KC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Công An,“Tài liệu nghiên cứu, phân tích đánh giá thuật tốn lọc văn theo nội dung”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ - ĐTCTKC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Công An, “Tài liệu nghiên cứu, phân tích đánh giá giải thuật lọc dựa URL, links chuẩn PICS”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ ĐTCT-KC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Cơng An, “Tài liệu nghiên cứu, phân tích đánh giá giải thuật lọc ảnh”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ - ĐTCT-KC.01/06-10 Cục Công nghệ Tin học nghiệp vụ Bộ Cơng An, “Tài liệu nghiên cứu, tìm hiểu đánh giá kỹ thuật cho phép quản lý luồng liệu vào/ra cổng Internet quốc gia”, báo cáo chuyên đề khuôn khổ đề tài nhà nƣớc mang mã số 02/2006 /HĐ - ĐTCT-KC.01/06-10 Trƣờng Đại học Công nghệ - ĐHQGHN (2008), “Nghiên cứu, phân tích đánh giá giải thuật lọc hình ảnh Internet”, tài liệu kỹ thuật Tiếng Anh i (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung 10 Aas, K and L Eikvil (1999, June) Text categorisation: A survey Technical report, Norwegian Computing Center, P.B 114 Blindern, N-0314, Oslo, Norway Technical Report 941 11 Andrew McCallum, Kamal Nigam, A Comparison of Event Model for Naive Bayes Text Classification, Working Notes of the 1998 AAAI/ICML Workshop on Learning for Text Categorization 12 Bayesian Whitelisting: Finding the Good Mail Among the Spam 13 Cormack, G Statistical precision of information retrieval evaluation In Proceedings of SIGIR 2006 (Seattle, WA, 2006) 14 Cormack, G., and Bratko, A Batch and on-line spam filter evaluation In Proceedings of CEAS (2006 (Mountain View, CA, 2006) 15 Dang Thanh Hai, Nguyen Huong Giang, Ha Quang Thuy (2005) Naive Bayes text classification algorithm and problem of specifying clasifying threshold in search engine Journal of Computer Science & Cybernetics 21(2), 152-161 16 Paul Graham, independent writer and author of "A Plan for Spam" and "Better Bayesian Filtering 17 First Conference on Email and Anti-Spam - CEAS 2004, Mountain View, CA, USA, July 30 and 31, 2004 18 Ion Androutsopoulos, John Koutsias, Konstantinos V Chandrinos, George Paliouras and Constantine D Spyropoulos, An Evaluation of Naive Bayesian Anti-Spam Filtering, Software and Knowledge Engineering Laboratory, National Centre for Scientific Research “Demokritos” 19 Gordon Cormack, TREC 2006 Spam Track Overview, University of Waterloo - Waterloo, Ontario, Canada 20 Gabrilovich, E and S Markovitch (2006, July) Overcoming the brittleness bottleneck using Wikipedia: Enhancing text categorization with encyclopedic knowledge In Proceedings of the 21st National Conference on Artificial Intelligence, Menlo Park, CA, pp 1301–1306 AAAI Press 21 Greevy, E & Smeaton, A.F (2004) Classifying racist texts using a support vector machine In Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval (pp pp 468-469) : ACM Press, Sheffield, United Kingdom 22 Hammami, M., Y Chahir, and L Chen (2003) Webguard: Web based adult content detection and filtering system In WI ’03: Proceedings of the 2003 IEEE/WIC International Conference on Web Intelligence, Washington, DC, pp 574 IEEE Computer Society 23 Hunnisett, D S & Teahan, W.J (2004) Context-based methods for text categorisation In Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval (pp pp 578-579) ACM Press, Sheffield, United Kingdom ii (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung (LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung(LUAN.van.THAC.si).giai.phap.loc.thu.dien.tu.theo.phan.tich.noi.dung