xây dựng ứng dụng phân loại thư điện tử và lọc thư rác

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG ỨNG DỤNG PHÂN LOẠI THƯ ĐIỆN TỬ VÀ LỌC THƯ RÁC S K C 0 9 MÃ SỐ: T30 - 2008 S KC 0 Tp Hồ Chí Minh, 2008 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG XÂY DỰNG ỨNG DỤNG PHÂN LOẠI THƯ ĐIỆN TỬ VÀ LỌC THƯ RÁC MÃ SỐ: T30-2008 THUỘC NHÓM NGÀNH: KHOA HỌC KỸ THUẬT NGƯỜI CHỦ TRÌ: NGUYỄN TRẦN THI VĂN NGƯỜI THAM GIA: HÀ VĂN ĐÔNG PHẠM VIẾT HÙNG NGUYỄN VĂN THÁI ĐƠN VỊ: KHOA CÔNG NGHỆ THÔNG TIN TP HỒ CHÍ MINH – 12/2008 I NHẬN XÉT CỦA HỘI ĐỒNG II LỜI CẢM ƠN Lời đầu tiên, xin gửi lời chân thành cảm ơn đến Ban Chủ nhiệm khoa Công nghệ Thông tin trường Đại học Sư phạm Kỹ thuật giúp đỡ, hỗ trợ tạo điều kiện cho nhóm thực đề tài Nhóm thực xin gửi lời cảm ơn sâu sắc đến quý thầy cô, quý đồng nghiệp Khoa Công nghệ Thông tin bạn bè thân hữu nhiệt tình đóng góp ý kiến, động viên để hoàn thiện đề tài Xin cảm ơn nhóm bạn Quyền-Hoàn-Hiếu lớp 041102 Khoa Công nghệ Thông tin góp sức việc xây dựng số module chương trình Một lần nữa, xin chân thành cảm ơn! Tp HCM, tháng 12 năm 2008 Nhóm thực Nguyễn Trần Thi Văn Hà Văn Đông Phạm Viết Hùng Nguyễn Văn Thái III MỤC LỤC CHƢƠNG I - MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu đề tài CHƢƠNG - CƠ SỞ LÝ THUYẾT 11 2.1 Cấu trúc mail MIME: 12 2.1.1 Các loại encode dùng Mail mime: 12 2.1.2 Những mở rộng cho trƣờng có ký tự ngòai ASCII: 14 2.1.3 Cấu trúc mail: 15 2.2 Cơ chế nhân thƣ: 16 2.2.1 Giới thiệu giao thức POP3: 16 2.2.2 Câu lệnh pop3: 16 2.3 Cơ chế gửi thƣ: 20 2.3.1 Giới thiệu SMTP: 20 2.3.2 Mô hình SMTP 20 2.3.3 Cú pháp mô hình giao dịch 22 2.3.4 Các lệnh SMTP 25 2.4 Cơ chế lọc Spam: 28 2.4.1 Đặc điểm Spam: 28 2.4.2 Các phƣơng pháp lọc Spam: 29 CHƢƠNG III - PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH 35 3.1 Sơ đồ usecase 36 3.2 Thiết kế sở liệu 36 3.2.1 Mục tiêu: 36 3.2.2 Các bƣớc thực hiện: 37 3.2.3 Kết quả: 48 3.3 Thiết kế giao diện 55 3.3.1 Danh sách hình sơ đồ chuyển đổi 55 3.3.2 Mô tả chi tiết hình 55 CHƢƠNG IV - KẾT LUẬN 71 4.1 Tóm tắt kết đạt đƣợc 72 4.2 Ƣu điểm 72 4.3 Khuyết điểm 72 IV 4.4 Hƣớng phát triển 73 4.5 Tài liệu tham khảo : 73 V DANH MỤC CÁC HÌNH VẼ Hình 1-Mô hình SMTP 21 Hình 2-Sơ đồ usecase 36 Hình 3-Sơ đồ ERD 40 Hình 4-Sơ đồ chuyển đổi hình 55 Hình 5-Màn hình chinh 56 Hình 6-Sơ đồ biến cố hình 57 Hình 7-Màn hình tìm thƣ 58 Hình 8-Sơ đồ biến cố hình tìm thƣ 59 Hình 9-Màn hình soạn thƣ 59 Hình 10-Sơ đồ biến cố hình soạn thƣ 60 Hình 11-Màn hình tạo thẻ 60 Hình 12-Sơ đồ biến cố hình tạo thẻ 61 Hình 13-Màn hình quản lý lọc 61 Hình 14-Sơ đồ biến cố hình quản lý lọc 62 Hình 15-Màn hình tạo lọc 62 Hình 16-Sơ đồ biến cố hình tạo lọc 63 Hình 17-Màn hình quản lý sổ địa 64 Hình 18-Sơ đồ biến cố hình quản lý sổ địa 65 Hình 19-Màn hình tạo địa 66 Hình 20-Sơ đồ biến cố hình tạo địa 66 Hình 21-Màn hình tạo danh sách email 67 Hình 22-Sơ đồ biến cố hình tạo danh sách email 67 Hình 23-Màn hình tạo thƣ mục 68 Hình 24-Sơ đồ biến cố hình tạo thƣ mục 68 VI Hình 25-Màn hình cấu hình tài khoản 68 Hình 26-Sơ đồ biến cố hình câu hình tài khoản 69 Hình 27-Màn hình thêm tài khoản 70 Hình 28-Sơ đồ biến cố hình thêm tài khoản 70 VII DANH MỤC CÁC BẢNG Bảng 1-Bảng mã Base 64 12 Bảng 2-Danh sách thực thể 39 Bảng -Danh sách bảng 52 Bảng 4-Mối quan hệ bảng 52 Bảng 5-Sơ đồ quan hệ theo SQL Server 53 CHƢƠNG - MỞ ĐẦU Trang CHƢƠNG I MỞ ĐẦU PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III 10 11 ListBox ListBox Textbox Listbox CustomControl Đông gửi BCC Chủ đề thƣ Danh sách file đính kèm Trình soạn thảo thƣ LstCC LstBcc TxtSubject LstAttach Editor Sơ đồ biến cố: Hình 10-Sơ đồ biến cố hình soạn thƣ  Màn hình tạo thẻ: Ý nghĩa:dùng để tạo thêm thẻ để phân loại thƣ Nội dung chi tiết: Hình 11-Màn hình tạo thẻ Các đối tƣợng hình STT Loại Tên Label Label1 Textbox Txtname Ý nghĩa Hiển thị nhãn Đặt tên cho thẻ Trang 60 PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Textbox Button button button txtDes btnAdd btnCancel btnColor Trang 61 Mô tả cho thẻ Thêm thẻ Đóng form Màu hiển thị cho thẻ Sơ đồ biến cố: Hình 12-Sơ đồ biến cố hình tạo thẻ  Màn hình quản lý lọc: Ý nghĩa:dùng để thể lọc có sẵn sở liệu thực chức lọc thƣ Nội dung chi tiết: Hình 13-Màn hình quản lý lọc Các đối tƣợng hình STT Loại Tên Combobox cboAccount Button btnNew Button btnEdit Ý nghĩa Tài khoản cần lọc Tạo lọc Hiệu chỉnh lọc chọn PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Button Listview button btnDelete lstFilterRul btnUp Button btnDown Combobox Button cboFolder btnFilter Xóa lọc chọn Hiển thị tất lọc Di chuyển lọc chọn lên mức ƣu tiên cao Di chuyển lọc chọn xuống mức ƣu tiên thấp Thƣ mục cần thực lọc Thực lọc thƣ Sơ đồ biến cố: Hình 14-Sơ đồ biến cố hình quản lý lọc  Màn hình tạo lọc: Ý nghĩa:dùng để tạo lọc dựa điều kiện ngƣời dùng nhập vào Nội dung chi tiết: 10 11 Hình 15-Màn hình tạo lọc 12 Trang 62 PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Các đối tƣợng hình STT Loại Tên Textbox TxtName Checkbox ChkMarkAll Checkbox ChkMarkPart Checkbox ChkMark CustomControl SearchControl Checkbox ChkMove Checkbox ChkMarkJunk Checkbox ChkDelete ComboBox CboFolder 10 Combobox CboAccount 11 Button BtnOK 12 Button BtnCancel Trang 63 Ý nghĩa Tên lọc Chỉ định điều kiện khớp hết Chỉ định điều kiện khớp phần Chỉ định tất thƣ Chứa câu điều kiện Chỉ định thực di chuyển thƣ Chỉ định đánh dấu thƣ rác Chỉ định xóa thƣ Danh sách thƣ mục Danh sách tài khoản Thực thao tác Đóng Form Sơ đồ biến cố: Hình 16-Sơ đồ biến cố hình tạo lọc  Màn hình quản lý sổ địa chỉ: Ý nghĩa:dùng để lƣu trữ thông tin địa ngƣời dùng Nội dung chi tiết: PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Hình 17-Màn hình quản lý sổ địa Các đối tƣợng hình STT Loại Tên Button BtnNew Button BtnEmai Button BtnNewFolder Button BtnWrite Button BtnEdit Button BtnDelete TreeView TreeGroup ListView LstAddressInfo CustomControl Card Ý nghĩa Thêm địa Tạo danh sách email Tạo thƣ mục Soạn thƣ Chỉnh sửa địa Xóa địa Danh sách nhóm Thông tin địa Thông tin địa Trang 64 CHƢƠNG III PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH Sơ đồ biến cố: Hình 18-Sơ đồ biến cố hình quản lý sổ địa  Màn hình tạo địa mới: Ý nghĩa:dùng để thêm thông tin địa Trang 65 PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Nội dung chi tiết: Hình 19-Màn hình tạo địa Các đối tƣợng hình STT Loại Ý nghĩa Textbox Thông tin tên Textbox Thông tin email Textbox Thông tin điện thoại Sơ đồ biến cố: Hình 20-Sơ đồ biến cố hình tạo địa  Màn hình tạo danh sách email: Ý nghĩa:dùng để tạo tạo nhóm dánh sách địa email Nội dung chi tiết: Trang 66 CHƢƠNG III PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH Trang 67 Hình 21-Màn hình tạo danh sách email Các đối tƣợng hình STT Loại Tên Textbox TxtName Textbox TxtDesp Checkbox ChkAll Checkbox ListView Button Button ChkNoneGruop LstEmailInfo BtnAdd BtnCancel Ý nghĩa Tên danh sách Mô tả cho danh sách Chỉ định tất email có sổ địa Chỉ định email chƣa có nhóm Danh sách email Thêm vào nhóm Thoát đóng form Sơ đồ biến cố: Hình 22-Sơ đồ biến cố hình tạo danh sách email  Màn hình Tạo thƣ mục: Ý nghĩa:dùng để tạo thêm nhóm cho sổ địa Nội dung chi tiết: PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III Trang 68 Hình 23-Màn hình tạo thƣ mục Các đối tƣợng hình STT Loại Tên Textbox TxtName Textbox TxtDesp Button BtnAdd Button BtnCancel Ý nghĩa Tên danh sách Mô tả cho danh sách Thêm thƣ mục Thoát đóng form Sơ đồ biến cố: Hình 24-Sơ đồ biến cố hình tạo thƣ mục  Màn hình cấu hình tài khoản: Ý nghĩa:dùng để xem,xóa thông tin tài khoản cập nhập tài khoản có hiệu chỉnh Nội dung chi tiết: 11 12 10 13 Hình 25-Màn hình cấu hình tài khoản CHƢƠNG III PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH Các đối tƣợng hình STT Loại Tên TreeView TreeAccount Textbox TxtName TextBox TxtPass CheckBox ChkSave ComboBox CboServer Textbox TxtEmail Textbox txtPop3 Textbox TxtSmtp Textbox TxtPort 10 Button BtnUpdate 11 Button BtnAdd 12 Button BtnDel 13 Button BtnFinish Ý nghĩa Danh sách account Tên tài khoản Mật Chỉ định lƣu lại mật Dánh sách loại server Địa email Địa server pop3 Địa smtp Cổng server lắng nghe Cập nhật hiệu chỉnh Thêm account Xóa account Lƣu lại CSDL đóng form Sơ đồ biến cố: Hình 26-Sơ đồ biến cố hình câu hình tài khoản  Màn hình thêm tài khoản mới: Ý nghĩa:dùng để tạo thêm tài khoản Nội dung chi tiết: Trang 69 PHÂN TÍCH VÀ THIẾT KẾ CHƢƠNG TRÌNH CHƢƠNG III 10 Hình 27-Màn hình thêm tài khoản Các đối tƣợng hình STT Loại Tên Textbox TxtName TextBox TxtPass CheckBox ChkSave ComboBox CboServer Textbox TxtEmail Textbox txtPop3 Textbox TxtSmtp Textbox TxtPort Button BtnOK 10 Button BtnCancel Ý nghĩa Tên tài khoản Mật Chỉ định lƣu lại mật Dánh sách loại server Địa email Địa server pop3 Địa smtp Cổng server lắng nghe Thêm tài khoản Đóng form Sơ đồ biến cố: Hình 28-Sơ đồ biến cố hình thêm tài khoản Trang 70 CHƢƠNG KẾT LUẬN CHƢƠNG IV KẾT LUẬN Trang 71 CHƢƠNG KẾT LUẬN Trang 72 4.1 Tóm tắt kết đạt đƣợc Chƣơng trình nhóm thực đƣợc đầy đủ tính ứng dụng mail client bao gồm chức nhƣ : • Gửi thƣ o Chƣơng trình soạn thƣ nhƣ nhũng chƣơng trình quản lý thƣ thông dụng khác nhƣ Thunderbird, Outlook Express … o Đính kèm loại file nhƣ file hình ảnh, file doc… • Nhận thƣ.: o Nhận thƣ có đính kèm file (Word, pdf, Bitmap, jpg, nhiều định dạng thông dụng khác…) o Khản thị thƣ củng tốt, hiển thị nội dung thƣ đƣợc viết HTML,… o Chƣơng trình hiển thị thƣ tiếng Việt, tiếng Anh • Quản lý sổ địa • Tìm kiếm thƣ • Tìm kiếm địa • Phân loại thƣ theo thẻ, theo nhóm… • Lọc thƣ theo điều kiện, lọc thƣ tự động • Tự động trả lời thƣ • Cho phép nhận thƣ Tiếng Việt 4.2 Ƣu điểm Chƣơng trình có ƣu điểm sau:  Giao diện tiếng Việt thân thiện với ngƣời dùng nƣớc  Có khả lọc thƣ có nguồn gốc từ nƣớc cách xác  Các thao tác đƣợc đơn giản hóa nhờ vào biểu tƣợng chƣơng trình 4.3 Khuyết điểm  Chƣơng trình cần phải cài đặt hệ quản trị sở liệu để lƣu trữ liệu  Do cần phải kiểm tra xem thƣ có nội dung tiếng Việt hay không nên trình lấy thƣ diễn chậm CHƢƠNG KẾT LUẬN Trang 73 4.4 Hƣớng phát triển Do chƣơng trình đƣợc thực thời gian ngắn nên không tránh khỏi thiếu sót lỗi chƣơng trình.Cho nên chƣơng trình cần phải tiếp tục hoàn thiện, kiểm soát tất lỗi, bổ sung thêm tính nhƣ tính bảo mật thƣ… Hiện chƣơng trình sử dụng hệ quản trị sở liệu để lƣu trữ thƣ Đây điều bất tiện cho ngƣời dung Cho nên tƣơng lai chƣơng trình hƣớng tới việc lƣu trữ sang tập tin đĩa 4.5 Tài liệu tham khảo : [1] John Walker,annoyance-filter [2] Jesse Liberty, Programming C#, 3rd Edition, O'Reilly, 2003 [3] Robert Vieira, Beginning SQL Server™ 2005 Programming, Wrox Press, 2006 [4] Brian Knightet, Professional SQL Server 2005 Integration Services, Wrox Press, 2006 [5] Joe Duffy,Professional NET Framework 2.0, Wrox Press, 2006 [6].Thuan L.Thai and Hoang Lam,.NET Framework Essentials,2nd edition, O‟Reilly, 2002 [...]... rác ) vẫn cứ liên tục đƣợc gửi vào hộp thƣ của họ, với số lƣợng ngày càng nhiều hơn và phƣơng thức ngày càng tinh vi hơn Việc loại bỏ các thƣ rác này bằng tay cũng khiến ngƣời dùng mệt mỏi và mất nhiều thời gian - Chính vì thế, việc xây dựng một ứng dụng cho phép phân loại các thƣ điện tử nhận đƣợc theo một hay một số tiêu chí khác nhau; cũng nhƣ cho phép tự động loại bỏ các thƣ rác là thực tế và. .. gửi và nhận thƣ thông dụng hiện nay là Post Office Protocol version 3 (POP3) và Simple Mail Transfer Protocol (SMTP) CHƢƠNG 1 - MỞ ĐẦU Trang 10 - Tìm hiểu một số giải thuật và kỹ thuật lọc thƣ rác đƣợc sử dụng rộng rãi hiện nay - Thiết kế và xây dựng chƣơng trình mail client cho phép soạn thƣ, gửi nhận thƣ điện tử (email) bằng tay – giống cách làm thông thƣờng; quản lý hộp thƣ; quản lý và phân loại. .. nhanh chóng, việc trao đổi thông tin qua thƣ điện tử (email) tỏ ra tiện lợi, nhanh chóng và hiệu quả về nhiều mặt Việc sử dụng thƣ điện tử trong thông tin liên lạc đã trở nên hết sức phổ biến - Khi việc trao đổi thƣ điện tử đƣợc sử dụng thƣờng xuyên và chủ yếu, số lƣợng cũng nhƣ chủng loại thƣ nhận đƣợc mỗi ngày có thể là rất lớn Mỗi ngƣời sử dụng có nhu cầu phân loại các thƣ này theo nhiều tiêu chí khác... chức năng lọc thƣ theo tiêu chí ngôn ngữ, mặt khác với các chƣơng trình của nƣớc ngoài nhƣ Thunderbird, Outlook Express … củng có chức năng lọc thƣ nhƣng chƣa lọc đƣợc thƣ tiếng việt với những ngôn ngữ khác, do đó cũng chƣa đáp ứng đƣợc nhu cầu sử dụng của ngƣời dân Việt Nam Việc tìm hiểu và xây dựng một ứng dụng lọc thƣ theo tiêu chí ngôn ngữ lúc này là một nhu cầu thực tế rất cấp thiết và quan trọng... chƣơng trình có thể dựa vào đó mà tiến hành phân loại thƣ một cách tự động dựa trên dữ liệu có sẵn này.Điều này đƣợc thực hiện bằng cách tự tay ngƣời dùng chỉ định thƣ tín nào là spam cái nào là thƣ hợp lệ.Nếu tập dữ liệu này càng lớn thì việc phân loại tự động càng thêm chính xác Nếu chƣơng trình phân loại không chính xác thì ta cần phải báo cáo lại để chƣơng trình phân loại đúng hơn vào lần sau  Các bƣớc... thƣ đến theo những tiêu chí do ngƣời dùng quy định; tự động lọc các thƣ đƣợc xem là thƣ rác, thƣ có nguồn gốc từ nƣớc ngoài cho vào một (hoặc một số) thƣ mục riêng để ngƣời dùng xử lý CHƢƠNG 2 - CƠ SỞ LÝ THUYẾT 2 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT Trang 11 CHƢƠNG 2 - CƠ SỞ LÝ THUYẾT Trang 12 Để thực hiện đƣợc chức năng lọc và phân loại thƣ thì một ứng dụng mail client cần phải thực hiện đƣợc các tính năng cơ... thƣ rác là thực tế và cấp thiết Thêm vào đó, hầu nhƣ đa số ngƣời dùng thƣ điện tử ở Việt Nam hiện nay (dù không phải là tất cả) chỉ có nhu cầu trao đổi, gửi nhận email cho các đối tác trong nƣớc, tức là ngôn ngữ sử dụng đa phần là tiếng Việt Việc phân loại thƣ theo tiêu chí ngôn ngữ là mục tiêu mà đề tài đặt trọng tâm và sẽ giúp loại bỏ đƣợc phần lớn các thƣ rác có nguồn gốc từ nƣớc ngoài - Hiện nay... tƣơng tự nhƣ vậy đƣợc sử dụng để phân loại spam Nếu một số phần văn bản xuất hiện thƣờng xuyên trong các spam nhƣng thƣờng không xuất hiện trong các email thông thƣờng, thì có thể kết luận rằng email đó là spam Trƣớc khi có thể lọc email bằng bộ lọc Bayesian, ngƣời dùng cần tạo ra cơ sở dữ liệu từ khóa và dấu hiệu (nhƣ là ký hiệu $, địa chỉ IP và các miền ) sƣu tầm từ các spam và các email không hợp... hàng phản hồi bằng cách sử dụng tính năng auto-reply với tiêu đề “your email to sales” có thể bị đánh dấu là spam • Gửi tới một số lƣợng rất lớn ngƣời nhận khác nhau • Chỉ chứa những file ảnh mà không chứa các từ để đánh lừa các bộ lọc • Sử dụng ngôn ngữ khác với ngôn ngữ mà ngƣời nhận đang sử dụng Dựa vào những đặc điểm này của spam, các bộ lọc có thể lọc chặn 2.4.2.10 Sử dụng tính năng Challenge/Response:... tín dụng, tài khoản ngân hàng qua các email dạng phishing Phần một của bài viết này sẽ trình bày về đặc điểm của spam, cách phát tán và tác hại của spam Phần hai của bài viết sẽ trình bày về các phƣơng pháp lọc spam và cách phòng chống 2.4.1 Đặc điểm của Spam: Spam (hay spam email) là thƣ điện tử quảng cáo hay là thƣ đƣợc gửi mà không có sự yêu cầu từ ngƣời nhận Spam thƣờng là những email vô hại và