xây dựng giải pháp toàn bộ cho hệ thống thư điện tử trên nền tảng hệ điều hành linux

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trần Thế Anh XÂY DỰNG GIẢI PHÁP TOÀN BỘ CHO HỆ THỐNG THƯ ĐIỆN TỬ TRÊN NỀN TẢNG HỆ ĐIỀU HÀNH LINUX KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin HÀ NỘI - 2007 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ Trần Thế Anh XÂY DỰNG GIẢI PHÁP TỒN BỘ CHO HỆ THỐNG THƯ ĐIỆN TỬ TRÊN NỀN TẢNG HỆ ĐIỀU HÀNH LINUX KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hướng dẫn: ThS Nguyễn Nam Hải Cán đồng hướng dẫn: ThS Đoàn Minh Phương HÀ NỘI - 2007 LỜI CẢM ƠN Để hồn thành khóa luận tốt nghiệp này, nhận nhiều quan tâm giúp đỡ, dạy bảo từ thầy cô, anh chị bạn bè Đầu tiên, xin gửi lời cảm ơn chân thành đến thầy Nguyễn Nam Hải, người thầy tận tình hướng dẫn tơi suốt q trình thực khóa luận Tơi xin cảm ơn thầy Đoàn Minh Phương, thầy tạo điều kiện, cung cấp tài liệu bổ ích, bảo tỉ mỉ cho tơi hồn thành khóa luận Tơi xin cảm ơn anh, chị sinh viên K46, K47 bạn bè sinh viên động viên, khuyến khích tơi nhiều suốt q trình học tập thực khóa luận Mặc dù khóa luận hoàn thành với tất tinh thần trách nhiệm, nghiêm túc cố gắng hết mình, với kinh nghiệm, kiến thức khả thân cịn hạn chế, nên khóa luận khơng tránh khỏi thiếu sót, tơi mong nhận quan tâm, chia sẻ góp ý thầy cơ, bạn bè để hồn thiện khóa luận tốt Hà Nội, ngày 20 tháng năm 2007 Sinh viên Trần Thế Anh i TÓM TẮT NỘI DUNG KHÓA LUẬN Ngày nay, thư điện tử trở thành dịch vụ phổ biến toàn giới Tại Việt Nam, đa số trường học, quan, đơn vị nước triển khai hệ thống thư điện tử riêng cho Tuy nhiên, đa số sản phẩm thương mại đắt tiền bẻ khóa sản phẩm mã nguồn đóng chạy Windows Vì vậy, khóa luận tập trung nghiên cứu kiến thức hệ thống thư điện tử, từ đề xuất sản phẩm mã nguồn mở Qmail để triển khai cho quan, trường học, đơn vị Việt Nam với chi phí thấp Vì thân Qmail máy chủ gửi/nhận thư nên để đáp ứng yêu cầu đảm bảo an tồn cho hệ thống thư điện tử, khóa luận nghiên cứu tích hợp thành phần khác LDAP, POP3, Webmail, Qmail-Scanner… Bên cạnh đó, khóa luận cịn tìm hiểu khái niệm thư rác, số kỹ thuật chống thư rác cài đặt kỹ thuật với Qmail nhằm góp phần giải “vấn nạn” thư rác Kết khóa luận cài đặt hệ thống thư điện tử với chức số thành phần tích hợp thêm Bộ cài đặt phân phối cho đơn vị, doanh nghiệp người dùng đơn lẻ sử dụng, tùy biến phát triển miễn phí ii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT NỘI DUNG KHÓA LUẬN .ii MỤC LỤC iii DANH SÁCH THUẬT NGỮ .vi BẢNG KÝ HIỆU VIẾT TẮT vii MỞ ĐẦU Chương QMAIL .3 1.1 Tổng quan hệ thống thư điện tử .3 1.1.1 Thư điện tử nhu cầu sử dụng thư điện tử .3 1.1.2 Cấu trúc hệ thống thư điện tử 1.1.3 Cách thức hoạt động hệ thống thư điện tử 1.1.4 Những giao thức hay gặp truyền/nhận thư điện tử 1.1.5 Đánh giá hệ thống thư điện tử .9 1.1.6 Giải pháp với hệ điều hành Linux .10 1.2 Qmail (http://www.Qmail.org) 11 1.2.1 Giới thiệu 11 1.2.2 Giấy phép sử dụng Qmail 14 1.2.3 Tính ưu việt Qmail 14 1.2.4 Tính .19 1.2.5 Bổ sung cần thiết 20 1.3 Các thành phần kết hợp với Qmail 22 1.3.1 Hệ điều hành Fedora (http://fedora.redhat.com) .22 1.3.2 Máy chủ xác thực LDAP server (http://www.openldap.org) 22 1.3.3 Squirrelmail (http://www.squirrelmail.org) .23 1.3.4 Máy chủ web Apache Server (http://httpd.apache.org) 24 iii 1.3.5 Hệ quản trị sở liệu MySQL (http://www.mysql.com) 24 1.3.6 Máy chủ POP3/IMAP dovecot (http://www.dovecot.org) .24 1.3.7 Qmail-Scanner (http://Qmail-scanner.sourceforge.net) 25 1.3.8 Daemon Tools & TCP Server .25 Chương THƯ RÁC VÀ CÁC KỸ THUẬT LỌC THƯ RÁC .27 2.1 Thư rác 27 2.1.1 Đặc điểm thư rác 27 2.1.2 Các đặc trưng thư rác 28 2.2 Các biện pháp loại bỏ thư rác 30 2.2.1 Danh sách tên miền đen (DNS-based Blackhole Lists) 32 2.2.2 Lọc thư rác dựa theo chuẩn SMTP .33 2.2.3 Danh sách xám (Greylisting) 35 2.2.4 Lọc dựa vào checksum (kiểm tra tổng) 36 2.2.5 Chứng thực danh tiếng 37 2.2.6 Lọc thư rác dựa vào nội dung .37 2.2.7 Danh sách SURBL 39 2.2.8 Lọc thư rác dựa vào thống kê 39 2.2.9 Bộ lọc Bayesian .40 2.2.10 Lọc thư rác ước lượng 41 2.3 Một số cài đặt thực tế 41 2.3.1 Spam Assassin (http://spamassassin.apache.org) 41 2.3.2 Chống thư rác người dùng cuối .43 Chương ĐÓNG GÓI CÀI ĐẶT 45 3.1 Cài đặt cấu hình Ldap 46 3.2 Cài đặt cấu hình Qmail 48 3.3 Cài đặt cấu hình Dovecot (IMAP/POP3 server) 49 3.4 Cài đặt cấu hình Squirrelmail 50 iv 3.5 Cài đặt cấu hình SpamAssassin 54 Chương KẾT QUẢ CÀI ĐẶT 58 4.1 Đáp ứng chức gửi/nhận thư điện tử 58 4.2 Máy chủ hỗ trợ giao thức SMTP AUTH với TLS 59 4.3 Máy chủ hỗ trợ phương pháp lọc thư rác dựa vào DNS 62 4.4 Máy chủ hỗ trợ phương pháp lọc thư rác dựa vào nội dung 62 4.5 Máy chủ hỗ trợ phương pháp lọc thư rác sử dụng lọc BayesSpam64 4.6 Đánh giá chung 66 KẾT LUẬN .67 TÀI LIỆU THAM KHẢO 68 WEBSITE THAM KHẢO 68 v DANH SÁCH THUẬT NGỮ Linux: Hệ điều hành dẫn xuất từ Unix, sản phẩm Mã nguồn mở Linux Distribution (Distro): Bản phân phối hệ điều hành Linux Mail/Email: Thư điện tử, thông điệp điện tử Spam/Smail mail: Thư rác Advertisement Mail: Thư quảng cáo Malicious Mail: Thư độc hại Chain Mail: Thư dây chuyền Server: Máy chủ Mail server: Máy chủ thư điện tử Client: Máy khách Virus: Chương trình máy tính có gây hại Account: Tài khoản Mail Relay: Chuyển tiếp thư Mail List/Mailing-list: Danh sách thư Virtual Domain: Tên miền ảo Proxy: Máy chủ trung gian vi BẢNG KÝ HIỆU VIẾT TẮT Ký hiệu Diễn giải Dịch nghĩa DNS Domain Name System Hệ thống tên miền DNSBL DNS-based Blackhole List Danh sách tên miền đen Email Electronic Mail Thư điện tử FQDN Fully Qualified Domain Name Tên miền bị hạn chế GNU GNU’s Not Unix Tên tổ chức Mã nguồn mở tiếng GPL General Public License Giấy phép công cộng IMAP Internet Message Access Protocol Giao thức nhận thư Internet ISP Internet Service Provider Nhà cung cấp dịch vụ Internet MDA Mail Delivery Agent Thành phần phân phối thư MIME Multipurpose Internet Mail Extensions Định dạng mở rộng thư MTA Mail Transfer Agent Thành phần truyền thư MUA Mail User Agent Thành phần tương tác người dùng MX Mail Exchange Bản ghi tới máy chủ thư điện tử máy chủ DNS POP Post Office Protocol Giao thức nhận thư POP RPM RPM Package Manager Chương trình quản lý gói tin RPM SMTP Simple Mail Transfer Protocol Giao thức gửi thư đơn giản vii Add Folder To Ignore List – Nếu thư mục thêm vào danh sách Ignore, tất thư thư mục không lọc quét qua Mặc định tất thư mục quét Remove Folder From Ignore List – Gỡ bỏ thư mục khỏi danh sách “Ignore” Thư mục lọc quét qua để phân loại thư rác Spam Database Stats – Thống kê số lượng phần trăm thư lọc phân loại Empty Database Now – Liên kết xố bỏ hồn tồn sở liệu thư rác 3.5.Cài đặt cấu hình SpamAssassin SpamAssassin thành phần phân phối Fedora Core nên việc cài đặt dễ dàng qua dịng lệnh: []# rpm -ivh spamassassin-3.1.4-1.fc6.i386.rpm Thơng điệp đến máy chủ xử lý sau: Qmail → spamassassin → hộp thư người dùng SpamAssassin phát đánh dấu thư rác cách phân tích thơng tin phần đầu thư nội dung thư, cài đặt tiêu biểu cho phương pháp lọc dựa vào nội dung Bên cạnh đó, SpamAsassin sử dụng công thức Bayes cho vấn đề phân loại văn để xác định thư rác số phương pháp lọc thư dựa vào danh sách đen DNS SpamAsassin lọc thư rác thông minh, lọc thư dựa vào kiến thức học từ trước, đồng thời q trình lọc cập nhật thêm kiến thức thư rác SpamAssassin tiêu tốn nhiều tài nguyên (cpu, nhớ, thời gian xử lý) máy chủ, đặc biệt phải xử lý thơng điệp có kích thước lớn Cấu hình để SpamAssassin hoạt động tốt, đồng thời giảm nhẹ tiêu tốn tài nguyên cho máy chủ vấn đề quan trọng 54 Hình 12.Sơ đồ kiểm tra thư rác SpamAssassin File /etc/mail/spamassassin/local.cf lưu trữ quy tắc kiểm tra thư chung cho người dùng hệ thống 55 required_score Thiết lập required_score cho biết số điểm tối thiểu mà thông điệp bị coi thư rác Mặc định 5, với hệ thống lớn thường số đặt cao (từ đến 10) whitelist_from add@ress.com Thiết lập danh sách trắng địa thư mà không lọc thư rác blacklist_from add@ress.com Danh sách địa mà ln coi thư gửi từ thư rác rewrite_header { subject | from | to } STRING Đánh dấu thư thư rác với việc thay đổi phần đầu thư theo khai báo Ví dụ đổi tiêu thư thành “[SPAM]” ok_locales vi en Tùy chọn cho biết ngôn ngữ mà spamassassin hỗ trợ use_bayes ( | ) use_bayes khai báo giúp SpamAssassin biết có sử dụng phương pháp phân lớp văn Bayes để phân tích nội dung thơng điệp hay không Sau khởi động, spamd (spamassassin daemon) lắng nghe cổng 783 máy chủ Hình 13.SpamAssasin hoạt động cổng 783 Lưu ý: Theo cấu hình spamd, người dùng dùng lọc mặc định (là file /etc/mail/spamassassin/local.cf người quản trị hệ thống quản lý), 56 tự điều chỉnh lọc riêng cho khơng thỏa mãn với cấu hình lọc mặc định Cấu hình lọc thư rác cho người dùng nằm file $HOME/.spamassassin/user_prefs Mỗi kiểm tra thư, spamd sử dụng lọc user_prefs trước (ưu tiên), khơng tìm thấy user_prefs, spamd dùng lọc mặc định local.cf Những tuỳ chọn để cấu hình user_prefs hồn tồn giống local.cf Tồn q trình cài đặt Qmail thành phần kèm theo đóng gói dạng Shell Script nhằm giúp cho việc cài đặt dễ dàng, thuận tiện an toàn Để triển khai cho đơn vị định, cần sửa số thông số tên máy chủ, tên miền… file cài Shell Script cài đặt (các thông số đặt đầu file) Khi thực thi file Shell Script, Qmail thành phần cài đặt tự động 57 Chương 4.KẾT QUẢ CÀI ĐẶT 4.1.Đáp ứng chức gửi/nhận thư điện tử Hệ thống thư điện tử với cấu trúc thành phần mã nguồn mở triển khai thành công công ty Cổ phần tư vấn chuyển giao cơng nghệ G8 có trụ sở phịng 102 nhà A1 Khu cư xá Thăng Long Máy chủ hệ thống có cấu hình trung bình (CPU: Pen 4, RAM: 512MB) nhằm tiết kiệm tối đa chi phí xây dựng Trước đó, hệ thống cài đặt nhiều hệ thống thử nghiệm (bao gồm máy thật máy ảo) Hệ thống hoạt động tình trạng ổn định, thao tác gửi/nhận thư thành cơng Hình 14.Gửi thư từ Local đến Local 58 Hình 15.Nhận thư từ Local đến Local thành cơng Hình 16.Gửi nhận thư từ hệ thống ngồi Internet thành cơng Hình 17.Gửi nhận thư từ Internet vào hệ thống thành công 4.2.Máy chủ hỗ trợ giao thức SMTP AUTH với TLS Kiểm tra lại hệ thống hỗ trợ SMTP AUTH cách kết nối tới hệ thống qua cổng 25 (mặc định SMTP) lệnh ehlo, thông điệp trả lời máy chủ có dịng 250 AUTH LOGIN PLAIN CRAM-MD5 hệ thống có hỗ trợ SMTP AUTH (như hình chụp) Đồng thời, thơng điệp trả lời từ máy chủ có dịng 250 STARTTLS nghĩa hệ thống có hỗ trợ truyền tin an tồn với chuẩn TLS Sau sử dụng lệnh AUTH LOGIN AUTH PLAIN để chứng thực SMTP sử dụng dịch vụ 59 Hình 18.Hệ thống hỗ trợ SMTP AUTH 60 Hình 19.Gửi thư thành cơng với SMTP AUTH TLS 61 Hình 20.Nhận thơng điệp gửi thành cơng 4.3.Máy chủ hỗ trợ phương pháp lọc thư rác dựa vào DNS Sau tạo kết nối tới hệ thống thư điện tử, máy chủ kiểm tra tên miền địa IP máy khách, tên miền địa IP nằm danh sách đen, máy chủ từ chối kết nối Hình 21.IP bị từ chối kết nối có tên danh sách đen 4.4.Máy chủ hỗ trợ phương pháp lọc thư rác dựa vào nội dung Hệ thống hỗ trợ lọc thư rác SpamAssassin kiểm thử với việc gửi ba thông điệp liên tiếp từ địa đến địa khác Thơng điệp đầu tiên, với cấu hình mặc định sở liệu thư rác SpamAssassin trống, thông điệp coi thư rác chuyển vào INBOX người dùng: 62 Hình 22.Thơng điệp khơng phải thư rác Thơng điệp thứ gửi sau cấu hình lại SpamAssassin với địa người gửi đưa vào danh sách đen Thông điệp bị coi thư rác tiêu đề thay đổi: Hình 23 Thơng điệp bị coi thư rác có tên danh sách đen 63 Thông điệp thứ gửi sau loại bỏ địa người gửi khỏi danh sách đen, sau cập nhật sở liệu SpamAssassin với việc thông báo thông điệp vừa gửi thư rác Thông điệp thứ lọc phân tích kiểm tra nội dung, sau so sánh với sở liệu để tính điểm Nếu điểm thơng điệp lớn “điểm chuẩn thư rác”, thông điệp bị coi thư rác tiêu đề thay đổi hình chụp Hình 24.Thơng điệp bị coi thư rác có điểm cao “điểm thư rác” 4.5.Máy chủ hỗ trợ phương pháp lọc thư rác sử dụng lọc BayesSpam Bộ lọc thư rác BayesSpam lọc thông minh, cung cấp cho người dùng giao diện để thông báo thông điệp thư rác hay khơng tới máy chủ hệ thống Từ đó, lọc định thư đến thư rác hay không thư rác Báo cáo thư thư rác: Để báo cho hệ thống biết thư thư rác, cần chọn thư bấm vào nút “Spam Khi thư báo cáo thư rác, hệ thống tự động tính tốn thơng tin thư lưu vào sở liệu để phục vụ cho việc phân loại, thư chuyển vào thư mục mà bạn thiết lập mục Folder To Filter Into Báo cáo thư thư rác Để báo cáo cho hệ thống biết thư khơng phải thư rác, cần chọn thư bấm vào nút “NonSpam” 64 Khi thư báo cáo thư rác, hệ thống tính tốn lại thơng tin lưu lại sở liệu Bức thư khơng thể tự chuyển sang thư mục khác Cần chọn sử dụng chức “Move” Hình 25.Thư bị coi thư rác, tự động chuyển vào Junk Hình 26.Thống kê lọc Bayes 65 4.6.Đánh giá chung Hệ thống sau triển khai hoạt động tốt, đảm bảo chức hệ thống thư điện tử thao tác gửi/nhận/kiểm tra thư hoạt động tốt Các thành phần phòng chống lọc thư rác bao gồm phương pháp chống thư rác dựa vào chuẩn SMTP, chống thư rác nhờ danh sách tên miền đen, lọc thư rác dựa vào nội dung công thức xác suất Bayes… hoạt động tốt, nhiên phòng chống thư rác mức hạn chế Các phương pháp phòng chống dựa vào chuẩn SMTP danh sách tên miền, danh sách địa hoạt động xác Còn phương pháp lọc thư theo nội dung cơng thức Bayes hoạt động xác chủ yếu hệ thống triển khai thời gian ngắn, sở liệu thư rác chưa đủ lớn nên phương pháp “học” thư rác hoạt động hiệu Ngồi ra, yếu tố ngơn ngữ góp phần làm giảm độ xác phương pháp này, lọc chủ yếu sử dụng cho tiếng Anh, chưa hỗ trợ đầy đủ cho tiếng Việt mã Unicode Một điểm đáng lưu ý cài đặt đóng gói hồn tồn dạng ShellScript giúp cho trình cài đặt trở nên dễ dàng, thuận tiện an toàn 66 KẾT LUẬN Hệ thống thư điện tử an toàn xây dựng dựa tảng phần mềm mã nguồn mở miễn phí, tự phát triển dành cho đơn vị, trường học, quan chuyên biệt Hiện nay, hệ thống triển khai công ty CPTV&CG Công nghệ G8 (http://www.g8soft.com) Trong giai đoạn đầu, nghiên cứu chủ yếu tập trung vào tính MailServer kỹ thuật đảm bảo an tồn, phịng tránh thư rác Vì vậy, hệ thống đảm bảo dịch vụ như: - SMTP Server - POP3 Server - IMAP Server - Webmail client - Phòng chống lọc thư rác Mặc dù vậy, để giúp cho hệ thống trở nên hồn thiện nữa, tính ứng dụng cao nữa, cần đầu tư nghiên cứu phát triển nhiều Trong thời gian tới, hướng phát triển hệ thống tập trung sâu giải số vấn đề lại: - Tối ưu hóa thành phần hệ thống, giảm bớt số dịng mã nguồn khơng thật cần thiết để tăng tốc độ thực thi chương trình Tạo cài đặt nhỏ gọn chuyên biệt Việc làm đồng thời làm tăng tính an tồn, bảo mật cho hệ thống - Nghiên cứu cài đặt phương pháp phòng chống lọc thư rác tốt để đảm bảo an toàn cho hệ thống, đặc biệt nghiên cứu phương pháp lọc thư rác tiếng Việt - Cung cấp giao diện đồ họa thân thiện cho người dùng, giao diện quản trị thành phần hệ thống qua web - Nghiên cứu phương pháp phát phòng chống xâm nhập bất hợp pháp từ vào hệ thống 67 TÀI LIỆU THAM KHẢO [1] Dương Thị Mỹ Lệ Xây dựng hệ thống dịch vụ Email dịch vụ File dựa mã nguồn mở Khóa luận tốt nghiệp ĐHCQ 2005 ĐHCN [2] Nguyễn Duy Kiên Xây dựng hệ thống Mailserver mơi trường Linux Khóa luận tốt nghiệp ĐHCQ 2006 ĐHCN [3] Dave Sill The Qmail Handbook by Dave sill Apress 2002 [4] John Livene Qmail O’Reilly 2004 [5] Life With Qmail (OpenContent) WEBSITE THAM KHẢO [6] http://www.quantrimang.com [7] http://cr.yp.to [8] http://spamassassin.apache.org [9] http://vi.wikipedia.org [10] http://www.lifewithQmail.org [11] http://www.Qmail.org [12] http://www.squirrelmail.org [13] http://www.wikipedia.org [14] http://fedoraproject.org/wiki 68 ... TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trần Thế Anh XÂY DỰNG GIẢI PHÁP TOÀN BỘ CHO HỆ THỐNG THƯ ĐIỆN TỬ TRÊN NỀN TẢNG HỆ ĐIỀU HÀNH LINUX KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán... 1.1 Tổng quan hệ thống thư điện tử .3 1.1.1 Thư điện tử nhu cầu sử dụng thư điện tử .3 1.1.2 Cấu trúc hệ thống thư điện tử 1.1.3 Cách thức hoạt động hệ thống thư điện tử 1.1.4... hệ thống thư điện tử 1.1.1 .Thư điện tử nhu cầu sử dụng thư điện tử Thư điện tử phương thức gửi nhận thông tin qua hệ thống giao tiếp điện tử Được đời từ năm 1970, thời kỳ đầu trình gửi nhận thư