Luận văn thạc sĩ VNU UET đảm bảo hiệu năng và độ tin cậy cho hệ thống thư điện tử lưu lượng lớn luận văn ths công nghệ thông tin 1 01 10

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN QUỐC ANH ĐẢM BẢO HIỆU NĂNG VÀ ĐỘ TIN CẬY CHO HỆ THỐNG THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN LUẬN VĂN THẠC SỸ HÀ NỘI - 2006 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN QUỐC ANH ĐẢM BẢO HIỆU NĂNG VÀ ĐỘ TIN CẬY CHO HỆ THỐNG THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN Ngành: Công nghệ thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Tơn Quốc Bình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com HÀ NỘI - 2006 MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU 10 CHƢƠNG 1: CÁC KIẾN THỨC CƠ BẢN VỀ HỆ THỐNG 11 THƢ ĐIỆN TỬ 11 1.1 Thành phần POP3 11 1.2 Thành phần chuyển thƣ(MTA) 14 1.3 Thành phần SMTP: 19 1.4 Thành phần IMAP 23 1.5 Thành phần MSS 24 1.6 Thành phần mục(Directory) 28 1.7 Webmail Server 29 1.8 Một số thành phần khác có liên quan 31 1.9 Kiến trúc hệ thống Mail tập trung 31 1.10 Kiến trúc hệ thống Mail phân tán 33 1.11 Kiến trúc lai ghép 33 1.12 Kiến trúc hệ thống nhà cung cấp dịch vụ 34 CHƢƠNG 2: CÁC KỸ THUẬT CẦN ÁP DỤNG KHI XÂY DỰNG HỆ THỐNG THƢ ĐIỆN TỬ DÀNH CHO NHÀ CUNG CẤP DỊCH VỤ CHUYÊN NGHIỆP 36 2.1.Đảm bảo hiệu 36 2.1.1 Định cỡ hệ thống 36 2.1.2 Phát triển kiến trúc hệ thống: 41 2.1.3 Các phƣơng pháp nâng cấp, tách tải cụm 43 2.1.4 Các phƣơng pháp phân chia tải cho nhiều cụm 44 2.1.5 Một số đề xuất khuyến nghị: 44 2.2 Đảm bảo độ sẵn sàng cao 45 2.2.1 Đối với thành phần xử lý 45 2.2.2 Chế độ tin cậy cao thành phần lƣu trữ 49 2.2.3 Một số đề xuất khuyến nghị 56 2.3 An ninh thƣ điện tử 57 2.3.1 Tổng quan Công cụ chống spam virus 57 2.3.2 Xây dựng sách chống spam virus: 63 2.3.3 Triển khai thành phần an ninh hệ thống: 65 CHƢƠNG 3: HỆ THỐNG MAIL QUY MÔ LỚN VÀ CÁC THÁCH THỨC 72 3.1 Hệ thống thƣ điện tử quy mô lớn 72 3.2 Các thách thức hệ thống thƣ điện tử quy mô lớn 72 3.2.1 Vấn đề lƣu lƣợng lớn 72 3.2.2 Virus, Spam, Relay 72 3.2.3 Các khó khăn băng thông mạng diện rộng 75 CHƢƠNG 4: ĐỀ XUẤT YÊU CẦU KỸ THUẬT ĐỐI VỚI HỆ THỐNG THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN 76 4.1 4.2 4.3 4.4 Về mặt kiến trúc 76 Yêu cầu tính chung hệ thống 76 Yêu cầu tính sẵn sàng hệ thống 76 Yêu cầu hạ tầng cho hệ thống 77 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4.5 4.6 Yêu cầu tảng phần cứng phần mềm 77 Yêu cầu tính MTA 77 4.7 4.8 4.9 4.10 4.11 4.12 4.13 4.14 4.15 Yêu cầu tính POP3 78 Yêu cầu tính hỗ trợ IMAP4 78 Yêu cầu tính hỗ trợ Webmail 78 Yêu cầu tính MSS 79 Yêu cầu tính chống virus spam 80 Yêu cầu sở liệu hộp thƣ hệ thống 80 Yêu cầu hệ thống quản trị 81 Yêu cầu kiểm soát chất lƣợng dịch vụ 81 Yêu cầu số tính khác 82 CHƢƠNG 5: GIẢI PHÁP XÂY DỰNG HỆ THỐNG THƢ ĐIỆN TỬ CHO MẠNG VNN 83 5.1 Tiêu chí thiết kế hệ thống 83 5.2 Thiết kế tổng thể: 88 5.3 Thiết kế chi tiết 96 5.4 Đảm bảo độ tin cậy cao 106 5.5 Quản trị hệ thống 110 5.6 Giải pháp chống Virus/Spam 111 5.7 Giải pháp mở rộng hệ thống 119 KẾT LUẬN 123 TÀI LIỆU THAM KHẢO 124 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ Thuật ngữ Mail POP IMAP MSS SMTP LDAP/Directory Webmail Virus Spam Relay MTA ISP DNS Message LMTP Dispacher Queue LAN WAN RFC ACL DIT Replication FireWall Load Balancer DNS Round Robin RAID SLED LUN MTDL Mailling list Authenticate Mail Filter Black List SSL Router VPN Multiplexor Appliance Multi-Process Foward Attached File Quota Sieve MultiMaster Diễn giải Thư điện tử Một giao thức truy nhập thư, sử dụng chủ yếu lực Client Một giao thức nhận thư, sử dụng chủ yếu lực máy chủ Thành phần lưu trữ thư Thành phần gửi nhận thư Thành phần mục Thành phần phục vụ truy nhập thư qua Web Các phần mềm/đoạn mã phát tán gây hại mạng Các thư rác không mong muốn/hoặc quấy rối Hiện tượng sử dụng máy chủ để gửi thư không hợp lệ Chịu trách nhiệm định tuyến, phân phối thư Nhà cung cấp dịch vụ Internet Dịch vụ tên miền Tin nhắn, hiểu tương đương thư điệntử Giao thức thu gọn để chuyển thư Là trình gửi lưu lượng đa nhiệm, chuyên gửi kết nối SMTP LMTP đến tổ hợp luồng SMTP LMTP server để xử lý theo giao thức cụ thể Hàng đợi Mạng cục Mạng diện rộng Bản ghi nhớ - phục vụ việc bàn luận duyệt chuẩn Access Control List Cây thông tin thư mục Đồng liệu Tường lửa Thiết bị chia tải cứng Chia tải thông qua DNS Redundant Array of independent Disks Single Large Expensive Disks - Đĩa đơn dung lượng lớn giá thành cao Logical Unit Khối cục Mean time to data loss - Thời gian dừng dịch vụ liệu Danh bạ gửi thư Xác thực người dùng Thành phần lọc thư Danh sách đen - dùng cho chống spam Secure Sockets layer Định tuyến Virtual Private Network Trung chuyển cho thành phần lưu thư Thiết bị cứng hoá dùng cho lọc thư Xử lý đa tiến trình Chuyển tiếp(thư) File đính kèm Hạn mức(hộp thư) Một ngôn ngữ tiêu chuẩn dùng cho lọc thư Nhiều chủ thể - Dùng cho đồng LDAP LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC BẢNG BIỂU Bảng Bảng Bảng Bảng Bảng 1: 2: 3: 4: Các chế độ tin cậy cao So sánh cấu hình Raid Các luồng an tồn MTA trọng yếu Ánh xạ điều khiển truy nhập Trang 45 51 60 61 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC HÌNH VẼ Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình vẽ 1: Thành phần hệ thống thư điện tử 2: Giao thức POP3 3: Kiến trúc kênn 4: Kênh hốn chuyển 5: Mơ hình lớp khơng có LMTP 6: Mơ hình tầng có LMTP 7: Kiến trúc SMTP 8: Giao thức SMTP 9: Giao thức IMAP 10: Kiến trúc MSS 11: Minh hoạ thư mục 12: Các thành phần dịch vụ HTTP 13: Kiến trúc đấu nối tập trung 14: Kiến trúc đấu nối phân tán 15: Kiến trúc đấu nối lai ghép 16: Kiến trúc đấu nối nhà cung cấp dịch vụ 17: Kiến trúc hai lớp 18: Kiến trúc lớp 19: Chia sẻ tải 20: Tin cậy cao bất đối xứng 21: Tin cậy cao đối xứng 22: Chế độ tin cậy cao N+1 23: Hệ thống lọc virus 24: Hệ thống chống thư rác 25: Hệ thống Danh sách đen 26: Bảng ánh xạ kích hoạt 27: Lây nhiễm Virus 28: Thư rác 29: Minh hoạ kết thử nghiệm CPU 30: Mơ hình thử nghiệm 31: Mơ hình thiết kế tổng thể 32: Các thành phần 32: Thư vào MTA-in 33: Thư MTA-out 33: Hoạt động MMP 34: Thiết kế chi tiết 35: Đồng LDAP 36: Đồng nhiều chiều 37: Giao dịch LDAP thường 38: Giao dịch LDAP với LMTP 39: Cân tải 40: Giao dịch Directory 41: Chống Spam 42: Tổng quan Symantec Brightmail AntiSpam 43 Các thành phần Symantec Brightmail AntiSpam 44: Bộ lọc Brightmail AntiSpam 45: Kiểm tra Virus/Spam 46: Hệ thống tích hợp 47: Tính sẵn sàng hệ thống lọc thư 48: Mơ hình hệ thống mở rộng Trang 11 12 13 15 17 18 22 23 24 25 26 27 33 34 36 37 38 39 51 52 52 57 63 64 75 77 80 81 82 83 83 85 86 87 87 88 89 92 100 101 102 103 104 105 106 109 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến thầy giáo hướng dẫn, tiến sỹ Tơn Quốc Bình, người giành nhiều thời gian bảo để hồn thành luận văn Những lời cảm ơn chân thành xin gửi đến đồng nghiệp, người thực mong muốn giúp đỡ đạt hiểu biết sâu lĩnh vực Khơng có hỗ trợ gia đình nhà trường, chắn trình học tập nghiên cứu tơi vấp phải nhiều khó khăn Một lần nữa, tơi xin bày tỏ lịng biết ơn tất người ủng hộ giúp đỡ tơi hồn thành đề án tốt nghiệp, xin gửi lời chúc sức khoẻ hạnh phúc LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 MỞ ĐẦU Ngày hệ thống thư điện tử giữ vị phương tiện trao đổi thông tin hữu ích hàng đầu mạng Internet dịch vụ ISP(Internet Service Provider) Trong môi trường Internet phát triển nhanh dẫn đến bùng nổ thuê bao hiệu ứng spam, lây nhiễm virus …, đòi hỏi khách hàng nhà cung cấp dịch vụ ngày cao kéo theo khó khăn khơng ngừng gia tăng hệ thống thư điện tử quy mô lớn hiệu năng, độ tin cậy, chịu đựng tải, khả chống spam, virus, … Chúng ta biết nhiều phần mềm hệ thống thư điện tử, phần mềm lọc thư, phương thức chia sẻ tải, phương thức cài đặt cụm…, thiết kế để tích hợp hệ thống thư điện tử với quy mô nhà khai thác chun nghiệp lại vấn đề khó khăn, thiết kế nhà khai thác lớn Yahoo, Google, China.com … thường không tiết lộ Trong khn khổ đề tài, ngồi việc trình bày kiến thức tảng để xây dựng hệ thống thư điện tử quy mô lớn, học viên đưa đề xuất yêu cầu kỹ thuật hệ thống thư điện tử cho nhà cung cấp dịch vụ nhằm đáp ứng yêu cầu khắt khe người sử dụng Phần cuối đề tài trình bày giải pháp xây dựng hệ thống thư điện tử cho mạng VNN với thiết kế đảm bảo cung cấp dịch vụ với 500 nghìn hộp thư, có kiến trúc mở rộng đến 2,5 triệu hộp thư, đáp ứng yêu cầu kỹ thuật đặt Giải pháp sử dụng để tham khảo một ví dụ Mặc dù có nhiều cố gắng, đề tài tránh khỏi thiếu sót, mong nhận bảo góp ý thầy giáo, đồng nghiệp để đề tài hoàn thiện LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 110 Hệ thống MMP/WEBMAIL bao gồm máy v240 trung tâm trì có nhiều máy chủ bị cố Tính sẵn sàng tính theo cơng thức 0.999999993257 Hệ thống LDAP có server V440 trung tâm, theo tính tốn, hệ thống hoạt động có máy chủ bị cố Xác xuất để máy chủ bị cố (1-Av440), xác xuất để hệ thống bị cố xác suât máy chủ bị cố đồng thời: (1-Av440)*(1- Av440)*(1Av440) Vậy xác xuất để hệ thống khơng bị cố (tính sẵn sàng) 1-(1- Av440)*(1Av440)*(1-Av440) = 1-(1-0.999917889)*(1-0.999917889)*(1-0.999917889) = 0.999999999 Tính sẵn sàng hệ thống xác xuất tất hệ thống sẵn sàng Asys = Amss*Amta*Ammp*Aldap = 0.999839*0.999999993257*0.999999993257*0.999999999 = 0.9998389855 tức 99,984 phần trăm sẵn sàng năm 5.5 Quản trị hệ thống Hỗ trợ SNMP Sản phẩm Sun Java Messaging Server đa hỗ trợ giao thức SNMP từ phiên 5.1 Có thể sử dụng chương trình SNMP client (hay cịn gọi phần mềm quản trị mạng - network manager) Sun Net Manager HP OpenView để giám sát thành phần hệ thống Sun Java Messaging Server Messaging Server thực thi theo chuẩn MIBs (management information bases) Network Services Monitoring MIB (RFC 2788) Mail Monitoring MIB (RFC 2789)  Network Services Monitoring MIB cung cấp thông tin cho việc giám sát dịch vụ mạng POP, IMAP, HTTP, SMTP servers  Mail Monitoring MIB cung cấp thông tin cho việc giám sát MTAs Mail Monitoring MIB cho phép giám sát tình trạng đa xảy kênh MTA Thông tin tập trung vào message queue kết nối mạng mở (ví dụ số lượng message hàng đợi địa IP nguồn kết nối mạng mở), thông tin việc đa xảy tổng thư đa gửi /nhận, tổng kết nối inbound, … Phần mềm quản trị Sun Management Center Phần mềm SMC (Sun Management Center) nâng cao tính sẵn sàng ứng dụng, tối ưu hiệu suất khả mở rộng, đơn giản hóa việc giám sát quản lý hệ thống SPARC x86 chạy hệ điều hành Solaris, Linux ứng dụng … từ nơi Với SMC, người quản trị điều khiển hệ thống Sun từ nơi mạng giao diện web Họ quản lý hàng trăm hệ thống Sun lúc thơng qua trình duyệt web giao diện Java Quản trị hệ thống directory Công cụ Directory Server Console cung cấp để thực công việc quản trị hệ thống thư mục như: tìm thêm entry, cập nhật schema, tạo quản lý nhóm vai trị (roles), tạo CoS, tạo quản lý hướng dẫn điều khiển truy cập, hủy bó kích hoạt tài khoản người sử dụng domain, tạo thỏa thuận tao replication, cho phép tạo replication Ngồi ra, cịn sử dụng công cụ như: command line, log, ông cụ để giám sát phát replication, SNMP để quản lý hệ thống directory Do sử dụng hệ thống sở liệu khách hàng theo tiêu chuẩn LDAP, nên hệ thống quản trị khách hàng MạNG VNN hồn tồn dễ dàng kết nối với hệ thống Qua khảo sát biết MạNG VNN đa sửa đổi thành công chương trình VISA hệ thống mail Sun Java System Messaing 200 ngàn license, triển khai MạNG VNN khơng phải sửa đổi thêm chương trình quản trị khách hàng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 111 5.6 Giải pháp chống Virus/Spam Giải pháp Brightmail AntiSpam Symatec Sản phẩm Brightmail AntiSpam Symatec, với thiết kế theo mơ hình client/server, cung cấp giải pháp tịan diện với khả hỗ trợ tịan cầu thơng qua mơ hình internet hiệu q cho người sử dụng việc phòng chống virus spam Với sản phẩm thơng qua tính tìm kiếm, nhận dạng, phân tích đặc biệt ngăn chặn công virus spam trước chúng diễn giúp lọai trừ tác hại xảy với hệ thống Ngòai sản phẩm Symatec cho phép người dung lọai bỏ thư điện tử khơng mong muốn trước thư đến mail box người dùng Phần mềm Brightmail Antispam lọc thư điện tử dựa bốn cách :  Bộ lọc AntiSpam sử dụng công nghệ state-of-the-art để lọc phân lọai thư điện tử đầu vào hệ thống  Bộ lọc AntVirus kết hợp công nghệ xử lý Brightmail chế nhận dạng virus Symatec AntVirus cho phép phát quét virus có thư điện tử  Bộ lọc nội dung tích hợp hệ thống AntiSpam cho phép người sử dụng linh họat việc xây dựng cấu hình để phù hợp với yêu cầu riêng biệt tổ chức  Hỗ trợ chế xác lập danh sách địa người gửi thư điện tử cho phép chặn thư điện tử địa gửi đến thư Người dùng tự xây dựng danh sách sử dụng thơng tin từ third-party Ngịai với Brightmail Antispam, người dùng hỗ trợ chế tự động kết nối đến dịch vụ Brightmail Reputation bao gồm danh sách Open Proxy, danh sách địa an tòan (Safe list), địa nguy hiểm Tổng quan kiến trúc hệ thống Brightmail AntiSpam kết hợp với chế AntVirus Khi sử dụng sản phẩm Brightmail AntiSpam, người dùng xây dựng hệ thống lọc thư điện tử mạnh mẽ hiệu Với giải pháp này, người sử dụng hệ thống mạng bảo vệ thông qua giải pháp tập trung tự động mà cịn dễ dàng chỉnh sửa cấu hình để hệ thống đáp ứng yêu cầu chuyên biệt hệ thống khác Khi thư rác (spam message) gửi internet, thư qua hệ thống worldwide Probe NetworkTM Symatec, bao gồm tập hợp lớn danh sách địa email Hệ thống Probe Network bao hồm triệu account với mục đích thu hút thư rác điện tử, kể thư rác Các hệ thống Probe Network liên tục cập nhật địa thư điện tử có khả thư rác đến hệ thống Brightmail Logistics and Operations Center (BLOCTM) để xử lý Ở đây, thư xác định thư rác, thống BLOC cập nhật thông tin cho lọc AntiSpam để từ hệ thống Brightmail Scanner hệ thống người sử dụng nhanh chóng phát lập thư rác Hệ thống BLOC xây dựng gồm nhiều trung tâm ba châu lục cộng tác việc liên tục cập nhật thông tin nhận dạng thư rác Thông qua công cụ thiết kế tự đông hiệu giám sát quản lý chuyên viên kỹ thuật BLOC giúp hệ thống có khả đánh giá cách nhanh chóng xác dạng khác thư rác sau đưa giải pháp sàng lọc để định dạng lọai bỏ lọai thư rác Ngòai ra, hệ thống BLOC liên tục cập nhật thông tin cho hệ thống lọc mail Brightmail Server đặt khách hàng sử dụng giải pháp Brightmail Antispam Có thể nói việc kết hợp chế kiểm tra tự động với chế giám sát chuyên viên cho phép giải pháp Symantec Brightmail AntiSpam họat động theo đáp ứng thời gian thực tính linh động xác việc xác định lọai bơ thư rác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 112 Hình 41: Chống Spam Hầu hết chế lọc thư rác BLOC xây dựng thiết kế để ngăn chặn công thư rác gây Một công thư rác bao gồm hàng ngàn thư điện tử giống tương tự Và việc xây dựng chế cập nhật thông tin nhận dạng tin cậy, hệ thống BLOCcho phép sản phẩm Brightmail đạt độ xác cao lên đến 99.9999% Ngịai ra, Symantec liên tục cải tiến thiết kế sản phẩm dựa công nghệ heuristic filter Cơ chế họat động dựa việc phân tích điểm chung nguyên tắc họat động thư rác để từ phát thư rác chưa biết đến Tuy nhiên giải pháp dựa kỹ thuật heuristic thường nhận dạng lầm lầm số thư bình thường thư rác Với Brightmail Antispam, chế lọc dựa kỹ thuật heuristic thiết kế kỹ lưỡng hòng giảm thiểu tối đa trường hợp nhận dạng sai LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 113 Hình 42: Tổng quan Symantec Brightmail AntiSpam Kiến trúc hệ thống Brightmail Scanner Mỗi phiên cài đặt sản phẩm Brightmail AntiSpam bao gồm nhiều module Brightmail Scanner Module Brightmail Scanner đóng vai trị lọc cho thư điện tử đến hệ thống Mỗi module Brightmail Scanner bao gồm :  Brightmail Agent  Một nhiều : o Brightmail Server o Brightmail Client Module Brightmail Agent: Module đóng vai trị phần giao tiếp với trung tâm điều khiển Brightmail (Brightmail Control Center) để hỗ trợ thao tác cấu hình điểu khiển tập trung Brightmail Client: Module Brightmail Client đóng vai trị kênh giao tiếp module MTA máy chủ Brightmail Hệ thống bao gồm nhiều module Brightmail Client, phần giao tiếp với nhiều máy chủ Brightmail Ngòai ra, module Brightmail Client cịn đóng vai trị cân tải máy chủ Brightmail Máy chủ Brightmail: Máy chủ Brightmail đặt site xử lý thư rác dựa cấu hình mà người dùng thiết lập Mỗi máy chủ Brightmail xử lý đa luồng (multithreaded) việc lắng nghe yêu cầu từ Brightmail Client Bằng việc sử dụng công nghệ state-of-the-art, máy chủ Brightmail lọc phân lọai thư điện tử Các LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 114 phân lọai sau gửi lại cho Brightmail Client để tiếp tục thực quy trình xử lý Trung tâm điều khiển Brightmail (Brightmail Control Center) Mỗi phiên cài đặt Brightmail AntiSpam bao gồm trung tâm điều khiển Brightmail Đây trung tâm xử lý đầu não tòan sản phẩm Symantec Trung tâm điều khiển Brightmail đóng vai trị cầu nối với module Brightmail Agent Brightmail Scanners Đối với phiên cài đặt nhỏ hơn, người dùng cài đặt Trung tâm điều khiển Brightmail Brightmail Scanner máy Thông qua giao diện đồ họa dạng web,người dùng :  Cấu hình, start stop cho Brightmail Scanners  Cấu hình tính cho lọc thư điện tử nhóm người dùng cho tất người dùng  Giám sát báo cáo tập tin logs từ tất Brightmail Scanners  Đọc thơng tin tóm tắt  Quản trị tính Brightmail Quarantine  Sử dụng trợ giúp trực tuyến từ Brightmail Control Center Hình 43: Các thành phần Symantec Brightmail AntiSpam Bộ lọc email tùy chọn : với chế này, người dùng tự xây dựng chế để lọc thư điện tử để đáp ứng với nhu cầu riêng tổ chức Các tác vụ thực với lọai sau :  Chuyển thư cách bình thường  Đánh dấu thư spam LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 115   Xóa thư Định tuyến để thư đến hộp thư người quản trị để kiểm tra thêm     Lưu thư vị trí tùy chọn người dùng định Gửi thư đến nơi lưu trữ Brightmail Quarantine, nơi người sử dụng truy xuất đến thơng qua giao thức web Xóa virus đính kèm theo email sau gửi email đa quét đến người dùng với thông điệp cảnh báo Bộ lọc Brightmail Hình 44: Bộ lọc Brightmail AntiSpam Brighmail AntiSpam xây dựng bốn lọai lọc mail bao gồm  Bộ lọc AntiSpam  Bộ lọc nội dung  Cơ chế khóa cho phép nhận mail từ danh sách địa mail  Bộ lọc chống virus Bộ lọc AntiSpam Symantec hỗ trợ bốn giải pháp cho lọc AntiSpam  Cơ chế lọc theo kinh nghiệm (Heuristic Filter): hệ thống kiểm tra phần header tòan nội dung thư điện tử, áp dụng giải thuật kiểm tra khác Các giải thuật tìm kiếm điểm đặc trưng thường có thư rác Dựa vào điểm đặc trưng áp dụng giải thuật tính tóan dựa kinh nghiệm (heuristical aglorithms) lọc định liệu thư điện tử có phải thư rác hay không  Cơ chế lọc dựa URL : lọc kiểm tra nội dung phần URL thư điện tử, thư rác URL tăng cách nhanh chóng mục đích thư rác ln dẫn hướng người đọc đến trang web LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 116  Cơ chế lọc dựa dấu hiệu nhận dạng (Signature Filter) : thư kiểm tra thông qua hệ thống BLOC, thư rác hệ thống nhận dạng xác định dấu hiệu nhận dạng đặc trưng từ tất hệ thống toàn cầu kết nối đến hệ thống BLOC có nội dung cập nhật nhận dạng thư rác, kể thư rác vừa xuất  Cơ chế lọc dựa phần Header : chế lọc dựa phần header thư điện tử Các phần header dùng để so sánh với nội dung thư rác xác định Probe Network Về mặt giải thuật dạng chế lọc dựa kinh nghiệm Bộ lọc nội dung: Với lọc này, người dùng chỉnh sửa để có lọc nội dung tối ưu theo yêu cầu công việc thông qua việc sử dụng tính Custom Filters Editor Brightmail Control Center sử dụng tính Sieve filters tập tin Bộ lọc cho phép cấm thƣ từ danh sách địa chỉ: Như trình bày trên, với tính này, người sủ dụng xây dựng danh sách địa bị cấm không gửi mail tới (black list) sử dụng danh sách third-party cung cấp Bộ lọc chống virus: Các chuyên gia virus Symantec đảm bảo việc cập nhật liên tục thông tin nhận dạng lọai virus xây dựng công cụ để phát virus nằm tập tin đính kèm thư điện tử Brightmail Scanner sử dụng module AntVirus Cleaner, lọc tập tin đính kèm thư điện tử để dị tìm virus Nếu lọc virus khơng tìm thấy dấu hiệu virus thư, bước tiếp theo, thư phân tích để xác định xem có phải thư rác hay khơng Giải pháp Anti Spam – Anti Virus cho Mạng VNN Phòng chống virus/spam phần quan trọng hệ thống thiết kế Chúng thiết kế sử dụng giải pháp phòng chống virus/spam Brightmail hãng Symantec cung cấp Phần mềm hồn tồn tương thích với phần mềm thư điện tử Sun Java Messaging Server Các thành phần Brightmail Client tích hợp hệ thống MTA IN/OUT để kiểm tra virus/spam thư gửi nhận hệ thống Chúng đề xuất sử dụng giải pháp chống virus/spam Symantec lý sau:  Đa có nhiều nhà cung cấp dịch vụ internet tổ chức viễn thông lớn Mỹ đa sử dụng giải pháp cho hoạt động tốt  Brightmail có tỉ lệ xác định spam tốt Do từ chối nhận thư đa Brightmail đánh dấu có spam/virus  Brightmail tích hợp trực tiếp vào giao thức SMTP Sun Việc tích hợp có nghĩa thư đa xác nhận spam chứa virus không MTA chấp nhận Những thư không đặt vào MTA queue Nếu chọn từ chối nhận thư spam chứa virus giảm lưu lượng đến Message store Quá trình kiểm tra virus/spam đƣợc diễn nhƣ sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 117 Hình 45: Kiểm tra Virus/Spam Các MTA dùng Brightmail SDK để liên lạc với Brightmail Server MTA gửi thư dựa phản hồi Brightmail Sau thư (1a) (1b) nhận MTA, MTA gửi thư đến Brightmail Server (2) Brightmail Server dùng luật liệu để kiểm tra thư có phải spam hay có chứa virus hay khơng (3) gửi định lại cho MTA Dựa định này, MTA loại bỏ (4a) thư phân phối thư bình thường đến Message Store Khi thư đa xác định có virus, Brightmail Server cấu hình để xóa virus trả thư đa xóa virus lại cho MTA Khi thư xác định spam, Brightmail gửi định kèm theo cấu hình để giúp MTA xác định loại bỏ, đặt vào thư mục, gán nhãn spam/virus vào tiêu đề thư, chuyển đến Sieve rule phân phối bình thường đến hộp thư Tích hợp vào hệ thống: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 118 Hình 46: Hệ thống tích hợp Hệ thống tùy chọn để diệt virus cho người dùng đăng ký diệt virus Khả thiết lập thuộc tính LDAP Các bước thực : Bước : thiết lập thuộc tính LDAP để kích hoạt phần mềm chống spam/virus Thiết lập LDAP_OPTIONX tập tin option.dat LDAP_OPTIN1=SymantecAV LDAP_OPTIN2=SpamAssassin Bước : thiết lập thuộc tính filter entries người sử dụng (trong LDAP) Ví dụ : Brightmail: spam Brightmail: virus Xem chi tiết : Sun Java Enterprise Messaging Server 2005Q4 Administration Guide, phần “Specifying the Messages to Be Filtered” trang 448 Tính sẵn sàng hệ thống chống virus/spam Symantec Brightmail AntiSpam cấu hình chế độ sẵn sàng khả thực thi cao cách dễ dàng Do tính quyền license theo user nên cài đặt phần mềm Symantec Brightmail nhiều máy chủ để đáp ứng nhu cầu sử dụng Brightmail Client hỗ trợ khả cân tải round robin fail over sang máy chủ khác để đảm bảo hệ thống hoạt động liên tục LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 119 Hình 47: Tính sẵn sàng hệ thống lọc thư 5.7 Giải pháp mở rộng hệ thống Khả mở rộng hệ thống Những thành phần hệ thống thư điện tử thiết kế với khả mở rộng sau:  Hệ thống LDAP: Đây dịch vụ quan trọng, nơi tập trung lưu trữ thông tin người dùng nên thiết kế với khả mở rộng theo chiều ngang chiều dọc  Các dịch vụ Front-End – MTA/MMP/WEBMAIL: Tất thành phần MTA/MMP/WEBMAIL thiết kế để mở rộng theo chiều ngang Khi số lượng người sử dụng tăng lên, máy chủ thêm vào cách dễ dàng để đáp ứng khả phục vụ  Dịch vụ lưu trữ thư - Message Store: Nếu dịch vụ khơng hoạt động làm ảnh hưởng đến người sử dụng Do module lưu trữ thư thiết kế có độ sẵn sàng cao có khả mở rộng theo chiều dọc  Các dịch vụ lưu trữ – SAN: Tất thư điện tử lưu trữ hệ thống SAN, đảm bảo khả mở rộng theo chiều dọc chiều ngang Phƣơng án mở rộng hệ thống tới 1.000.000 hộp thƣ Tính tốn phần cứng cần thiết để phục vụ thêm cho 500.000 khách hàng Sử dụng công thức với cụ thể đa áp dụng phần lực hệ thống, với yêu cầu thiết kế hệ thống để đáp ứng khả phục vụ cho 500.000 khách hàng trung tâm (1 triệu khách hàng cho toàn hệ thống), chúng tơi tính tốn: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 120   Số kết nối POP đồng thời: 1.5% x 500.000 = 7.500 kết nối POP đồng thời Số kết nối IMAP đồng thời: 0.5% x 500.000 = 2.500 kết nối IMAP đồng thời  Số kết nối HTTP đồng thời: 1% x 500.000 = 5.000 kết nối HTTP đồng thời  Năng lực MTA gửi: 150 thư/giây  Năng lực MTA nhận: 300 thư/giây  Dung lượng hộp thư tối đa: 100 MB, trung bình 20 MB Tương tự với cách tính tốn cho hệ thống 500.000 khách hàng, số lượng máy chủ cần thiết cho hệ thống (tại trung tâm) là: Số lƣợng máy chủ MTA In/Out MTA Out: 150 / 44.38 = 3.38 ~ máy chủ Sun Fires V240, máy với CPU 1.5 GHz MTA In: 300 / 44.38 = 6.76 ~ máy chủ Sun Fires V240, máy với CPU 1.5 GHz Như vậy, để phục vụ thêm cho 250.000 khách hàng trung tâm (thêm 500.000 khách hàng cho toàn hệ thống), đề xuất trang bị thêm máy chủ MTA Out máy chủ MTA In Số lƣợng máy chủ Message Store POP: 7.500 / 2.792 = 2.69 CPU IMAP: 2.500 / 792 = 0.9 CPU HTTP: 5.000 / 2.094 = 2.39 CPU LMTP: CPU Tổng số CPU cần thiết cho hệ thống POP/IMAP/HTTP: 10 CPU Với hệ thống message store sử dụng máy chủ V440, máy có CPU 1.593 MHz thiết kế mơ hình cluster N+1, số máy chủ Sun Fires V440 cần thiết mơ hình máy Như vậy, để phục vụ thêm cho 250.000 khách hàng trung tâm (thêm 500.000 khách hàng cho tồn hệ thống), chúng tơi đề xuất trang bị thêm máy chủ Message Store V440 máy chủ kết nối chung vào hệ thống cluster sẵn có Số lƣợng máy chủ MMP/WEBMAIL Theo tính tốn trên, số lượng máy chủ Sun Fires V240 cần dùng cho MMP máy cần dùng cho HTTP máy Như vậy, cần thêm máy chủ vào hệ thống MMP/WEBMAIL có sẵn để phục vụ cho 500.000 khách hàng trung tâm Dung lƣợng lƣu trữ Dung lượng lưu trữ: 20 MB x 500.000 = 10.000.000 MB = 10 TB Do hệ thống lưu trữ cho 500.000 hộp thư đa thiết kế sử dụng thiết bị lưu trữ Sun StorEdge 3510 có khả nâng cấp lên đến 32.4 TB mạng lưu trữ SAN, nên hoàn toàn đáp ứng khả mở rộng hệ thống thêm 250.000 hộp thư (cho trung tâm) Khi đó, cần gắn thêm khay đĩa mở rộng để nâng cấp dung lượng lưu trữ Do đó, để có khả phục vụ thêm cho 500.000 khách hàng (250.000 khách hàng trung tâm), đề xuất nâng cấp thiết bị lưu trữ Sun StorEdge 3510 cách gắn thêm đĩa cứng cho thiết bị có sẵn gắn thêm khay mở rộng Tổng dung lượng lưu trữ gắn thêm là: 19 x 300 GB = 5.7 TB Số lƣợng máy chủ LDAP LDAP: 15.000 kết nối đồng thời nên số tác vụ đọc LDAP 30.000 tác vụ số tác vụ ghi LDAP 150 tác vụ Số lượng máy chủ consumer: 30.000 / 5.657 = 5,3 máy chủ V440 với CPU 1.593 MHz Số lượng máy chủ master: 150 / 75,92 = 1,98 máy chủ V440 với CPU 1.593 MHz Với kết theo mơ hình thiết kế, chúng tơi cung cấp thêm máy chủ LDAP consumer máy chủ master Phƣơng án mở rộng hệ thống để phục vụ cho 2.500.000 hộp thƣ Chúng đề xuất thêm phương án mở rộng hệ thống để phục vụ 2.500.000 khách hàng Do thiết kế hệ thống mở nên hồn tồn mở rộng hệ thống cách LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 121 thêm máy chủ vào hệ thống có sẵn Do đó, chúng tơi cung cấp cơng thức tính tốn u cầu cần thiết hệ thống để phục vụ cho 2.500.000 khách hàng Với yêu cầu thiết kế hệ thống để đáp ứng khả phục vụ cho 1.250.000 khách hàng trung tâm:  Số kết nối POP đồng thời: 1.5% x 1.250.000 = 18.750 kết nối POP đồng thời  Số kết nối IMAP đồng thời: 0.5% x 1.250.000 = 6.250 kết nối IMAP đồng thời  Số kết nối HTTP đồng thời: 1% x 1.250.000 = 12.500 kết nối HTTP đồng thời  Năng lực MTA gửi: 750 thư/giây cho toàn 2.500.000 hộp thư (375 thư/giây cho trung tâm)  Năng lực MTA nhận: 1.500 thư/giây cho toàn 2.500.000 hộp thư (750 thư/giây cho trung tâm)  Dung lượng hộp thư tối đa: 100 MB, trung bình 20 MB Tương tự với cách tính tốn cho hệ thống 500.000 khách hàng với công thức đa nghiên cứu sử dụng phần tính toán lực cho hệ thống, số lượng máy chủ cần thiết cho hệ thống (tại trung tâm) là: Số lƣợng máy chủ MTA In/Out MTA Out: 375 / 44.38 = 8.45 ~ máy chủ Sun Fires V240, máy với CPU 1.5 GHz MTA In: 750 / 44.38 ~ 18 máy chủ Sun Fires V240, máy với CPU 1.5 GHz Số lƣợng máy chủ Message Store POP: 18.750 / 2.792 = 6.7 CPU IMAP: 6.250 / 792 = 2.25 CPU HTTP: 12.500 / 2.094 = 5.95 CPU LMTP: 10 CPU Tổng số CPU cần thiết cho hệ thống POP/IMAP/HTTP: 25 CPU Với hệ thống message store sử dụng máy chủ V440, máy có CPU 1.593 MHz thiết kế mơ hình cluster N+1, số máy chủ Sun Fires V440 cần thiết mơ hình máy Số lƣợng máy chủ MMP/WEBMAIL Theo tính tốn trên, số lượng máy chủ Sun Fires V240 cần dùng cho MMP máy cần dùng cho HTTP máy Dung lƣợng lƣu trữ Dung lượng lưu trữ: 20 MB x 1.250.000 = 25.000.000 MB = 25 TB Do hệ thống lưu trữ cho 500.000 hộp thư đa thiết kế sử dụng thiết bị lưu trữ Sun StorEdge 3510 có khả nâng cấp lên đến 32.4 TB mạng lưu trữ SAN, nên hoàn toàn đáp ứng khả mở rộng hệ thống đến 2.500.000 hộp thư tương lai Khi đó, cần gắn thêm khay đĩa mở rộng để nâng cấp dung lượng lưu trữ Số lƣợng máy chủ LDAP LDAP: 37.500 kết nối đồng thời nên số tác vụ đọc LDAP 75.000 tác vụ số tác vụ ghi LDAP 375 tác vụ Số lượng máy chủ consumer: 75.000 / 5.657 = 13,25 máy chủ V440 với CPU 1.593 MHz Số lượng máy chủ master: 375 / 75,92 = 4,94 máy chủ V440 với CPU 1.593 MHz LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 122 Hình 48: Mơ hình hệ thống mở rộng Do đặc trưng thiết kế hệ thống Sun Java System Messaging, tất thành phần có khả mở rộng theo chiều ngang mà không ảnh hưởng đến kiến trúc hệ thống Tận dụng khả này, đề xuất thêm máy chủ có cấu hình tương đương vào hệ thống mà đáp ứng lực yêu cầu không thay đổi kiến trúc hệ thống LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 123 KẾT LUẬN Trong khuôn khổ đề tài, học viên trình bày kiến thức bản, phương pháp thiết kế hệ thống thư điện tử với quy mô nhà cung cấp dịch vụ chuyên nghiệp Qua trình nghiên cứu mình, học viên phân tích khó khăn hệ thống thư điện tử quy mô lớn, từ nêu đề xuất yêu cầu kỹ thuật để xây dựng hệ thống thư điện tử dành cho nhà khai thác, đáp ứng yêu cầu hiệu năng, độ tin cậy số vấn đề khác an ninh thư điện tử Áp dụng phương pháp yêu cầu kỹ thuật nêu, học viên trình bày giải pháp thiết kế hệ thống thư điện tử cho 500.000 khách hàng, mở rộng đến 2.500.000 khách hàng mà khơng phải thay đổi kiến trúc hệ thống Đề tài phát triển theo hướng nghiên cứu hệ thống nhắn tin hợp nhất(UnifyMessaging), xu hướng công nghệ ứng dụng rộng rãi tương lai Mặc dù có nhiều cố gắng, lĩnh vực có liên quan đến nhiều kỹ thuật thiết kế cụm, an ninh thư điện tử, đảm bảo độ tin cậy cao cho lưu trữ nên chắn đề tài khơng tránh khỏi thiếu sót, mong góp ý bảo thầy giáo đồng nghiệp để đề tài hồn thiện Một lần xin chân thành cảm ơn thầy, đặc biệt thầy giáo hướng dẫn phản biện, đồng nghiệp giúp đỡ nhiều để tơi hồn thành luận văn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 124 TÀI LIỆU THAM KHẢO [1]_http://www.bmc.com/offers/performance/whitepapers/docs/1999/capacity_planning_for _ms_exchange.pdf - CAPACITY PLANNING FOR MICROSOFT EXCHANGE Saqib N Syed, Yefim Somin, Divya Prakash BMC Software, Inc [2] http://docs.sun.com/app/docs/coll/: - Sun Java System Communications Services 2005Q4 Deployment Planning Guide - Sun Java™ System Messaging Server Deployment Planning Guide 2004Q2 - Directory Server 5.2 Technical Overview [3] http://www.ietf/rfc/ - rfc1730 rfc2033 rfc1939 rfc2821 [4] http://www.microsoft.com/technet/prodtechnol/exchange/default.mspx [5] http://support.microsoft.com/kb/292757/en-us?spid=1773&sid=global [6] http://www.openwave.com/us/solutions/anti-abuse/index.htm - EdgeGx - EdgeGx with BrightMail Antispam - EdgeGX with McAfee AntiVirus [7] http://www.openwave.com/us/products/wireline/email_mx/index.htm - Email Mx Datasheet - Messaging Anti-Abuse Solution Keep Spam and Viruses Out of Email - Edge Gx Anti-Abuse Stop messaging abuse closest to the source [8]_http://eval.veritas.com/mktginfo/enterprise/fact_sheets/entfactsheet_brightmail_antispam_6.0_08-2004.en-us.pdf [9]_http://www.sun.com/software/products/communications/partner_library/ds_sun_sophos pdf LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN QUỐC ANH ĐẢM BẢO HIỆU NĂNG VÀ ĐỘ TIN CẬY CHO HỆ THỐNG THƢ ĐIỆN TỬ LƢU LƢỢNG LỚN Ngành: Công nghệ thông tin Mã số: 1. 01. 10 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN... hệ thống lọc thư 48: Mơ hình hệ thống mở rộng Trang 11 12 13 15 17 18 22 23 24 25 26 27 33 34 36 37 38 39 51 52 52 57 63 64 75 77 80 81 82 83 83 85 86 87 87 88 89 92 10 0 10 1 10 2 10 3 10 4 10 5 10 6... khoảng 10 KB đến 10 0 KB, từ 10 0KB đến 500KB, từ 500KB đến 10 MB, 10 MB Kích thư? ??c thư đặc biệt quan trọng, ảnh hưởng đến tốc độ phân chia thư MTA, tốc độ phân chia thư vào MSS, tốc độ lấy thư Hệ thống