lọc nội dung internet tại máy tính cá nhân và xây dựng phần mềm

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Tiến Dũng NGHIÊN CỨU GIẢI PHÁP LỌC NỘI DUNG INTERNET TẠI MÁY TÍNH CÁ NHÂN VÀ XÂY DỰNG PHẦN MỀM LUẬN VĂN THẠC SĨ Hà Nội – 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Tiến Dũng NGHIÊN CỨU GIẢI PHÁP LỌC NỘI DUNG INTERNET TẠI MÁY TÍNH CÁ NHÂN VÀ XÂY DỰNG PHẦN MỀM Ngành : Công nghệ Thông tin Chuyên ngành : Hệ thống Thông tin Mã số : 60 48 05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. HÀ QUANG THỤY Hà Nội - 2009 LỜI CAM ĐOAN Tôi xin cam đoan nội dung bản luận văn chưa từng được công bố hay xuất bản dưới bất kỳ hình thức nào và cũng không được sao chép từ bất kỳ một công trình nghiên cứu nào. Toàn bộ ứng dụng thử nghiệm đều do tôi tự thiết kế và xây dựng. Nếu sai tôi xin hoàn toàn chịu trách nhiệm. Hà Nội, tháng 08 năm 2009 Người cam đoan Phạm Tiến Dũng LỜI CẢM ƠN Em xin chân thành cảm ơn các Thầy giáo, Cô giáo trong khoa Công nghệ thông tin và các cán bộ, nhân viên phòng Đào tạo Sau đại học, trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã luôn nhiệt tình giúp đỡ và tạo điều kiện tốt nhất cho em trong quá trình học tập tại trường. Xin chân thành cảm ơn các anh, chị và các bạn học viên lớp Cao học K12T3 - trường Đại học Công nghệ - Đại học Quốc gia Hà Nội đã luôn động viên, giúp đỡ và nhiệt tình chia sẻ với em những kinh nghiệm học tập, công tác trong suốt khoá học. Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo PGS.TS. Hà Quang Thụy đã tận tình giúp đỡ em định hướng xây dựng, nghiên cứu phát triển và hoàn chỉnh luận văn. Mặc dù đã có nhiều cố gắng, song bài luận văn không tránh khỏi những khiếm khuyết do sự hạn hẹp về thời gian và điều kiện nghiên cứu. Em chân thành mong nhận được những ý kiến đóng góp quý báu của các thầy cô giáo nhằm giúp đề tài của luận văn ngày một hoàn thiện và có tính phổ dụng trong tương lai. MỤC LỤC MỤC LỤC 5 DANH SÁCH HÌNH VẼ 7 MỞ ĐẦU 9 Chương 1 -TỔNG QUAN LỌC NỘI DUNG INTERNET 1 1.1.Đánh giá tình hình nghiên cứu thuộc lĩnh vực đề tài 1 1.1.1.Thế giới 1 1.1.2.Tại Việt Nam 3 1.2.Thực trạng lọc nội dung truy cập hiện nay 4 Chương 2 -MỘT SỐ NỘI DUNG CƠ BẢN VỀ PHƯƠNG PHÁP LỌC INTERNET 7 1.3.Biện pháp lọc 7 1.4.Phương pháp lọc 8 1.4.1.Lọc địa chỉ IP 8 1.4.2.Lọc địa chỉ URL 9 1.4.3.Lọc từ khóa 9 1.4.4.Lọc cụm từ 10 1.4.5.Lọc ảnh 10 1.5.Vị trí thực hiện lọc 11 1.5.1.Lọc tại cổng Internet quốc gia 11 1.5.2.Lọc tại cổng Internet mạng LAN 11 1.5.3.Lọc thông qua bên thứ ba 12 1.5.4.Lọc tại máy tính cá nhân 12 Chương 3 -GIẢI PHÁP LỌC NỘI DUNG INTERNET 13 1.6.Giải pháp tại cổng Internet quốc gia 13 1.6.1.Kiến trúc hệ thống 13 1.6.2.Hoạt động 15 1.6.3.Phân tích các thành phần 16 1.7.Giải pháp tại cổng Internet của mạng LAN 19 1.7.1.Kiến trúc tổng quan 19 1.7.2.Giải thuật và cơ chế hoạt động 19 1.8.Giải pháp trực tiếp trên máy tính cá nhân 24 1.8.1.User mode: lấy nội dung từ lớp ứng dụng (Application) 25 1.8.2.User Mode: lấy nội dung từ lớp phiên (Session) 29 1.8.3.Kernel mode: lấy nội dung từ lớp mạng (IP) 32 1.8.4.Kernel mode: cơ chế nghe lén (sniffer) 35 1.9.Đề xuất giải pháp 36 1.9.1.Đánh giá giải pháp trực tiếp 36 1.9.2.Đề xuất 37 Chương 4 -GIẢI PHÁP LỌC NỘI DUNG VÀ XÂY DỰNG PHẦN MỀM TẠI MÁY TÍNH CÁ NHÂN 39 1.10.Giải thuật 39 1.11.Hoạt động 40 1.12.Phân tích các thành phần 41 1.12.1.Thành phần lấy dữ liệu 41 1.12.2.Thành phần phân tích nội dung gói tin 45 1.12.3.Thành phần tách, tổng hợp gói tin thành phiên giao dịch 48 1.12.4.Thành phần lọc cụ thể, lọc loại trừ 51 1.12.5.Thành phần lọc nội dung 52 1.12.6.Thành phần quản lý ứng dụng 54 1.12.7.Thành phần ghi log truy cập 56 1.12.8.Thành phần quản lý luật truy cập 56 1.13.Chương trình thử nghiệm 57 1.13.1.Kết quả chương trình thử nghiệm 57 1.13.2.So sánh với chương trình cùng loại 58 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 DANH SÁCH HÌNH VẼ 1.1. Đánh giá tình hình nghiên cứu thuộc lĩnh vực đề tài 1 1.1.1. Thế giới 1 1.1.2. Tại Việt Nam 3 1.2. Thực trạng lọc nội dung truy cập hiện nay 4 1.3. Biện pháp lọc 7 1.4. Phương pháp lọc 8 1.4.1. Lọc địa chỉ IP 8 1.4.2. Lọc địa chỉ URL 9 1.4.3. Lọc từ khóa 9 1.4.4. Lọc cụm từ 10 1.4.5. Lọc ảnh 10 1.5. Vị trí thực hiện lọc 11 1.5.1. Lọc tại cổng Internet quốc gia 11 1.5.2. Lọc tại cổng Internet mạng LAN 11 1.5.3. Lọc thông qua bên thứ ba 12 1.5.4. Lọc tại máy tính cá nhân 12 1.6. Giải pháp tại cổng Internet quốc gia 13 1.6.1. Kiến trúc hệ thống 13 1.6.2. Hoạt động 15 1.6.3. Phân tích các thành phần 16 1.7. Giải pháp tại cổng Internet của mạng LAN 19 1.7.1. Kiến trúc tổng quan 19 1.7.2. Giải thuật và cơ chế hoạt động 19 1.8. Giải pháp trực tiếp trên máy tính cá nhân 24 1.8.1. User mode: lấy nội dung từ lớp ứng dụng (Application) 25 1.8.2. User Mode: lấy nội dung từ lớp phiên (Session) 29 1.8.3. Kernel mode: lấy nội dung từ lớp mạng (IP) 32 1.8.4. Kernel mode: cơ chế nghe lén (sniffer) 35 1.9. Đề xuất giải pháp 36 1.9.1. Đánh giá giải pháp trực tiếp 36 1.9.2. Đề xuất 37 1.10. Giải thuật 39 1.11. Hoạt động 40 1.12. Phân tích các thành phần 41 1.12.1. Thành phần lấy dữ liệu 41 1.12.2. Thành phần phân tích nội dung gói tin 45 1.12.3. Thành phần tách, tổng hợp gói tin thành phiên giao dịch 48 1.12.4. Thành phần lọc cụ thể, lọc loại trừ 51 1.12.5. Thành phần lọc nội dung 52 1.12.6. Thành phần quản lý ứng dụng 54 1.12.7. Thành phần ghi log truy cập 56 1.12.8. Thành phần quản lý luật truy cập 56 1.13. Chương trình thử nghiệm 57 1.13.1. Kết quả chương trình thử nghiệm 57 1.13.2. So sánh với chương trình cùng loại 58 MỞ ĐẦU Mạng Internet ra đời và phát triển thành một kho dữ liệu khổng lồ, bao gồm đầy đủ các khía cạnh về văn hoá, chính trị, khoa học - kỹ thuật, Với sự đa sắc màu văn hoá trên thế giới, đa tín ngưỡng, đa lối sống, đa tư duy,… đã làm cho thông tin trên Internet luôn song hành tính tích cực và tiêu cực trong nội tại. Ưu thế từ công nghệ Internet làm cho sức thâm nhập của kênh thông tin quan trọng này đối với người sử dụng rất rộng lớn và nhanh chóng. Các khía cạnh xấu - độc hại trong xã hội cũng theo đường Internet để thâm nhập vào mỗi gia đình, mỗi con người. Chính vì lý do đó, công việc hỗ trợ quản lý và đảm bảo an toàn – an ninh thông tin trên mạng Internet đã trở thành mối quan tâm của mỗi gia đình, mỗi tổ chức, mỗi quốc gia. Về phương diện gia đình, mối quan tâm của các bậc phụ huynh là ngăn ngừa việc thâm nhập các trang Web độc hại đối với con em mình. Về phía cá nhân người sử dụng, khai thác được những thông tin tích cực và ngăn ngừa tiếp xúc web độc hại do vô tình hay cố ý. Trong những năm gần đây, lĩnh vực nghiên cứu phát triển hệ thống lọc nội dung hỗ trợ quản lý và đảm bảo an toàn – an ninh thông tin trên mạng Internet nhận được sự quan tâm đặc biệt ở hầu hết các quốc gia trên thế giới. Tại Việt Nam, giải pháp cấp quốc gia đã được Nhà nước chỉ đạo các ban ngành liên quan nghiên cứu và đề xuất. Tuy nhiên trước thực tế nhu cầu cần giải pháp lọc nội dung truy cập của người sử dụng Internet, tìm hiểu và xây dựng giải pháp lọc nội dung truy cập trực tiếp trên máy tính cá nhân hiện đang là mục tiêu nghiên cứu của nhiều cá nhân, tập thể và đây chính là mục tiêu của luận văn này. Chương thứ nhất của luận văn trình bày tổng quan về lọc nội dung Internet trên thế giới và tại Việt Nam, phân tích thực trạng về lọc nội dung truy cập hiện nay trên phương diện về chính sách quy định của Nhà nước cũng như yêu cầu đặt ra đối với các công cụ phần mềm. Chương thứ hai của luận văn trình bày các nội dung cơ bản liên quan đến vấn đề lọc nội dung truy cập Internet, bao gồm: biện pháp lọc, phương pháp lọc và vị trí thực hiện lọc. Dựa trên việc phân tích về vị trí thực hiện lọc nội dung đã trình bày trong chương hai, chương thứ ba trình bày về các giải pháp lọc nội dung truy cập tại cổng Internet Quốc gia, tại cổng Internet của mạng LAN và giải pháp trực tiếp trên máy tính cá nhân. Cuối cùng, chương thứ tư trình bày về giải pháp và xây dựng chương trình lọc nội dung truy cập Internet tại máy tính cá nhân. Trong các trường hợp thử nghiệm, chương trình đã hoạt động đúng chức năng đặt ra. [...]... 1.5.4 Lọc tại máy tính cá nhân Đa số các giải pháp lọc hiện nay được thiết kế để chạy trên các máy tính cá nhân Kỹ thuật lọc thực hiện kết hợp các phương pháp lọc phổ biến trên (mục 1.2) Bộ luật lọc mới nhất được cập nhật định kỳ từ các nhà cung cấp phần mềm Lọc tại máy tính cá nhân ưu điểm về nguồn lực dư thừa máy tính, thời gian xử lý thực, tiết kiệm chi phí đầu tư phần cứng Tuy nhiên, lọc tại máy tính. .. có tính ‘phân tán’ cao nhất, vì hoạt động quản lý trực tiếp trên một máy tính thay vì cổng Internet mạng LAN, cổng Internet quốc gia Phần mềm lọc nội dung truy cập Internet sẽ được cài đặt trực tiếp trên hệ điều hành của người dùng 24 Thành phần của tường lửa lọc nội dung cá nhân bao gồm: o Thành phần Lấy nội dung o Thành phần Bộ quyết định o Thành phần Lọc cụ thể, lọc loại trừ o Thành phần Lọc nội dung. .. tại máy tính cá nhân là giải pháp ít tin cậy nhất do phần mềm hoạt động trong môi trường không bảo mật, dễ bị vô hiệu hóa Hình 4.1 Lọc tại máy tính cá nhân 12 Chương 3 - GIẢI PHÁP LỌC NỘI DUNG INTERNET Trong chương hai đã trình bày về một số nội dung cơ bản của phương pháp lọc nội dung Internet: biện pháp lọc, phương pháp lọc và vị trí thực hiện lọc Với mỗi nội dung đã trình bày đặc trưng và phân tích... client o Kiểm tra xem phần body đã được tải xuống và lưu trữ hay chưa Nếu rồi thì gửi cho client phần nội dung bypass Nếu chưa thì forward body từ proxy tới client 1.8 Giải pháp trực tiếp trên máy tính cá nhân Giải pháp tường lửa lọc nội dung trên máy tính cá nhân là giải pháp triển khai trực tiếp trên từng máy tính, nó thực hiện kiểm soát nội dung truy cập Internet vào/ra trên máy tính đó Có thể nói... và phân tích về kỹ thuật Đó là cơ sở cho phần tiếp sau, phần trình bày về các giải pháp lọc nội dung Internet tại ba cấp độ khác nhau: cổng Internet quốc gia, cổng Internet cho mạng LAN và tại máy tính cá nhân 1.6 Giải pháp tại cổng Internet quốc gia 1.6.1 Kiến trúc hệ thống Hệ thống tường lửa tại các ISP hiện tại Hiện nay các nhà cung cấp dịch vụ Internet tại Việt Nam đều đang sử dụng hệ thống tường... hết phải hiểu rõ bản chất của nội dung Internet Vì vậy, chương này sẽ tập trung nghiên cứu những nội dung liên quan đến hình thái lọc như biện pháp lọc, phương pháp lọc và vị trí thực hiện Từ đó có thể xây dựng được chương trình lọc nội dung truy cập Internet 1.3 Biện pháp lọc Căn cứ vào các yêu cầu đặt ra đối với lọc nội dung truy cập Internet, có thể chia biện pháp lọc thành một số loại cụ thể như... thống lọc nội dung gây ra Lọc nội dung: Thành phần Lọc nội dung là thành phần chính của tường lửa lọc nội dung Một tường lửa thông thường sẽ thực hiện lọc các trang web thông qua thông tin đã biết của trang web đó (IP, URL) Tuy nhiên, số lượng trang web thì rất lớn và không ngừng phát triển nên nhiều trang web đi qua được tường lửa thông thường mà không được kiểm soát về nội dung Thành phần Lọc nội dung. .. lửa lọc nội dung cá nhân được xây dựng gồm các thành phần như trên nhưng do áp dụng biện pháp khác nhau tại thành phần Lấy nội dung nên có thể chia ra thành những loại sau: 1.8.1 User mode: lấy nội dung từ lớp ứng dụng (Application) Việc kiểm soát nội dung truy cập Internet của người sử dụng sẽ được thực hiện trực tiếp trên các ứng dụng (trình duyệt) [ 3 ] Tường lửa lọc nội dung thực hiện lấy các thông... ngăn chặn các thông tin có nội dung xấu Công việc “hiểu” và đánh giá thông tin được tải về cho phép việc lọc Internet có tính công phu và hoàn hảo hơn nhưng lại đòi hỏi khối lượng tính toán lớn để xem xét từng nội dung được tải về Tuy nhiên, do tính chất công phu của cách tiếp cận lọc nội dung và sự tăng trưởng không ngừng về năng lực tính toán mà cách tiếp cận lọc thông qua phân tích nội dung ngày... TỔNG QUAN LỌC NỘI DUNG INTERNET 1.1 Đánh giá tình hình nghiên cứu thuộc lĩnh vực đề tài 1.1.1 Thế giới Hầu hết các nước trên thế giới đều xây dựng và thực hiện các chính sách quốc gia về an toàn – an ninh Internet, trong đó đặc biệt chú ý tới vấn đề lọc nội dung trên Internet Ngoài một số công bố về vấn đề lọc nội dung đối với nước Mỹ [ 1 ], một số công trình nghiên cứu về lọc nội dung trên Internet . LỌC NỘI DUNG VÀ XÂY DỰNG PHẦN MỀM TẠI MÁY TÍNH CÁ NHÂN 39 1.10.Giải thuật 39 1.11.Hoạt động 40 1.12.Phân tích các thành phần 41 1.12.1.Thành phần lấy dữ liệu 41 1.12.2.Thành phần phân tích nội. GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Tiến Dũng NGHIÊN CỨU GIẢI PHÁP LỌC NỘI DUNG INTERNET TẠI MÁY TÍNH CÁ NHÂN VÀ XÂY DỰNG PHẦN MỀM LUẬN VĂN THẠC SĨ Hà Nội – 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG. 10 1.4.5. Lọc ảnh 10 1.5. Vị trí thực hiện lọc 11 1.5.1. Lọc tại cổng Internet quốc gia 11 1.5.2. Lọc tại cổng Internet mạng LAN 11 1.5.3. Lọc thông qua bên thứ ba 12 1.5.4. Lọc tại máy tính cá nhân