tiểu luận internet và giao thức đề tài proxy web catching

 TIỂU LUẬN INTERNET VÀ GIAO THỨC GIẢNG VIÊN HƯỚNG DẪN: PGS.TS NGUYỄN TIẾN BAN LỚP: D11VT6 NHÓM SINH VIÊN THỰC HIỆN: [1] ĐẶNG VĂN QUÝ [2] LƯU ĐỨC TIẾN [3] VŨ VĂN TOÀN [4] PHẠM THẾ ANH HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA VIỄN THÔNG I HÀ NỘI 2014 ĐỀ TÀI: PROXY WEB CACHING Proxy Web Caching Lời nói đầu Tiểu luận: Internet và Giao thức - D11VT6 i LỜI NÓI ĐẦU Từ khi xuất hiện cho đến nay, World Wide Web ngày càng trở nên phổ biến và trở thành một phương tiện truy nhập mạng đơn giản, thân thiện với người sử dụng. Với các trang Web, người sử dụng có thể tìm kiếm và tải về nhiều thể loại hình thông tin trên mạng mà không cần phải có nhiều hiểu biết về mạng. Đứng trên quan điểm của người sử dụng, họ không cần quan tâm đến việc thông tin mà họ tìm kiếm ở một hệ thống ngay bên cạnh hay ở một nơi ở đầu kia của quả đất. Chính điều này dẫn đến sự bùng nổ về lưu lượng trên các mạng đường trục khu vực. Chất lượng dịch vụ và thời gian đáp ứng có thể được cải thiện bằng cách giảm tải cho mạng. Một cách để đạt được yêu cầu này là sử dụng kỹ thuật Web caching. Kĩ thuật Web Caching ra đời đã nâng cao được hiệu quả trong việc thực hiện tăng tốc các ứng dụng Web. Bài tiểu luận sẽ đi tìm hiểu và phân tích kỹ một loại Web caching điển hình, đó là Proxy Web Caching, hay còn có thể gọi là Proxy Server. Phần 1 giới thiệu chung về Web caching. Phần 2 trình bày về kiến trúc mô hình internet và các đặc điểm chính của Proxy Web Caching. Phần 3, 4, 5 sẽ cho chúng ta thấy các mô hình Web Cache và cách triển khai các mô hình đó trong mạng Internet. Bài tiểu luận được hoàn thành trong thời gian ngắn nên không tránh khỏi những sai sót. Do vậy, rất mong nhận được ý kiến đóng góp của thầy giáo và các bạn trong lớp quan tâm để hoàn thiện hơn. Nhóm sinh viên Proxy Web Caching Các thuật ngữ viết tắt Tiểu luận Internet và Giao thức - D11VT6 ii CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt ACK Acknowledge Tin báo nhận CARP Cache Array Routing Protocol Giao thức định tuyến dãy bộ nhớ đệm HTCP Hyper Text Caching Protocol Giao thức cache siêu văn bản ICP Internet Cache Protocol Giao thức cache liên mạng IP Internet Protocol Giao thức liên mạng ISP Internet service provider Nhà cung cấp dịch vụ Internet LAN Local area network Mạng cục bộ POPs Points of Presence Các điểm hiện diện RTT Round Trip Time Thời gian trễ trọn vòng TCP Transmission Control Protocol Giao thức điều khiển truyền vận URL Uniform resource locator Địa chỉ tài nguyên WCCP Web cache coordination Protocool Giao thức phối hợp bộ nhớ đệm web WWW World Wide Web Web toàn cầu Proxy Web Caching Danh mục bảng biểu, hình vẽ Tiểu luận Internet và Giao thức - D11VT6 iii DANH MỤC BẢNG BIỂU, HÌNH VẼ Hình 2.1: Vị trí của Proxy - cache 2 Hình 2.2: Một giao dịch Web Proxy 3 Hình 2.3: Mô hình web cache 5 Hình 2.4: Trở ngại giữa mạng LAN và mạng Public 7 Hình 2.5: Thêm Cache vào mạng LAN 8 Hình 3.1: Transparent Caching 12 Hình 5.1: Một web cache có thể lựa chọn 16 Hình 5.2: Các web cache tái tạo 17 Hình 5.3: Mô hình cân bằng tải cho hệ thống web cache 18 Proxy Web Caching Mục lục Tiểu luận Internet và Giao thức - D11VT6 iv MỤC LỤC LỜI NÓI ĐẦU i CÁC THUẬT NGỮ VIẾT TẮT ii DANH MỤC BẢNG BIỂU, HÌNH VẼ iii MỤC LỤC iv 1. GIỚI THIỆU CHUNG 1 2. PROXY WEB CACHING 2 2.1. Ý tưởng 2 2.2. Truy cập web dựa trên mô hình end-to-end 3 2.3. Đặc điểm của proxy web caching 5 2.4. Tỉ lệ trúng Web cache – tỉ lệ trúng web server 9 3. CÁC MÔ HÌNH WEB CACHING 11 3.1. Caching đúng nghĩa (caching hiện hữu) 11 3.2. Caching hiện hữu ép buộc 11 3.3. Caching “trong suốt” (transparent caching) 11 4. HỆ THỐNG WEB CACHING 14 5. MÔ HÌNH TRIỂN KHAI WEB CACHE 16 6. KẾT LUẬN 21 Proxy Web Caching 1. Giới thiệu chung Tiểu luận Internet và Giao thức - D11VT6 1 1. GIỚI THIỆU CHUNG Kỹ thuật Web Caching chính là việc chuyển bản sao của các tài liệu Web từ Web sever đến gần với Web client hơn. Nhìn chung, người sử dụng Web client sẽ chỉ nhận thấy độ trễ rất thấp khi yêu cầu một URL, phía nhà quản lý mạng sẽ nhận thấy ít lưu lượng hơn và các Web sever có số lượng các yêu cầu cung cấp dịch vụ thấp hơn. Web client yêu cầu tài liệu từ Web server hoặc trực tiếp hoặc thông qua Web cache server hay proxy. Chức năng của Web cache server là lưu trữ các tài liệu Web (có thể là các trang HTML, các hình ảnh hoặc các tệp tin) tại vị trí gần với người sử dụng để tránh phải truyền về nhiều lần cùng một tài liệu qua cùng một kết nối và do đó làm giảm thời gian tải về và tạo ra ít tải hơn trên các server. Trình duyệt Web được sử dụng rất rộng rãi trong Internet ngày nay. Hơn 2/3 lượng lưu lượng trên mạng được tạo ra bởi Web. Khi xem xét làm thế nào để nâng cao chất lượng dịch vụ cung cấp bởi mạng Internet thì việc đầu tiên là kiểm tra việc thực hiện các giao dịch web. Chính ở đây, bộ nhớ đệm Web có thể đóng một vai trò quan trọng trong việc cải thiện chất lượng dịch vụ cho một phạm vi rộng lớn của người sử dụng Internet. Có hai loại bộ nhớ đệm Web là browser cache và proxy cache.  Browser cache là một phần của tất cả các trình duyệt Web. Nó lưu giữ một bản sao của tất cả các trang vừa mới truy cập và khi người sử dụng quay lại một trong các trang đó thì bản sao này sẽ được dùng lại.  Ngược lại, proxy cache là một thiết bị mạng chia sẻ, nó có thể thực hiện các giao dịch Web thay mặt cho client và giống như browser cache, nó lưu trữ thông tin. Lúc này, proxy cache hoặc các bộ nhớ cache khác sẽ được kích hoạt để cung cấp các bản sao lưu trữ nội dung, tránh việc tải về từ các nguồn nội dung gốc. Trong bài báo này, chúng ta xem xét proxy cache một cách chi tiết hơn, đặc biệt là ở khía cạnh triển khai proxy cache trong mạng ISP. Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 2 2. PROXY WEB CACHING 2.1. Ý tưởng Browser cache làm việc theo một quy luật đơn giản. Nó sẽ kiểm tra những gì bạn đã xem được cập nhật hay chưa, thường là một phiên thông tin. Cache này đặc biệt có ích khi người dùng nhấn vào nút Back hoặc nhấn vào một liên kết đến một trang mà họ vừa mới xem. Ngoài ra, nếu bạn sử dụng cùng các hình ảnh liên kết trong suốt một site, gần như ngay lập tức người dùng sẽ được đáp ứng từ caches của browser. Web proxy cache làm việc cùng nguyên tắc với browser cache, nhưng ở phương diện rộng lớn hơn. Proxies đáp ứng hàng trăm hoặc hàng ngàn users cùng một cách thức, những tập đoàn lớn và ISP thường thiết lập chúng trên các firewalls, hoặc như một thiết bị độc lập (thường hiểu như là những phương tiện trung gian). Những proxy cache là một dạng của cache chia sẻ, nó không chỉ được sử dụng bởi một người, mà nó thường có một lượng lớn users, và bởi vì nó rất tốt cho việc giảm những nguy cơ tiềm ẩn và đường truyền mạng. Đó là lý do các thông tin lướt trên web tiết kiệm được nhiều thời gian. Hình 2.1: Vị trí của Proxy - cache Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 3 Khi một trình duyệt muốn tìm kiếm một URL, nó lấy hostname và dịch sang địa chỉ IP. Một phiên HTTP được mở ra và client yêu cầu URL từ server. Khi sử dụng proxy cache, việc trao đổi cũng không có gì khác biệt. Client mở một phiên HTTP với proxy cache và lập tức yêu cầu URL gửi đến proxy cache (Hình 2.2). Hình 2.2: Một giao dịch Web Proxy Nếu bộ nhớ cache chứa URL tương ứng, nó sẽ kiểm tra đây có phải là bản mới nhất không bằng cách so sánh với trường thông tin Expires (hết hiệu lực) nếu có hoặc bằng một số cách khác được xác định tại cục bộ. Sau đó các thành phần cũ được làm mới lại và đánh dấu lại thành phần đó là mới nhất. Các đối tượng mới nhất được gửi cho client. Nếu như cache không có bất kỳ bản copy local của URL hoặc thành phần đã hết hạn thì lúc này ta gọi là cache miss. Trong trường hợp này, hoạt động của cache giống như agent cho client, mở phiên làm việc riêng với máy chủ có tên trong URL và có gắng truyền trực tiếp vào bộ nhớ cache. 2.2. Truy cập web dựa trên mô hình end-to-end Nguyên tắc thiết kế ban đầu của kiến trúc Internet là mô hình end-to-end. Trong mô hình đó thì mạng là một công cụ thụ động trong việc thực hiện để chuyển tiếp các gói tin đến đích. Giả sử rằng các gói tin gửi đi sẽ được truyền đến đúng đích và các đáp ứng được gửi bởi đúng đích (tránh trướng hợp một bên thứ 3 đứng giữa đóng giả để trao đổi thông tin với client). Giao thức giao dịch WWW, HTTP được xây dựng trên mô hình này. Nó là nơi một phiên TCP được mở ra với máy chủ. Cuộc trao đổi HTTP tiếp theo xác định các yêu cầu dữ liệu trên các host đích và các dữ liệu này sau đó được truyền lại cho client. Mô hình chuyển giao này được thể hiện tốt nhất như một mô hình chuyển giao tránh lãng phí tài Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 4 nguyên khi chỉ xét trong khoảng thời gian dữ liệu được truyền trực tiếp đến khách hàng theo yêu cầu. Mô hình chuyển giao này có nhiều lợi thế đáng kể. Máy chủ dữ liệu có thể chỉnh sửa nội dung và toàn bộ yêu cầu của client phía sau để được cung cấp với các thông tin cập nhật và các cập nhật ngay lập tức được thể hiện rồi mới gửi các dữ liệu. Máy chủ dữ liệu cũng có thể theo dõi tất cả các yêu cầu nội dung, cho phép các nhà cung cấp nội dung theo dõi những nội dung cụ thể được yêu cầu, nhận dạng yêu cầu của mỗi người và mức độ thường xuyên của mỗi mục nội dung được tham chiếu. Các nhà cung cấp nội dung cũng có thể phân biệt giữa các khách hàng khác nhau, và sử dụng một số hình thức của mô hình bảo mật, các nhà cung cấp nội dung có thể xác thực khách hàng và cung cấp thông tin đặc quyền cho các khách hàng. Trong mô hình này các nhà cung cấp nội dung cũng có thể phân biệt giữa các khách hàng nhằm cung cấp thông tin nhất định đến một số khách hàng đặc biệt và các thông tin khác cho các khách hàng khác của máy chủ nội dung. Nhiều hệ thống web được xây dựng dựa trên khả năng của mô hình chuyển giao end- to-end này. Liên tục cập nhật các trang web theo kiểu hoặc là server đẩy hoặc là client kéo để cập nhật thông tin nội dung trên màn hình client một cách đều đặn đặc biệt được sử dụng để hiển thị giá cổ phiếu trên thị trường, bản đồ thời tiết, hoặc màn hình quản lý mạng. Trong mô hình end-to-end có một số điểm hạn chế: - Một server mà cung cấp các thông tin phổ biến thì sẽ phải chịu áp lực nặng nề, cả về số lượng người truy cập cùng lúc tại nhiều thời điểm và cả về số lượng dữ liệu được gửi từ máy chủ cho các mạng xung quanh. - Lưu lượng lúc này giống như là tải của hệ thống máy chủ hoặc tải của mạng xung quanh máy chủ. Để cải thiện hiệu năng của hệ thống như vậy có thể cải thiện máy chủ bằng cách tăng số lượng máy chủ thông qua việc sử dụng các cụm server kết hợp với máy chủ quản lý traffic và giúp cải thiện dung lượng của mạng cục bộ. Tuy nhiên, tất cả các biện pháp này có thể không giải quyết tất cả các vấn đề trong việc duy trì chất lượng của việc cung cấp nội dung. - Hệ thống khách hàng dùng modem và hệ thống khách hàng dùng wireless băng thông thấp đều bị hạn chế bởi băng thông và trễ trong quá trình giao tiếp end-to- end với server. Cải thiện dung lượng của các máy chủ có thể không nhất thiết phải giảm số lượng các kết nối của khách hàng mà cùng hoạt động đồng thời. Trong khi giảm trễ giữa khách hàng và các điểm phân phối nội dung sẽ giúp cải thiện hiệu suất của việc phân phối nội dung. Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 5 Thêm vào đó, bản thân mạng không được sử dụng hiệu quả, lưu lượng web tại cùng một thời điểm có khá nhiều nhân bản và mạng phải mang các bản sao của cùng một dữ liệu đến mỗi khách hàng gây ra lãng phí đường truyền. Đối với một nhà cung cấp thì dung lượng truyền tải là một chi phí kinh doanh nên việc xuất nhập nội dung chỉ xảy ra lần đầu, sau đó thì thông qua bản copy cục bộ của nội dung sẽ được gửi đến cho khách hàng. Đây là một phương pháp giúp cải thiện hiệu năng của mạng. Xét về khả năng cải thiện hiệu suất của dịch vụ cung cấp nội dung cho một mạng lưới toàn cầu của các khách hàng, và về khả năng nâng cao hiệu quả vận chuyển mạng, bộ nhớ đệm đem lại nhiều ý nghĩa với các nhà cung cấp nội dung, các ISP, và cuối cùng là cho khách hàng. 2.3. Đặc điểm của proxy web caching Các lợi ích tương tự của cải thiện hiệu suất và giảm traffic đi ra ngoài có thể được thực hiện cho lưu lượng WWW thông qua việc triển khai web cache. Web cache về cơ bản không khác với bất kỳ hình thức của bộ nhớ đệm nào khác. Các yêu cầu của client được truyền thông qua cache agent sau đó từ đây mới tạo yêu cầu gửi đến nguồn giống như một đại diện cho client. Đáp ứng của máy chủ được giữ lại trong bộ nhớ cache cục bộ, và một bản sao được chuyển cho client. Nếu cùng một yêu cầu được chuyển đến cache agent ngay sau khi yêu cầu ban đầu được phục vụ thì đáp ứng có thể được tạo ra từ bộ nhớ cache mà không cần tham khảo thêm với nguồn gốc. Hình 2.3: Mô hình web cache [...]... doanh nghiệp Khách hàng cũng có lợi ích là tốc độ tải trang web tăng lên (với các nội dung đã được lưu đệm) do độ trễ của mạng giữa khách hàng và bộ nhớ cache cục bộ giảm Tiểu luận Internet và Giao thức - D11VT6 6 Proxy Web Caching 2 Proxy web caching Hình 2.4: Trở ngại giữa mạng LAN và mạng Public Kích thước trung bình của một giao dịch web là khoảng 16 gói dữ liệu trên luồng TCP Trong một quá trình... trang web, và RTT tới nguồn là 300 ms, trễ tải trang sẽ là 1,5 giây Tiểu luận Internet và Giao thức - D11VT6 7 Proxy Web Caching 2 Proxy web caching Hình 2.5: Thêm Cache vào mạng LAN Trong khi đó, nếu thời gian truy cập Web cache cục bộ là 2 mili giây, thì trễ tải trang chỉ là 10 ms Những con số này thu được với giả sử mạng không nghẽn trong cả hai trường hợp Trong trường hợp này, miễn là tìm kiếm Web. .. những lợi ích của bộ nhớ đệm vào một cấu trúc giảm giá chung cho tất cả các khách hàng và tạo ra một mô hình kinh doanh tốt hơn Tiểu luận Internet và Giao thức - D11VT6 13 Proxy Web Caching 4 Hệ thống web caching 4 HỆ THỐNG WEB CACHING Hệ thống cache có thể có nhiều dạng Các máy chủ web gốc từ CERN, nơi bắt nguồn của sự phát triển phần mềm Web, đã cho phép một chế độ của hành vi proxy Mô hình máy chủ cache... và gửi tín hiệu thử lại cho browser đã request, đồng thời cũng chuyển nhận dạng luồng này trở lại cho bộ chuyển hướng, như là bộ lọc đầu vào tạm thời Khi có tín hiệu truy vấn lại theo tín hiệu từ cache, redirecting router sẽ có nhiệm vụ chuyển luồng tới cache, và cho phép thiết lập phiên dạng end-to-end Tiểu luận Internet và Giao thức - D11VT6 20 Proxy Web Caching 6 Kết luận 6 KẾT LUẬN Web cache, và. .. Nhà cung cấp nội dung web không nhất thiết phải quan tâm tới tỉ lệ hit của nội dung web Hơn nữa, nhiều nhà cung cấp nội dung web thấy được giá trị từ việc phân phối các nội dung tĩnh tới máy khách hơn là họ phải chịu nhiều chi phí phân phối nội dung từ trang cục bộ Tiểu luận Internet và Giao thức - D11VT6 9 Proxy Web Caching 2 Proxy web caching Các trang tĩnh, gồm các nội dung ảnh và chữ đơn giản đã được... (15 requests/sec) x (1 Mbits/request)/(15 Mbps) = 1 Do đó, đường kết nối ra ngoài internet dễ bị tắc nghẽn và trễ cao Vì vậy nếu tổ chức đặt 1 bộ proxy cache nằm trong mạng LAN Giả sử tỉ lệ hit là 40% thì độ trễ trong mạng LAN là 10ms Độ trễ trung bình là Tiểu luận Internet và Giao thức - D11VT6 8 Proxy Web Caching 2 Proxy web caching 0.4 x (0.01 seconds) + 0.6 x (2.01 seconds) = 1.2seconds Do đó, giải... đầy đủ Tiểu luận Internet và Giao thức - D11VT6 19 Proxy Web Caching 5 Mô hình triển khai web cache Vấn đề chủ yếu khi sử dụng transparent cache, là phải tạo ra một kỹ thuật dự phòng lỗi Nghĩa là, nếu cache server dừng hoạt động với bất cứ lý do nào, thì việc chuyển hướng cache cũng bị vô hiệu hóa Một giải pháp là sử dụng chức năng chuyển hướng gắn với router kết hợp cùng giao thức quản lý Web cache... trang web gốc Nếu hiệu năng của cache không được đảm bảo cho người dùng, thì lợi ích hướng đến người dùng sẽ mất Trong trường hợp đã lựa chọn kĩ thuật caching, thì người dùng sẽ tắt tùy chọn cache trong browser của họ và quay lại cách thức truy cập trực tiếp Tiểu luận Internet và Giao thức - D11VT6 12 Proxy Web Caching 3 Các mô hình web caching Mô hình kinh doanh của cache là giá thành hoạt động và vốn... các.thông tin liên quan và gửi lượng truy cập về cho server nội dung gốc, mở rộng này đưa ra các giới hạn sử dụng, nêu ra một cache server có thể cung cấp nội dung một số giới hạn lần trước khi phải xác nhận lại với server nội dung Tiểu luận Internet và Giao thức - D11VT6 10 Proxy Web Caching 3 Các mô hình web caching 3 CÁC MÔ HÌNH WEB CACHING 3.1 Caching đúng nghĩa (caching hiện hữu) Một vài hệ thống cache... cho phép nhiều cache lân cận đóng góp nguồn lực của họ một cách hiệu quả Một phương thức cấu hình cache được đề xuất là một hệ phân cấp theo cấu trúc cây Khi phân cấp, tất cả các cache server sẽ kết nối với hàng xóm cùng cấp và một ICP Tiểu luận Internet và Giao thức - D11VT6 17 Proxy Web Caching 5 Mô hình triển khai web cache parent Khi có một cache request không được local cache đáp ứng, cache sẽ . HÀ NỘI 2014 ĐỀ TÀI: PROXY WEB CACHING Proxy Web Caching Lời nói đầu Tiểu luận: Internet và Giao thức - D11VT6 i LỜI NÓI ĐẦU Từ khi xuất hiện cho đến nay, World Wide Web ngày càng. xa trang web, và RTT tới nguồn là 300 ms, trễ tải trang sẽ là 1,5 giây. Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 8 Hình 2.5: Thêm Cache vào mạng. các thông tin lướt trên web tiết kiệm được nhiều thời gian. Hình 2.1: Vị trí của Proxy - cache Proxy Web Caching 2. Proxy web caching Tiểu luận Internet và Giao thức - D11VT6 3 Khi