Các cơ chế cho mạng hướng đến nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRẦN VĂN TIẾN CÁC CƠ CHẾ CHO MẠNG HƯỚNG ĐẾN NỘI DUNG Chuyên ngành : KỸ THUẬT TRUYỀN THÔNG LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH: KĨ THUẬT TRUYỀN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS Nguyễn Hữu Thanh Hà Nội – 2015 MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG DANH MỤC TỪ VIẾT TẮT LỜI NÓI ĐẦU CHƯƠNG PHẦN MỞ ĐẦU 1.1 Giới thiệu 1.2 Lịch sử nghiên cứu 10 1.3 Mục đích, đối tượng, phạm vi nghiên cứu 10 1.4 Phương pháp nghiên cứu 10 1.5 Cấu trúc luận văn 10 CHƯƠNG TỔNG QUAN VỀ MẠNG ICN 12 2.1 Giới thiệu 12 2.2 Tổng quan mạng ICN 14 2.3 Ưu điểm ICN .14 2.4 Các vấn đề thách thức ICN 16 2.5 Các dự án ICN giới .17 2.6 Các thành phần ICN 17 2.7 Tổng quan mạng CCN 21 Trang 2.7.1 Giới thiệu mạng CCN .21 2.7.2 Ưu điểm CCN .21 2.7.3 Kiến trúc tổng quan CCN 22 2.7.4 Ứng dụng thông minh sở hạ tầng ảo ( SAVI) .29 CHƯƠNG HỆ THỐNG LƯU TRỮ ĐÁM MÂY SWIFT 31 3.1 Giới thiệu tổng quan 31 3.2 Mô hình lưu trữ Swift 33 3.2.1 Account .34 3.2.2 Container 35 3.2.3 Object 35 3.3 Mô hình kiến trúc hệ thống 36 3.3.1 Region .37 3.3.2 Zone 37 3.3.3 Node 37 3.3.4 Storage policies 38 3.3.5 Server Process 39 3.4 Tính ưu điểm Swift 42 3.4.1 Khả mở rộng .42 3.4.2 Tính an toàn liệu 42 3.4.3 Lưu trữ phân tán nhiều Zone (Multi-regional capability) 42 3.4.4 Cung cấp Performance tính đồng thời cao 43 3.4.5 Lưu trữ linh hoạt .43 3.4.6 Không yêu cầu cao phần cứng .43 3.4.7 Tiện lợi việc phát triển 44 3.4.8 Thân thiện với nhà khai thác .45 Trang CHƯƠNG THỬ NGHIỆM HỆ THỐNG SWIFT .46 4.1 Mục đích thử nghiệm 46 4.2 Mô hình hệ thống thử nghiệm 46 4.3 Mô tả hệ thống thử nghiệm 49 4.4 Thiết bị phần cứng 51 4.5 Bài kiểm tra lỗi hệ thống 54 4.5.1 Ổ Cứng lỗi 54 4.5.2 Storage Node Lỗi 59 4.6 Bài kiểm tra hiệu hệ thống 64 4.6.1 Dữ liệu Application 64 4.6.2 Dữ liệu Backup 66 4.6.3 Dữ liệu Media ( Photo, Audio, Video ) .69 4.6.4 Dữ liệu Mail& Log Archiver 72 4.6.5 Dữ liệu Web Content 73 4.6.6 Dữ liệu Data Sharing 74 4.6.7 Đánh giá hiệu hệ thống 76 4.7 Bài kiểm tra phát nút cổ chai hệ thống .77 4.7.1 Mô tả 77 4.7.2 Kiểm tra phần tử Loadbalancer 78 4.7.3 Kiểm tra phần tử Proxy 78 4.7.4 Kiểm tra phần tử Storage Node 82 4.7.5 Đánh giá nút thắt cổ chai 86 KẾT LUẬN 87 TÀI LIỆU THAM KHẢO 88 Trang DANH MỤC HÌNH VẼ Hin ̀ h 2.1: Mô hình đặt tên Naming 18 Hình 2.2: Mô hình phân dải tên định tuyến liệu .19 Hin ̀ h 2.3: Mô hình Caching .20 Hin ̀ h 2.4: Cấu trúc chunk CCN 22 Hình 2.5: Mô hình nút CCN 26 Hiǹ h 2.6: Sơ đồ khối CCN chuyển tiếp lưu lượng 28 Hình 3.1: Truy nhập theo vị trí địa lý .32 Hình 3.2: Mô hình lưu trữ liệu hệ thống .34 Hin ̀ h 3.3: Mô hình kiến trúc tổng quát hệ thống 36 Hình 3.4: Ví dụ storage policies 39 Hin ̀ h 3.5: Sơ đồ hệ thống với server node thành phần 40 Hin ̀ h 4.1: Sơ đồ vật lý hệ thống Swift .47 Hình 4.2: Sơ đồ vật lý hệ thống Swift triển khai phòng Lab .48 Hin ̀ h 4.3: Trường hợp ổ cứng lỗi 55 Hình 4.4: Trường hợp server máy chủ lỗi 59 Hin ̀ h 4.5: Throughput eth0 proxy1 79 Hin ̀ h 4.6: Throughput eth1 proxy 80 Hình 4.7: Tải CPU proxy .81 Hin ̀ h 4.8: RAM IO ổ cứng Proxy 82 Hình 4.9: XFS node Cluster 83 Hin ̀ h 4.10: Throughtput bond0 Storage Node 84 Hin ̀ h 4.11: Tải CPU storage Node 85 Hình 4.12: RAM IO Storage Node 86 Trang DANH MỤC BẢNG Bảng 4.1: Danh sách thiết bị phần cứng 51 Bảng 4.2: Kết Test ổ cứng lỗi 55 Bảng 4.3: Kết Test Server máy chủ lỗi 60 Bảng 4.4: Dữ liệu Application Small 65 Bảng 4.5: Dữ liệu Application Medium 66 Bảng 4.6: Dữ liệu Backup Small .67 Bảng 4.7: Dữ liệu Backup Medium 68 Bảng 4.8: Dữ liệu Backup Large .69 Bảng 4.9: Dữ liệu Media Small .70 Bảng 4.10: Dữ liệu Media Medium 71 Bảng 4.11: Dữ liệu Media Large .72 Bảng 4.12: Dữ liệu Mail& Log Archiver 73 Bảng 4.13: Dữ liệu Web Content 74 Bảng 4.14: Dữ liệu Data Sharing Small 75 Bảng 4.15: Dữ liệu Data Sharing Medium 76 Trang DANH MỤC TỪ VIẾT TẮT Kí hiệu API ASCII Tên Tiếng Anh Tên Tiếng Việt Application Programming Interface Hàm lập trình trình ứng dụng American Standard Code for Information Interchange Bảng mã tiêu chuẩn quốc tế CCN Content Centric Network(ing) Mạng hướng nội dung CDN Content Delivery Network Mạng hướng nội dung COntent Mediator architecture for Mạng hướng nội dung content-aware nETworks commet CONET COntent NETworking project Dự án conet CPU Central Processing Unit Vi xử lý trung tâm CS Content Store Lưu trữ nội dung DHT Distributed Hash Tables Bảng phân phối Hash DONA Data-Oriented Network Architecture Dự án mạng nội dung Dona DoS Denial of Service Tấn công từ chối dịch vụ FIB Forwarding Information Base Bảng chuyển tiếp thông tin GB Gigabyte Dung lượng lưu trữ GB ixGbps Gigabit per second Tốc độ liệu Gbps COMET GPGPU General Purpose Graphic Processing Units Vi xử lý đồ họa HPC High Performance Computing Máy tính hiệu cao IaaS Infrastructure-as-a-Service Cơ sở hạ tầng ảo ICN Information Centric Networking Mạng hướng nối dung ICN IP Internet Protocol Giao thức mạng IP LFU Least Frequently Used Tần suất sử dụng LRU Least Recently Used MB Megabyte Tần suất sử dụng thường xuyên Dung lượng lưu trữ MB Trang Kí hiệu Tên Tiếng Anh Tên Tiếng Việt Mbps Megabit per second Tốc độ lư trữ Mbps NDN Named Data Network(ing) Dự án đặt tên NDN NetInf Network of Information Dự án mạng nội dung NetInf OVS Open vSwitch P2P Peer-to-Peer PBR Potential Based Routing PIT Pending Interest Table Bảng chờ interest Rx/Tx Receive/Transmit Truyền/ nhận tín nhiệu SAIL SAVI Ảo hóa mạng sử dụng phần mềm Mạng ngang hàng P2P Scalable and Adaptive Internet Solutions Smart Application on Virtual Dự án ứng dụng thông minh Infrastructure sở hạ tầng ảo hóa Hạ tầng thiết bị xây dựng SDI Software Defined Infrastructure SDN Software Defined Network(ing) TCP Transmission Control Protocol UDP User Datagram Protocol VANET Vehicular Ad-hoc Networks Mạng Ad-hoc VM Virtual Machine Máy ảo VoCCN Voice-over-CCN Thoại mạng nội dung VoIP Voice-over-IP Thoại IP XML Extensible Markup Language Ngôn ngữ xml phần mềm Hạ tầng mạng xây dựng phần mềm Giao thức truyền tín hiệu tin cậy qua internet Giao thức truyền tín hiệu không tin cậy qua internet Trang LỜI NÓI ĐẦU Mạng Internet phát triển để truyền lưu lượng nội dung lớn Thông thường nội dung lưu trữ nơi truyền truyền lại nhiều lần, qua nhiều nơi, điều dẫn đến lãng phí tài nguyên mạng Internet Mạng hướng đến nội dung (Information-centric networks) hệ thống thiết kế mạng Internet tại, cung cấp chế tối ưu để truyền nội dung Bước đầu nghiên cứu em hiểu chế mạng mô lại hoạt động mạng hướng đến nội dung phục vụ cho việc nghiên cứu sâu tương lai Do đề tài lĩnh vực mới, thân kiến thức nhiều hạn chế nên đề tài khó tránh khỏi nhiều thiếu sót,em mong nhận góp ý bảo thầy bạn sinh viên để nội dung đề tài hoàn thiện phong phú Khi thực đề tài này, em xin gửi lời cảm ơn đến thầy cô môn Kỹ thuật thông tin, Viện Điện tử-Viễn thông, Trường Đại học Bách Khoa Hà Nội, đặc biệt PGS TS Nguyễn Hữu Thanh nhiệt tình giúp đỡ em trình xác định, tìm hiểu thực đề tài Em xin chân thành cảm ơn! Trang Chương PHẦN MỞ ĐẦU 1.1 Giới thiệu Mạng Internet với chế định tuyến, đánh địa chỉ, DNS v.v thiết kế tối ưu để truyền liệu lớp Internetworking Tuy nhiên, nghiên cứu cho thấy phần lớn thông tin truyền mạng Internet dịch vụ với nội dung hướng đến người sử dụng (như web, video, ảnh, loại nội dung số khác) Thông thường nội dung lưu trữ nơi truyền truyền lại nhiều lần, qua nhiều nơi, điều dẫn đến lãng phí tài nguyên mạng Internet Mạng hướng đến nội dung (Information-centric networks) hệ thống thiết kế mạng Internet tại, cung cấp chế tối ưu để truyền nội dung Information Centric Networking (ICN), hay gọi Named Data Networking (NDN) Content Centric Networking (CCN), kiến trúc Internet tương lai mô hình truyền thông xây dựng xung quanh Naming (đặt tên cho thông tin) thay máy chủ vị trí thông tin ICN thiết kế cho việc định danh, khả bảo mật, an toàn thông tin, giữ nguyên thông tin gốc ban đầu Hiện ICN có nhiều vấn đề mở cần giải quyết: giải toán đặt tên Naming cho liệu, vấn đề phân dải tên định tuyến liệu, Các vấn đề nhớ đệm Caching vấn đề bảo mật mạng ICN Trong luận văn sử dụng mô hình điện toán lưu trữ đám mây xây dựng Internet Với mô hình giải vấn đề Naming Caching mạng ICN Trang Bảng 4.14: Dữ liệu Data Sharing Small User Count Operation count Average Worker Concurrency Number of files requests Run time Run count (U) (O) / second (in sec.) 100 1,000 4.8 206 250 1,000 24.9 44 500 1,000 23.7 42 1,000 1,000 21.9 45 2,000 1,000 49.8 19 Data Sharing Medium: Bài test với liệu Data Sharing Medium (từ 10 MB 105 MB) với Worker tương ứng với số core CPU.Số lượng lệnh CRUD (Create, Read, Update, Delete) 1000 theo tỉ lệ tương ứng 0, 100, 0, Ta tiến hành tăng dần số lượng user truy cập đồng thời vào hệ thống từ 100 đến 2000.Kết trả số Request thực trung bình đơn vị thời gian Trang 75 Bảng 4.15: Dữ liệu Data Sharing Medium User Count Operation count Average Worker Concurrency Number of files requests Run time Run count (U) (O) / second (in sec.) 100 1,000 16.5 60 250 1,000 20.9 48 500 1,000 16.9 59 1,000 1,000 15.8 63 2,000 1,000 18.4 54 4.6.7 Đánh giá hiệu hệ thống Trong hệ thống test này, Hệ thống đáp ứng đến 2000 user truy nhập đồng thời vào hệ thống thực thao tác Create, Read, Update , Delete với nhiều loại liệu khác như: Application, Media (Photo,Audio, Video)Data Sharing, Backup, Mail and Log Archive, Web content Khi số lượng User truy nhập vào hệ thống tăng lên khả xử lý request đơn vị thời gian giảm Trang 76 4.7 Bài kiểm tra phát nút cổ chai hệ thống 4.7.1 Mô tả Bài test kiểm tra nút thắt cổ chai toàn hệ thống Cloud Storage Một số nhiều thành phần nút thắt cổ chai hệ thống : Loadbalancer Throughput, Proxy (Kiểm tra CPU utilization), Storage Node (kiểm tra Memory thrashing, %wait, CPU,RAM ), Ổ cứng (Kiểm tra Disk I/O), Băng thông kết nối (Kiểm tra network Bandwidth) Độ trễ qua sử dụng SSL termination Bài test sử dụng công cụ SSbench đẩy luồng liệu lớn vào hệ thống Để phát nút thắt hệ thống Với kịch test huge_test.scenario với 1000 user connection đồng thời Worker tương ứng với số core CPU Số lượng lệnh CRUD (Create, Read, Update, Delete) 10000 theo tỉ lệ tương ứng mô tả bảng đươi đây: % Ops C R U D Size Range Size Name 40% % 33 33 17 17 kB - 16 kB tiny 20% % 33 33 17 17 100 kB - 200 kB small 20% % 33 33 17 17 MB - MB medium 10% % 33 33 17 17 50 MB - 100 MB large 10% % 33 33 17 17 100 MB - GB huge 33 33 17 17 CRUD weighted average Command : ssbench-master run-scenario os-auth-url http://118.107.76.23:35357/v2.0 os-username swift os-password swift@123 -os-tenant-name service -f /usr/local/share/ssbench/scenarios/huge_test.scenario -workers -o 10000 -u 1000 Trang 77 Kết đầu mô tả đồ thị phần bên 4.7.2 Kiểm tra phần tử Loadbalancer Loadbalancer Throughput: Hiện test tắt SSL nên request qua Loadbalance forward đến thẳng Proxy Tải CPU RAM Loadbalance thấp Không đáng kể Nhận xét: Loadblance chạy ổn Trong hệ thống chạy thât có SSL cần turning performance SSL xử lý qua Loadbance 4.7.3 Kiểm tra phần tử Proxy Proxy : Kiểm tra tải CPU Proxy, Nếu tải CPU cao tiến hành tăng số lượng Proxy lên Setup Loadbalance cho hệ thống Hình ảnh bên kết hiển thị Proxy qua Loadbancer cho thấy tải CPU thấp khoảng 20%, RAM chiếm khoảng 2%, throughput chạm ngưỡng giới hạn khoảng 800Mbps Nhận xét: Hiện bị giới hạn cổng 1Gbps Proxy Trong mô hình thật sử dụng cổng 10Gbps throughtput Sẽ bỏ qua giới hạn CPU RAM, IO thấp nên chưa cần tăng thêm số lượng Proxy Trang 78 Hiǹ h 4.5: Throughput eth0 proxy1 Trang 79 Hình 4.6: Throughput eth1 proxy Trang 80 Hình 4.7: Tải CPU proxy Trang 81 Hình 4.8: RAM IO ổ cứng Proxy 4.7.4 Kiểm tra phần tử Storage Node Storage Node: Kiểm tra tải CPU Swift Storage, tải CPU % wait cao tiến hành tăng số lượng Storage Node Zone lên ( để dàn việc đọc/ghi từ user phân bổ vào storage), Giảm số lượng ổ cứng Stoage (Để giảm bớt tải vào Storage node) Nếu RAM cao, nhớ RAM bị cạnh tranh phân vùng storage node, Vì phân vùng sử dụng chung Ram, dẫn đến cạnh tranh xem dồ thị XFS Nếu tỉ lệ cache inode hit cao ok, tỉ lệ cache hit inode thấp RAM bị cạnh tranh dùng chung Hình ảnh bên kết hiển thị Storage Node (các storage node khác có kết tương tải dàn storage node Zone) ta thấy tải CPU thấp khoảng 20% %Wait cao khoảng 50%, Trang 82 RAM chiếm khoảng 20%, Throughput thấp khoảng 300Mbps với cổng bonding 2Gbps IO khoảng 60 KB/s Cache inode hệ thống đạt tỉ lệ 70% Nhận xét: Hiện bị giới hạn ổ cứng Storage Node %wait cao Trong mô hình thật sử dụng có sử dụng Cache rời ổ cứng Enterprire khắc phục vấn đề Đồng thời tính toán số lượng ổ cứng Storage Node, số lượng Storage Node Zone cho hợp lý Hin ̀ h 4.9: XFS node Cluster Trang 83 Hiǹ h 4.10: Throughtput bond0 Storage Node Trang 84 Hiǹ h 4.11: Tải CPU storage Node Trang 85 Hình 4.12: RAM IO Storage Node 4.7.5 Đánh giá nút thắt cổ chai Hệ thống Test bị giới hạn khả đọc/ghi ổ cứng Througthput Proxy Trong mô hình thật sử dụng có sử dụng Cache rời ổ cứng Enterprire tốc độ cao khắc phục vấn đề này.Đồng thời tính toán số lượng ổ cứng Storage Node, số lượng Storage Node Zone cho hợp lý Throughtput bị giới hạn cổng 1Gbps Proxy Trong mô hình thật sử dụng cổng 10Gbps throughtput Sẽ bỏ qua giới hạn Trang 86 KẾT LUẬN Được giúp đỡ thầy cô, bạn bè đặc biệt thầy giáo PGS.TS Nguyễn Hữu Thanh, em hoàn thành luận văn tốt nghiệp Về bản, luận văn đáp ứng đuợc yêu cầu đặt ban đầu đạt số kết sau: Luận văn đưa khái niệm mạng hướng tới nội dung ICN giúp người đọc có nhìn tổng quan mạng ICN Cũng vấn đề thách thức nghiên cứu ICN toàn giới Hệ thống điện toán lưu trữ đám mây xây dựng phần mềm mã nguồn mở OpenStack Swift Đây phầm mềm cho phép lưu trữ liệu chia liệu trực tuyến khác biết khác với phương pháp lưu trữ thông thường dễ liệu thiết bị vật lý hỏng Với mô hình hệ thống phòng Lab xây dựng, hệ thống đáp ứng 2000 người truy cập đồng thời mà không ảnh hướng đến dịch vụ Với dịch vụ điện toán lưu trữ đám mây, khả lưu trữ đảm bảo thời gian uptime 24/7 không gián đoạn dịch vụ, đồng thời đáp ứng lượng người truy nhập lớn Lưu trữ đám mây công nghệ xu hướng thời điểm Với hệ thống điện toán lưu trữ đám mây xây dựng giải hai bốn toán mạng ICN toán Đặt tên liệu Định Tuyến Dữ liệu Do thời gian làm luận văn có hạn nên tránh khỏi thiếu sót, em mong nhận góp ý, bảo tận tình thầy cô để luận văn em hoàn thiện Em xin chân thành cảm ơn! Trang 87 TÀI LIỆU THAM KHẢO [1] Md Faizul Bari (December 2012), Shihabur Rahman Chowdhury, and Reaz Ahmed, University of Waterloo Raouf Boutaba, University of Waterloo and Pohang University of Science and Technology Bertrand Mathieu, Orange Labs, “A Survey of Naming and Routing in Information-Centric Networks”, IEEE Communications Magazine [2] Tang Tang (2013), Master of Applied Science Graduate Department of Electrical and Computer Engineering University of Toronto “High Performance Content Centric Networking on Virtual Infrastructure” [3] George Xylomenos, Christopher N Ververidis, Vasilios A Siris, Nikos Fotiou, Christos Tsilopoulos, Xenofon Vasilakos, Konstantinos V Katsaros, and George C Polyzos Mobil Multimedia Laboratory, Department of Informatics Athens University of Economics and Business Athens 10434, Greece “A Survey of Information-Centric Networking Research”, PUBLISHED IN: COMMUNICATIONS SURVEYS AND TUTORIALS [4] Bengt Ahlgren (July 2012), Christian Dannewitz, Claudio Imbrenda, Dirk Kutscher, and Börje Ohlman, “A Survey of Information-Centric Networking”, IEEE Communications Magazine [5] Torsten Braun(University of Bern), Tuan Anh Trinh(Budapest University of Technology and Economics), “Energy Efficiency Issues in Information-Centric Networking” Springer-Verlag Berlin Heidelberg 2011 [6] S´ ebastien Lafond, Tuan Anh Trinh “Energy Efficient Thresholds for Cached Content in Content Centric Networking”, 978-1-4799-0756-4/13/ 2013 IEEE Trang 88 [7] Ravishankar Ravindran,XuanLiu, Asit Chakraborti, Xinwen Zhang, Guoqiang Wang, “Towards Software Defined ICN based Edge-Cloud Services”, 978-1-4799-0568-3/13 2013 IEEE [8] Website: http://docs.openstack.org/developer/swift/ Trang 89 ... hướng đến nội dung (Information-centric networks) hệ thống thiết kế mạng Internet tại, cung cấp chế tối ưu để truyền nội dung Bước đầu nghiên cứu em hiểu chế mạng mô lại hoạt động mạng hướng đến nội. .. quốc tế CCN Content Centric Network(ing) Mạng hướng nội dung CDN Content Delivery Network Mạng hướng nội dung COntent Mediator architecture for Mạng hướng nội dung content-aware nETworks commet... ĐẦU Mạng Internet phát triển để truyền lưu lượng nội dung lớn Thông thường nội dung lưu trữ nơi truyền truyền lại nhiều lần, qua nhiều nơi, điều dẫn đến lãng phí tài nguyên mạng Internet Mạng hướng