Tối ưu hóa năng lượng trong trung tâm dữ liệu sử dụng công nghệ openflow

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG  ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: TỐI ƯU HÓA NĂNG LƯỢNG TRONG TRUNG TÂM DỮ LIỆU SỬ DỤNG CÔNG NGHỆ OPENFLOW Sinh viên thực hiện : NGUYỄN VĂN GIANG Lớp KSTN – ĐTVT – K52 Giảng viên hướng dẫn : PGS. TS NGUYỄN VĂN KHANG Cán bộ phản biện : Hà Nội, 06 – 2012 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang Nguyễn Văn Giang – KSTN – ĐTVT – K52 2 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang LỜI NÓI ĐẦU Ngày nay công nghệ thông tin đang ngày càng phát triển rất mạnh mẽ.Nhu cầu lưu lượng cũng như khối lượng dữ liệu cần được lưu trữ ngày càng tăng. Để có thể đáp ứng điều này các trung tâm dữ liệu đang phải mở rộng cả về kích thước với việc tăng số lượng máy chủ, các thiết bị mạng cũng như quy mô với nhiều trung tâm dữ liệu phân bố khắp thế giới. Với việc mở rộng này, chi phí danh cho việc duy trì hoạt động của các hệ thống trung tâm dữ liệu gia tăng chóng mặt bên cạnh đó là sự ảnh hưởng xấu đến môi trường do lượng khí thải từ sự tiêu thụ năng lượng của các thành phần trong trung tâm dữ liệu. Việc giảm năng lượng tiêu thụ trong các trung tâm dữ liệu không chỉ giảm chi phí hoạt động đem lại lợi ích cho cả nhà đầu tư lẫn người sử dụng mà còn mang lại lợi ích to lớn cho môi trường. Nhiều giải pháp đã được đưa ra để cải thiện hiệu quả hoạt động của các thiết bị phần cứng cũng như các giải pháp quản lý tài nguyên hiệu quả. Các hướng nghiên cứu đáng chú ý gồm có: xây dựng kiến trúc máy chủ thông minh có công suất tiêu thụ tỷ lệ với tải xử lý, hệ thống làm mát thông minh, tối ưu số lượng máy chủ đáp ứng với nhu cầu lưu lượng, di chuyển máy ảo… Tuy nhiên hầu hết các nghiên cứu đã thực hiện chỉ tập trung vào các thành phần làm mát và hệ thống máy chủ việc tối ưu năng lượng hoạt động của thành phần mạng chưa dành được sự quan tâm đúng mức. Trong đề tài nghiên cứu này, tác giả xây dựng một hệ thống quản lý các thiết bị mạng thông minh với mục đích tiết kiệm năng lượng. Đề tài tác giả thực hiện có tên là “Tối ưu hóa năng lượng trong trung tâm dữ liệu sử dụng công nghệ Openflow”.Trong đề tài này tác giả phát triển một hệ thống thông minh linh động duy trì số lượng tối thiểu các thiết bị mạng để đáp ứng với tải dao động trong trung tâm dữ liệu, đồng thời phát triển thuật toán thích ứng trạng thái đường liên kết (Link State Adaptation) cho phép thay mức tốc độ của đường đường liên kết tùy thuộc vào lưu lượng chảy trong mạng. Kết quả thu được cho thấy hệ thống đưa ra có thể tiết kiệm được khoảng 30% - 50% năng lượng tiêu thụ của các thiết bị mạng so với việc để tất cả các thiết bị này ở trạng thái hoạt động liên tục với dung lượng đường liên kết luôn ở mức tối đa. Đây là một kết quả hứa hẹn về tiềm năng phát triển của đề tài.Tác giả hi vọng sẽ phát triển hoàn thiện hơn các giải Nguyễn Văn Giang – KSTN – ĐTVT – K52 3 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang pháp trong đề tài, triển khai trong môi trường Testbed thật từ đó có thể áp dụng trong việc tư vấn thiết kế các mạng trung tâm dữ liệu xanh. Trong quá trình thực hiện đề tài do sự hạn chế về nền tảng kiến thức, kinh nghiệm nghiên cứu, cùng với hạn chế về mặt thời gian nên đồ án không thể tránh khỏi những thiếu sót. Em rất mong thầy cô tham gia đóng góp phê bình để đồ án của em được hoàn thiện hơn. Xin trân trọng cảm ơn trường Đại học Bách khoa Hà Nội, Trung Tâm Đào Tạo Tài Năng, Viện Điện Tử Viễn Thông trong suốt 5 năm qua đã dạy bảo và cung cấp cho em những kiến thức nền tảng rất có ích phục vụ cho quá trình thực hiện đồ án cũng như cuộc sống sau này. Xin chân thành cảm ơn PGS.TS Nguyễn Văn Khang, người đã trực tiếp hướng dẫn em thực hiện đồ án này, cùng PGS.TS Nguyễn Hữu Thanh, TS.Trương Thu Hương đã dìu dắt, giúp đỡ và tận tình chỉ bảo em trong suốt thời gian thực hiện đồ án. Xin cảm ơn tập thể các bạn trong nhóm Green Network, phòng nghiên cứu C9 – 201 đã cùng mình nghiên cứu, chia sẻ trong suốt thời gian qua. Cảm ơn tập thể lớp KSTN – ĐTVT – K52 suốt thời gian học tập cùng các bạn là quãng thời gian không thể nào quên trong cuộc đời của mình. Cuối cùng, xin gửi lời cảm ơn tới gia đình, bố mẹ, anh em, đã là nền tảng, là người luôn theo sát, chăm sóc động viên cho con trong suốt cuộc đời này. Dù bất cứ khi nào, thành quả của con đạt được không thể thiếu công ơn sinh thành và dạy dỗ của gia đình. Hà nội, tháng 06 năm 2012 Sinh viên Nguyễn Văn Giang Nguyễn Văn Giang – KSTN – ĐTVT – K52 4 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang TÓM TẮT ĐỒ ÁN Các trung tâm dữ liệu đang phát triển một cách nhanh chóng và ngày càng được mở rộng để đáp ứng nhu cầu về lưu lượng do sự phát triển rộng rãi không ngừng của mạng Internet. Hệ quả là các trung tâm dữ liệu tiêu thụ một lượng lớn điện năng và thải ra rất nhiều khí thải nhà kính.Điều này trở thành mối quan tâm lớn đối với những người chủ, những nhà quản lý các trung tâm dữ liệu và các nhà hoạch định chính sách.Xu hướng hiện nay là xây dựng các trung tâm dữ liệu xanh với tiêu chí tăng cường hiệu quả sử dụng năng lượng đồng thời giảm thiểu các tác động xấu tới môi trường. Vấn đề này đã thu hút được rất nhiều nghiên cứu bao gồm: thiết kế các hệ thống làm mát thông minh, di chuyển máy ảo, tối ưu năng lượng tiêu thụ bởi các máy chủ và thiết bị mạng Đề tài này tập trung nghiên cứu giải pháp tối ưu năng lượng tiêu thụ bởi các thiết bị mạng bằng việc xây dựng một hệ thống điều khiển thông minh linh động điều chỉnh số lượng các thiết bị mạng hoạt động tỷ lệ với tổng lưu lượng đi qua trung tâm dữ liệu. Bằng cách tắt bật các switch khi lưu lượng thay đổi kết hợp với việc giới hạn mức ngưỡng cho các link theo thuật toán dự đoán trước lưu lượng thực tế, ta có thể tiết kiệm được đáng kể năng lượng tiêu thụ, đồng thời vẫn đảm bảo được độ tin cậy của mạng. Kết quả thu được cho thấy hệ thống đưa ra có thể tiết kiệm được khoảng 30% - 50% năng lượng tiêu thụ của các thiết bị mạng so với việc để tất cả các thiết bị này ở trạng thái hoạt động liên tục với dung lượng đường liên kết luôn ở mức tối đa.Hệ thống đề xuất được đánh giá bằng việc giả lập mạng trung tâm dữ liệu với các kích thước khác nhau trong môi trường Mininet với các switch hỗ trợ công nghệ Openflow và bộ điều khiển NOX. Nguyễn Văn Giang – KSTN – ĐTVT – K52 5 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang ABSTRACT Global data center is growing rapidly to satisfy the tremendous traffic demand driven by the exponential development and popularity of the Internet. Consequently, data centers consume a huge amount of energy and emit a lot of greenhouse gases. This has been a big concern for data center owners and managers and for policy-makers. The societal and technological trends have increased focus on building “green data centers” with the purpose to maximizeenergy efficiency and to minimize negative environmental effects. There are many researches that have addressed these issues including designing smart coolingsystems, migrating VMs across physical machines, optimizing power consumption of servers, optimizing power consumption of network components… This project focuses on optimizing power consumption of network components by designing an intelligent network control system that dynamically adjusts the set of active network elements corresponding to the total traffic going through the data center. By turning ON/OFF network devices incorporating with changing link capacity by using the predictive traffic algorithm. The results of my thesis show that savings of 30 – 50% of the network energy in data center when considering with all network equipments that are active with maximum link capacity. We implemented and evaluated the proposed system on a prototype testbed built with programable Openflow switches controlled by NOX controller on Mininet emulator. Nguyễn Văn Giang – KSTN – ĐTVT – K52 6 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang MỤC LỤC Nguyễn Văn Giang – KSTN – ĐTVT – K52 7 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang Nguyễn Văn Giang – KSTN – ĐTVT – K52 8 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang DANH SÁCH CÁC BẢNG BIỂU Nguyễn Văn Giang – KSTN – ĐTVT – K52 9 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS. TS. Nguyễn Văn Khang DANH SÁCH CÁC TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt VMs Virtual Machines Máy ảo QoS Quality of Service Chất lượng dịch vụ Switch Chuyển mạch Router Bộ định tuyến Core Lõi Aggregation Tích hợp Edge Biên NAT Network Address Translation Chuyển đổi địa chỉ mạng IP Internet Protocol Giao thức Internet SSL Secure Socket Layer VLAN Virtual Local Arena Network Mạng cục bộ ảo TLS Transport Layer Security D-ITG Distributed Internet Traffic Generator Bộ phát lưu lượng ECMP Equal Cost Multi Path Đa đường cân bằng tải MAC Media Access Control Giao thức điều khiển truy nhập PMAC Pseudo Media Address Control Địa chỉ MAC giả IT Information Technology Công nghệ thông tin LSA Link State Adaptation Thích ứng trạng thái đườnglink EWMA Exponential Weighted Moving Average DC Data Center Trung tâm dữ liệu Nguyễn Văn Giang – KSTN – ĐTVT – K52 10 [...]... trung tâm dữ liệu, tầm quan trọng của trung tâm dữ liệu, bên cạnh đó giới thiệu các kiến trúc phổ biến và một số đặc điểm lưu lượng trong mạng trung tâm dữ liệu. Cuối chương đề cập các giải pháp tiết kiệm năng lượng trong trung tâm dữ liệu 1.1 Tầm quan trọng của trung tâm dữ liệu Trung tâm dữ liệu là nơi đặt các hệ thống máy tính lớn và các thành phần liên quan như hệ thống truyền dẫn và hệ thống lưu... tuyến trong mạng trung tâm dữ liệu 1.3 Đặc điểm lưu lượng trong trung tâm dữ liệu Hiện nay đã có một số nghiên cứu về mô hình lưu lượng trong các mạng trung tâm dữ liệu được thực hiện trên một loạt các trung tâm dữ liệu điện toán đám mây, doanh nghiệp và trong trường học [6, 7, 8] Từ các kết quả nghiên cứu này ta có thể rút ra những đặc điểm chung cho lưu lượng trong mạng trung tâm dữ liệu như sau: 1.3.1... có nhiều điểm tương tự với các trung tâm dữ liệu đám mây, nhưng kết quả lại có sự khác biệt Khả năng có thể nghĩ đến chỉ đơn giản là do trong các trung tâm dữ liệu này, việc tối ưu cho các dịch vụ phụ thuộc đã không được tốt như trong trung tâm dữ liệu đám mây 1.3.1.2 Hiệu suất sử dụng link Hiệu suất sử dụng link được đánh giá từ các dữ liệu SNMP:  Hiệu suất sử dụng trong lớp core và aggregation cao... thông minh có công suất tiêu thụ tỷ lệ với tải xử lý, hệ thống làm mát thông minh, tối ưu số lượng máy chủ đáp ứng với nhu cầu lưu lượng, di chuyển máy ảo Trong đề tài nghiên cứu khoa học này, tác giả tập trung vào nghiên cứu giải pháp tiết kiệm năng lượng cho các thành phần mạng trong trung tâm dữ liệu Mục đích chính nghiên cứu của đề tài là tối ưu hóa năng lượng trong trung tâm dữ liệu thông qua... hình lưu lượng trong trung tâm dữ liệu, đặc điểm lưu lượng trong các trung tâm dữ liệu Bước tiếp theo là nghiên cứu các thuật toán tối ưu phù hợp.Cuối cùng đưa ra phương pháp thực hiện là: tiến hành tối ưu hóa đồ hình mạng dựa vào lưu lượng chảy bên trong mạng, sau đó thay đổi dung lượng đường liên kết kết hợp với chuyển các switch không cần thiết sang trạng thái ngủ hoặc tắt để tiết kiệm năng lượng. .. án  Chương 1: Trình bày lý thuyết tổng quan về trung tâm dữ liệu các đặc điểm của lưu lượng, mô hình lưu lượng trong các trung tâm dữ liệu và mô hinh năng lượng tiêu thụ của swich Cuối chương đề cập đến một số phương pháp tiết kiệm năng lượng trong trung tâm dữ liệu  Chương 2: Giới thiệu các công cụ, phần mềm được sử dụng để thực hiện đồ án, chức năng chính và vai trò của chúng  Chương 3: Trình bày... kiệm năng lượng trong trung tâm dữ liệu Các thiết bị mạng tiêu thụ một lượng năng lượng khổng lồ và năng lượng tiêu thụ này hầu như độc lập với lưu lượng thông tin đi qua chúng Để đáp ứng nhu cầu thiết yếu của việc cắt giảm chi phí hoạt động, nghiên cứu các giải pháp tiết kiệm năng lượng tiêu thụ bởi các thiết bị mạng là một bước quan trọng trong tiết kiệm chi phí năng lượng nói chung trong trung tâm dữ. .. lượng trong các trung tâm dữ liệu, chúng ta có thể đưa ra một mô hình lưu lượng phù hợp cho trung tâm dữ liệu Nguyễn Văn Giang – KSTN – ĐTVT – K52 19 ĐỒ ÁN TỐT NGHIỆP | 2012 GVHD: PGS TS Nguyễn Văn Khang vừa và nhỏ Các đặc điểm của mô hình lưu lượng này được trình bày trong bảng sau: Bảng 1.2 Phân bố tiến trình đến trong các loại trung tâm dữ liệu Loại trung tâm Phân phối trong dữ liệu giai đoạn ON Phân... nhiều ứng dụng/ dịch vụ, chính các nhà quản trị đã thực hiện việc đưa các thành phần phụ thuộc vào cùng 1 rack và tạo nên kết quả này  Đối với trung tâm dữ liệu trường đại học và trung tâm dữ liệu doanh nghiệp, ít nhất 50% lưu lượng rời khỏi rack, khác hẳn so với mức 25% của các trung tâm dữ liệu đám mây Những trung tâm dữ liệu này chạy các ứng dụng phục vụ người dùng như dịch vụ Web và server lưu trữ,... link và switch không được sử dụng Chi tiết về cách thực hiện sẽ được trình bày ở các chương sau Hình 1.6 Các phương pháp tiết kiệm năng lượng trong trung tâm dữ liệu 1.6 Kết luận chương Tóm lại trong chương này tác giả đã trình bày về các đặc điểm của một trung tâm dữ liệu, tầm quan trọng của trung tâm dữ liệu trong cuộc sống hiện nay và dẫn ra một số giải pháp tiết kiệm năng lượng nổi bật nhất.Để bắt . tâm dữ liệu. 1.3 Đặc điểm lưu lượng trong trung tâm dữ liệu Hiện nay đã có một số nghiên cứu về mô hình lưu lượng trong các mạng trung tâm dữ liệu được thực hiện trên một loạt các trung tâm dữ. lưu lượng trong trung tâm dữ liệu vừa và nhỏ Sau khi thu thập và phân tích dữ liệu của lưu lượng trong các trung tâm dữ liệu, chúng ta có thể đưa ra một mô hình lưu lượng phù hợp cho trung tâm. của mạng trung tâm dữ liệu đặc biệt là các kiểu kiến trúc nâng cao như Fattree, Elastic Tree, các mô hình lưu lượng trong trung tâm dữ liệu, đặc điểm lưu lượng trong các trung tâm dữ liệu. Bước