Tìm hiểu và triển khai giải pháp cân bằng tải cho webserver

TRƯỜNG ĐẠI HỌC VINH 004.2 KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Tên đồ án: TÌM HIỂU VÀ TRIỂN KHAI GIẢI PHÁP CÂN BẰNG TẢI TRÊN WEB SERVER Sinh viên thực hiện: NGUYỄN VĂN DŨNG – 1051070458 Lớp: 51K1 - CNTT Giáo viên hướng dẫn: ThS VŨ CHÍ CƢỜNG Nghệ An, tháng 12 năm 2014 ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN MỤC LỤC LỜI CẢM ƠN LỜI MỞ ĐẦU CHƢƠNG I TỔNG QUAN VỀ CÂN BẰNG TẢI .6 1.KHÁI NIỆM CÂN BẰNG TẢI .6 2.CHỨC NĂNG VÀ ƢU ĐIỂM CỦA CÂN BẰNG TẢI .6 2.1 Các chức hệ thống cân tải 2.2 Ưu điểm hệ thống cân tải 2.3 Những tổ chức cần có giải pháp cân tải CÁC KỸ THẬT CÂN BẰNG TẢI 3.1 Kỹ thuật cân tải server (Server Load Balancing - SLB) 3.2 Cân tải cho server toàn cầu (GSLB) 11 3.3 Cân tải sử dụng phần cứng phần mềm 15 4.CÁC THUẬT TOÁN CÂN BẰNG TẢI .18 4.1 Thuật toán ngẫu nhiên (random) .18 4.2 Thuật toán Round Robin (RR) 19 4.3 Thuật toán Weighted Round Robin (Ratio) 20 4.4 Thuật toán Dynamic Round Robin – DRR (Dynamic Ratio) 21 4.5 Thuật toán Fastest 22 4.6 Thuật toán Least Connections (LC) 23 4.7 Thuật toán Observed 24 4.8 Thuật toán Predictive .25 SO SÁNH, ĐÁNH GIÁ CÁC THUẬT TOÁN 25 CHƢƠNG II : XÂY DỰNG MƠ HÌNH HỆ THỐNG LOAD BALANCING CHO WEB SERVER .27 MƠ HÌNH TỔNG QUAN 27 1.1.Sơ đồ logic .27 1.2.Mô tả hoạt động .27 1.3.Các thiết bị sử dụng 27 TRIỂN KHAI .28 Nguyễn Văn Dũng 51K-CNTT Page ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THƠNG TIN 2.1 Cấu hình Cluster cho WebServer 28 2.2 Thiết lập Secondary Domain Controller 28 2.3 Cài đặt File Server, Distributed File System Server Server 28 2.4 Cấu hình DFS Namespaces DFS Replication Server .28 2.5 Testing 28 2.6 Tiến hành đồng hóa Replication sql 2008 29 2.7 Tiến hành cài đặt Web Server cho Server 30 2.8 Triển khai Load Balancing CENTOS .31 PHỤ LỤC .37 1) Nâng Server lên thành Domain Controller 37 2) Thiết lập Secondary Domain Controller .40 3) Cài đặt File Server, Distributed File System Server Server 44 4) Cấu hình DFS Namespaces DFS Replication Server 45 5) Cấu hình REPLICATION SQL2008 .53 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 Nguyễn Văn Dũng 51K-CNTT Page ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN LỜI CẢM ƠN -00 -Để hoàn thành đề tài nổ lực cố gắng thân, em nhận giúp đỡ nhiệt tình thầy giáo, giáo, gia đình bạn bè Em xin bày tỏ lời cảm ơn sâu sắc tới ThS.Vũ Chí Cƣờng người tận tình hướng dẫn,giúp đỡ bảo suốt trình thực đề tài Em xin chân thành cảm ơn thầy giáo, cô giáo tổ mạng máy tính khoa CNTT Trường Đại học Vinh Mặc dù cố gắng tiếp thu ý kiến thầy giáo, cô giáo hướng dẫn nổ lực nghiên cứu, song đề tài chắn tránh khỏi sai sót.Vì vậy, mong góp ý thầy giáo, giáo bạn để em có nhìn sâu sắc vấn đề nghiên cứu, hoàn thiện đề tài đạt chất lượng cao Em xin chân thành cảm ơn! Vinh,tháng 12 năm 2014 Sinh viên Nguyễn Văn Dũng Nguyễn Văn Dũng 51K-CNTT Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN LỜI MỞ ĐẦU 1.Lý chọn đề tài Ngày nay, với phát triển dịch vụ web, số lượng website ngày nhiều đem đến cho người dùng nhiều lựa chọn Để tồn phát triển, website tổ chức, doanh nghiệp phải giữ người dùng tăng thêm số lượng người dùng Để làm điều này, doanh nghiệp phải đảm bảo cho hệ thống hoạt động tốt phục vụ nhu cầu người dùng truy cập với số lượng lớn, yêu cầu lắp đặt thêm nhiều server yêu cầu cân tải cho server thực nhu cầu cấp thiết Đứng trước cạnh tranh giá thành, việc phát triển xây dựng phương pháp cân tải trở nên vô hữu ích Từ thực tế em định chọn đề tài “Tìm hiểu triển khai giải pháp Cân Bằng Tải cho Webserver ” nhằm tìm hiểu nguyên lý hoạt động thuật toán cân tải để xây dựng tảng vững vấn đề cân tải cho webserver, từ góp phần thúc đẩy trình xây dựng nên cân tải hoạt động hiệu có khả đáp ứng nhu cầu cho webserver thúc đẩy trình xây dựng nên cân tải hoạt động hiệu quả, có khả đáp ứng nhu cầu webserver 2.Đối nghiên cứu tƣợng khách thể - Tìm hiểu kỹ thuật cân tải cho web server - Tìm hiểu thuật tốn cân tải - Triển khai cài đặt hệ thống web server thực cân tải hệ thống 3.Mục đích nghiên cứu - Giải thích kỹ thuật cân tải Webserver - Phân tích thuật tốn cân tải cho Webserver - Cài đặt hệ thống Webserver - Triển khai cài đặt hệ thống cân tải cho Webserver Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN 4.Nội dung thực - Tìm hiểu khái niệm Load Balancing - Tìm hiểu kỹ thuật cân tải webserver - Tìm hiểu thuật tốn cân tải - Triển khai cài đặt hệ thống webserver - Triển khai thực đồng liệu webserver - Cài đặt hệ thống cân tải cho webserver 5.Phƣơng pháp tiếp cận - Cách tiếp cận: Nghiên cứu kỹ thuật cân tải tảng công nghệ khác Windows, Linux - Sử dụng phương pháp nghiên cứu:  Phương pháp lý luận: Tham khảo tài liệu sách báo, mạng internet, đặc biệt diễn đàn công nghệ, đọc dịch tài liệu tiếng anh xử lý thông tin  Phương pháp thực nghiệm: Dựa vào lý thuyết để áp dụng vào triển khai xây dựng hệ thống đánh giá kết thực nghiệm nhiều lần nhằm xây dựng hệ thống đáp ứng yêu cầu hiệu  Phương pháp chuyên gia: Nhờ giúp đỡ thầy giáo có kiến thức chun mơn để nhận xét, đánh giá, đóng góp ý kiến cho đề tài hoàn thiện Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN CHƢƠNG I TỔNG QUAN VỀ CÂN BẰNG TẢI 1.KHÁI NIỆM CÂN BẰNG TẢI Cân tải phương pháp phân phối khối lượng tải nhiều máy tính cụm máy tính để sử dụng tối ưu nguồn lực, tối đa hóa thơng lượng, giảm thời gian đáp ứng tránh tình trạng tải máy chủ Sử dụng nhiều dịch vụ với cân tải thay dịch vụ làm tăng độ tin cậy thơng qua máy dự phịng Trong đó, cân tải mạng kỹ thuật nhằm mở rộng hiệu máy chủ ứng dụng, chẳng hạn máy chủ Web, nhờ phân phối yêu cầu máy khách cho máy chủ nhóm Khi đó, máy chủ nhận gói IP đến gói xử lý máy chủ định Các máy chủ nhóm đồng thời đáp ứng yêu cầu khác máy trạm Với kỹ thuật cần tải, trình xử lý thời gian đáp ứng yêu cầu máy trạm nhanh nhiều 2.CHỨC NĂNG VÀ ƢU ĐIỂM CỦA CÂN BẰNG TẢI Ngày nay, mạng máy tính đóng vai trị ngày quan trọng hoạt động doanh nghiệp, tổ chức cơng ty lớn, mạng máy tính có vị trí quan trọng việc điều khiển hoạt động toàn doanh nghiệp Sự ngừng hoạt động mạng máy tính hay hoạt động hiệu mạng máy tính doanh nghiệp làm gián đoạn, ảnh hưởng đến hoạt động phát triển doanh nghiệp thiệt hại khó lường trước Nhất công ty cần phải giao dịch liên tục, trao đổi thơng tin nhanh chóng với khách hàng truy cập Vấn đề đặt cần có giải pháp để đảm bảo cho hệ thống hoạt động tốt có cố xảy máy chủ Việc lựa chọn server đơn lẻ có cấu hình cực mạnh để đáp ứng nhu cầu kéo theo chi phí đầu tư lớn giải vấn đề đặt tổ chức Giải pháp hiệu đưa sử dụng nhóm server thực chức điều khiển công cụ phân phối tải, giải pháp cân tải cho máy chủ Có nhiều hãng đưa giải pháp cân tải thiết bị mạng Cisco, Coyote Point, Sun Microsystem… với nhiều tính phong phú Tuy nhiên, nguyên tắc cân tải xuất phát từ quan điểm kỹ thuật tương đồng Do vậy, Load Balancing không làm nhiệm vụ phân phối tải cho server mà cung cấp chế đảm bảo hệ thống server khả dụng trước client Server Load Balancing khơng có u cầu đặc biệt phần cứng, máy tính hợp chuẩn sử dụng làm server Chi phí triển khai nhờ mà giảm đáng kể Kiến trúc phần mềm phân tán SLB cho phép cung cấp hiệu tính khả dụng kỹ thuật mức cao Mơ hình so sánh hệ thống cân tải hệ thống thông thường: Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN Hình 2: Mơ hình so sánh hệ thống cân tải hệ thống thông thường 2.1 Các chức hệ thống cân tải  Chặn lưu lượng mạng (như lưu lượng web) đến trang web Bản thân thiết bị cân tải Proxy hay Firewall tầng ứng dụng (Application Layer), đối tượng nhận yêu cầu trước chia tải nên chức coi thiết yếu hệ thống cân tải  Tách lưu lượng thành yêu cầu riêng biệt định máy chủ nhận yêu cầu đó, chức quan trọng cân tải tùy vào thuật toán khác mà có cách thức khác để phân chia tải vào máy chủ  Duy trì chế máy chủ sẵn sàng, hệ thống cân tải máy chủ ln ln phải có liên lạc với để biết máy chủ có hoạt động hay khơng  Cung cấp khả dự phòng cách sử dụng nhiều kịch fail-over  Cung cấp khả nhận thức nội dung phân tán cách đọc URL, chặn cookie biên dịch, coi tiêu chí chia tải hệ thống cân tải  Chuyển mạch cache suốt (transparent cache switching): giúp chuyển hướng lưu lượng cách “trong suốt” đến caches, góp phần tăng thời gian đáp ứng hiệu hệ thống Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN 2.2 Ƣu điểm hệ thống cân tải  Tính mở rộng: thêm bỏ bớt server cách dễ dàng  Tính sãn sàng cao hệ thống dùng nhiều Server, bảo dưỡng hệ thống server mà không cần tắt dịch vụ  Tăng tính bảo mật cho hệ thống mạng người dùng tương tác gián tiếp với server cung cấp dịch vụ  Có thể tách ứng dụng khỏi server  Làm việc với nhiều hệ điều hành, hiệu suất cao  Server nhóm lại thực đa nhiệm vụ tốt  Tất server hoạt động công suất tình trạng server làm việc q tải server khác lại “nhàn rỗi” 2.3 Những tổ chức cần có giải pháp cân tải  Các doanh nghiệp, tổ chức có quy mơ lớn  Nhà cung cấp dịch vụ ISP  Trung tâm xử lý liệu  Chính phủ  Phịng thí nghiệm  Trường đại học, viện nghiên cứu … Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN CÁC KỸ THẬT CÂN BẰNG TẢI Cân tải webserver phần quan trọng quy trình xây dựng website theo kiến trúc mở rộng Một trang web cân tốt tránh tình trạng tắc nghẽn server, trả yêu cầu người dùng khoảng thời gian ngắn Có nhiều kỹ thuật để thực cân tải cho server quan trọng cân tải server thiết kế xây dựng cân tải Bộ cân tải đứng trước cluster server, nhận yêu cầu từ người dùng sau phân tải vào server cluster cách phù hợp 3.1 Kỹ thuật cân tải server (Server Load Balancing - SLB) Bộ cân tải có nhiệm vụ kết nối người dùng server, hoạt động proxy gateway Một proxy có nhiệm vụ luân chuyển yêu cầu liệu đáp trả người dùng server, gateway có nhiệm vụ tạo kết nối hai đối tượng khơng làm thêm Có thể sử dụng phần cứng phần mềm cài đặt thêm front server web server Thêm nữa, số lượng người dùng tăng lên, để tránh điểm lỗi cần phải cài đặt cân tải song song, hoạt động theo chế active-active active-backup Các phần mềm cân tải thường cài đặt proxy Để xây dựng cân tải phần mềm, kỹ thuật cần phải trọng kiểm tra trạng thái server, lựa chọn server tốt để gửi yêu cầu kỹ thuật trì kết nối người dùng với server suốt phiên làm việc họ a.Kiểm tra trạng thái server Để chọn server phù hợp để gửi request, cân tải cần phải biết server có sẵn Vì vậy, cần phải dùng biện pháp để kiểm tra trạng thái server, chẳng hạn gửi lệnh ping, yêu cầu, thử kết nối hay phương pháp mà người quản trị dùng Kỹ thuật kiểm tra thường gọi “health checks” Một server bị down trả lời lệnh ping trả lời kết nối TCP, server bị treo có khả trả lời kết nối TCP trả lời yêu cầu HTTP Khi ứng dụng web nhiều lớp kích hoạt, số yêu cầu HTTP trả lời số khác thất bại Chính thế, việc lựa chọn phương pháp test phù hợp chấp nhận ứng dụng web cân tải cơng việc khó khăn Một số test đơi cần phải truy xuất liệu database nhằm đảm bảo tồn q trình Hạn chế lớn phương pháp kiểm tra chiếm tài nguyên hệ thống CPU, threads, Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 2.7 Chọn DNS chọn next  Bấm Yes, hộp thoại Install from media ta chọn vào ô Replicate data over the network from an existing domain controller  Hộp thoại Source domain controller, ta chọn vào ô Use this specific domain controller chọn domain Next Hình 2.8 Thiết lập mật  Nhập mật nhấn Next  Nhấn Next  Chờ lát cho q trình cài đặt hồn tất khởi động lại server Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 43 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN Hình 2.9 Chờ lên domain xong reset 3) Cài đặt File Server, Distributed File System Server Server  Trên Server ta vào Server Manager để Add Role File Services Hình 3.1 Tiến hành cài file server  Nhấn Next  Chọn cài đặt Distributed File System gồm DFS Namespaces DFS Replication Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 44 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 3.2 Chọn Distributed File System  Chúng ta tiến hành thiết lập sau Vì chọn Create a namespace later using DFS Managemnet snap-in in Server Manager  Bấm Install Hình 3.3 Chọn install close  Cài đặt xong, ta Close 4) Cấu hình DFS Namespaces DFS Replication Server  Bung Role > File Services > DFS Managemet  Nhấn phải chuột vào Namespaces chọn New Namespace Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 45 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 3.4 Thiết lập DFS Namespaces  Hộp thọai ra, ta nhấn Browser add vào Server  Hộp thoại kế tiếp, Namespace name and setting : khai báo tên folder chứa liệu public hệ thống cho user truy cập lấy tài nguyên lưu trữ liệu…Sau chọn mục Edit Setting… Hình 3.5 Tạo thư mục đồng  Chọn Use custom permission > Customize  Cho Everyone quyền Full Controll Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 46 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 3.6 Tiến hành phân quyền cho file  Trở hộp thoại Namespace name and setting chọn Next  Chọn CREATE  Tạo Namespace thành cơng, ta nhấn Close Hình 3.7 Chọn namespace Server  Tiếp tục, ta nhấn chuột phải lên Namespace vừa tạo chọn Add Namespace Server  Nhấn Edit Settings  Chọn User custom permissions > Customize Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 47 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 3.8 Add thư mục phân quyền  Cho Everyone quyền Full Control  Nhấn Ok > OK đợi lát để hệ thống kiểm tra Nếu thành cơng, ta có kết hình Hình 3.9 Kết  Tiếp tục, ta nhấn phải chuột lên Replication chọn New Replication Group  Hộp thoại Replication Group Type, ta đánh dấu chọn Multipurpose replication group lick next  Nhập tên Relication nhấn Next Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 48 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THƠNG TIN Hình 3.10 Tiến hành add server  Click Add thêm vào thành viên Server Server  Hộp thoại Topology Selection, ta chọn Full Mesh click Next Hình 3.11 Chọn full mesh next  Hộp thoại Replication Group Schedule and Bandwidth:  Bạn lựa chọn băng thơng máy server đồng liệu (replication) lập lịch replication  Chọn Replicate continuously using the specified bandwidth: Full (cho phép đồng liệu 24h ngày ngày tuần với băng thông Full)  Chọn server làm Primary Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 49 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN Hình 3.12 Chọn server làm primary add folder  Hộp thoại Folder to Replicate ra, ta chọn ADD chọn tới thư mục gốc chứa thư mục Replicate  Chọn Custom permission > Edit Permissions Hình 3.13 Tiến hành thêm Domain Users Creator Owner  Thêm vào User Domain Users Creator Owner Ta tiến hành phân quyền cho Domain Users quyền đọc ghi, Creator Owner quyền Full Controll  Trở lại cửa sổ Folder To Replicate chọn Next Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 50 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THƠNG TIN Hình 3.14 Chọn Server nhấn Edit  Chọn thành viên Server 2và nhấn Edit  Chọn Enable > Cho biết đường dẫn chứa thư mục gốc replicate Folder > OK Hình 3.15 Chọn đường dẫn chứa thư mục đồng  Trở lại cửa sổ Local Path of DFSRoots on Other Members chọn Next  Nếu cài đặt thành công có kết hình Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 51 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THƠNG TIN Hình 3.16 Kết thành cơng  Cửa sổ Confirmation bảo đảm Success ra, ta chọn Close  Kết cấu hình Hình 3.15 Kết vừa cấu hình Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 52 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN 5) Cấu hình REPLICATION SQL2008 Hình 5.1 Chọn thư mục cần đồng  Vào sql click chuột phải vào New Publication chọn Next  Trong bảng New Publication chọn thư mục cần đồng Hình 5.2 Chọn cách đồng ,nhập tên pass  Chọn giải pháp đồng chiều đăng nhập Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 53 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CƠNG NGHỆ THƠNG TIN Hình 5.3 Tạo thư mục test để đồng  Tạo thư mục cần Replication chờ hồn thàn Hình 5.4 Add web2 để đồng  Trong thư mục test Add sql Web2 chọn thư mục cần chuyển dự liệu Hình 5.5 Nhập tên,mật web2 chọn cách đồng Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 54 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN  Đăng nhập tài khoản cho dự liệu đồng liên tục Hình 5.6 Chọn liệu đồng liên tục Hình 5.7 Kết test server Hình 5.8 Kết test server Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 55 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ SƯ CÔNG NGHỆ THÔNG TIN KẾT LUẬN Kết đạt đƣợc Đồ án đưa mơ hình website với khả mở rộng, từ nhấn mạnh tầm quan trọng việc cân tải cho webserver toàn hệ thống Sử dụng phép so sánh hiệu giá thành để xác định mô hình cần dùng cho website lớn sử dụng nhiều webserver nhỏ, đồng thời sử dụng cân tải để phân tải cho webserver Đồ án đưa thiết kế cân tải, cân tải cho server Đã trình bày thuật tốn cân tải sử dụng số sản phẩm cân tải công ty lớn giới, chia làm hai nhánh thuật toán tĩnh thuật toán động Với đề tài em xây dựng hệ thống cân tải hoạt động tốt kiểm tra trạng thái server, nhằm đảm bảo không chuyển yêu cầu người dùng đến server khơng cịn hoạt động Có thể phân chia lượng tải cho web server cách hiệu Bộ cân tải đáp ứng vấn đề trì session cho người sử dụng Ngồi ra, hệ thống cịn có khả mở rộng thêm nhiều server mà không làm ảnh hưởng tới hoạt động hệ thống, với khả dự phòng linh hoạt đồng database server có thay đổi liệu Hạn chế hƣớng phát triển Hệ thống cân tải cho máy chủ Web Server đáp ứng khả phân chia lượng tải đến server hiệu chưa cao Hệ thống cân tải ứng dụng cho server hệ thống mạng doanh nghiệp chưa thực cân tải server đặt vị trí cách xa hệ thống mạng lớn (tức chưa thực cân tải cho server toàn cầu) Bộ cân tải xây dựng chưa đáp ứng yêu cầu liên lạc server xa mang tính global với mà thực hệ thống cân tải có mối liên hệ server với cân tải nội doanh nghiệp Do thời gian nguồn lực kiến thức có hạn nên đồ án chưa thực việc cân tải với tất thuật toán cân tải, vấn đề hạn chế em xin khắc phục sau Hướng phát triển em tương lai ứng dụng cân tải vào thực tế để nghiên cứu sâu hiệu hoạt động kỹ thuật cân tải, xây dựng hệ thống cân tải cho server đặt vị trí cách xa cho hệ thống mạng lớn Nguyễn Văn Dũng 51K-CNTT Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn Page 56 C.33.44.55.54.78.65.5.43.22.2.4 22.Tai lieu Luan 66.55.77.99 van Luan an.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.22 Do an.Tai lieu Luan van Luan an Do an.Tai lieu Luan van Luan an Do an Stt.010.Mssv.BKD002ac.email.ninhd 77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77t@edu.gmail.com.vn.bkc19134.hmu.edu.vn.Stt.010.Mssv.BKD002ac.email.ninhddtt@edu.gmail.com.vn.bkc19134.hmu.edu.vn