1. Trang chủ
  2. » Luận Văn - Báo Cáo

nghiên cứu hệ thống cụm máy tính xử lý song song rocks và ứng dụng

200 322 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 200
Dung lượng 5,79 MB

Nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Ngọc Linh NGHIÊN CỨU HỆ THỐNG CỤM MÁY TÍNH XỬ LÝ SONG SONG ROCKS VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Ngọc Linh NGHIÊN CỨU HỆ THỐNG CỤM MÁY TÍNH XỬ LÝ SONG SONG ROCKS VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hƣớng dẫn: TS. Nguyễn Trí Thành HÀ NỘI - 2010 LỜI CẢM ƠN Trƣớc hết, tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới Tiến sỹ Nguyễn Trí Thành, ngƣời đã trực tiếp giảng dạy và tận tình giúp đỡ tôi trong quá trình làm khóa luận. Tôi xin chân thành cảm ơn toàn thể các thầy cô giáo trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội đã tận tình chỉ bảo, dạy dỗ tôi trong suốt 4 năm học vừa qua. Tôi xin chân thành cảm ơn thƣ viện Đại học Quốc gia Hà Nội, thƣ viện Hội sinh viên trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội đã giúp đỡ tôi rất nhiều tài liệu quý báu trong quá trình học tập và nghiên cứu. Cuối cùng, tôi xin chân thành cảm ơn gia đình và bạn bè, những ngƣời đã luôn động viên, giúp đỡ tôi trong học tập cũng nhƣ trong cuộc sống. i TÓM TẮT NỘI DUNG Tài liệu này giới thiệu sơ lƣợc về công nghệ xử lý song song nói chung và công nghệ xử lý song song phân cụm nói riêng, sau đó tập trung nghiên cứu một hệ thống cụm máy tính xử lý song song tiêu biểu: Rocks. Các nội dung chính đƣợc trình bày là: Các kiến trúc xử lý song song SISD, SIMD, MISD, MIMD (theo phân loại của Flynn), cùng các hệ thống tính toán đa nhân, các hệ thống đa xử lý đối xứng, các hệ thống tính toán lƣới, tính toán cụm và các hệ thống xử lý song song cực lớn (Chƣơng 2); giới thiệu tổng quan về kiến trúc và thành phần của hệ thống Rocks, hƣớng dẫn cài đặt, nghiên cứu kiến trúc hệ thống và cách quản trị (Chƣơng 3); hƣớng dẫn lập trình MPI căn bản, phƣơng pháp xây dựng ứng dụng MPI để đạt hiệu quả cao, tận dụng đƣợc tài nguyên hệ thống (Chƣơng 4); Chƣơng 5 của khóa luận trình bày chi tiết một ứng dụng xử lý song song tiêu biểu, cùng cách thức thiết lập môi trƣờng và hƣớng dẫn biên dịch. Phần cuối của tài liệu có trình bày 4 phụ lục, xem nhƣ là các nội dung mở rộng cho những phần đã trình bày trong các chƣơng. ii MỤC LỤC LỜI CẢM ƠN i TÓM TẮT NỘI DUNG ii MỤC LỤC iii DANH MỤC BẢNG BIỂU vii DANH MỤC HÌNH VẼ viii CHƢƠNG 1. GIỚI THIỆU 1 CHƢƠNG 2. CÁC KIẾN TRÚC VÀ CÁC HỆ THỐNG XỬ LÝ SONG SONG 4 2. 1. Các kiến trúc xử lý song song 4 2. 1. 1. 2. 1. 2. 2. 1. 3. 2. 1. 4. SISD 6 SIMD 7 MISD 7 MIMD 8 2. 2. Các hệ thống xử lý song song 8 2. 2. 1. 2. 2. 2. 2. 2. 3. Các hệ thống tính toán đa nhân 8 Các hệ thống đa xử lý đối xứng 9 Các hệ thống tính toán phân tán 10 2. 2. 3. 1. 2. 2. 3. 2. 2. 2. 3. 3. Các hệ thống tính toán lƣới 10 Các hệ thống xử lý song song cực lớn 12 Các hệ thống tính toán cụm 12 iii CHƢƠNG 3. HỆ THỐNG ROCKS 16 3. 1. Giới thiệu 16 3. 1. 1. 3. 1. 2. 3. 1. 3. Tổng quan 16 Kiến trúc của HPC Cluster sử dụng Rocks 17 Rocks và Rolls 18 3. 2. Cài đặt 20 3. 2. 1. 3. 2. 2. 3. 2. 3. Cấu hình 20 Cài đặt frontend 20 Cài đặt hàng loạt các compute node 24 3. 3. Kiến trúc hệ thống 25 3. 3. 1. 3. 3. 2. 3. 3. 3. Quy tắc đặt tên của Rocks 25 Về cơ sở dữ liệu cluster 28 Về sơ đồ cơ sở, file cơ sở và quá trình cài đặt một compute node 34 3. 4. Quản trị 39 3. 4. 1. 3. 4. 2. 3. 4. 3. Tổng quan 39 Frontend quản trị cluster nhƣ thế nào? 40 Các tác vụ quản trị cơ bản 43 3. 4. 3. 1. 3. 4. 3. 2. Cài đặt lại một compute node trong lần boot PXE tiếp theo 43 Xem và thay đổi các cấu hình mạng 48 CHƢƠNG 4. LẬP TRÌNH SONG SONG VỚI MPI 50 4. 1. Các mô hình lập trình song song 50 4. 1. 1. 4. 1. 2. Mô hình bộ nhớ chia sẻ 50 Mô hình đa luồng 51 iv 4. 1. 3. 4. 1. 4. Mô hình truyền thông điệp 52 Mô hình song song dữ liệu 53 4 . 2 . Các ƣu điểm của mô hình truyền thông điệp 54 4. 2. 1. 4. 2. 2. 4. 2. 3. 4. 2. 4. Phổ biến 54 Khả năng mô tả 54 Dễ gỡ lỗi hơn 55 Hiệu năng 55 4 . 3 . 4 . 4 . 4 . 5 . 4 . 6 . 4 . 7 . 4 . 8 . 4 . 9. Giới thiệu về MPI 55 Mục tiêu của MPI 56 Các đặc điểm của MPI 56 Khác biệt giữa các bản cài đặt bằng C và C++ của MPI 58 MPI trên Rocks 58 Viết chƣơng trình Hello World 59 Các hàm MPI cơ bản 64 4. 8. 1. 4. 8. 2. 4. 8. 3. 4. 8. 4. Hàm MPI_Init 64 Hàm MPI_Finalize 65 Hàm MPI_Comm_size 65 Hàm MPI_Comm_rank 65 4. 10. 4. 11. 4. 12. 4. 13. Giá trị trả về của các hàm MPI 66 Về các khái niệm Nhóm, Ngữ cảnh và Bộ liên lạc 66 Liên lạc giữa các tiến trình 67 Xây dựng một ứng dụng tự trị 70 v 4. 14. 4. 15. Về mối quan hệ giữa kích thƣớc bài toán và chi phí tính toán 75 Phƣơng hƣớng xây dựng một ứng dụng MPI 77 CHƢƠNG 5. CÀI ĐẶT THỬ NGHIỆM ỨNG DỤNG TRÊN HỆ THỐNG ROCKS 78 5. 1. 5. 2. 5. 3. 5. 4. Thiết lập môi trƣờng 78 Mã nguồn ứng dụng 79 Biên dịch và chạy ứng dụng 86 Kết quả thử nghiệm 86 CHƢƠNG 6. KẾT LUẬN 89 PHỤ LỤC 1. SƠ LƢỢC VỀ CÁCH PHÁT TRIỂN ROLL MỚI 90 PHỤ LỤC 2. LIÊN LẠC GIỮA CÁC TIẾN TRÌNH MPI 99 PHỤ LỤC 3. SỬ DỤNG MPI ĐỂ TÍNH TÍCH PHÂN 102 PHỤ LỤC 4. SỬ DỤNG MPI ĐỂ TÍNH TOÁN SỐ PI 104 TÀI LIỆU THAM KHẢO 109 [...]... tập trung nghiên cứu tổng quan về xử lý song song nói chung và nghiên cứu cách thức cài đặt, quản trị, kiến trúc hệ thống và ứng dụng của hệ thống cụm máy tính xử lý song song Rocks nói riêng Ngoài ra, tài liệu còn đƣợc đi kèm với một số ứng dụng MPI tiêu biểu, trong đó có ứng dụng chuyển đổi video mà nội dung chƣơng 5 chính là mô tả chi tiết 3 CHƢƠNG 2 CÁC KIẾN TRÚC VÀ CÁC HỆ THỐNG XỬ LÝ SONG SONG 2... nhiên, những ứng dụng phổ biến nhất nhƣ các hệ xử lý văn bản hoặc các trò chơi trên máy tính thì lại đƣợc viết theo cách không tận dụng đƣợc lợi thế từ các hệ thống xử lý đồng thời Chẳng hạn, với các trò chơi trên máy tính, nếu nhƣ đƣợc viết để có thể chạy tốt trên các hệ thống SMP, thì lại khiến hiệu năng giảm sút trên các hệ thống đơn vi xử lý (uniprocessor) Các hệ thống đơn vi xử lý và các hệ thống SMP... ứng dụng, đặc biệt là các trình biên dịch và các dự án tính toán phân tán, hiệu năng của ứng dụng đƣợc tăng lên khi thêm mới một bộ xử lý Trong trƣờng hợp có nhiều ứng dụng cùng chạy một lúc, một hệ thống SMP có thể cho hiệu năng tốt hơn một hệ thống đơn vi xử lý, do các ứng dụng có thể đƣợc đồng thời thực thi trên các bộ xử lý một cách đồng thời Các hệ thống tính toán phân tán 2 2 3 Các hệ thống tính. .. trả cho một ngƣời quản trị hệ thống trong một năm [39] Nghiên cứu về xử lý song song vì vậy không chỉ mang ý nghĩa khoa học, mà còn có ý nghĩa thực tiễn rất lớn Việc nghiên cứu về xử lý song song, từ lý thuyết cho đến ứng dụng, không chỉ giúp chúng ta nắm đƣợc nền tảng công nghệ, mà còn giúp chúng ta nhìn thấy tiềm năng to lớn của xử lý song song trong công nghệ nói riêng và các lĩnh vực kinh tế quốc... triển và bảo trì cả 2 phiên bản của cùng 1 ứng dụng Các ứng dụng chạy trên các hệ thống SMP có thể đạt đƣợc hiệu năng cao hơn so với khi chạy trên các hệ thống đơn vi xử lý, ngay cả khi chúng đƣợc viết ra dành cho các hệ thống đơn vi xử lý Nguyên nhân là vì các ngắt phần cứng thƣờng tạm dừng việc thực thi ứng dụng, trong khi ứng dụng có thể tiếp tục đƣợc thực thi trên một bộ xử lý rỗi Đối với một số ứng. .. chứng tỏ xử lý song song chƣa thực sự phát triển mạnh mẽ ở Việt Nam Xét về mặt công nghệ, việc xây dựng, quản trị và ứng dụng một hệ thống xử lý song song cũng không phải dễ dàng Thông thƣờng, chi phí phải trả cho việc quản trị một hệ thống xử lý song song trong 1 năm còn cao hơn nhiều so với chi phí bỏ ra để mua cả hệ thống Ví dụ, một cluster có tốc độ tính toán 1 TeraFlops có chi phí vào khoảng 100... từ 2 bộ xử 9 lý giống nhau trở lên, các bộ xử lý này dùng chung bộ nhớ và hệ thống vào – ra, đồng thời đƣợc điều khiển bởi một hệ điều hành duy nhất Tính đối xứng của các hệ thống SMP thể hiện ở chỗ, thời gian truy cập bộ nhớ là bằng nhau với các bộ xử lý, quyền truy cập (read / write) tới bộ nhớ của các bộ xử lý cũng là nhƣ nhau Các hệ thống SMP có nhiều ứng dụng trong khoa học, công nghiệp và kinh... việc xử lý các tác vụ đồng thời Đó là chƣa kể đến sự phát triển nhanh chóng của công nghệ phần cứng dẫn tới sự lạc hậu nhanh chóng của các kiến trúc xử lý song song Hệ quả gián tiếp của điều này chính là khả năng mở rộng của hệ thống bị giới hạn, do các thuật toán xử lý song song hiện hành có thể không còn phù hợp với các kiế n trúc phần cứng của tƣơng lai Tại Việt Nam, đã có một vài hệ thống xử lý song. .. nhau và sử dụng phần cứng hỗ trợ Hình 10 - MPP Nguồn: [1] Cách đây một vài năm, các siêu máy tính mạnh nhất đều là các hệ thống MPP [30], nhƣ Earth Simulator, Blue Gene, ASCI,… với số bộ xử lý lên tới hàng nghìn [1] 2 2 3 3 Các hệ thống tính toán cụm Cụm (Cluster) là khái niệm dùng để chỉ các máy tính độc lập đƣợc kết nối với nhau thành một hệ thống thống nhất thông qua việc sử dụng các phần mềm và các... song song đƣợc nghiên cứu thành công và đƣa vào ứng dụng, đem lại hiệu quả bƣớc đầu, nhƣ hệ thống máy tính bó song song do CADPRO thiết kế cho Trung tâm Quốc gia dự báo khí tƣợng thủy văn [2], hoặc các trung 2 tâm dữ liệu của FPT Telecom, CMC Telecom, Ngân hàng Sài Gòn Thƣơng tín – Sacombank, Ngân hàng Đông Nam Á [3], … Tuy nhiên, số lƣợng không nhiều các hệ thống xử lý song song kiểu này đã chứng tỏ xử . sơ lƣợc về công nghệ xử lý song song nói chung và công nghệ xử lý song song phân cụm nói riêng, sau đó tập trung nghiên cứu một hệ thống cụm máy tính xử lý song song tiêu biểu: Rocks. Các nội dung. này tập trung nghiên cứu tổng quan về xử lý song song nói chung và nghiên cứu cách thức cài đặt, quản trị, kiến trúc hệ thống và ứng dụng của hệ thống cụm máy tính xử lý song song Rocks nói riêng các hệ thống xử lý song song kiểu này đã chứng tỏ xử lý song song chƣa thực sự phát triển mạnh mẽ ở Việt Nam. Xét về mặt công nghệ, việc xây dựng, quản trị và ứng dụng một hệ thống xử lý song song

Ngày đăng: 24/08/2014, 01:31

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] HTTP:// www.bkav.com.vn/ Khác
[2] HTTP://www.echip.com.vn/ Khác
[3] HTTP://www.hvaonline.net/ Khác
[4] HTTP://www.symantic.com/ Khác
[5] HTTP://virus.com/ Khác

HÌNH ẢNH LIÊN QUAN

Hình 7 – Mô hình bộ xử lý 2 nhân - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 7 – Mô hình bộ xử lý 2 nhân (Trang 25)
Hình 9 – Mô hình lưới tính toán - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 9 – Mô hình lưới tính toán (Trang 27)
Hình 10 - MPP - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 10 MPP (Trang 28)
Hình 12 – Mô hình của HPC Cluster - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 12 – Mô hình của HPC Cluster (Trang 30)
Hình 13 – Rockstar cluster - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 13 – Rockstar cluster (Trang 31)
Hình 14 – Kiến trúc của Rocks - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 14 – Kiến trúc của Rocks (Trang 33)
Hình 15 – Một báo cáo sinh bởi Ganglia - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 15 – Một báo cáo sinh bởi Ganglia (Trang 35)
Hình 16 – Màn hình khởi động - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 16 – Màn hình khởi động (Trang 38)
Hình 18 – Lựa chọn Roll (2) - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 18 – Lựa chọn Roll (2) (Trang 40)
Hình 20 – Lựa chọn appliance type - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 20 – Lựa chọn appliance type (Trang 42)
Hình 21 – Vai trò trung tâm của cơ sở dữ liệu SQL - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 21 – Vai trò trung tâm của cơ sở dữ liệu SQL (Trang 47)
Hình 22 – Thao tác trực tiếp với cơ sở dữ liệu cluster - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 22 – Thao tác trực tiếp với cơ sở dữ liệu cluster (Trang 50)
Hình 23 – Minh họa trực quan một phần của sơ đồ cơ sở - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 23 – Minh họa trực quan một phần của sơ đồ cơ sở (Trang 54)
Hình 24 – Quá trình sinh file cơ sở - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 24 – Quá trình sinh file cơ sở (Trang 55)
Hình 25 – Nhận diện appliance mới - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 25 – Nhận diện appliance mới (Trang 56)
Hình 27 – Đã yêu cầu thành công file cơ sở - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 27 – Đã yêu cầu thành công file cơ sở (Trang 57)
Hình 31 – SSH tới compute-0-0 - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 31 – SSH tới compute-0-0 (Trang 61)
Hình 39 – Xem các cổng ethernet - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 39 – Xem các cổng ethernet (Trang 69)
Hình 40 – Mô hình bộ nhớ chia sẻ - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 40 – Mô hình bộ nhớ chia sẻ (Trang 71)
Hình 41 – Mô hình đa luồng - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 41 – Mô hình đa luồng (Trang 72)
Hình 42 – Mô hình truyền thông điệp - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 42 – Mô hình truyền thông điệp (Trang 73)
Hình 43 – Mô hình song song dữ liệu - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 43 – Mô hình song song dữ liệu (Trang 74)
Hình 45 – Output của chương trình Hello World (1) - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 45 – Output của chương trình Hello World (1) (Trang 84)
Hình 48 – Output của chương trình Hello World (4) - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 48 – Output của chương trình Hello World (4) (Trang 87)
Hình 49 – Trước khi chạy ứng dụng - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 49 – Trước khi chạy ứng dụng (Trang 112)
Hình 50 – Sau khi chạy ứng dụng - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 50 – Sau khi chạy ứng dụng (Trang 113)
Hình 52 – Repository cục bộ - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 52 – Repository cục bộ (Trang 116)
Hình 56 – Minh họa việc liên lạc giữa các tiến trình - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 56 – Minh họa việc liên lạc giữa các tiến trình (Trang 126)
Hình 58 – Tính toán số PI - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 58 – Tính toán số PI (Trang 129)
Hình 1.String của 2 mẫu virus - nghiên cứu hệ thống  cụm máy tính xử lý song song  rocks  và ứng dụng
Hình 1. String của 2 mẫu virus (Trang 188)

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w