Tìm hiểu mô hình Raspberry Pi Cluster

Đại Học Quốc Gia TP.HCM Trường Đại Học Công Nghệ Thông Tin TIỂU LUẬN MÔN HỌC TÍNH TOÁN LƯỚI ĐỀ TÀI: Tìm hiểu mô hình Raspberry Pi Cluster GVHD: PGS.TS. Nguyễn Phi Khứ Người thực hiện: Phạm Vĩnh Thành Mã số: CH1101035 Lớp: Cao học khóa 6 đợt 2 TP.HCM – 2013 Tiểu luận: Tính toán lưới MỤC LỤC  SV: Phạm Vĩnh Thành Trang: 2 Tiểu luận: Tính toán lưới  Chúng em xin chân thành cảm ơn Thầy PGS.TS. Nguyễn Phi Khứ đã truyền đạt những kiến thức quý báu từ những kinh nghiệm sống đến những vấn đề khoa học mới nhất trong bộ môn Tính toán lưới. Trong bài tiểu luận này, em xin trình bày nội dung em đã tìm hiểu về thiết bị Raspberry Pi, thư việc Message Passing Interface (MPI) và xây dựng Raspberry Pi Cluster để nghiên cứu và mô phỏng thuật toán tính số PI trên Raspberry Pi Cluster. Tuy đã có nhiều cố gắng nhưng do hạn chế về kiến thức, thời gian và nguồn tài liệu tham khảo nên các vấn đề nghiên cứu trong tiểu luận chắc chắn còn nhiều thiếu sót. Chân thành cám ơn! Phạm Vĩnh Thành SV: Phạm Vĩnh Thành Trang: 3 Tiểu luận: Tính toán lưới Phần 1: MỞ ĐẦU I. Giới thiệu đề tài 1. Đặt vấn đề Ngày nay, khoa học – kỹ thuật ngày càng phát triển nhanh và mạnh, các bài toán được đặt ra để giải quyết ngày càng phức tạp, tốn nhiều thời gian và chi phí, vượt quá khả năng của một máy tinh thông thường. Để giải quyết những bài toán phức tạp này, các tổ chức đã đầu tư hệ thống siêu máy tính, hay còn được gọi là SuperComputer. Siêu máy tính có cấu hình phần cứng mạnh mẽ để nghiên cứu khoa học, giải quyết các bài toán phức tạp nhanh hơn nhiều so với sử dụng máy để bàn, máy tính xách tay, nhưng chi phí đầu tư của siêu máy tính rất cao, đồng thời, chi phí vận hành, bảo trì cũng rất cao. Tại các trường đại học, việc nghiên cứu khoa học luôn là tiêu chí hàng đầu và liên tục. Ngân sách đầu tư và chi phí vận hành cho hệ thống siêu máy tính để phục vụ cho việc nghiên cứu hạn hẹp, đồng thời, nếu hệ thống siêu máy tính bị trục trặc, việc bảo trì cũng mất rất nhiều thời gian và chi phí. Như vậy, cần phải có giải pháp xây dựng một mô hình Siêu máy tính với chi phí đầu tư ban đầu, chi phí vận hành và chi phí bảo trì thấp để phục vụ cho việc nghiên cứu được diễn ra liên tục và có thể được dùng để dự phòng cho hệ thống Siêu máy tính hiện tại. Các máy tính MiniPC ngày càng nhỏ gọn, năng lượng tiêu thụ thấp, giá thành thấp và đáp ứng đủ nhu cầu sử dụng thông thường. Thậm chí minipc còn được trang bị những tính năng cao cấp hơn cả máy tính để bàn, máy tính xách tay. Vì vậy, minipc dần được thay thế dần máy tính để bàn, máy tính xách tay để tiết kiệm điện năng, chi phí đầu tư, vận hàng, bảo trì. Vì những vấn đề trên, em quyết định tìm hiểu mô hình Raspberry Pi (một loại minipc) Cluster (RPICluster) để giành cho việc nghiên cứu, mô phỏng SV: Phạm Vĩnh Thành Trang: 4 Tiểu luận: Tính toán lưới các ứng dụng tính toán lưới. Mô hình RPICluster đang được sử dụng rộng rãi tại trường Đại học như University of Southampton, Boise State University và một vài trung tâm nghiên cứu như NVidian. 2. Giới thiệu đề tài Với những vấn đề nêu ra ở trên, đề tài “Tìm hiểu mô hình Raspberry Pi Cluster” được em thực hiện với mục đích hỗ trợ cho việc xây dựng mô hình LAB chi phí đầu tư thấp, tiết kiệm điện năng, chi phí bảo trì thấp giành cho việc nghiên cứu, mô phỏng tính toán lưới trên mô hình thực tế gồm nhiều Nút (node). SV: Phạm Vĩnh Thành Trang: 5 Tiểu luận: Tính toán lưới Với chi phí dưới 2000 USD, hệ thống RPICluster có thể lên tới 33 node và năng lượng tiêu thụ cho toàn hệ thống vào khoảng 167 Watt. II. Mục tiêu của đề tài Tóm tắt mục tiêu của đề tài: - Tìm hiểu một số Supercomputer hàng đầu trong website top500.org. - Tìm hiểu thiết bị Raspberry Pi: cài đặt hệ điều hành, vận hành. - Tìm hiểu thư viện MPI (Message Passing Interface). - Tìm hiểu mô hình RPiCluster của trường Đại học Boise State và Đại học Southampton. SV: Phạm Vĩnh Thành Trang: 6 Tiểu luận: Tính toán lưới Phần 2: CƠ SỞ LÝ THUYẾT I. Tìm hiểu thiết bị Raspberry Pi Raspberry Pi – Chiếc máy tính mini bắt đầu được sản xuất bởi Quỹ Raspberry Pi vào cách đây 1,5 năm, tháng 12/2011. Chiếc máy tính này chỉ có kích cỡ bằng một chiếc thẻ tín dụng với đầy đủ các kết nối và tuỳ dung lượng RAM mà người mua lựa chọn. Trong một cuộc phỏng vấn mới đây, người đứng đầu của quỹ này là David Braben cho biết mặc dù có giá rẻ và kích cỡ nhỏ gọn nhưng máy tính của họ hoàn toàn có thể chơi những game như Quake III Arena hay chơi video độ phân giải Full-HD. Trong thời gian đầu, công ty sẽ chỉ cung cấp 10 ngàn máy cho các lập trình viên, bắt đầu từ tháng tới, hầu hết là tại Anh quốc. Raspberry Pi muốn các lập trình viên viết phần mềm, game cho máy cũng như “port” 1 từ các nền tảng khác sang, để sau đó có thể sử dụng cho mục đích giáo dục. Về cấu hình, máy tính của Raspberry Pi sẽ sử dụng BXL 700Mhz, RAM 128MB hoặc 256MB, hỗ trợ thẻ SD và ngõ ra HDMI. Hiện nay Raspberry Pi có 2 phiên bản được bán, trong đó phiên bản B là phiên bản được nhiều người mua nhất vì hỗ trợ đầy đủ các kết nối 1 Port: chuyển đổi phần mềm từ nền tảng hệ điều hành, phần cứng khác sang SV: Phạm Vĩnh Thành Trang: 7 Tiểu luận: Tính toán lưới - Broadcom BCM2835 700MHz ARM1176JZFS processor with FPU and Videocore 4 GPU - GPU provides Open GL ES 2.0, hardware-accelerated OpenVG, and 1080p30 H.264 high-profile decode - GPU is capable of 1Gpixel/s, 1.5Gtexel/s or 24GFLOPs with texture filtering and DMA infrastructure - 512MB RAM - Boots from SD card, running a version of Linux - 10/100 BaseT Ethernet socket Điều đặc biệt RPi rất nhỏ gọn và tiêu tốn điện cực thấp. Bạn có thể chạy RPs chỉ với 2 viên pin tiểu hoặc một nguồn điện 5V. Đây có lẽ là một giải pháp hợp lý cho nhu cầu online 24/24 mà không muốn tiêu tốn quá nhiều điện năng. (Raspberrypi.vn, 12/2012, http://raspberrypi.vn/setup-raspberrypi/gioi- thieu-mini-pc-raspberry-pi-24.pi). Raspberry Pi chạy hệ điều hành (HĐH) dựa trên nhân Linux. Raspbian là một phiên bản dựa trên Debian đã được tối ưu cho phần cứng của Pi là HĐH được Quỹ Raspberry Pi đề nghị sử dụng. Dưới đây là các HĐH đã được Rasp Pi hỗ trợ hoặc đang được cộng đồng thử nghiệm: - AROS - Android 4.0 - Arch Linux ARM - Debian Squeezy - Firefox OS - Gentoo Linux - Google Chromium OS - PiBang Linux - Raspberry Pi Fedora Remix - Raspbian - Slackware ARM - QtonPi - Open WebOS - Plan 9 (Bell Labs) - RISC OS - FreeBSD SV: Phạm Vĩnh Thành Trang: 8 Tiểu luận: Tính toán lưới - NetBSD - Squeezy ARM Puppy - OpenELEC - XBMC - RaspBMC (Embed.vn, 01/2013, http://embed.vn/tin-15-gioi-thieu-ve-raspberry-pi- may-tinh-ti-hon.html) II. Tìm hiểu thư viện MPI MPI viết tắt của Message Passing Interface, một dạng giao thức kết nối của máy tính, là một hệ thống truyền thông điệp được chuẩn hóa và portable 2 được thiết kế bởi một nhóm nhà nghiên cứu từ các học viện và ngành công nghiệp để hoạt động trên nhiều loại máy tính song song. Tập MPI thi hành bao gồm một thư viện các thủ tục sao cho có thể gọi được từ các chương trình Fortran, C, C++ hay Ada. Lợi thế của MPI so với các thư viện cũ là nó vừa thuận tiện (vì MPI thực thi cho hầu hết các kiến trúc bộ nhớ phân phối) vừa nhanh (vì mỗi thủ tục được tối ưu hóa cho phần cứng mà nó đang chạy). MPI không phải là trình biên dịch, và cũng không phải là một sản phẩm, nó là một đặc tả chuẩn cho thư viện chuyển thông điệp. Nó được sử dụng cho các hệ thống PC Cluster, mạng hỗn tạp, được dùng để phát triển thư viện phần mềm song song, truy xuất phần cứng song song. (Giới thiệu PC Cluster, Đỗ Thanh Nghị, cit.ctu.edu.vn) Mục tiêu của giao diện MPI chỉ đơn giản là phát triển một chuẩn được sử dụng rộng rãi để viết các chương trình gửi thông điệp. - Thiết kế một giao diện lập trình ứng dụng (không nhất thiết phải cho các trình biên dịch hoặc một thư viện thực hiện hệ thống). - Cho phép giao tiếp hiệu quả: Tránh sao chép từ bộ nhớ này đến bộ nhớ khác, cho phép chồng chéo tính toán và thông tin liên lạc, và giảm tải cho giao tiếp xử lý đồng thời, nếu có. 2 portable: có thể được chuyển đổi từ một dạng hệ thống máy tính này sang hệ thống khác. SV: Phạm Vĩnh Thành Trang: 9 Tiểu luận: Tính toán lưới - Cho phép triển khai thực trong những môi trường không đồng nhất. - Cho phép kết hợp C và Fortran thuận lợi. - Đưa ra giao diện truyền thông tin cậy: người dùng không cần phải sợ việc rớt kết nối. Kết nối bị rớt này sẽ được thực hiện bởi một hệ thống phụ khác. - Định nghĩa giao diện có thể được thực hiện trên nền tảng của nhiều nhà cung cấp mà không có sự thay đổi đáng kể trong giao tiếp cơ bản và phần mềm hệ thống. - Ngữ nghĩa của giao diện nên là một ngôn ngữ độc lập. - Giao diện nên được thiết kế cho phép các tiểu trình an toàn. (MPI 3.0, MPI Forum, 2012, www.mpi-forum.org) SV: Phạm Vĩnh Thành Trang: 10 [...]... soạn $ sudo mkdir /home/rpimpi/ $ sudo mkdir /home/rpimpi/mpich2-install Tạo thư mục build $ mkdir /home /pi/ mpich_build $ cd /home /pi/ mpich_build Bây giờ chờ cho MPI được build và install $ sudo /home /pi/ mpich2/mpich2-1.4.1p1/configure -prefix=/home/rpimpi/mpich2-install $ sudo make $ sudo make install Tạo biến môi trường trỏ tới thư mục chạy MPI $ export PATH=$PATH:/home/rpimpi/mpich2-install/bin $ nano... mẫu: sử dụng MPI để tính số PI: (trong ví dụ, thư mục con là nơi chứa ví dụ chương trình tính PI (CPI) thông thường) $ cd /home /pi/ mpi_testing $ mpiexec -f machinefile -n 2 ~/mpich_build/examples/cpi Output: Process 0 of 2 is on raspberrypi Process 1 of 2 is on raspberrypi pi is approximately 3.1415926544231318, - Error is 0.0000000008333387 Khi bạn đã tạo được template cho một nút RPiCluster, bạn dùng... your own supercomputer out of Raspberry Pi boards , Steven J Vaughan-Nichols5, 23-05-2013, http://www.zdnet.com/build-yourown-supercomputer-out-of -raspberry- pi- boards-7000015831/) III Cách xây dựng RPiCluster Dựa theo cách xây dựng RPiCluster của trường ĐH Southampton (http://www.southampton.ac.uk/~sjc/raspberrypi /pi_ supercomputer_southampton htm) Có thể sử dụng Raspberry Pi giả lập trên phần mềm ảo... hành cho Raspberry Pi - Tải tập tin ảnh của hệ điều hành Raspbian (img) về máy: - http://www.raspberrypi.org/downloads Sử dụng chương trình New Out of Box Software (NOOBS) (http://downloads.raspberrypi.org/noobs) hoặc bất kì chương - trình nào tương tự để ghi ảnh vào thẻ nhớ Khởi động Pi Cấu hình Raspberry Pi bằng giao diện raspi-config (hiện lên lúc - khởi động lần đầu http://elinux.org/RPi_raspi-config)...Tiểu luận: Tính toán lưới PHẦN 3: TÌM HIỂU MÔ HÌNH RASPBERRY PI CLUSTER I Mô hình RPiCluster của ĐH Southampton Nhóm nghiên cứu, dẫn đầu bởi Giáo sư Simon Cox, bao gồm Richard Boardman, Andy Everett, Steven Johnston, Gereon Khai Bình, Neil O'Brien, Mark Scott... http://westcoastlabs.blogspot.co.uk/2012/06/parallel- processing-on -pi- bramble.html Tạo thư mục để bỏ mã nguồn vào $mkdir /home /pi/ mpich2 $cd /home /pi/ mpich2 Tải mã nguồn MPI từ Argone $ wget http://www.mcs.anl.gov/research/projects/mpich2/do wnloads/tarballs/1.4.1p1/mpich2-1.4.1p1.tar.gz Chú ý: có thể tải bản MPICH2 ổn định mới nhất tại http://www.mpich.org/downloads/ - - - - Giải nén $ tar xfz mpich2-1.4.1p1.tar.gz Chú ý: gói tin... nano ~/.profile thêm thông tin sau vào: # Add MPI to path PATH="$PATH:/home/rpimpi/mpich2-install/bin" Kiểm tra mọi thứ được cài đặt đúng chưa $ which mpicc $ which mpiexec Tạo thư mục để test $ cd ~ $ mkdir mpi_testing $ cd mpi_testing Bây giờ chúng ta có thể kiểm tra MPI hoạt động trên một Nút SV: Phạm Vĩnh Thành Trang: 18 Tiểu luận: Tính toán lưới $ mpiexec -f machinefile -n hostname  machinefile:... Thành Trang: 11 Tiểu luận: Tính toán lưới James Cox nói: "Raspberry Pi rất thú vị và tuyệt vời mà tôi có thể giữ nó trong tay của tôi và viết chương trình máy tính hoặc chơi trò chơi trên đó." (Southampton engineers a Raspberry Pi Supercomputer, 2012, http://www.southampton.ac.uk/mediacentre/features /raspberry_ pi_ supercompute r.shtml) II Mô hình RPiCluster của ĐH Boise State Joshua Kiepert, một sinh viên... mát hệ thống, giúp RPi hoạt động - tốt lúc được ép xung RPi được thiết kế với chip GPU của Nvidia, tìm hiểu cách tận - dụng GPU trong hệ thống RPiCluster Mô phỏng các thuật toán phức tạp khác SV: Phạm Vĩnh Thành Trang: 23 Tiểu luận: Tính toán lưới TÀI LIỆU THAM KHẢO  [1] Bài giảng của Thầy PGS.TS Nguyễn Phi Khứ [2] Joshua Kiepert, 22/May/2013, Creating a Raspberry Pi- Based Beowulf Cluster, Boise State... http://coen.boisestate.edu/ece/files/2013/05/Creating.a .Raspberry. PiBased.Beowulf .Cluster_ v2.pdf > [3] Prof Simon Cox, 09/Jul/2013, Steps to make Raspberry Pi Supercomputer, University of Southampton [pdf] Available at: < http://www.southampton.ac.uk/~sjc/raspberrypi /pi_ supercomputer_southamp ton_web.pdf > [4] Steven J Vaughan-Nichols, 23/May/2013, Build your own supercomputer out of Raspberry Pi boards, Available at: < http://www.zdnet.com/buildyour-own-supercomputer-out-of -raspberry- pi- boards-7000015831/ . trình an toàn. (MPI 3.0, MPI Forum, 2012, www.mpi-forum.org) SV: Phạm Vĩnh Thành Trang: 10 Tiểu luận: Tính toán lưới PHẦN 3: TÌM HIỂU MÔ HÌNH RASPBERRY PI CLUSTER I. Mô hình RPiCluster của ĐH Southampton Nhóm. Tìm hiểu một số Supercomputer hàng đầu trong website top500.org. - Tìm hiểu thiết bị Raspberry Pi: cài đặt hệ điều hành, vận hành. - Tìm hiểu thư viện MPI (Message Passing Interface). - Tìm hiểu. mkdir /home/rpimpi/mpich2-install - Tạo thư mục build $ mkdir /home /pi/ mpich_build $ cd /home /pi/ mpich_build - Bây giờ chờ cho MPI được build và install $ sudo /home /pi/ mpich2/mpich2-1.4.1p1/configure -prefix=/home/rpimpi/mpich2-install $