6. Bố cục của luận án
1.5Tổng quan về các nghiên cứu liên quan
Các hệ thống tính toán song song ngày nay đều dựa trên các kiến trúc đa xử lý, chip đa lõi. Công nghệ chip nhiều lõi xử lý được sử dụng làm các nút xử lý trong các hệ thống tính toán song song là xu hướng chính hiện nay trong các thiết kế các máy tính hiệu năng cao và siêu máy tính. Theo luật Amdahl [92], mức tăng tốc lý tưởng chỉ phụ thuộc tuyến tính vào số bộ xử lý. Nhưng, thực tế, với những thuật toán song song tốt nhất cũng không thể bỏ qua các tiến trình truyền thông giữa các bộ xử lý để trao đổi các kết quả dữ liệu trung gian. Càng nhiều nút xử lý, càng nhiều tiến trình truyền thông giữa các nút xử lý, không gian mạng liên kết truyền thông càng rộng thì trễ truyền thông sẽ càng tăng. Do đó, mục tiêu của nhiều nghiên cứu ngày nay tập trung vào các giải pháp tăng hiệu năng nhờ tăng tốc độ tính toán với việc giảm trễ truyền thông của các hệ thống tính toán song song đa xử lý.
Về tình hình nghiên cứu ngoài nước, có rất nhiều các nghiên cứu về phân tích hiệu năng của các kiến trúc và hệ thống tính toán song song. El-Rewini và các cộng sự [30] đề cập khá đầy đủ các khía cạnh liên quan đến phần cứng và phần mềm trong tính toán song song, như: mô hình tính toán song song; các mạng kết nối được sử dụng trong kiến trúc tính toán song song; phân tích hiệu năng đối với kiến trúc đa xử lý (Multi Processors); mô hình kiến trúc chia sẻ bộ nhớ, mô hình truyền thông
22
điệp; đo hiệu năng. Trễ truyền thông cũng được El-Rewini và các cộng sự đề cập đến khi áp dụng luật Amdahl để tính mức tăng tốc, cụ thể trễ được tác giả đưa vào công thức Amdahl để tính mức tăng tốc như sau:
( ) (1.4)
Trong đó: p là số bộ xử lý, α là phần trăm công việc phải thực hiện tuần tự và T1
là thời gian hoàn thành công việc trên một bộ xử lý hay T1 còn được gọi là thời gian xử lý trên hệ thống tính toán tuần tự. Tuy nhiên, đại lượng Toverhead trong các nghiên cứu chưa được các tác giả chỉ ra là tính như thế nào và phương pháp tính là gì, bởi đại lượng này hoàn toàn phụ thuộc vào cấu trúc mạng, công nghệ mạng cụ thể và bài toán cụ thể.
Chugh và các cộng sự [19] sử dụng mô hình hàng đợi và mạng hàng đợi (gồm cả mô hình mạng hàng đợi nhiều lớp) để phân tích hiệu năng tương ứng với các giải thuật giá trịnh trung bình (Mean Valued Algorithm-MVA) khác nhau được sử dụng. Paul Beekhuizen đề cập đến các loại mạng sử dụng trong các chip đa lõi và phân tích hiệu năng của các mạng trên chip này [75]. Fashanu và các cộng sự [31] cung cấp các lý thuyết cơ bản về phân tích hiệu năng của kiến trúc đa lõi và áp dụng luật Amdahl, luật Gustafson trong việc đo mức tăng tốc, trong đó đã đề cập đến thời gian trễ (Overhead time-Ot) trong công thức tính mức tăng tốc. Các nghiên cứu ngoài nước về hiệu năng của tính toán song song tập trung ở các giải pháp sau đây: 1) Nghiên cứu các thuật toán song song cho các ứng dụng riêng biệt, các tính toán
ma trận trên một số kiến trúc hệ thống tính toán đa xử lý, đặc biệt sử dụng kiến trúc có sử dụng bộ tăng tốc đồ họa [78, 87, 21, 31, 18, 41, 83].
2) Nghiên cứu các cấu hình và công nghệ truyền dẫn mới (công nghệ Infiniband) của mạng liên kết đa xử lý trong hệ thống nhiều máy, nhiều chip đa xử lý (multiprocessor interconnect) và trong chip đa xử lý (on chip interconnect) [9, 37, 15, 70, 16, 64, 24, 62, 55, 69, 77, 102].
3) Nghiên cứu giao thức MPI trên các hệ thống tính toán song song [16, 39].
4) Thiết kế các kiến trúc hệ thống tính toán song song hiệu năng cao và chi phí thấp như kiến trúc cụm các máy tính, các hệ thống siêu máy tính lớn sử dụng chip vi xử lý nhiều lõi, các đồng xử lý tăng tốc đồ họa của Nvidia [27, 67, 101].
Các tác giả trong [67] nghiên cứu ảnh hưởng của trễ truyền thông và băng thông đến hiệu năng của kiến trúc tính toán song song ghép cụm và đề xuất một số phương pháp nhằm cải tiến hiệu năng của hệ thống này thông qua quan sát thực nghiệm. Các kết quả nghiên cứu và thực nghiệm trong bài báo đã chứng minh sự ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống. Tuy nhiên, nghiên cứu mới chỉ đề cập một cách chung chung về trễ truyền thông mà chưa đề cập cụ thể đến sự ảnh hưởng của các loại kết nối mạng được sử dụng trong các đánh giá đó.
Trong [47], các tác giả đã tính toán và đưa ra các công thức về mức tăng tốc và tính hiệu quả. Các công thức này đều được giả thiết là không tính đến độ trễ do truyền thông và các chi phí phát sinh khác của hệ thống. Công thức mức tăng tốc (giả thiết số đơn vị xử lý không bị giới hạn) khi đó được tác giả tính toán như sau:
23
∑∑
∑
∑ (1.5) Với Wi là khối lượng công việc được thực thi với mức độ song song là I, m là mức độ song song tối đa trong toàn bộ quá trình thực hiện.
Nếu có tính đến trễ truyền thông thì công thức mức tăng tốc được Tác giả tính toán là:
∑
∑
(1.6)
Với Q(n) là tổng các trễ. Đại lượng này được tác giả đưa vào công thức mức tăng tốc nhưng không chỉ ra cách tính toán nó cụ thể như thế nào.
Một số nghiên cứu sử dụng đến các công cụ mô phỏng để phân tích và đánh giá hiệu năng (Như mạng Petri, mạng hàng đợi và chuỗi Markov, OPNet++) nhưng vẫn chưa đầy đủ, đặc biệt là sử dụng các mô hình có tính thời gian và dữ liệu. Các phân tích này cũng ít so sánh về tính đặc trưng. Tiêu biểu như [13] đã chỉ ra trễ trong công thức Amdahl, tuy nhiên lại không tính toán hay đưa ra công thức cụ thể, mà chỉ nói rằng trễ đó ảnh hưởng bởi quá trình đồng bộ, truyền thông giữa các vi xử lý và các vấn đề khác.
Về các nghiên cứu ở trong nước, theo tìm hiểu của tác giả thì các kết quả nghiên cứu về phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống tính toán song song trên các tạp chí, hội thảo hiện nay còn khá khiêm tốn. Có thể lý giải điều này là bởi các trung tâm tính toán hiệu năng cao phục vụ cho thử nghiệm chưa được đầu tư đúng mức hoặc mới chỉ ở giai đoạn đầu tư nghiên cứu ban đầu. Một số trung tâm tính toán hiệu năng cao như của Trường Đại học Bách Khoa Hà Nội (Thành lập năm 2001), Đại học Quốc gia Hà nội (Năm 2005), Đại học Quốc gia TP.Hồ Chí Minh (Năm 2012), Viện hàn lâm khoa học và công nghệ Việt nam (Viện HLKH&CNVN) (Năm 2013)... được hình thành với hạ tầng phần cứng chủ yếu nhập sẵn và được tài trợ hoặc mua từ nước ngoài. Riêng đối với Trung tâm Tin học và tính toán thuộc Viện HLKH&CNVN đã triển khai hệ thống tính toán song song rất mạnh với 24 nút tính toán, mỗi nút này có 24 bộ xử lý trung tâm, trong đó 4 nút có tích hợp bộ xử lý đồ họa (GPU) Tesla K20M. Tốc độ tính toán của toàn hệ thống đã đạt đến 4Tflops.
Về luận án tiến sĩ trong nước, có đề tài “Nghiên cứu phương pháp phân hoạch động tài nguyên hệ thống để tối ưu hoá cấu trúc của hệ xử lý song song chuyên dụng” của tác giả Nguyễn Minh Ngọc, bảo vệ năm 2008 tại Học Viện Kỹ thuật Quân sự, có phân tích ảnh hưởng của các tài nguyên phần cứng của hệ thống đến hiệu năng và đề xuất một số giải pháp tăng hiệu năng của hệ tính toán song song bằng FPGA, tối ưu kiến trúc đường ống theo tiêu chuẩn độ trễ tối thiểu. Các nghiên cứu trong luận án này đã tập trung vào kiến trúc bên trong của vi xử lý, còn các yếu tố ảnh hưởng khác như là mạng liên kết các lõi đã không được tác giả đề cập.
Nhóm nghiên cứu tại Trung tâm tính toán hiệu năng cao – Trường ĐHBK Hà Nội của GS.TS Nguyễn Thanh Thủy (Phan Đức Dung, Dương Nhật Tân, Phạm Hồng Phong, Nguyễn Hữu Đức, và Nguyễn Thanh Thủy) có nghiên cứu và đưa ra
24
giải pháp tính toán song song cho bài toán khôi phục mật khẩu tệp nén Zip, sử dụng công nghệ tính toán CUDA. Trong nghiên cứu này, các tác giả đã đề giải thuật tính toán song song và chạy trên các bộ tăng tốc đồ họa để thực hiện vét cạn mật khẩu tệp nén Zip. Kết quả là tốc độ được cải thiện rất lớn theo khả năng của bộ tăng tốc đồ họa. Tuy nhiên, các tác giả cũng chưa phân tích kỹ khả năng tăng tốc đó sẽ đạt đến giới hạn nào? có thể lắp tối đa bao nhiêu bộ tăng tốc? hay nói cách khác là sự ảnh hưởng của các yếu tố, trong đó có trễ truyền thông đến hiệu năng chung.
Một số đề tài nghiên cứu khoa học khác có sử dụng đến các tính toán hiệu năng cao tuy nhiên ở mức độ áp dụng, như: đề tài “Xây dựng hệ thống tính toán, mô phỏng song song đa luồng ứng dụng cho nghiên cứu và đào tạo ngành vật liệu và linh kiện quang tử nano” của TS. Ngô Quang Minh, Viện Khoa học Vật liệu 2013- 2014; Đề tài cấp nhà nước “Nghiên cứu ứng dụng hệ thống tính toán song song hiệu năng cao để lập trình gia công các bề mặt khuôn mẫu trên máy công cụ CNC” do GS.TSKH Bành Tiến Long 2006 làm chủ nhiệm. (adsbygoogle = window.adsbygoogle || []).push({});
Cũng theo tìm hiểu của tác giả, các công bố khoa học liên quan đến phân tích hiệu năng của các hệ thống tính toán song song có thể nói là khá ít trên các tạp chí, hội thảo chuyên ngành. Như nghiên cứu triển khai của các tác giả tại Viện HLKH&CNVN tập trung vào khai thác hệ thống tính toán hiệu năng cao này hơn là đi vào phân tích hiệu năng của chính hệ thống đó (như hỗ trợ phân tích trình tự DNA, di truyền học ngoài gen (epigenetics), di truyền học môi trường (metagenomics), nghiên cứu tương quan toàn bộ nhiễm sắc thể (GWAS))...
Phân tích và đánh giá hiệu năng của các hệ thống tính toán song song có sử dụng kiến trúc chip đa xử lý và cụm máy tính là một lĩnh vực nghiên cứu rộng và khó khăn, đòi hỏi nhiều chi phí về thiết bị, công cụ. Tuy đã có nhiều nghiên cứu trong và ngoài nước về lĩnh vực này, nhưng thực tế cũng còn rất nhiều vấn đề tiếp tục cần phải nghiên cứu và cải tiến, đặc biệt là sử dụng các cách tiếp cận mới. Do đó, phương pháp nghiên cứu bằng mô phỏng sẽ là tối ưu hơn cả. Giải pháp nghiên cứu sử dụng luật Amdahl, mạng Petri và mạng hàng đợi sẽ được đề xuất trong luận án này. Một trong các thông số ảnh hưởng lớn đến tốc độ tính toán của hệ thống tính toán song song đa xử lý là trễ truyền thông trên các cấu hình mạng liên kết khác nhau, mà các nghiên cứu trong và ngoài nước ít đề cập sâu đến, cũng sẽ được luận án đề cập và giải quyết.
Luận án này sẽ tập trung phân tích ảnh hưởng của trễ truyền thông đến hiệu năng của hệ thống sử dụng các công cụ chính là mạng hàng đợi và mạng Petri. Trong đó sẽ chỉ rõ công thức để tính trễ truyền thông ứng với một số mạng liên kết thông dụng. Công thức này sẽ cho phép tính toán mức tăng tốc trong luật Amdahl có bao gồm yếu tố trễ truyền thông. Ngoài ra, luận án cũng tiến hành thử nghiệm một bài toán thực tế chạy trong môi trường song song là thám mã mật khẩu MS Office Word để minh họa thêm yếu tố trễ có ảnh hưởng đến hiệu năng của hệ thống.