Xây dựng tô-pô mạng liên kết 3 chiều dựa trên kiến trúc DSN nhằm thích ứng cài đặt thực tế

Nghiên cứu tô-pô của các mạng liên kết là một chủ đề cơ bản truyền thống trong lĩnh vực kiến trúc mạng máy tính, tính toán song song và tính toán hiệu năng cao. Với sự phát triển nhanh chóng hiện nay trong các lĩnh vực này, hầu hết các cấu trúc tô-pô truyền thống đã trở nên lạc hậu.

Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT Tập V-1, Số 13 (33), tháng 6/2015 Xây dựng tô-pô mạng liên kết chiều dựa kiến trúc DSN nhằm thích ứng cài đặt thực tế Constructing 3D Interconnection Network Topology Using The DSN Framework for Achieving Layout-Awareness Lê Xuân Thống Nhất, Nguyễn Khanh Văn Abstract: The highly rising demands today in high performance computing or building big data centers make most of traditional interconnection network topologies become outdated Currently, to develop new types of high performance network, random topologies such as using random shortcuts, smallworld models, are promising research directions In this paper, we develop a new 3D topology named 3D-DSN based on the principles of Distributed Shortcut Network (DSN) [1] to support saving cable length The main idea is to use a 2D-Torus as the base structure instead of a 1D-Ring as in [1] Furthermore, the set of shortcuts are distributed in both directions of 2D-Torus and the routing logic is extended to phases instead of phases as in [1] We also give the analyses of topology properties in both theoretical and experiment aspects, then conclude that 3D-DSN is more realistic than the basic DSN and provide a nice trade-off between network diameter (or average path length) and cable cost Keyword: Interconnection networks, custom routing, layout-awareness, distributed shortcut I GIỚI THIỆU Nghiên cứu tô-pô mạng liên kết chủ đề truyền thống lĩnh vực kiến trúc mạng máy tính, tính tốn song song tính tốn hiệu cao Với phát triển nhanh chóng lĩnh vực này, hầu hết cấu trúc tô-pô truyền thống trở nên lạc hậu Chẳng hạn đa phần tơ-pơ truyền thống khơng có cân tối ưu đường kính đồ thị số liên kết nút Vì mạng có số nút tính tốn lớn, để khống chế số liên kết đủ nhỏ đỉnh (do yêu cầu kỹ thuật switch), đường kính đồ thị độ dài trung bình đường ngắn khơng nhỏ, dẫn đến độ trễ truyền tin đáng quan ngại, làm giảm khả xử lý hệ thống Mặt khác, tô-pô truyền thống tiệm cận tối ưu u cầu hiệu nói lại địi hỏi thiết kế phức tạp cứng nhắc với số nút chọn trước theo cơng thức (ví dụ tơ-pơ k-ary n-cube cho phép số nút kn), điều làm ảnh hưởng nhiều đến việc mở rộng dần mạng lưới nút thay đổi bảo trì, điều đặc biệt quan trọng với trung tâm liệu kiểu Vì vậy, gần nhiều nghiên cứu đẩy mạnh để tìm tơ-pơ mạng liên kết kiểu đáp ứng tốt cho ứng dụng đại Trong lĩnh vực nghiên cứu này, hướng nghiên cứu quan tâm gần ứng dụng mơ hình đồ thị ngẫu nhiên (random graphs), có mơ hình thế-giới-nhỏ (small-worlds), để tạo tô-pô kiểu với nhiều tính ưu việt Các mơ hình đồ thị đại có ưu điểm sau Thứ nhất, chúng hướng tới hiệu ưu việt đường kính nhỏ, số liên kết đỉnh nhỏ thuật tốn tìm đường đơn giản mà hiệu Thứ hai, tính ngẫu nhiên việc tạo liên kết (trên sở phân bố xác suất xác định cho trước) tạo nên -5- Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT tính mềm dẻo, thuận lợi để xây dựng tô pô liên kết với khả co giãn qui mô cao (scalability) Bài báo tiếp tục khai phá hướng nói Dựa mơ hình Distributed Shortcut Networks (DSN) đề xuất [1], xây dựng tô-pô mạng liên kết mở rộng với đặc thù khai thác không gian chiều, tạo lợi phù hợp với việc bố trí cài đặt thực tế Ý tưởng mở rộng lấy 2D-Torus làm sở thay 1D-Ring [1] Việc xây dựng liên kết xa tiến hành theo phương, đồng thời thuật toán định tuyến phát triển theo pha thay pha [1] Kết khảo sát đánh giá bước đầu cho thấy 3D-DSN gần gũi với ứng dụng thực tế so với DSN bản, cho phép cân hiệu đường kính đồ thị (và độ dài trung bình đường ngắn nhất) với chi phí cáp mạng Cấu trúc báo sau Trong Phần II chúng tơi trình bày tổng quan lĩnh vực, sau Phần III tóm tắt nét mơ hình kiến trúc DSN nói Phần IV trình bày chi tiết đề xuất phần khảo sát tính chất tơ-pơ lý thuyết Phần V trình bày kết khảo sát thực nghiệm ban đầu Phần VI cung cấp kết luận chung Một số chứng minh lý thuyết tính chất tơ-pơ đưa vào phụ lục tham khảo Trong báo, cố gắng lựa chọn sử dụng số thuật ngữ tiếng Anh thông dụng lĩnh vực chun mơn khó dịch sát nghĩa hay Đó thuật ngữ: Shortcut (nối tắt); Ring (vòng); Torus (lưới vịng); Cabinet (tủ chứa nút/lõi tính tốn); Node (nút tính tốn); Super-node (siêu nút); Switch (chuyển mạch) Các cặp thuật ngữ Anh-Việt Node nút, hay Super-node siêu nút dùng song song, thay lẫn nhau, tùy thuộc vào tình câu văn mơ tả II TỔNG QUAN LĨNH VỰC Từ lâu nhà khoa học đặc biệt quan tâm đến vấn đề thiết kế tô-pô dùng bậc đỉnh thấp (low-radix) hay bậc đỉnh cao (high-radix) cho hệ thống tính tốn lớn IBM phát triển 3D torus cho siêu Tập V-1, Số 13 (33), tháng 6/2015 máy tính BlueGene/L 5D torus cho BlueGene/Q với mạng bậc thấp, Dragonfly [4] cho Power 775 với mạng bậc cao Lịch sử phát triển cho thấy tô-pô bậc thấp sử dụng phổ biến hệ thống tính tốn hiệu cao nhờ có ưu điểm như: (i) chế quản lý lỗi đơn giản, (ii) dễ dàng tích hợp định tuyến mạng lõi tính tốn vào chip xử lý hay mạch đơn, (iii) cách bố trí switch mạng khơng gian vật lý tương đối tiết kiệm giao thức truyền thông dễ chỉnh sửa Chính mà 10 siêu máy tính xếp hạng TOP500 vào tháng 6/2012 sử dụng phiên torus [8] Để đạt số tốt đường kính mạng bậc đỉnh, thiết kế tô-pô bậc thấp truyền thống thường sử dụng kiến trúc phân cấp hoán vị đỉnh đồ thị, ví dụ tơ-pơ dựa phép bố trí lại đỉnh đồ thị De Bruijn [17], đồ thị (n, k)-star [18] Đối với cấu trúc phân tầng, nghiên cứu trước hướng tới số bậc đỉnh thấp Các tô-pô bậc thấp điển hình bao gồm Hypernet [19] tạo thành từ việc kết nối mạng theo đồ thị đầy đủ, Cube Connected Cycles (CCC) xây dựng cách thay đỉnh hypercube vòng tròn (ring) đỉnh Mặc dù mạng có ưu điểm hấp dẫn số đường kính – bậc, việc cài đặt thực tế không gian máy tính vật lý khơng đơn giản, dẫn đến chi phí cài đặt vận hành không nhỏ Trong nghiên cứu trước đây, đồ thị ngẫu nhiên biết đến với ưu điểm đường kính nhỏ Đặc tính “thế giới nhỏ” mạng nhận nhiều quan tâm giới khoa học, bắt nguồn từ báo kinh điển Watts Strogatz [20] Hiệu ứng giới nhỏ nhìn chung thể mạng có đường kính nhỏ, bậc thấp hỗ trợ tìm kiếm phân tán, nghĩa tìm đường sử dụng thơng tin cục Kleinberg báo [15] hiệu ứng giới nhỏ từ góc nhìn giải thuật việc tăng cường có lựa chọn số liên kết xa giúp giảm thiểu nhanh chóng đường kính mạng cung cấp khả tìm kiếm phân tán Chính vậy, đồ thị giới -6- Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT nhỏ ngẫu nhiên đề xuất để xây dựng trung tâm liệu với khả mở rộng, kháng lỗi thông lượng cao nghiên cứu gần [9, 10] Trong số tô-pô ảnh hưởng từ hiệu ứng này, mạng Distributed Loop Network (DLN-x) với bậc x [2], gồm có n đỉnh xếp đường tròn thêm đường nối tắt đỉnh i j mà j = i + n / k  mod n với k = 1, …, x – Đồ thị có đường kính logarithmic với x = logn Koibuchi đồng nghiệp [2] giới thiệu tơ-pơ gọi DLN-x-y y số liên kết ngẫu nhiên thêm vào node DLN-x Những đồ thị có bậc số đường kính logarithmic với x, y cố định Mạng giới nhỏ Kleinberg [15] lại gồm lưới ô vuông với đường nối tắt thêm vào thể đầy đủ ưu điểm hiệu ứng giới nhỏ Tuy nhiên, tơ-pơ có nhược điểm quan trọng, DLN-logn có đường kính logarithmic bậc logn lớn, DLN-x-y có đường kính logarithmic bậc số giải thuật tìm đường yêu cầu thơng tin tồn tơ-pơ, quan trọng chi phí cáp nối lớn Trong đó, có số lượng cáp nối nhỏ hơn, bậc số, đường kính logarithmic mạng giới nhỏ Kleiberg sử dụng tìm kiếm tham lam với độ dài đường bình phương kết tối ưu [16] Để giảm thiểu chi phí cáp nối mạng, có phương pháp đề xuất Koibuchi đồng [7], [11], người ta tạo tơ-pơ dựa ngẫu nhiên có độ dài đường nhỏ gần tơ-pơ ngẫu nhiên hồn tồn cải thiện cách bố trí chúng không gian vật lý Một phương pháp sử dụng ý tưởng ngẫu nhiên hóa liên kết mạng sau tối ưu bố cục vật lý, phương pháp tối ưu bố cục vật lý sau ngẫu nhiên hóa liên kết mạng Tuy nhiên, theo quan điểm chúng tôi, việc sử dụng phân bố ngẫu nhiên tổng thể không ý đến yếu tố địa lý không gian dẫn đến việc sử dụng đường liên kết dài, không cần thiết Tập V-1, Số 13 (33), tháng 6/2015 Trong [1] tác giả đề xuất mơ hình mạng liên kết Distributed Shortcut Network (DSN) với ý tưởng khai thác hiệu ứng giới nhỏ dù xây dựng tô-pô với liên kết cố định Dựa một đồ thị ring ban đầu, ý tưởng đề xuất việc đưa vào liên kết xa, tuyển chọn theo cách thức đặc biệt để tạo hiệu ứng thế-giới-nhỏ, đáp ứng yêu cầu bậc số Tuy nhiên DSN có nhược điểm: việc bố trí nút theo vịng trịn vật lý khơng thực tế miễn cưỡng cài đặt vịng trịn logic gây tốn cáp mạng không cần thiết Bài báo khắc phục vấn đề việc xem xét nút đối tượng khơng gian chiều, hay nói xuất phát từ lưới chiều cabinet – chiều thứ lại chiều xếp đứng nút tính tốn cabinet Việc thiết kế liên kết xa áp dụng theo hai phương thay phương trước Nhờ tơ-pơ đề xuất đạt hiệu tốt hơn, đặc biệt giảm chi phí cáp mạng III LƯỢC ĐỒ THIẾT KẾ DISTRIBUTED SHORTCUT NETWORK – DSN Chúng xin trình bày tóm tắt mơ hình DSN mà dựa theo để phát triển đề xuất DSN cấu tạo ring gồm n nút nhóm thành siêu nút liên tiếp kích thước = Mỗi nút có liên kết ngắn vô hướng với nút trước sau ring có liên kết xa gọi shortcut Mỗi siêu nút có tối đa p-1 Shortcut với độ dài tương ứng n/2k với = 1… (ở độ dài tính theo số nút qua ring) Trong trình định tuyến, từ tập Shortcut người ta chọn Shortcut lân cận có khả xa khoảng xấp xỉ nửa đường tới đích Dưới đây, chúng tơi trình bày tóm tắt cấu trúc tơ-pơ DSN-x-n với n nút, hay ngắn gọn DSN-x, mà tham số x chọn nằm p–1 thể cho tập Shortcut độ dài khác super-node: -7- Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT • • • Cấu tạo ring: n nút ợ ắp xếp vịng node có ID từ tới n–1 Mỗi node i có liên kết vô hướng nội tới ới node lân cận c (i–1) mod n (i+1) mod n Hai liên kết k gọi Pred Succ Phân loại node: nút có mộtt cấp (level) nằm khoảng từ tới p Cấp gán theo chu kỳ: cấp = … ứng ng với v nút có 0, 1, 2, … , / ID= Với nút cấp l, ta đồng thờii định đ nghĩa chiều cao (height) nút p+1–l p+1 Theo đó, nút cao Shortcut đii xa nnút với chiều cao p (cấp 1) có Shortcut xa nhất, nh nửa ring Shortcut: Mỗi nút có cấp có liên kết Shortcut tới nút có cấp l+1 có chiều chi dài theo chiều kim đồng hồ /2 Vì ta cịn gọi Shortcut cấp l Để minh họa, Hình mơ tảả chi tiết tiế cấu trúc mạng DSN-3-16 với 16 nút Các nút liên kết k ngắn (Pred, Succ) nằm m vòng tròn màu xanh Các liên kkết Shortcut minh họa ng cạ cạnh màu vàng liên kết có hướng Các nút ợc gắn gắ nhãn theo cặp (ID, cấp) Giải thuật định tuyến DSN đư phát triển từ cách thức định tuyến đơn giản ả ữa siêu nút (tương tự DLN-x [2] siêu nút) Dưới D trình bày sơ lược ý tưởng ởng c giải thuật định tuyến cho DSN, chi tiết ết tham khảo [1] Giải thuật định tuyến DSN N gồm g pha: (i) PRE-WORK cho phép nút nguồn s tìm kiếm ki nút phạm vi lân cận v với chiềuu cao phù hợ hợp (đây pha chuẩn bị cho pha kế tiếp); (ii) MAIN-PROCESS MAIN liên tục sử dụng Shortcut có khả ăng chia đơi đường tới đích t, nhằm tiến tới phạm vi sát t; (iii) FINISH di chuyển tới đích sử dụng ụng liên kkết nội siêu nút Chú ý MAIN-PROCESS PROCESS m trình lặp: xuống liên tục từ node hiệ u để tìm node v có chiều cao cần thiết ết thấp h chọn Shortcut chia đơi khoảng cách, sau lặp l liên tục trình với nút u i Quá trình lặp lặ dừng khơng cịn Shortcut khả dụng, ụng, nghĩ nghĩa nút u đủ Tập V-1, Số 13 (33), tháng 6/2015 gần đích t (thường m chút); ta đơn giản di chuyển Succ/Pred Succ thẳng tới t Hình Cấu trúc đầầy đủ DSN-3-16 IV ĐỀ XUẤT MỚI: TÔ-PÔ PÔ 3D-DSN 3D DỰA TRÊN LƯỚII CÁC SIÊU NÚT HAI CHIỀU CHI DSN giải ải pháp lai gi tơ-pơ mạng điển hình (mesh, torus, …) tô-pô pô mạng m ngẫu nhiên nhằm hướng tới tô-pô đơn giản gi tận dụng shortcut ợc tối ưu Mặc dù vậy, DSN thiết kế dựa ring chiều triển khai thực tế sẽẽ cần ầ ắp xế xếp lại node, liên kết cho phù hợp với điều ều kiện kiệ hạ tầng thực tiễn không gian 3D Điều dẫn ẫn tới t u cầu tính tốn lại số chiều ều dài dây, cách bố b trí cabinet (tủ chứaa nút xử lý), Những khác biệt khó khăn khơng hềề nhỏ cho người triển khai, ảnh hưởng lớn tới hiệu thực tế Ở đề xuất 3D-DSN 3D mở rộng từ DSN cho thừa kế đầy đủủ điểm mạnh đồng thời tương thích hồn tồn với ới mơi trường tr thực tế 3D phòng máy, thiết ết kế cabinet Thay dựa kiến ến trúc vịng ccơ sở, 3D-DSN xây dựng theo cách bốố trí vật lý 3D phịng máy mà cabinet đư xếp theo lưới chiều ngang dọc ản thân chiều chi đứng chiều nút nằm ằm cabinet cabinet Cách xây dựng 3D-DSN ợt trình bày Phần IV.1 trước vào phân tích ích đặc điểm Phần IV.2 -8- Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Tập V-1, Số 13 (33), tháng 6/2015 Hình a-Tơ Tơ pơ sở cabinet, b-Bố trí Shortcut ữa cabinet IV.1 Thiết kế tơ-pơ IV.1.1 Tơ-pơ sở Nhìn góc độ khái qt, 3D-DSN DSN tơ-pơ cabinet (gọi tơ-pơ sở)) mà cabinet chứa số nút tính tốn thơng thường th Các cabinet kết nối dựa theo torus hai chiều với n cabinets theo chiều ngang hay dọc d (Hình 2-a) ID cabinet đánh sốố (X, Y) dựa d chiều Mỗi cabinet ợc thiết thiế kế super-node DSN (2 thuật ật ngữ này, cabinet super-node tức siêu nút, ợ sử dụng dụ song song với nghĩa tương đương, có thích rrõ) Mỗi cabinet có 2logn Shortcuts chia cho chiều X, Y Ở chiều, ều, S Shortcut tới cabinet khác khoảng ảng cách n/2i so với cabinet gốc, với i = … logn (Hình b) IV.1.2 Tơ-pơ đầy đủ Chi tiết hóa thiết kế sở trên, mỗ cabinet super-node bao gồm nút thông thường th kết nối với ring, nghĩa ĩa m node thơng thường có liên kết pred/succ tới ới node liền li trước liền sau cabinet (còn gọi ọi liên kkết intracabinet) Tổng cộng có n2 cabinet/super-node, cabinet/super super-node có logn nút thơng thường ờng nên kích thước th mạng N = n logn Dựa ID cabinet, ID ccủa node mạng thông thường (X, Y, i) (X, Y) ID cabinet, i cấp node bên cabinet Như nói phần trước, ớc, cabinet liên kết với Torus chiều chi kết hợp với hệ thống Shortcut Thực chất ất liên kết kế cabinet/supernode ữ kết ết nối nố node thông thường cabinet (gọi ọi liên kkết inter-cabinet) Kết nối thứ nhằm ằm liên kết kế hai super-node liên tiếp torus chiều sở Chúng thực hóa nhờ liên kết từ node cuối ối ccủa super-node tới nút super-node super liền sau (gọi liên kết X/Y-succ) từ nút super-node tới nút cuối c super-node liền trước (gọi liên kết X/Y-pred) ) Mô tả t cụ thể liên kết sau (Hình 3-a): • Mỗi nút thơng thường cấấp có X-pred Y-pred t (X–1, Y, p) – tới nút có o X-pred: từ (X, Y, 1) tới cấp cao ấ cabinet li liền trước theo chiều X o Y-pred: từ (X, Y, 1) tới t (X, Y–1, p) – tới nút có cấp cao ấ cabinet li liền trước theo chiều Y • Mỗi node thơng thường ờng cấp p có X-succ Y-succ o X-succ: từ (X, Y, p) tới t (X + 1, Y, 1) – tới nút có cấp thấp ấ cabinet liền li sau theo chiều X o Y-succ: (X, Y, p) to (X, ( Y + 1, 1) – tới node có cấp thấp ấ cabinet liền li sau theo chiều Y -9- Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Tập V-1, Số 13 (33), tháng 6/2015 Hình a-Kết ế nối ối cabinet li liền kề b-Các kết nối liên cabinet (inter-cabinet) (inter Loại liên kết inter-cabinet thứ ứ Shortcut thiết kế mộtt cách phù hợ hợp nhằm giảm thiểu đường cabinet Mỗỗi cabinet/supernode có 2p=2logn Shortcut ợc phần phầ phối sau (Hình 3-b): node đánh số với ID (X, Y, i) X, Y = … n i = … log n Ngồi (X, Y) cịn ID super-node tương ứng vớii node i cấp node bên super-node • • Mỗi node thơng thường có cấp từ tới p–1 có Shortcut gồm: o Shortcut thứ từ node (X, Y, i) tới node (X + n/2i, Y, i + 1): tới super node gần khoảng cách n/2i trụcc X theo chiều kim đồng hồ; node đích có cấp i +1 o Shortcut thứ hai từ node (X, Y,, i) tới node (X, Y + n/2i, i + 1): tương tự trư trường hợp cho trục Y • Node cuối super-node node với v cấp p khơng có Shortcut 3D bao gồm Tổng kết lại cấu trúc mạng củaa 3D-DSN N nodes, với n nguyên dương d Mỗi Tơ-pơ 3D-DSN có tất loại kết nối: • Intra-cabinet: kết ế nối ối nộ nội cabinet; node có kết nối nội bộộ cabinet, gọ gọi pred/succ, tới node liền trước ớc liền liề sau theo chiều kim đồng hồ cabinet Inter-cabinet: kết ế nối ối liên cabinet chia làm nhóm o Shortcut: node có cấp từ tới p – có Shortcut: X-shortcut: từ node (X, ( Y, i) tới node (X + n/2i, Y, i + 1) Hình Tơ-pơ 3D-DSN đầy đủ - 10 - Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Y-shortcut: từ node (X, Y, i)) tới t node (X, Y + n/2i, i + 1) o Kết nối cabinet liền kề: Node với cấp có kết nối X-pred X Y-pred tới node có cấp cao nh cabinet liền trước theo chiềuu kim đồng đ hồ trục X, Y Node với cấp p có kết nốối X- succ Ysucc tới node có cấấp cabinet liền sau theo chiều kim đồng ng hồ h trục X, Y Cấu trúc đầy đủ tô-pô 3D-DSN DSN thể Hình IV.1.3 Giải thuật định tuyến Giải thuật định tuyến 3D-DSN DSN đư phát triển tự nhiên từ DSN điểm ể mấu ấu ch chốt cách sử dụng Shortcut để “cưa đôi” đường đư từ cabinet tới cabinet khác trục ục X, Y Đường từ node nguồn s(Xs, Ys, is) tới đích t(Xt, Yt, it) chia làm giai đoạn lớn là: giai đoạn ạn mộ từ cabinet S(Xs, Ys) node nguồn s tới ới cabinet trung gian M(Xm, Ym) cho M nằm m tr trục X so với cabinet nguồn S, nghĩa là: Ym = Ys, đồng đ thời M nằm trục Y so với cabinet đích T(Xt, Yt), nghĩa là: Xm = Xt; giai đoạn hai từ cabinet trung gian M tới cabinet đích T (Hình 5) Mỗi giai đoạn ạn s tương tự trình định tuyến ữa node DSN Hình Đường cần tìm (dấu hỏi) ỏi) chia làm giai đoạn bởii cabinet trung gian M Tập V-1, Số 13 (33), tháng 6/2015 Ở giai đoạn thứ ứ nhất, ất, tr trước tiên giải thuật di chuyển nội cabinet S để tìm node có cấp phù hợp sở hữu X-Shortcut th chia đôi đường từ cabinet S tớii cabinet trung gian M, nghĩa chiều dài của X-Shortcut nhỏỏ khoảng cách (S, M) lớn ặ ằng 1/2 khoảng kho cách (S, M) Bằng cách liên tục sử dụng ụng cá X-Shortcut có đặc điểm này, sau lần ầ giải ải thuậ thuật đảm bảo khoảng cách tới cabinet M giảm m nửa (gọi phương pháp chia đôi đường đi) Chú ý r Shortcut giai đoạn ề nằm ằm tr trục X nên trình tương tự phương phươ pháp định tuyến ring DSN Hoàn toàn tươ ương tự, giai đoạn thứ hai bắt đầu việc tìm kiếm ếm Y-Shortcut phù hợp nội cabinet trung gian M nhằm nh cưa đơi đường tới cabinet đích T Điểm ểm khác biệt biệ giai đoạn hoàn toàn xảy trụục Y với việc chọn lựa liên tiếp Y-Shortcut để tới ới đích Chi tiết hơn, khơng ất tính tổng t q giả sử Xt > Xs Yt > Ys dX(S, T) = Xt – Xs, dY(S, T) = Yt – Ys khoảng cách ợt trục trụ X, Y cabinet S, T Trước hết, giai đoạn ạn giải gi thuật sử dụng kết nối nội (succ pred)) để đ tìm kiếm node cấp i có i X-Shortcut với độ dài n/2 phù hợp h cho việc chia đôi đường trụcc X, nghĩ nghĩa là: ' , !" ( ) , !" hay lg lg , !" lg ng n lg lg lg , !" 1, ý , !" số nguyên ta chọn lg lg , !", ngược lại " chọn lg lg , !" Ta hiểu cabinet S X-Shortcut Shortcut dài không vượt cabinet M Sau chọnn đư X-Shortcut đầu tiên, ta liên tục sử dụng ng X-Shortcut node (độ dài 1/2 Shortcut vừa sử dụng), dùng liên kết succ để tìm X-Shortcut ngắn phù hợp kế sau Giai đoạn đ khác biệt chỗ hoạt động trụcc Y, đ cấp i phù hợp là: lg n lg & , !" hoặcc lg lg & , !" Giải thuật định tuyếnn giả gi ngôn ngữ chi tiết trình bày phụ lục đư chia làm pha nhỏ, Giải thuật định tuyến pha PRE-WORK, WORK, IMMEDIATE - 11 - Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT FINISH di chuyển nội bên rong cabinet, pha lại MAIN-PROCESS-X/Y X/Y phần ph quan trọng ta thực sử dụng Shortcut để di chuyển cabinet Chú ý ằng thủ th tục nhỏ ProperLevel(U, V, dimension) ợc sử dụng để kiểm tra cấp phù hợp tạii cabinet U để sử dụng Shortcut tới cabinent V theo chiềều “dimension” Một đường điển hình ợ giải ải thuậ thuật tìm có dạng Hình Tập V-1, Số 13 (33), tháng 6/2015 rẻ thay sử dụng ng cáp quang đắt đỏ để kết nối cabinet xa (vẫn giảm ảm liên kkết) IV.2.2 Đường kính mạng Tính chất 2: 3D-DSN DSN có đường kính mạng logarithmic, nghĩa logN N kích thước mạng ựa vào giải giả thuật định tuyến trên, Chứng minh: Dựa tính tốn đểể chỉỉ r đường tìm node ũng logN Dễ dàng nhận thấy pha PRE-WORK, WORK, IMMEDIATE FINISH, giải thuật chỉỉ cần ần sử dụng liên kết nội cabinet pred/succ đểể tìm tới ới node mong mu muốn Vì cabinet có p = log n node thơng thường, th khoảng cách tối đa cần pha sẽẽ 01 ( , tổng cộng pha 3/2 pha MAIN-PROCESS-X/Y MAIN hoàn toàn tương tự cách sử s dụng Shortcut để chia đôi đường tớii cabinet mong muốn mu Ta dễ dàng chứng minh ng pha ( [1]) ta ln trì bất đẳng ng thức th sau: 56 7,8" +, !" MAIN-PROCESS PROCESS-X 3D-DSN Hình Đường điểnn hình 3D IV.2 Đặc điểm bật tơ-pơ 3D DSN Trong phần này, sẽẽ điểm qua số tính chất tơ-pơ đề xuất 3D-DSN IV.2.1 Bậc (Constant degree) Tính chất 1: Tơ-pơ 3D-DSN có bậậc (degree) số mà cụ thể 6, tương đương với ới 3D Torus Tính chất giúp tiết kiệm ệm cổ cổng mạng để kết nối nhiều đơn vị tính tốn ơn switch, switch đồng thời tiết kiệm m chi phí ch phải mua switch cổng nhiều ề Thậm ậm chí đặt vào tình muốn sử dụng ng switch rấ nhiều cổng (32, 64), ngồi lợii ích ta cịn tận dụng cổng để tăng cường kết nối cục ụ bộộ giữ switch cabinet vớii chi phí khơng đáng kể Điều để giảm đượcc liên kết kế đường node, ta kết nối ối swith cabinet với độ dài dây ngắn sử dụng ụng cáp đồng giá ( ,- & ( ,- 59 7,:" +, " đối vớii MAIN-PROCESS-Y MAIN Mỗi pha kết thúc tới đượcc cabinet mong muốn mu liền trước (khi cấpp cao nh lu = p, bất đẳng thức đảm bảo ta tớii trước tr cabinet đích) Chú ý ng pha này, m liên kết ta chọn dù X/Y-Shortcut hay X/Y-Succ cấp tăng thêm bậc Vì có tất p cấpp nên số liên kết tối đa cần cho pha p = log n Tóm lại, l tất pha cần tối đa / 01 ( 3.5 ; 1.75 Thực tế cho thấy dĩĩ nhiên chưa ch phải đường tối ưu Tuy nhiên, nhờ vào giải gi thuật định tuyến mà ta có chặnn cho đường kính mạng, thước đo đảm bảo 3D-DSN DSN có đường node nhỏ, đảm ả bảo ảo yêu ccầu đỗ trễ mạng thấp Ngoài kết lý thuyết ết ttốt so với kết tương tự [1], chặn ch 2.5logN, lớn giá trịị 1.75 logN đây, gợi ý cho thấy đường kính đồồ thị 3D-DSN nhỏ so với DSN - 12 - Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Tập V-1, Số 13 (33), tháng 6/2015 IV.2.3 Chiều u dài dây cáp, so sánh với 3D Torus Tính chất 3: 3D-DSN DSN 3D Torus có độ dài dây intra-cabinet, có độộ dài dây intercabinet = / / ,2 V ĐÁNH GIÁ THỰC NGHIỆM Trong phần này, trước ớc hết hế so sánh đường kính giá trị trung bình đường ờng ngắn (average shortest path length ASPL)) c tô-pô mạng liên kết 3D-DSN với mạng ạng liên kế kết điển hình Sau đó, chúng tơi tính tốn giá trịị trung bình c độ dài cáp mạng thiết lập mạng ạng liên kế kết vào phòng máy sử dụng cấu hình cài đặt ặt củ hệ thống siêu máy tính vs Network Size Hình Diameter vs Mạng liên kết chúng tơi đềề xuất có bậc b đỉnh số Theo đó, chúng tơi s so sánh mạng liên kết với mạng ạng liên kế kết khác có số lượng nút mạng bậc ậc bao gồm gồ tô pô truyền thống 3D-Torus, mạng liên kết ế ngẫu ẫu nhiên DLN-2-4 đề xuất [2] mạng DSN bbản đề xuất [1] Chúng sử dụng tên gọi ọi ký hi hiệu sau với mạng liên kết đềề cập ập trên: 3D-DSN, 3DTORUS, RANDOM, DSN V.1 Đuờng kính giá trịị trung bình đường ngắn Hình Hình thể ệ mối ối tương t quan đường kính mạng, độ dài đường ngắn ng với kích thước mạng Trong tất kích thư ước mạng, mạng liên kết RANDOM có đường ng kính độ dài đường ngắn nhỏ DSN 3D-DSN DSN có kết tốt Torus tiếp ế cận ậ dần ần tới tớ RANDOM Theo đó, mạng liên kết 3D-DSN ợc kì vọng v có đạt hiệu (độ trễễ truyền ền tin) ggần giống với mạng liên kết RANDOM Mặt khác, quan sát Hình cũũng cho thấy kích thước mạng trở nên lớn hơn, c RANDOM 3D-DSN có đường ng kính trung bình độ dài đuờng ngắn ngắn ơn so với v DSN, nhỏ so với Torus Do đóó chúng tơi nói rrằng, hai mạng liên kết RANDOM 3D-DSN có khả kh mở rộng (scalability) tốt Torus Hình ASPL vs Network size Chúng ước lượng độộ dài cáp mạng m cần thiết triển khai mạng liên kết ết vào phòng máy vật v lý tủ mạng (cabinet) Ở đó, diện di tích phịng máy giả sử không giới ới hạn hạ nhằm phục vụ cho việc nghiên cứu mạng ng liên kết có kích thước th V.2 Trung bình độộ dài cáp mạng m Các tủ mạng chứa ứa số lượng nút mạng đặt lưới AxB Trong A = B√? D B = >?/@A với m số lượng ợ tủủ mạng mạ Khi triển khai mạng liên kết 3D-DSN, ỗi tủ mạng mạ phịng máy tương ứng xác với ới mộ siêu nút (super-node) mơ hình thiết ế kếế logic Ví ddụ, mạng 3D-DSN gồm 1024 nút mạng đuợc ợc cài đặt thành mạng lưới 16x16 tủ mạng mà tủ mạng chứa nút mạng Cách xếp bốố trí tủ m mạng (layout) sau sử dụng để triển ển khai m mạng liên kết lại trình đánh giá độộ dài cáp mạng m - 13 - Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Với cách bố trí phịng máy cụ thể, chúng tơi tính tốn độ dài cáp mạng dựa ựa trình bày [13]: độ dài dây cáp trung bình tủ mạng 2m, dây cáp mạng ợc tính thêm m khoảng dơi (overhead) trung bình 2m Dây cáp nối tủ mạng với tính dựa kích thước th tủ mạng Chúng tơi giả sử rằng, ằng, mỗ tủ mạng có kích thước 0.6m x 2.1m bao gồm cảả không gian để cài đặt hệ thống làm mát (theo khuyến ến cáo [21] [21]) Tập V-1, Số 13 (33), tháng 6/2015 chiều ngang theo chiều chi dọc (tức pha hai pha đầu DSN SN – phục vụ trình định tuyến siêu nút – ợc tách thành pha 3D3D DSN) Chúng tiến hành khảo ảo sát thu thuộc tính tơpơ đề xuất phương ương diện di lý thuyết thực nghiệm đạt ợc kết qu khả quan, cho thấy 3D-DSN gần gũi với ứng dụ dụng thực tế so với DSN Về mặt ặt lý thuy thuyết (IV.2.2), thuật toán định tuyến 3D-DSN DSN th cho đường ngắn so với DSN Có thểể nói 3D-DSN 3D giải pháp trung gian hiệu quảả ữa Torus m mạng ngẫu nhiên đề xuất [2], cho phépp cân b hiệu đường kính đồ thị (và độ dài trung bình đường ngắn nhất) với chi phí cáp mạng LỜI CẢM ƠN Chúng tơi xin cảm ơn tác giả gi [17,19,20] đóng góp nhiều ý kiến ến gợi ý TÀI LIỆU THAM KHẢO Hình Average cable length vs Network size Hình mơ tả thay đổi trung bình độ dài cáp mạng thay đổi kích thước mạng mạ theo mạng liên kết chúng tơi đánh giá Ở đó, điểm có giá trị nhỏ đánh giá tốt ốt h đánh giá hiệu cho mạng liên kết ết Nhận th thấy rằng, 3DDSN có kết tương tự DSN hầu h hết trường hợp nằm gầnn Torus (tr (trường hợp tốt nhất) 3D-DSN tiêu tốn độộ dài cáp mạng m RANDOM tăng dần từ 12.74% đến ến 42.03% theo tăng dần kích thước mạng VI KẾT LUẬN Phát triển từ mạng DSN ản [1], xây dựng tô-pô mạng liên kết chiềều 3D-DSN, tiếp tục phát huy điểm mạnh vềề tiết ết kiệm cáp mạng m Ý tưởng mở rộng lấy mộ 2D-Torus làm sở thay 1D-Ring [1] Vi Việc xây dựng liên kết xa tiến ến hành theo phương, ph đồng thời thuật toán định tuyến đượcc phát triển tri theo pha thay pha [1] Sở dĩ sốố pha tăng lên 3D-DSN, DSN, chúng tơi tách q trình định tuyến theo siêu nút thành giai đoạn ạn c bản: theo [1] Van K Nguyen, N T X Le, I Fujiwara, M Koibuchi, “Distributed Distributed Shortcut Networks: LayoutLayout aware Low-degree degree Topologies Exploiting Small-world Small Effect”, ”, In Proc of The 42nd IEEE International Conference on Parallel Processing, Oct Lyon, France (ICPP-2013) [2] M Koibuchi, H Matsutani, H Amano, D Frank Hsu, H Casanova, Casanova “A Case for Random Shortcut Topologies for HPC Interconnects”, Interconnects In Proc of the 39th International Symposium on Computer Architecture (ISCA’2012) [3] O Lysne, L Pedro, M Koibuchi, T Rokicki, & C Sancho, “A A Survey and Evaluation of Tô-pô Agnostic Deterministic Routing Algorithms,” Algorithms, IEEE Transactions on Parallel and Distributed Systems, Systems 1-20 2011 [4] J Kim, W J Dally, S Scott, Scott and D Abts, “Technology-Driven, Driven, Highly-Scalable Highly Dragonfly Tôpô,” in Proc off the International Symposium on Computer Architecture (ISCA), (ISCA) 2008, pp 77–88 [5] P Coteus and et al., “Packaging “ the Blue Gene/L supercomputer,” IBM Journal of Research and Development, vol 49, no 2/3, pp 213–248, 213 Mar/May 2005.c - 14 - Các cơng trình nghiên cứu, phát triển ứng dụng CNTT-TT [6] Y Ajima, S Sumimoto, and T Shimizu, “Tofu: A 6D Mesh/Torus Interconnect for Exascale Computers,” IEEE Computer, vol 42, pp 36–40, 2009 [7] I Fujiwara, M Koibuchi, and H Casanova, “Cabinet Layout Optimiza-tion of Supercomputer Topologies for Shor ter Cable Length,” in Proc of International Conference on Parallel and Distributed Com puting, Applications and Technologies, Dec 2012 [8] Top 500 Supercomputer Sites, http://www.top500.org/ [9] A Singla, C.-Y Hong, L Popa, and P B Godfrey, “Jellyfish: Net-working Data Centers Randomly,” in Proc of USENIX Symposium on Network Design and Implementation (NSDI), 2012 [10] J Y Shin, B Wong, and E G Sirer, “SmallWorld Data Centers,” in Proc of the Symposium on Cloud Computing, Oct 2011 [11] M Koibuchi, I Fujiwara, H Matsutani, and H Casanova, “Layout-conscious random topologies for hpc off-chip interconnects,” in 19th International Conference on High-Performance Computer Architecture (HPCA), Feb 2013, p XX the n-Cube,” in Proc of the International Conference on Parallel Processing (ICPP), 1987, pp 393–400 [19] K Hwang and J Ghosh, “Hypernet: A communication-efficient archi-tecture for constructing massively parallel computers,” IEEE Trans On Computers, vol 36, no 12, pp 1450–1466, 1987 [20] D J Watts and S H Strogatz, “Collective dynamics of ‘small-world’networks,” Nature, vol 393, no 6684, pp 440–442, 1998 [21] HP, "Optimizing facility operation in high density data center environments, technoloogy brief," [Online] Available: http://h10032.www1.hp.com/ctg/Manual/c00064724.pdf Nhận ngày: 19/4/2015 SƠ LƯỢC VỀ TÁC GIẢ LÊ XUÂN THỐNG NHẤT Sinh năm 1989 Tốt nghiệp Đại học Bách Khoa Hà Nội năm 2012 [12] Jouraku, M Koibuchi & H Amano, “An effective design of deadlock-free routing algorithms based on 2d turn model for irregular networks,” Parallel and Distributed Systems, IEEE Transactions on, 18(3), 320–333 IEEE 2007 [13] J Kim, W J Dally and D Abts, "Flattened Butterfly: A Cost-Efficient Topology for High-Radix Networks," Proceedings of the International Symposium on Computer Architecture (ISCA), pp 126-137, May 2007 [14] D Watts and S Strogatz, “Collective dynamics of small-world net-works,” Nature, vol 393, pp 440–32, 1998 Hiện nghiên cứu sinh tiến sỹ năm thứ Database Lab, đại học California, Riverside, Hoa Kỳ Lĩnh vực nghiên cứu: Khai phá liệu mô hình mạng máy tính Email: nle020@ucr.edu NGUYỄN KHANH VĂN Sinh năm 1970 Hà nội Tốt nghiệp Trường ĐH Bách khoa Hà nội năm 1992 Nhận Thạc sỹ năm 2000 ĐH Wollogong, Úc Nhận Tiến sỹ năm 2006 ĐH CaliforniaDavis, Hoa kỳ [15] J Kleinberg, “The small-world phenomenon: An algorithmic perspective,” in STOC, 2000 [16] C Martel and V Nguyen, “Analyzing Kleinberg’s (and other) smallworld models,” in PODC, 2004 [17] M R Samatham and D K Pradhan, “The De Bruijn Multiprocessor Network: A Versatile Parallel Processing and Sorting Network for VLSI,” IEEE Trans on Computers, vol 38, no 4, pp 567–581, 1989 [18] S B Akers, B Krishnamurthy, and D Harel, “The Star Graph: An Attractive Alternative to Tập V-1, Số 13 (33), tháng 6/2015 Hiện công tác Viện CNTT Truyền thông, Trường ĐH Bách khoa Hà Nội Lĩnh vực nghiên cứu: Tính tốn phân tán, Mơ hình mạng thuật tốn, Mạng máy tính, An tồn thơng tin Email: vannk@soict.hust.edu.vn - 15 - ... nhất) 3D -DSN tiêu tốn độộ dài cáp mạng m RANDOM tăng dần từ 12.74% đến ến 42. 03% theo tăng dần kích thước mạng VI KẾT LUẬN Phát triển từ mạng DSN ản [1], xây dựng tô-pô mạng liên kết chiềều 3D -DSN, ... 3D -DSN nhỏ so với DSN - 12 - Các cơng trình nghiên cứu, phát triển ển ứng dụng CNTT-TT Tập V-1, Số 13 (33 ), tháng 6/2015 IV.2 .3 Chiều u dài dây cáp, so sánh với 3D Torus Tính chất 3: 3D -DSN DSN... c tô-pô mạng liên kết 3D -DSN với mạng ạng liên kế kết điển hình Sau đó, chúng tơi tính tốn giá trịị trung bình c độ dài cáp mạng thiết lập mạng ạng liên kế kết vào phịng máy sử dụng cấu hình cài