Tối ưu hoá và đánh giá hiệu năng của tổ chức cache trong hệ thống vi xử lý thế hệ sau (tóm tắt)

Tính cấp thiết của luận án Các kiến trúc chip đa xử lý CMP đa luồng và các cấu hình mạng liên kết trên chip OCIN hiện nay chỉ phù hợp cho các chip đa lõi có quy mô nhỏ, có độ trễ truyền

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

Công trình này được hoàn thành tại:

Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:

1 TS Hồ Khánh Lâm

2 TS Nguyễn Viết Nguyên

Phản biện 1 PGS TS Trần Đình Quế

Phản biện 2 PGS TS Nguyễn Quang Hoan

Phản biện 3 PGS TS Nguyễn Thị Việt Hương

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ cấp Trường họp tại Trường Đại học Bách khoa Hà Nội

Vào hồi… giờ, ngày….tháng….năm…

Có thể tìm hiểu luận án tại thư viện:

1 Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội

2 Thư viện Quốc gia

MỞ ĐẦU

1 Tính cấp thiết của luận án

Các kiến trúc chip đa xử lý (CMP) đa luồng và các cấu hình mạng liên kết trên chip (OCIN) hiện nay chỉ phù hợp cho các chip đa lõi có quy mô nhỏ, có độ trễ truyền thông cao và khả năng mở rộng thấp Khi số lượng lõi trên chip tăng sẽ gây ra trễ truyền thông quá lớn, mức tăng tốc giảm gây ra nghẽn nút cổ chai làm suy giảm hiệu năng và khả năng mở rộng của bộ xử lý Đây là thách thức lớn cho các nhà nghiên cứu và sản xuất chip

đa lõi trên thế giới

Tại Việt Nam vấn đề nghiên cứu và sản xuất CMP cũng được bắt đầu quan tâm và được ưu tiên hàng đầu Đến nay, Việt Nam đã sản xuất thành công CMP 32-bit VN1632 với công nghệ 0,13µm

Có thể thấy rằng, việc nghiên cứu và chế tạo CMP đa luồng

đã và đang là một vấn đề thu hút sự quan tâm đặc biệt lớn trên thế giới và Việt Nam Định hướng nghiên cứu tối ưu hóa tổ chức cache nhằm nâng cao hiệu năng của CMP đa luồng là một định hướng đúng đắn có ý nghĩa khoa học và thực tiễn

2 Mục đích nghiên cứu của luận án

- Nghiên cứu phân tích ảnh hưởng của tổ chức cache đa cấp

và các chính sách thay thế cache đến hiệu năng của CMP đa luồng

- Xây dựng các mô hình kiến trúc CMP đa luồng, đa cấp cache, tiến hành phân tích và đánh giá hiệu năng của các kiến trúc để lựa chọn tổ chức cache tối ưu nhằm nâng cao hiệu năng của CMP đa luồng

- Nghiên cứu ảnh hưởng của mạng liên kết giữa các lõi trên chip đến hiệu năng của CMP đa luồng để từ đó lựa chọn cấu hình OCIN phù hợp với kiến trúc CMP đa luồng

3 Đối tượng và phạm vi nghiên cứu của luận án

 Đối tượng nghiên cứu:

Luận án tập trung nghiên cứu tổ chức cache đa cấp trong kiến trúc CMP đa luồng

 Phạm vi nghiên cứu:

- Luận án tập trung nghiên cứu các tổ chức cache có 2 cấp (với L1 cache riêng cho mỗi lõi và L2 cache chia sẻ cho tất cả các lõi), và 3 cấp cache (với L1, L2 cache riêng cho mỗi lõi và L3 cache chia sẻ cho tất cả các lõi) cho các kiến trúc CMP đa luồng có 2-lõi, 4-lõi và 8-lõi trên chip

- Dựa vào mô hình mạng xếp hàng đóng có dạng tích các xác suất (MCPFQN) để phân tích, đánh giá hiệu năng của CMP

đa luồng với đa cấp cache theo các thông số hiệu năng (thời gian chờ đợi, thời gian đáp ứng, mức độ sử dụng, thông lượng tại các nút, thông lượng hệ thống…) Các thông số hiệu năng này được xác định bằng phân tích giá trị trung bình (MVA) Đồng thời, tiến hành đánh giá ảnh hưởng của các cấu hình mạng liên kết các lõi trên chip đến hiệu năng của kiến trúc CMP

đa luồng đã đề xuất Trên cơ sở đó, lựa chọn tổ chức cache và cấu hình OCIN phù hợp nhất để nâng cao hiệu năng của CMP

đa luồng

4 Phương pháp nghiên cứu của luận án

- Sử dụng lý thuyết mạng xếp hàng đóng có dạng tích các xác suất để xây dựng mô hình cho kiến trúc CMP đa luồng với

đa cấp cache

- Sử dụng thuật toán giá trị trung bình (MVA) và tiến hành

mô phỏng trên máy tính bằng phần mềm JMT v.0.8.0 để đánh giá hiệu năng của kiến trúc CMP đa luồng

5 Ý nghĩa khoa học và thực tiễn của luận án

Nghiên cứu và đề xuất các kiến trúc CMP đa luồng nhằm nâng cao hiệu năng của hệ thống xử lý luôn được các nhà nghiên cứu và chế tạo chip trong và ngoài nước quan tâm và hướng tới Đây là vấn đề có tính khoa học và thực tiễn cao Luận án là nghiên cứu mở đầu về kiến trúc CMP đa luồng ở Việt Nam Các mô hình đề xuất và các kết quả nghiên cứu của luận án có thể góp phần mở ra triển vọng nghiên cứu và chế tạo CMP đa luồng đáp ứng nhu cầu đổi mới công nghệ ở Việt Nam

6 Cấu trúc của luận án

Nội dung của luận án được trình bày gồm 4 chương như sau:

Hình 1.1: Kiến trúc chung của

CMP đa luồng

Chương 1: Tổng quan về kiến trúc CMP đa luồng

Chương 2: Nghiên cứu tổ chức cache, chính sách thay thế

cache trong kiến trúc CMP đa luồng

Chương 3: Phân tích đánh giá hiệu năng của tổ chức cache

trong kiến trúc CMP đa luồng

Chương 4: Giải pháp tối ưu hóa hiệu năng của tổ chức cache

trong kiến trúc CMP đa luồng

Chương 1 TỔNG QUAN VỀ KIẾN TRÚC CMP ĐA LUỒNG 1.1 Giới thiệu

1.2 Kiến trúc của CMP đa luồng

1.2.1 Kiến trúc chung của CMP đa luồng

Hình 1.1 thể hiện kiến trúc chung của một CMP đa luồng

Việc đặt nhiều lõi lên

cùng một vi mạch sẽ giúp giảm không gian trên bản mạch chính Thêm nữa, các lõi trên cùng một vi mạch sẽ làm việc kết hợp cùng nhau

và nâng cao được hiệu năng hơn, xung tín hiệu truyền giữa các lõi sẽ ngắn hơn, trễ truyền thông giảm và nguồn điện tiêu thụ ít đi

1.2.2 Kiến trúc CMP đa luồng đồng thời

Luồng là trình tự một số lệnh thực hiện bởi tài nguyên của lõi xử lý Trong kỹ thuật SMT, mỗi CPU logic sở hữu một tập các thanh ghi riêng kể cả thanh ghi bộ đếm chương trình PC CPU vật lý sẽ luân phiên các giai đoạn tìm/giải mã giữa các CPU logic và cố gắng thực thi những thao tác từ các chuỗi lệnh đồng thời theo cách hướng tới những đơn vị thực thi ít được sử dụng

Đặc điểm của kỹ thuật SMT đưa vào CMP làm tăng tốc độ

xử lý của CMP Nếu các luồng độc lập với nhau và sử dụng tài nguyên khác nhau của lõi xử lý thì một lõi có thể thực hiện đồng thời nhiều luồng Nếu một CMP-SMT có 4-lõi và mỗi lõi

xử lý hai luồng thì có thể coi CMP có tới 8-lõi xử lý ảo

1.2.3 Mạng liên kết trên chip

Mạng liên kết trên chip (OCIN) được nghiên cứu nhiều trong tiến trình phát triển công nghệ CMP đa luồng Hiện nay,

có một số cấu hình OCIN được sử dụng phổ biến trong các kiến trúc CMP đa luồng như: mạng giao nhau (Crossbar) được sử dụng trong chip Corei7 của Intel, Power5 của IBM, UltraSPARCT1/2 của Sun; mạng vòng (Ring) được sử dụng trong các chip Power4, Cell của IBM; mạng lưới 2D (2DMesh) được sử dụng trong chip Tile64 64-lõi của Tilera, Tera-Scale 80-lõi của Intel Ngoài ra, các mạng liên kết như: mạng cây béo (Fat tree), mạng hình bướm (Butterfly), mạng siêu lập thể (Hypercube) mạng lưới vòng 2D (2DTorus), mạng lưới 3D (3DMesh), mạng lưới vòng 3D (3DTorus), cũng được các nhà nghiên cứu và nhà sản xuất chip quan tâm nghiên cứu đến

Khi số lượng lõi xử lý càng lớn thì vấn đề mạng liên kết các lõi trên chip càng phức tạp và trễ truyền thông giữa các lõi qua mạng liên kết là đáng kể vàkhả năng mở rộng bị hạn chế Đây

là vấn đề thách thức lớn cho các nhà nghiên cứu

Để đánh giá ảnh hưởng của các cấu trúc OCIN đến hiệu năng của CMP đa luồng, các nghiên cứu hiện nay đều dựa vào

một số thông số mạng sau: Số liên kết (L); Cấp độ của nút (d);

Đường kính của mạng (D); Khoảng cách trung bình (H); Độ rộng chia đôi (B); Độ phức tạp sinh trưởng (G); Trễ; Băng

thông của một liên kết; Băng thông hiệu dụng; Băng thông của

độ rộng chia đôi

1.2.4 Phân cấp hệ thống nhớ

Hệ thống nhớ được phân thành một số lớp như hình 1.2 Trong đó:

1 L0: là các thanh ghi bên trong chip, có tốc độ bằng tốc độ

của lõi L0 có thời gian truy nhập khoảng (0,30,5)ns

2 L1 cache (cache sơ cấp): là

một bộ nhớ dung lượng khoảng (8128) KB, sử dụng công nghệ SRAM được tích hợp trên CMP L1 cache có thể đạt tới tốc độ của lõi, L1 có thời gian truy nhập nhỏ, (13)ns

3 L2 cache (cache thứ cấp): là bộ nhớ sử dụng công nghệ

SRAM nằm trên chip, thường có dung lượng 256KB, 512KB, (13)MB và có thời gian truy nhập khoảng (310)ns

4 L3 cache: là bộ nhớ sử dụng công nghệ SRAM, có thể nằm

trên chip hay nằm ngoài chip đa xử lý L3 cache có dung lượng 2MB, 4MB, 6MB, 8MB, hay 12MB và L3 cache có thời gian truy nhập lớn hơn L2 cache, khoảng (1020)ns

5 Bộ nhớ chính: có thể là L3 hay là L4 Sử dụng công nghệ

DRAM có dung lượng lớn hơn nhiều so với các cache, khoảng (416)GB, và có thời gian truy nhập lớn, khoảng (50 100)ns

6 Các thiết bị nhớ trên đĩa cứng (bộ nhớ thứ cấp): có dung

lượng lớn hơn nhiều so với bộ nhớ chính, khoảng (116)TB, nhưng có thời gian truy nhập lớn, khoảng (510)ms

7 Thiết bị nhớ trên mạng: như các hệ thống đĩa cứng (RAID)

trên các máy chủ dịch vụ mạng trên LAN

Hình 1.2: Phân lớp của hệ thống nhớ

Bộ nhớ chính chứa các khối dữ liệu lấy từ đĩa cục bộ Đĩa cục bộ chứa các file lấy từ các máy chủ dịch vụ mạng

CPU Registers Cache trên chip (SRAM) Cache trên chip (SRAM)

Bộ nhớ chính (DRAM) Thiết bị nhớ trên đĩa cứng

tăng thì một số kiến trúc đang được sử dụng gặp rất nhiều hạn chế về khả năng mở rộng Đây cũng là một thách thức lớn cho các nhà nghiên cứu và sản xuất chip hiện nay

Chương 2 NGHIÊN CỨU TỔ CHỨC CACHE, CHÍNH SÁCH THAY THẾ CACHE TRONG KIẾN TRÚC CMP ĐA LUỒNG 2.1 Tổ chức cache trong kiến trúc CMP đa luồng

2.1.1 Cache và các nguyên tắc làm việc của cache

Cache như là bộ nhớ trung gian nằm giữa CPU và bộ nhớ chính Cache sử dụng công nghệ SRAM, dung lượng nhỏ, tốc

độ truy nhập nhanh.Sự trao đổi dữ liệu giữa CPU và cache theo các từ, trong khi sự trao đổi dữ liệu giữa cache và bộ nhớ chính theo các khối như hình 2.1

Hình 2.1: Trao đổi dữ liệu giữa CPU, cache và bộ nhớ chính

Bộ nhớ cache làm việc nhờ sự dự đoán CPU sẽ tham chiếu đến vùng nhớ và tải nội dung của vùng nhớ đó vào cache trước khi CPU thực hiện tham chiếu đến bộ nhớ Có 3 nguyên tắc

tham chiếu: Vị trí tạm thời; Vị trí không gian; Vị trí tuần tự

2.1.2 Các thành phần của cache

2.1.3 Các tổ chức cache

Cả chip đơn lõi và chip đa lõi đều sử dụng ba tổ chức cache:

2.1.3.1 Cache liên kết đầy đủ

Cache liên kết đầy đủ cho phép sự sắp xếp linh hoạt các khối nhớ từ bộ nhớ chính vào bất kỳ dòng cache nào có thể, do đó nó cho tỷ số trúng cache cao Tuy nhiên, cache liên kết đầy đủ có

sơ đồ thực hiện tìm kiếm phức tạp, thời gian tìm kiếm lâu hơn khi dung lượng cache tăng lên, cache liên kết đầy đủ chỉ ứng dụng cho các cache có dung lượng nhỏ hơn 4KB

giản, có tốc độ tìm kiếm nhanh, chi phí thấp Tuy nhiên, thường

xảy ra tham chiếu lặp đi, lặp lại đến một số khối của bộ nhớ

chính có sắp xếp vào cùng một dòng của cache

2.1.3.3 Cache liên kết tập hợp

Cache liên kết tập hợp là sự kết hợp của hai tổ chức cache:

liên kết đầy đủ và sắp xếp trực tiếp Tổ chức này có sơ đồ tìm

kiếm đơn giản, có tốc độ tìm kiếm nhanh, chi phí thấp Tổ chức

cache liên kết tập hợp hạn chế được trường hợp tham chiếu lặp

đi lặp lại đến một số khối của bộ nhớ chính Cache liên kết tập

hợp 2- , 4-, và 8-dòng cho tỷ số trúng cache cao

2.2 Các đặc tính hiệu năng của cache

2.2.1 Các tỷ số trúng cache và trượt cache

2.2.1.3 Tỷ số trúng, trượt cache và trượt penalty

 Thời gian trung bình truy nhập bộ nhớ (AMAT) trong hệ

thống được xác định:

- Hai cấp cache (L1, L2):

L1L2

L1L2

- Ba cấp cache (L1, L2, L3):

L3 miss penalty = MAT (2.6)

AMAT = L1hit time + (L1miss rate)(L2hit time + (L2miss rate)

L1L2L3

hay AMAT = L1hit time + (L1missrate)(L2hit time + (L2miss rate)

(2.7b)

 Mức độ tăng tốc SP của hệ thống:

 Số chu kỳ đồng hồ trì hoãn truy cập bộ nhớ mà CPU thực

hiện cho một truy cập bộ nhớ (MSPMA) được xác định bằng:

L1L2L3

Hiệu năng của hệ thống 3 cấp cache so với 2 cấp cache là :

2.2.1.7 Ảnh hưởng của tổ chức cache đến trượt penalty

Giả sử rằng cache liên kết tập hợp 2-dòng tăng thời gian

trúng lên 10% chu kỳ Thời gian trúng đối với L2 cache sắp xếp

trực tiếp là 10 chu kỳ Tỷ số trượt cục bộ đối với L2 cache sắp

xếp trực tiếp là 25% Tỷ số trượt cục bộ đối với L2 cache liên

kết tập hợp 2-dòng là 20% Trượt penalty đối với L2 cache là

50 chu kỳ Khi đó, AMAT được xác định:

 Đối với L2 cache sắp xếp trực tiếp:

AMATL2direct mapped = 10 + 25% × 50 = 22, 5

 Đối với L2 cache liên kết tập hợp 2-dòng:

L2 2-way set accociative

Từ các kết quả trên, thấy rằng với tổ chức cache liên kết tập hợp cho thời gian truy nhập trung bình nhỏ nhất Vì vậy, trong kiến trúc chip đa lõi nên sử dụng tổ chức cache liên kết tập hợp

2.2.1.10 Tổ chức cache ảnh hưởng đến tốc độ của CPU

 Thời gian thực hiện chương trình của CPU được xác định bằng:

CPUexecutiontime = I× (CPIexecution+ MSPI) × C (2.15a)

+ execution execution

× (L2 hit time + L2 miss rate × L2 miss penalty)) × C (2.16b)

execution execution

L1L2

× (AMAT - L1hit time)) × C (2.16c)

- Ba cấp cache (L1, L2, L3):

execution execution L1L2L3

execution execution

+ L2miss rate × (L3 hit time + L3 miss rate × L3 miss penalty))) ×C (2.17b)

hay CPU time = I× (CPI + MAPI× (AMAT - L1hit time))× C (2.17c)

 Số chu kỳ thực hiện thực tế của một lệnh (CPIactual):

actual Ideal

2.2.2 Các giải pháp tăng hiệu năng của cache

- Giảm tỷ số trượt

chu kỳ

chu kỳ

- Giảm miss penalty

- Giảm thời gian trúng cache

2.3 Các chính sách thay thế dòng cache

Chính sách thay thế cache LRU, LFU, FIFO, Random, được sử dụng có hiệu quả trong các chip xử lý đơn lõi và cũng được sử dụng cho các CMP đa luồng, tuy nhiên không đạt được hiệu năng cao Do đó, có một số chính sách thay thế cache được

đề xuất cho CMP đa luồng

2.3.5 Chính sách thay thế cache NRU

Chính sách thay thế NRU là một cách xấp xỉ của chính sách thay thế cache LRU NRU sử dụng một bit duy nhất cho mỗi khối cache được gọi là nru-bit Với chỉ 1 bit của thông tin, NRU cho phép hai dự đoán khoảng tham chiếu lại: Tham chiếu lại gần ngay lập tức và tham chiếu lại xa Khi giá trị nru-bit = 0 một khối cache được sử dụng gần đây và khối cache đã dự đoán

sẽ được tham chiếu lại trong tương lai gần ngay lập tức Khi giá trị nru-bit = 1 là khối này không được sử dụng gần đây và khối

được dự đoán sẽ được tham chiếu lại trong tương lai xa

2.3.6 Chính sách thay thế cache SRRIP

Chính sách thay thế cache SRRIP thực hiện dựa trên dự đoán khoảng cách tham chiếu lại (RRIP) RRIP sử dụng M-bit cho mỗi khối cache để lưu trữ một trong 2M giá trị dự đoán tham chiếu lại (RRPV) có thể thực hiện được Khi RRPV = 0 có nghĩa là một khối cache được dự đoán sẽ tham chiếu lại trong tương lai gần ngay lập tức, trong khi RRPV = 2M - 1 một khối cache đã dự đoán sẽ được tham chiếu lại trong tương lai xa

2.3.7 Chính sách thay thế cache DRRIP

DRRIP sử dụng tranh chấp tay đôi tập hợp (SD) để xác định chính sách thay thế nào là phù hợp nhất cho một ứng dụng Chính sách thay thế cache DRRIP lựa chọn linh hoạt giữa SRRIP và BRRIP bằng cách sử dụng hai bộ giám sát tranh chấp tay đôi tập hợp (SDM) SDM hạn chế trượt cache cho bất kỳ chính sách được đưa ra bằng cách cung cấp thường xuyên một vài tập hợp của cache theo chính sách đó

2.5 Cache chia sẻ thông minh

2.5.1 Tổ chức phân cấp cache trong các CMP đa luồng

Trong các CMP đa luồng, mỗi lõi xử lý có riêng L1I cache

và L1D cache, nhưng L2 cache có thể hoặc riêng cho từng lõi

hoặc chia sẻ cho các lõi như hình 2.2

Cache chia sẻ thông minh

có những đặc điểm sau đây:

- Cache chia sẻ cho tốc độ chuyển dữ liệu giữa các lõi nhanh hơn so với bộ nhớ chính

- Kiến trúc cache chia sẻ đem lại nhiều lợi ích và đảm bảo tỷ số hiệu năng/chi phí tốt hơn so với cache riêng

- Sử dụng hiệu quả cache chia sẻ

- Linh hoạt cho người lập trình

- Giảm được sự phức tạp của logic kết dính cache

- Giảm dư thừa lưu trữ dữ liệu

- Giảm lưu lượng của bus bộ nhớ

2.7 Kết luận chương 2

Chương này đã nghiên cứu các tổ chức cache của kiến trúc CMP đa luồng Đánh giá các tổ chức cache và lựa chọn tổ chức cache liên kết tập hợp n-dòng cho hiệu năng cao nhất

và (b) L2 cache chung cho các lõi trong chip