DKU: disk controller: Bộ phận đĩa Trang 6 Các tài liệu tham khảo Trang 8 Lời mở đầu Bài báo cáo trình bày về thiết bị lưu trữ ảo của hãng Hitachi : Hitachi Visual Storage Platform với
TỔNG QUAN VỀ THIẾT BỊ HITACHI F350
Giới thiệu chung
Trong bối cảnh công nghệ thông tin ngày càng phát triển và lượng dữ liệu gia tăng, nền tảng lưu trữ ảo trở nên thiết yếu Hitachi đã giới thiệu Hitachi Virtual Storage Platform (VSP), một cấu trúc lưu trữ ba chiều giúp tối ưu hóa hiệu suất và công suất, đồng thời tận dụng bộ lưu trữ đa phân phối Nền tảng này giảm thiểu tình trạng ngừng hoạt động do sụt tải nhờ khả năng di chuyển dữ liệu hiệu quả Tầng động cấp độ trang tự động hóa quá trình di chuyển dữ liệu tới các phương tiện lưu trữ phù hợp, từ đó đơn giản hóa và tối ưu hóa chi phí cũng như hiệu suất.
Nền tảng lưu trữ ảo Hitachi, hay còn gọi là VSP, được giới thiệu lần đầu vào tháng 9 năm 2010 Nó được phát triển dựa trên thiết kế của nền tảng lưu trữ đa năng V, vốn đã được phát hành từ năm 2007.
Hitachi Virtual Storage Platform (VSP) là giải pháp lưu trữ hàng đầu trong phân khúc Enterprise, đáp ứng nhu cầu cao về IOPS và hiệu năng Với khả năng ảo hóa vượt trội, VSP cung cấp nhiều tính năng cao cấp như ảo hóa lưu trữ, snapshot, nén dữ liệu gốc và deduplication theo thời gian thực, giúp tối ưu hóa hiệu suất và tiết kiệm không gian lưu trữ.
Giới thiệu về sản phẩm Hitachi vsp f350
Hitachi Virtual Storage Platform F350 là hệ thống lưu trữ flash đa năng, có khả năng gắn trên rack và được trang bị các ổ flash độc quyền có thể mở rộng, cho phép tùy chỉnh nhiều cấu hình dung lượng lưu trữ khác nhau Hệ thống này đảm bảo thời gian phản hồi máy chủ với độ trễ thấp và hiệu suất IOPs cao trên tất cả các cổng kết nối máy chủ, đồng thời không hỗ trợ các ổ cứng thông thường trong các mô hình VSP Fx00.
Các hệ thống lưu trữ hiện đại cung cấp hiệu suất cao thông qua việc sử dụng nhiều bộ điều khiển với bộ xử lý tốc độ cao và các mô-đun bộ nhớ đệm tiên tiến Mỗi bộ điều khiển được trang bị kết nối Ethernet để quản lý ngoài băng, đảm bảo khả năng truy cập dữ liệu liên tục ngay cả khi một bộ điều khiển gặp sự cố Để tăng cường độ tin cậy, các thành phần phần cứng thiết yếu được cấu hình dự phòng, cho phép hệ thống hoạt động liên tục trong trường hợp có lỗi Việc thay thế và nâng cấp các thành phần có thể thực hiện mà không làm gián đoạn dịch vụ cung cấp dữ liệu cho máy chủ Ngoài ra, ổ đĩa dự phòng nóng tự động thay thế ổ đĩa bị lỗi, đảm bảo tính toàn vẹn của dữ liệu Các ổ đĩa logic RAID dựa trên phần cứng cung cấp hiệu suất tối ưu trong các thiết bị lưu trữ nhỏ gọn.
Hệ thống lưu trữ cấp khối được cấu hình để cung cấp khả năng truy cập và cấp phát ổ lưu trữ nguyên gốc thông qua các giao thức như Fibre Channel và iSCSI Cấu hình khối bao gồm nhiều yếu tố quan trọng.
Một chassis với nhiều bộ điều khiển có ổ đĩa tích hợp
Một hoặc nhiều khay ổ đĩa tùy chọn
Bộ xử lý dịch vụ tùy chọn (SVP)
Bộ điều khiển phân phối được cấu hình đa dạng, giúp xử lý hiệu quả từng bộ điều khiển riêng lẻ Với bộ nhớ đệm lớn, thiết bị cung cấp khả năng xử lý tốc độ cao lên đến 256 GB hoặc 128 GB.
Cấu hình ổ đĩa flash tăng tốc xử lý I/O Được trang bị giao diện kênh sợi quang 32/16-Gbps hoặc iSCSI 10-Gbps để hỗ trợ truyền dữ liệu tốc độ cao
Các thành phần chính của hệ thống được cấu hình với tính dự phòng để duy trì dịch vụ liên tục
Hệ thống hỗ trợ các chế độ RAID 1, RAID 5 và RAID 6 (RAID 6 với cấu hình 14D+2P), mang lại khả năng bảo mật dữ liệu hiệu quả Khi có sự cố mất điện, dữ liệu sẽ được chuyển vào bộ nhớ flash đệm, đảm bảo an toàn cho thông tin quan trọng.
- Khả năng mở rộng và tính linh hoạt:
Hỗ trợ các khay ổ đĩa kích thước nhỏ (DBS/DBSE) yêu cầu 2U không gian rack và lên đến 24 ổ cứng 2.5 inch và/hoặc ổ đĩa flash có thể được cài đặt
Hỗ trợ các môi trường hệ thống với các hệ điều hành kết hợp như UNIX, Linux, Windows và Vmware
Thông số kỹ thuật của thiết bị hitachi vsp f350
Công suất thô tối đa bên trong 5.7 PB (30 TB SSD )
Công suất thô tối đa bên ngoài 72 PB
Số lượng cổng máy chủ ( tối đa mà không có ổ đĩa )
8 x iSCSI Hiệu suất ( băng thông ) 9 GB/s
Các tuỳ chọn ổ đĩa flash 30 TB 2.5” SSD
15 TB 2.5” SSD 7.6 TB 2.5” SSD 3.8 TB 2.5” SSD 1.9 TB 2.5” SSD
Số lượng tối đa ổ đĩa flash 192 SSD
Khay mở rộng tiêu chuẩn tối đa 7 ( 2U : 24 SSD )
Khe cắm ổ đĩa trong 24 SFF
Các loại giao diện máy chủ FC: 32 Gb/s
FC: 16 Gb/s iSCSI: 10Gb/s Băng thông sợi quang tới máy chủ 51,200 MB/s
Giao diện đĩa back-end và các liên kết 8 x 12 Gb/s SAS
Bộ nhớ đệm tối đa 128 GiB
RAID được hỗ trợ RAID-1, RAID-5, RAID-6
Mã hoá dữ liệu ở trạng thái nghỉ Có
Số lượng máy chủ tối đa trên mỗi cổng kênh sợi quang
Kiến trúc
Một VSP hoàn chỉnh có thể chứa tối đa 6 giá đỡ, bao gồm 2 đơn vị DKC và 16 đơn vị DKU, và có thể được thiết lập dưới dạng khung đơn hoặc khung kép Mỗi khung yêu cầu ít nhất một đơn vị DKC cùng với một hoặc hai đơn vị DKU, với các thông tin chi tiết về DKC và DKU sẽ được giải thích trong phần sau của bài viết.
Sơ đồ minh họa của VSP được cấu hình đầy đủ được hiển thị bên dưới.
Các thành phần chính trong VSP là bộ điều khiển đĩa (DKC) và bộ phận đĩa (DKU).
Bộ điều khiển đĩa (DKC) đóng vai trò quan trọng trong hệ thống VSP, vì mọi hoạt động của VSP đều được DKC quản lý Đơn vị đĩa (DKU) bao gồm một tập hợp các ổ đĩa cứng vật lý, tạo thành nền tảng lưu trữ của hệ thống.
Hai DKC được kết nối với nhau thông qua các thiết bị chuyển mạch lưới (GSW).
-Các thành phần chính trong DKC là:
Quản lý giao diện người dùng (FED)
Quản lý phụ trợ (BED)
Quản lý lưu trữ ảo (VSD)
Bộ điều hợp bộ đệm
Bộ xử lý dịch vụ
Nguồn điện, quạt làm mát
-Các thành phần chính trong DKU là: Ổ cứng
Sơ đồ bên dưới hiển thị mặt trước và mặt sau của DKC
Thiết kế của DKC sử dụng mô-đun với các bộ phận thay thế được, giúp nâng cao tính linh hoạt và dễ bảo trì Quản lý ảo và quản lý bộ đệm được bố trí ở mặt trước, trong khi FEB, BED, bộ xử lý dịch vụ và công tắc lưới/công tắc tốc hành nằm ở mặt sau của DKC.
Mỗi LDEV được gán cho một VSD (quản lý lưu trữ ảo) để thực hiện các thao tác I/O, và mỗi LDEV chỉ thuộc về một VSD tại một thời điểm Quyền sở hữu LDEV sẽ được chuyển giao tạm thời trong trường hợp bảng VSD gặp sự cố.
Kiến trúc hệ thống cơ bản của VSP là
Trong hệ thống VSP FED, việc quản lý bộ đệm (CMA) và quản lý lưu trữ ảo được thực hiện thông qua các bộ chuyển mạch lưới (GSW) Tất cả các thành phần quản lý đều được kết nối trực tiếp với các bộ chuyển mạch này, tạo thành mạng Histar-E.
Bộ điều hợp kênh (FED) dành cho kết nối Máy chủ và Bộ điều hợp đĩa (BED) dành cho kết nối đĩa phụ trợ.
VSD là bảng xử lý I/O và chịu trách nhiệm xử lý I/O từ FED đến BED.
Khi máy chủ gửi yêu cầu I/O, FED sẽ tiếp nhận và liên lạc với VSD để xử lý VSD sẽ gửi thông tin đến bộ đệm và BED Nếu dữ liệu yêu cầu có trong bộ đệm, nó sẽ phản hồi trực tiếp Ngược lại, nếu dữ liệu không có trong bộ đệm, VSD sẽ tìm nạp từ các đĩa phụ trợ và cung cấp dữ liệu từ ổ đĩa dự phòng.
VSP có ổ đĩa dự phòng giúp bảo vệ dữ liệu khi ổ cứng chính gặp sự cố Hệ thống lưu trữ này hỗ trợ tiết kiệm năng động bằng cách tự động sao chép dữ liệu sang ổ đĩa dự phòng khi phát hiện dấu hiệu lỗi hoặc lỗi I/O vượt ngưỡng cho phép, ngay cả khi ổ đĩa dự phòng vẫn hoạt động bình thường.
Trong trường hợp này, dữ liệu được sao chép vào ổ đĩa dự phòng sẽ không được tạo lại Đó là một bản sao trước.
Khi ổ đĩa gặp lỗi và không có bản sao trước đó, ổ đĩa dự phòng sẽ gia nhập vào nhóm RAID và bắt đầu quá trình phục hồi dữ liệu thông qua phương pháp tính chẵn lẻ, được gọi là bản sao chỉnh sửa.
Màn hình Hi-Track là phần mềm được cài đặt trên Bộ xử lý dịch vụ (SVP) nhằm theo dõi liên tục trạng thái của VSP Nó thu thập thông tin về trạng thái phần cứng và dữ liệu lỗi, sau đó gửi đến trung tâm hỗ trợ của Hệ thống dữ liệu Hitachi (HDS) để phân tích Trong trường hợp xảy ra sự cố phần cứng, màn hình Hi-Track sẽ nhanh chóng thông báo cho trung tâm dịch vụ.
Màn hình Hi-Track cho phép nhóm hỗ trợ HDS truy cập VSP từ xa như khi họ đang ở hiện trường.
Tác nhân Hi-Track SVP là công cụ cài đặt trên Bộ xử lý dịch vụ (VSP), có chức năng giám sát lỗi và gửi thông báo qua email đến khách hàng.
Cấu trúc và chức năng thành phần của thiết bị hitachi vsp f350
Nền tảng lưu trữ ảo Hitachi VSP F350 là hệ thống lưu trữ hỗn hợp linh hoạt, có thể gắn trên giá đỡ và trang bị hộp ổ đĩa, hỗ trợ cả ổ đĩa cứng SAS và ổ đĩa flash Hệ thống này cho phép mở rộng dung lượng lưu trữ theo nhiều cấu hình khác nhau, cung cấp khả năng truy cập lưu trữ cấp khối và khối lượng lưu trữ thô thông qua các giao thức như Fiber Channel và iSCSI.
Mỗi bộ điều khiển được cấu thành từ các thành phần quan trọng như bộ xử lý, mô-đun bộ nhớ cache trong dòng kép (DIMMs), bộ nhớ flash bộ nhớ cache (CFM), pin và quạt.
- Bộ điều khiển có kết nối Ethernet để quản lý ngoài băng tần bằng cách sử dụng Hitachi Device Manager - Storage Navigator
Nếu một đường dẫn dữ liệu qua bộ điều khiển gặp sự cố, các ổ đĩa vẫn có thể truy cập được cho máy chủ dữ liệu thông qua một đường dẫn dư thừa qua bộ điều khiển khác.
- Bộ điều khiển được trang bị các chỉ báo LED để theo dõi các điều kiện hoạt động của nó và thông báo thay thế thành phần có thể.
Mục Thông số kỹ thuật
(chiều rộng x chiều sâu x chiều cao) (mm)
Trọng lượng/Khối lượng (kg) 16.1 kg
Thời gian khởi động ( phút) 1 5 – 8 phút
Chiều cao yêu cầu (Đơn vị EIA¿ ¿ 2 U
Tiêu thụ điện năng (VA) 226 VA
Lưu lượng không khí (m 3 / phút) 3 4.0 m 3 / phút
1 Thời gian khởi động có thể lâu hơn tương ứng với số lượng khay ổ đĩa được kết nối Với cấu hình tối đa 1 khung điều khiển và 19 khay ổ đĩa, thời gian khởi động khoảng 8 phút.
2 Có thể được gắn trên giá RKU Để lắp đặt, cần có các đường ray đặc biệt cho giá đỡ và tấm trang trí tùy thuộc vào số lượng hệ thống lưu trữ được gắn.
3 Giá trị ở mức tối đa.
Mục Thông số kỹ thuật
(chiều rộng x chiều sâu x chiều cao) (mm)
Trọng lượng/Khối lượng (kg) 17 kg
Thời gian khởi động ( phút) 1 5 – 8 phút
Chiều cao yêu cầu (Đơn vị EIA¿ ¿ 2 U
Tiêu thụ điện năng (VA) 126 VA
Lưu lượng không khí (m 3 / phút) 3 2.2 m 3 / phút
1 Thời gian khởi động có thể lâu hơn tương ứng với số lượng khay ổ đĩa được kết nối Với cấu hình tối đa 1 khung điều khiển và 19 khay ổ đĩa, thời gian khởi động khoảng 8 phút.
2 Có thể được gắn trên giá RKU Để lắp đặt, cần có các đường ray đặc biệt cho giá đỡ và tấm trang trí tùy thuộc vào số lượng hệ thống lưu trữ được gắn.
3 Giá trị ở mức tối đa.
Mục Thông số kỹ thuật
Dung lượng dữ liệu được hỗ trợ 472.61, 945.23, 1890.46, 3780.92,
7561.85 GB Dung lượng hệ thống lưu trữ tối đa
1,321 TiB (sử dụng SSD SFF 2.5-inch 7.6 TB)
Số lượng có thể lắp tối đa (đơn vị) 24 (tổng trên mỗi khung)
192 (tối đa trên mỗi hệ thống)
Số lượng ổ đĩa dự phòng 2 16
1 Khi lắp hệ thống lưu trữ và khay ổ đĩa DBS, số lượng (đơn vị) tối đa có thể lắp được có thể thay đổi.
2 Có sẵn dưới dạng đĩa dự phòng hoặc dữ liệu.
Mục Thông số kỹ thuật
Loại giao diện FC 16/32 Gbps (Quang) iSCSI 10Gbps (Quang) iSCSI 10Gbps (Đồng) Tốc độ truyền dữ liệu
(Tốc độ tối đa để truyền tới máy chủ)
Số lượng cổng 16/32 Gbps FC (Quang): 16 iSCSI 10Gbps (Quang) : 8 iSCSI 10Gbps (Đồng) : 8 Kích thước khối được chuyển
Số lượng máy chủ tối đa thông qua bộ chuyển mạch FC
Số lượng máy chủ tối đa thông qua chuyển đổi mạng
Nhiệt độ nạp của hệ thống lưu trữ CBSS
1.5.6 Thông số kỹ thuật RAID
Mục Thông số kỹ thuật
Cấp độ RAID* Ổ đĩa flash được gắn: 1/5/6
Số lượng nhóm parity tối đa 64
Kích thước dung lượng tối đa 3 TB (khi sử dụng LDEV của hệ thống lưu trữ khác : 4 TB) Dung lượng/ nhóm máy chủ tối đa và mục tiêu iSCSI
Dung lượng/ nhóm parity tối đa 2048
Hệ thống lưu trữ được cấu hình với RAID 6, RAID 5 hoặc RAID 1 cung cấp khả năng dự phòng và tăng cường độ tin cậy cho dữ liệu Mặc dù vậy, vẫn tồn tại nguy cơ mất dữ liệu do lỗi phần cứng hoặc phần mềm bất ngờ Do đó, người dùng cần tuân thủ các phương pháp tốt nhất và đảm bảo sao lưu toàn bộ dữ liệu của mình.
1.5.7 Thông số logic bên trong (CBSS)
Mục Thông số kỹ thuật
Bộ nhớ điều khiển Bộ nhớ flash: 32 MB
Bộ nhớ cache L3: 4 MB SDRAM: 1 GB Phương pháp đảm bảo dữ liệu Bus dữ liệu: parity
Bộ nhớ cache: ECC (sửa 1 bit, phát hiẹn 2 bit Ổ đĩa: mã đảm bảo dữ liệu
1.5.8 Thông số kỹ thuật bộ nhớ cache
Mục Thông số kỹ thuật
Công suất (mỗi bộ điều khiển)
Cách thức điều khiển Đọc LRU/ Ghi sau
Pin dự phòng Được cung cấp
Thời gian sao lưu* Không hạn chế (lưu vào bộ nhớ không biến đổi )
Dữ liệu trong bộ nhớ đệm được bảo vệ an toàn trước các sự cố mất điện đột ngột Quá trình sao lưu đảm bảo rằng dữ liệu vẫn được ghi vào bộ đệm, ngay cả khi có gián đoạn nguồn, và sau đó chuyển tiếp sang bộ nhớ flash để bảo toàn thông tin.
Mục Thông số kỹ thuật
Cách điện chịu được điện áp AC 1,500 V ( 100 mA, 1 phút) Điện trở DC 500 V, 10 MΩ hoặc hơn
GIAO DIỆN THIẾT BỊ
Host, Network, và Cổng khay đĩa ( với đèn LED )
Bộ điều khiển được trang bị các giao diện chuyên dụng cho việc kết nối, cấp nguồn, cấu hình và quản lý hệ thống lưu trữ Ngoài ra, các đèn LED hiển thị trạng thái hoạt động của hệ thống lưu trữ, giúp người dùng dễ dàng theo dõi tình hình hoạt động.
2.2.1.1 Đèn LED và đầu nối bảng iSCSI 10-Gbps (quang học )
1 Đèn LED trạng thái Màu xanh: Mô-đun đang được bật
Màu đỏ: Mô-đun có thể an toàn để tháo
2 Đèn LED cổng Màu đỏ: Có thể tháo bỏ SFP
Màu xanh dương: Trạng thái liên kết bình thường
Màu xanh dương nhấp nháy: Mô- đun front end đang trong trạng thái giao tiếp
3 Đầu nối iSCSI Kết nối với cáp Ethernet của người dùng.
2.2.1.2 Đèn LED và đầu nối bảng iSCSI 10-Gbps (đồng )
1 Đèn LED trạng thái Màu xanh: Mô-đun mặt trước đang được bật
Màu đỏ: Mô-đun mặt trước có thể an toàn tháo bỏ
2 Đèn LED cổng (link/ speed)
Màu vàng: Kết nối 1-Gbps Màu xanh: Kết nối 10-Gbps Tắt: Không có kết nối liên kết
3 Đèn LED cổng Màu xanh: Kết nối liên kết đã được thiết lập
Nhấp nháy: Đang trong quá trình giao tiếp
Tắt: Không có kết nối liên kết hoặc không sẵn sàng để giao tiếp
4 Đầu nối iSCSI Kết nối với cáp Ethernet
Các mô-đun back-end (BEM), hay còn gọi là bảng đĩa (DKB), đóng vai trò quan trọng trong việc kiểm soát quá trình truyền dữ liệu giữa các ổ đĩa và bộ nhớ đệm Đèn LED trên mô-đun phía sau cung cấp thông tin về trạng thái hoạt động của mô-đun.
1 Đầu nối PATH 1 Kết nối tới khay ổ đĩa
2 Đèn LED PORT Màu xanh dương: Trạng thái liên kết bình thường
CƠ CHẾ ĐẢM BẢO HA
High availability là gì ?
Độ sẵn sàng cao (High Availability - HA) đề cập đến tình trạng mà các máy chủ hoặc thiết bị luôn sẵn sàng phục vụ, nhằm giảm thiểu khả năng gián đoạn hệ thống.
High availability là giải pháp công nghệ đảm bảo ứng dụng và cơ sở dữ liệu luôn truy cập được 24/7, bất kể điều kiện nào.
High availability của hitachi vsp f350
Hitachi VSP F350 là hệ thống lưu trữ cao cấp lý tưởng cho môi trường doanh nghiệp, cung cấp tính năng sẵn có, bảo vệ dữ liệu và khả năng mở rộng vượt trội Với các tính năng đảm bảo tính sẵn sàng cao, Hitachi VSP F350 đáp ứng hiệu quả nhu cầu quan trọng của các ứng dụng doanh nghiệp.
Dưới đây là một số cơ chế đảm bảo HA của thiết bị này:
1) Kiến trúc hoạt động song song: Hitachi VSP F350 sử dụng kiến trúc hoạt động song song để phân phối tải và cung cấp dự phòng cho các thành phần quan trọng Điều này giúp giảm thiểu thời gian chết và đảm bảo tính khả dụng cao
Nguồn cung cấp điện dự phòng là một thiết bị quan trọng, giúp đảm bảo hoạt động liên tục của hệ thống Khi một nguồn điện gặp sự cố, nguồn dự phòng sẽ tự động kích hoạt và cung cấp điện, ngăn chặn mọi gián đoạn trong quá trình vận hành.
Hitachi VSP F350 được trang bị hai bộ điều khiển độc lập, đảm bảo tính khả dụng cao Nếu một bộ điều khiển gặp sự cố, bộ điều khiển dự phòng sẽ tự động tiếp nhận và xử lý các yêu cầu từ hệ thống mà không gây gián đoạn hoạt động.
Thiết bị này hỗ trợ các công nghệ sao chép dữ liệu như sao chép đồng bộ (synchronous replication) và sao chép không đồng bộ (asynchronous replication), giúp đảm bảo rằng dữ liệu được sao chép và lưu trữ an toàn trên nhiều hệ thống khác nhau.
Hitachi VSP F350 được trang bị công cụ giám sát và cảnh báo hiệu suất hệ thống Khi phát hiện vấn đề, hệ thống sẽ gửi thông báo kịp thời cho người quản trị để xử lý.
Hitachi VSP F350 hỗ trợ nhiều cấp độ RAID để bảo vệ.Bảo vệ chống mất dữ liệu do ổ đĩa bị lỗi disk Các cấu hình RAID bao gồm RAID 0, 1, 5,6,
Raid 5: Khi lỗi 1 đĩa, đọc giữ liệu trên các đĩa còn lại và đĩa parity có thể tính ra được dữ liệu bị mất
Raid 6: Khi lỗi nhiều nhất 2 đĩa, dữ liệu trên các đĩa con lại sẽ tính toán ra được dữ liệu bị mất
Hitachi VSP F350 được thiết kế với nhiều cơ chế nhằm đảm bảo tính khả dụng cao, bao gồm kiến trúc song song, nguồn điện dự phòng, bộ điều khiển dự phòng, sao chép dữ liệu và giám sát liên tục.
More from: ktmt 2022 kiến trúc máy tính
Học viện Công nghệ Bư…
TIỂU LUẬN KĨ NĂNG THUYẾT Trình-ÁP LỰC… kiến trúc máy tính 100% (6)
7 ĐỀ CƯƠNG ÔN TẬP MÔN KIẾN TRÚC MÁY TÍNH kiến trúc máy tính 100% (8)
Cau truc 3G - câc kiến trúc máy tính 100% (3)
Nhóm 6 VLSI - Tìm hiểu cấu trúc và nguyên lí của … kiến trúc máy tính 100% (2)
Học viện Công nghệ Bưu…
Emu8086 - lập trình hợp ngữ kiến trúc máy tính None 20
Progress Test 1 HP - thông tin kiến trúc máy tính None 10
English for Academic and Professional Purposes realers 100% (32)
Entrepreneurship the Practice and Mindset 2n… Entrepreneurship 100% (11) 1408
Applied linguistics for BA students