Hầu hết hệ thống nhớ trong các thiết bị tính toán hiện đại đƣợc tổ chức theo cấu trúc phân cấp (hierachical structure). Cấu trúc phân cấp không chỉ đƣợc sử dụng trong các hệ thống nhớ mà nó còn sử dụng rộng rãi trong đời sống xã hội, nhƣ cấu trúc tổ chức các cơ quan nhà nƣớc, doanh nghiệp và cả các trƣờng học. Hình 33 minh hoạ cấu trúc phân cấp hệ thống nhớ, gồm các phần chính: các thanh ghi của CPU (CPU Registers), bộ nhớ cache (Cache), bộ nhớ chính (Main Memory) và bộ nhớ ngoài (Secondary / Tertiary Storage).
Chương 4- Bộ nhớ trong
Hình 34 Dung lƣợng, thời gian truy cập và giá thành các loại bộ nhớ
Trong cấu trúc phân cấp hệ thống nhớ, dung lƣợng các thành phần tăng theo chiều từ các thanh ghi của CPU đến bộ nhớ ngoài. Ngƣợc lại, tốc độ truy nhập hay băng thông và giá thành một đơn vị nhớ tăng theo chiều từ bộ nhớ ngoài đến các thanh ghi của CPU. Nhƣ vậy, các thanh ghi của CPU có dung lƣợng nhỏ nhất nhƣng có tốc độ truy cập nhanh nhất và cũng có giá thành cao nhất. Bộ nhớ ngoài có dung lƣợng lớn nhất, nhƣng tốc độ truy cập thấp nhất. Bù lại, bộ nhớ ngoài có giá thành rẻ nên có thể đƣợc sử dung với dung lƣợng lớn.
Các thanh ghi đƣợc tích hợp trong CPU và thƣờng hoạt động theo tần số làm việc của CPU, nên đạt tốc độ truy cập rất cao. Tuy nhiên, do không gian trong CPU rất hạn chế nên tổng dung lƣợng của các thanh ghi là khá nhỏ, chỉ khoảng vài chục byte đến vài kilobyte. Các thanh ghi thƣờng đƣợc sử dụng để lƣu toán hạng đầu vào và kết quả đầu ra của các lệnh phục vụ CPU làm việc.
Bộ nhớ cache có dung lƣợng tƣơng đối nhỏ, khoảng từ vài chục kilobyte đến vài chục megabyte (khoảng 64KB đến 32MB với các máy tính hiện nay). Tốc độ truy cập cache cao, nhƣng giá thành còn khá đắt. Cache đƣợc coi là bộ nhớ “thông minh” do có khả năng đoán trƣớc đƣợc nhu cầu lệnh và dữ liệu của CPU. Cache “đoán” và tải trƣớc các lệnh và dữ liệu CPU cần sử dụng từ bộ nhớ chính, nhờ vậy giúp CPU giảm thời gian truy cập hệ thống nhớ, tăng tốc độ xử lý.
Bộ nhớ chính gồm có bộ nhớ ROM và bộ nhớ RAM, có dung lƣợng khá lớn (khoảng từ 256MB đến 4GB với các hệ thống 32 bit), nhƣng tốc độ truy cập tƣơng đối chậm so với cache. Giá thành bộ nhớ chính tƣơng đối thấp nên có thể sử dụng với dung lƣợng lớn. Bộ nhớ chính đƣợc sử dụng để lƣu lệnh và dữ liệu của hệ thống và của ngƣời dùng.
Bộ nhớ ngoài hay bộ nhớ thứ cấp, gồm các loại đĩa từ, đĩa quang và băng từ. Bộ nhớ ngoài thƣờng có dung lƣợng rất lớn, khoảng 20GB đến 1000GB, nhƣng tốc độ truy cập rất chậm. Bộ nhớ ngoài có ƣu điểm là giá thành rẻ và thƣờng đƣợc sử dụng để lƣu trữ dữ liệu lâu dài dƣới dạng các tệp (files).