Về mặt hành chính, Nhật Bản đƣợc chia thành các đơn vị hành chính lãnh thổ với hai loại: đơn vị hành chính thông thƣờng, và đơn vị hành chính đặc biệt. Thành phố Tokyo, và mỗi đô thị nằm trong Tokyo, là những đơn vị hành chính thông thƣờng; 23 phƣờng đặc biệt của Tokyo là những đơn vị hành chính đặc biệt.
Các đơn vị hành chính thông thƣờng: Các đơn vị hành chính thông thƣờng giống nhau ở tổ chức cũng nhƣ chức năng, và gồm có hai cấp: cấp vùng, và cấp đô thị cấu tạo nên vùng.
Vùng: Nhật Bản có 47 vùng tạo thành chính quyền địa phƣơng vùng. Hầu hết các vùng đƣợc gọi là “ken” trong tiếng Nhật - ví dụ, Akita-ken, hay Hiroshima- ken - nhƣng cũng có một vài ngoại lệ. Tokyo đƣợc gọi khác một chút: “Tokyo-to” trong tiếng Nhật. Thông thƣờng mọi ngƣời hay nhắc tới Tokyo nhƣ một thành phố, nhƣng nói đúng ra, đây là một đô thị cấp vùng. Sự phân biệt này là quan trọng bởi vì có một số thành phố nằm trong vùng đô thị Tokyo.
Các đô thị: Đô thị là các đơn vị hành chính địa phƣơng có quan hệ chặt chẽ và trực tiếp với cƣ dân địa phƣơng. Chúng đƣợc phân loại thành “shi”, “cho”, hay “son” trong tiếng Nhật, có thể tạm dịch là thành phố, thị trấn, hay làng (city, town, village trong tiếng Anh).
Vùng và đô thị là các đơn vị hành chính có địa vị ngang nhau. Vùng có thẩm quyền quản lí khu vực rộng hơn, còn đô thị thì trực tiếp xử lí các vấn đề liên quan đến cƣ dân. Vùng và đô thị cùng hợp tác để quản lí địa phƣơng theo phần trách nhiệm của mình.
Để đƣợc công nhận là thành phố, một đô thị cần phải có dân số từ 50.000 ngƣời trở lên, cũng nhƣ đáp ứng một số yêu cầu khác. Thị trấn cũng phải đáp ứng những điều kiện nhất định do cấp vùng qui định.
Các thành phố chọn lọc: Các thành phố có ít nhất 500.000 dân có thể đƣợc chính quyền trung ƣơng chỉ định là “thành phố chọn lọc”. Để đối phó với những
thách thức tại các thành phố lớn, các thành phố chọn lọc có nhiều quyền lực hơn thành phố thông thƣờng trong việc sử dụng những biện pháp hay qui chế đặc biệt. Tokyo đƣơng nhiên đƣợc coi là thành phố chọn lọc.
Các đơn vị hành chính địa phƣơng đặc biệt: Các đơn vị hành chính địa phƣơng đặc biệt đƣợc thành lập nhằm những mục tiêu đặc biệt liên quan đến việc quản lí địa phƣơng. Chúng khác các đơn vị hành chính thông thƣờng ở lãnh thổ, tổ chức, và thẩm quyền quản lí.