Nguyên tắc tổ chức thực hiện quyền lực của Nhật Bản cũng giống như các Nhà nước tư sản khác trên thế giới, đó là chế độ tam quyền phân lập. Theo quy định của Hiến pháp Nhật Bản, quyền công tố là một phần của quyền hành pháp, thẩm quyền truy tố được trao cho cơ quan hành pháp, quyền hành pháp được trao cho Nội các, Nội các chịu trách nhiệm trước Quốc hội. Bộ trưởng Bộ Tư pháp với vị trí là người đứng đầu, chỉ đạo công tác thuộc thẩm quyền thi hành pháp luật của Bộ Tư pháp, bao gồm cả công tác liên quan đến việc truy tố. Như vậy, Viện công tố là một tổ chức nằm trong Bộ Tư pháp như là một "cơ quan đặc biệt". Công tố viên nằm dưới sự chỉ huy chung, giám sát của Bộ trưởng Bộ Tư pháp. Về nguyên tắc, Bộ trưởng Bộ Tư pháp có thể kiểm tra và giám sát các công tố viên nói chung trong việc thực hiện các chức năng của họ, tuy nhiên, trong trường hợp liên quan tới việc điều tra và quyết định các vụ án cụ thể Bộ trưởng Bộ Tư pháp chỉ có thể kiểm tra, chỉ đạo đối với Tổng công tố trưởng. Hiến pháp Nhật Bản cũng
trao cho Viện công tố có quyền truy tố độc lập là nhằm tách bạch mối liên hệ giữa thẩm quyền truy tố và thẩm quyền xét xử của Tòa án.
Khi thực hiện nhiệm vụ, Viện công tố cũng có tính độc lập như Tòa án. Mặc dù Viện công tố nằm trong một tổ chức do Bộ trưởng Bộ Tư pháp đứng đầu nhưng để có thể bảo đảm tính độc lập, chính bản thân công tố viên, với tư cách là công chức đảm trách về việc truy tố, cần phải được độc lập và không chịu ảnh hưởng của sức ép bên ngoài. Để bảo đảm tính độc lập của công tố viên, Luật về Viện công tố quy định giới hạn về quyền chỉ huy của Bộ trưởng Bộ Tư pháp đối với công tố viên: "Về việc xử lý từng vụ án, chỉ có thể chỉ huy Tổng công tố trưởng Viện công tố tối cao" (Điều 14). Tuy nhiên, trên thực tế thì cũng rất ít khi Bộ trưởng Bộ Tư pháp ra chỉ thị, mệnh lệnh cho Tổng công tố trưởng. Trong lịch sử tư pháp Nhật Bản chỉ duy nhất có một trường hợp Bộ trưởng Bộ Tư pháp hành xử quyền chỉ huy của mình phủ định đường lối của Tổng công tố trưởng vào năm 1954 và đã bị dư luận phản đối. Luật cũng quy định công tố viên có thể hành xử quyền hạn của mình một cách độc lập. Chẳng hạn, về nguyên tắc, công tố viên có thể truy tố trái với mệnh lệnh của cấp trên và việc truy tố này cũng có hiệu lực trong tố tụng. Bất cứ ai đã phạm tội, dù là Bộ trưởng Bộ Tư pháp, Thủ tướng, nghị si Quốc hội thì công tố viên Nhật Bản vẫn thực hiện truy cứu trách nhiệm hình sự theo qui định của pháp luật và nếu có bằng chứng thì tiến hành truy tố người đó ra tòa.
Hệ thống tổ chức của Viện công tố Nhật Bản được tổ chức tương ứng với hệ thống tổ chức của Tòa án Nhật Bản. Theo đó, Viện công tố Nhật Bản được tổ chức ở 4 cấp: Viện công tố tối cao; Viện công tố cấp cao (cấp vùng); Viện công tố địa phương (cấp tỉnh); Viện công tố cấp khu vực (cấp quận). Viện trưởng Viện công tố cấp trên có quyền hạn chỉ huy và giám sát các công tố viên thuộc quyền quản lý trực tiếp và các Viện công tố cấp dưới.
Cơ cấu tổ chức của Cơ quan công tố tối cao gồm: Ban thư ký, Cục điều tra, Vụ giám sát điều tra, Vụ an ninh công cộng, Vụ xét xử. Giúp việc cho Tổng công tố có các Phó Tổng công tố.
Có 8 Cơ quan công tố cấp cao và 6 chi nhánh: Cơ quan công tố cấp cao được tổ chức ở 8 vùng: Tokyo, Osaka, Nagoya, Hiroshima, Fukuoka, Sendai, Sapporo, Takamatsu. Cơ cấu tổ chức của cơ quan công tố cấp cao bao gồm: Ban thư ký, Văn
phòng, Phòng giải quyết những vấn đề chung, Phòng điều tra, Phòng an ninh công cộng, Phòng xét xử.
Có 50 cơ quan công tố địa phương và 203 chi nhánh. Mỗi tỉnh có một cơ quan công tố (47 tỉnh của Nhật Bản có 47 Cơ quan công tố, riêng tỉnh Hokaido do diện tích rộng nên được tổ chức 4 cơ quan công tố: Hokaido, Kushiro, Asakhikawa, Hakodate).