Trước đây, hệ thống cơ quan Viện kiểm sát ở Liên Xô có vị trí độc lập, với chức năng kiểm sát việc tuân theo pháp luật đối với các cơ quan hành pháp, tổ chức kinh tế, tổ chức kinh tế - xã hội và hệ thống Tòa án. Mục đích của việc thực hiện chức năng kiểm sát là để đảm bảo pháp luật được tuân thủ, thi hành nghiêm chỉnh và thống nhất. Từ đó, cấu trúc của Viện kiểm sát Nga về cơ bản được giữ nguyên cho đến ngày hôm nay và được khẳng định trong các Hiến pháp năm 1936, 1977, 1993 và Luật Liên bang về Viện kiểm sát Liên bang Nga năm 1995.
Hệ thống Viện kiểm sát Liên bang Nga gồm có: Viện kiểm sát trung ương Liên bang Nga; Viện kiểm sát các chủ thể thuộc Liên bang Nga và cấp tương đương; Viện kiểm sát các thành phố, quận, huyện và các Viện kiểm sát ngang cấp với chúng; các Viện kiểm sát chuyên trách như Viện kiểm sát trong lĩnh vực giao thông, Viện kiểm sát bảo vệ môi trường….
Viện kiểm sát trung ương Liên bang Nga do Tổng kiểm sát trưởng Liên bang Nga lãnh đạo. Tổng kiểm sát trưởng Liên bang Nga do Hội đồng Liên bang bổ nhiệm, bãi nhiệm theo đề nghị của Tổng thống Liên bang Nga. Giúp việc cho Tổng kiểm sát trưởng Liên bang Nga có một Phó Tổng kiểm sát trưởng thứ nhất và một số Phó Tổng kiểm sát trưởng. Trong Viện kiểm sát trung ương Liên bang Nga thành lập ủy ban kiểm sát. ủy
ban kiểm sát Viện kiểm sát trung ương Liên bang Nga là cơ quan tư vấn. Trong cơ cấu Viện kiểm sát trung ương Liên bang Nga gồm có: các tổng cục, các cục, các vụ, viện và các phòng, ban chức năng.
Viện kiểm sát các chủ thể thuộc Liên bang Nga và cấp tương đương do kiểm sát viên các nước cộng hòa, các vùng, khu vực, thành phố trực thuộc liên bang, các vùng tự trị, các khu vực tự trị và cấp tương đương lãnh đạo. Giúp việc cho kiểm sát viên các nước cộng hòa, các vùng, khu vực, thành phố trực thuộc liên bang, các vùng tự trị, các khu vực tự trị và cấp tương đương có một cấp phó thứ nhất và một số cấp phó khác. Tương tự như cơ cấu Viện kiểm sát trung ương Liên bang Nga, trong cơ cấu của Viện kiểm sát các chủ thể thuộc Liên bang Nga và cấp tương đương có ủy ban kiểm sát, với vai trò là cơ quan tư vấn.
Viện kiểm sát thành phố, quận, huyện và cấp tương đương do kiểm sát viên thành phố, quận, huyện và cấp tương đương lãnh đạo. Giúp việc cho kiểm sát viên thành phố, quận, huyện và cấp tương đương có một cấp phó thứ nhất và các cấp phó khác. Ngoài ra, theo quyết định của Tổng kiểm sát trưởng Liên bang Nga, trong cơ cấu của Viện kiểm sát thành phố, quận, huyện và cấp tương đương có thể có các phòng, ban.