Về cơ cấu, tổ chức và hoạt động của VKSND ở nước ta đã được quy định trong các bản Hiến pháp 1959, Hiến pháp 1980, Hiến pháp 1992, luật tổ chức Viện kiểm sát nhân dân 1992, Pháp lệnh tổ chức Viện kiểm sát quân sự 1993, Pháp lệnh về kiểm sát viên VKSND năm 1993, Luật tổ chức VKSND năm 2002 và Pháp lệnh tổ chức Viện kiểm sát quân sự năm 2002.
Trên cơ sở Hiến pháp, Luật tổ chức VKS và các văn bản pháp luật liên quan, hệ thống cơ quan VKSND được xây dựng thống nhất từ Trung ương tới địa phương và trong quân đội để thực hiện chức năng giám sát việc tuân theo pháp luật và thực hiện quyền
công tố trong hoạt động tư pháp. Qua đó,đã góp phần đảm bảo việc tuân theo pháp luật trong hoạt động của các cơ quan nhà nước, tổ chức xã hội, lực lượng vũ trang và công dân đồng thời góp phần giữ vững an ninh chính trị và trật tự an toàn xã hội, bảo vệ có hiệu quả quyền và lợi ích hợp pháp của công dân, tổ chức và nhà nước.
Tuy vậy trong giai đoạn thực hiện công cuộc công nghiệp hoá, hiện đại hoá nước nhà hiện nay, việc quy định về cơ cấu tổ chức và hoạt động của VKSND còn có sự chồng chéo, lẫn lộn trong việc thực hiện chức năng kiểm sát việc tuân theo pháp luật đối với hoạt động kiểm tra, giám sát của các cơ quan nhà nước khác và các tổ chức chính trị xã hội, việc thành lập cơ quan điều tra của VKSND cấp tỉnh hoạt động kém hiệu quả là không cần thiết, cơ chế để đảm bảo thực hiện chức năng nhiệm vụ của kiểm sát viên chưa chặt chẽ…làm cho hoạt động VKS bị dàn trải, hiệu quả chưa cao.
Để khắc phục thực trạng trên, cơ cấu tổ chức và hoạt động của VKSND đã được sửa đổi bổ sung trong Hiến pháp 2002, Luật tổ chức VKSND 2002, Pháp lệnh tổ chức VKS quân sự 2002 và các văn bản pháp luật khác liên quan.
Theo quy định của các văn bản pháp luật hiện hành, VKSND chỉ còn tập trung thực hiện hai chức năng là kiểm sát việc tuân theo pháp luật trong HĐTP và thực hành quyền công tố. Như vậy, ngoài chức năng thực hành quyền công tố, VKS tiến hành kiểm sát các lĩnh vực hoạt động điều tra, xét xử các vụ án hình sự, các vụ án khác theo quy định của pháp luật, kiểm sát việc thi hành án, việc tạm giữ, tạm giam đồng thời bỏ qua cơ quan điều tra thuộc VKSND cấp tỉnh để tăng cường cho hoạt động thực hiện hai chức năng cơ bản trên. Qua đó, tiêu chuẩn về chuyên môn nghiệp vụ được đề cao thêm là ngoài trình độ cử nhân luật để trở thành kiểm sát viên còn phải qua đào tạo về nghiệp vụ kiểm sát và các điều kiện khác nữa.
Mặc dù đã được sửa đổi bổ sung, nhưng về cơ cấu tổ chức và hoạt động của VKS vẫn còn bộc lộ những hạn chế nhất định, trong đó nổi lên một số vấn đề như:
Việc quy định về bổ nhiệm kiểm sát viên còn chưa hợp lý. Theo quy định của Luật tổ chức VKSND, thời gian tối thiểu để được bổ nhiệm kiểm sát viên cao cấp là tám năm, kiểm sát viên trung cấp là sáu năm, còn kiểm sát viên sơ cấp là bốn năm. Đây là thời hạn quy định chung cho tất cả các địa phương trong cả nước, nhưng trên thực tế do điều kiện kinh tế - xã hội ở từng địa phương khác nhau dẫn tới trong hoạt động, số lượng chất lượng hiệu quả từng
cán bộ kiểm sát ở các địa phương khác nhau là không giống nhau. Có những cán bộ kiểm sát trong một năm đã hoàn thành được khối lượng công việc của người cán bộ VKS khác làm việc trong ba năm, năm năm gộp lại. Nhưng họ lại có chung một thời hạn để bổ nhiệm kiểm sát viên như nhau là không phù hợp.
Cơ chế giám sát để đảm bảo chức năng, nhiệm vụ đối với kiểm sát viên còn chưa chặt chẽ.
Trong TTHS, hoạt động kiểm sát việc tuân theo pháp luật và thực hành quyền công tố của VKS được tiến hành từ khi khởi tố vụ án (trường hợp có người bị bắt, tạm giữ do phạm tội quả tang thì việc tham gia của VKS còn sớm hơn) cho đến kết thúc quá trình hoạt động TTHS. Còn trong thực tế của hoạt động TTHS việc bắt, tạm giữ, tạm giam bị xét xử oan sai xảy ra còn nhiều. Trong đó, còn xảy ra các tình trạng: Hồ sơ vụ án bị VKS, Toà án đình chỉ vụ án, yêu cầu thay đổi tội danh, yêu cầu điều tra lại đã làm mất thời gian, tốn kém công sức tiền của nhân dân và đặc biệt làm giảm niềm tin của nhân dân vào sự nghiêm minh của các cơ quan bảo vệ pháp luật. Vậy nhưng, chưa có các quy định cụ thể để xác định rõ trách nhiệm của các kiểm sát viên khi thực hiện kiểm sát việc tuân theo pháp luật và thực hành quyền công tố đã tới các tình trạng trên. Thậm chí trong việc thực hiện chức năng giám sát còn có sự lộng quyền, lạm quyền như kiểm sát viên… của VKSND quận Tây Hồ, Hà Nội, Viện trưởng, Phó viện trưởng VKSND quận Liên Chiểu thành phố Đà Nẵng, kiểm sát viên Nguyễn Pha Lê của VKSND thành phố Hồ Chí Minh với các sai trái đã được công bố và báo chí đã đề cập.