Theo Phỏp lệnh Tổ chức điều tra hỡnh sự năm 2004, trong quõn đội nhõn dõn cú hệ thống tổ chức Cơ quan điều tra hỡnh sự và hệ thống tổ chức Cơ quan An ninh điều tra. Hệ thống tổ chức Cơ quan điều tra hỡnh sự phõn thành ba cấp: Cơ quan điều tra hỡnh sự Bộ Quốc phũng (cấp thứ nhất); Cơ quan điều tra hỡnh sự quõn khu và tương đương (cấp thứ hai); Cơ quan điều tra hỡnh sự khu vực (cấp thứ ba). Tổ chức của Cơ quan điều tra hỡnh sự Bộ Quốc phũng gồm cú cỏc phũng điều tra, phũng nghiệp vụ và bộ mỏy giỳp việc; tổ chức Cơ quan điều tra hỡnh sự quõn khu và tương đương gồm cú Ban điều tra và bộ mỏy giỳp việc; tổ chức Cơ quan điều tra hỡnh sự khu vực gồm cú bộ phận điều tra và bộ mỏy giỳp việc.
Để triển khai thực hiện Phỏp lệnh Tổ chức điều tra hỡnh sự năm 2004, ngày 08/10/2004 Bộ trưởng Bộ Quốc phũng đó ký Quyết định số 139/2004/QĐ-BQP "Về tổ chức và nhiệm vụ của Cơ quan điều tra hỡnh sự trong quõn đội nhõn
dõn", quy định trong quõn đội cú 99 Cơ quan điều tra hỡnh sự cỏc cấp, gồm:
01 Cơ quan điều tra hỡnh sự Bộ Quốc phũng; 30 Cơ quan điều tra hỡnh sự quõn khu và tương đương (Bộ Tổng Tham mưu, cỏc tổng cục, qũn khu, qũn đồn, qũn chủng, Bộ đội Biờn phũng, binh chủng, binh đoàn và cỏc tổ chức sự nghiệp thuộc Bộ Quốc phũng); 68 Cơ quan điều tra hỡnh sự khu vực thuộc
Bộ Tổng Tham mưu, cỏc tổng cục, qũn khu, qũn đồn, qũn chủng, Bộ đội Biờn phũng, binh chủng, binh đoàn và cỏc tổ chức sự nghiệp thuộc Bộ Quốc phũng (xem Phụ lục 1).