Từ khi Ngân hàng Nhà nước Việt Nam được thành lập (ngày 06/5/1951), hệ thống Ngân hàng Việt Nam được tổ chức theo mô hình ngân hàng một cấp ở miền Bắc đến năm 1975 và cả nước từ năm 1975 đến năm 1988. Ngân hàng Nhà nước vừa làm chức năng của Ngân hàng Trung ương, quản lý Nhà nước về tiền tệ, tín dụng, vừa trực tiếp thực hiện các hoạt động của ngân hàng thương mại.
Ngày 26/03/1988, Hội đồng Bộ trưởng (nay là Chính phủ) ban hành Nghị định số 53/HĐBT thành lập các ngân hàng chuyên doanh, hình thành ngân hàng hai cấp: 1. Ngân hàng Nhà nước (NHNN) làm chức năng quản lý Nhà nước về tiền tệ, ngân hàng; 2. Các ngân hàng chuyên doanh trực tiếp kinh doanh tiền tệ - tín dụng và dịch vụ ngân hàng (trong đó có Ngân hàng Phát triển Nông nghiệp Việt Nam), hoạt động trong lĩnh vực nông nghiệp, nông thôn.
Để phù hợp với yêu cầu nhiệm vụ mới của ngành ngân hàng theo tinh thần Nghị quyết Đại hội Đảng toàn quốc lần thứ VII, ngày 14/11/1990, Chủ tịch Hội đồng Bộ trưởng ký Quyết định số 400/CT thành lập Ngân hàng Nông nghiệp Việt Nam trên cở sở Ngân hàng Phát triển Nông nghiệp Việt Nam.
Thừa uỷ quyền của Thủ tướng Chính phủ, ngày 15/10/1996, Thống đốc Ngân hàng Nhà nước ban hành Quyết định số 280/QĐ-NH5 thành lập lại và đổi tên Ngân hàng Nông nghiệp Việt Nam thành Ngân hàng Nông nghiệp và
Phát triển Nông thôn Việt Nam, tên này được duy trì từ đó đến nay. Ngoài chức năng vốn có của một ngân hàng thương mại, Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam được xác định thêm nhiệm vụ đầu tư phát triển đối với khu vực nông nghiệp, nông thôn, góp phần thực hiện đường lối CNH – HĐH nông nghiệp, nông thôn của Đảng và Nhà nước. Một lần nữa, Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam được khẳng định là ngân hàng chủ đạo, chủ lực trên thị trường tài chính nông thôn ở nước ta.
Tổ chức bộ máy kinh doanh của NHNo&PTNT Việt Nam thực hiện theo mô hình 2 cấp, gồm cấp quản trịđiều hành và cấp kinh doanh. Tại Trụ sở chính gồm có HĐQT, Ban Tổng Giám đốc và các đầu mối là 18 Ban nghiệp vụ giúp việc cho HĐQT và Tổng Giám đốc, ngoài ra còn có 03 VPĐD tại miền Nam, miền Trung và Campuchia. Các chi nhánh kinh doanh gồm có các đơn vị hạch toán độc lập, phụ thuộc, sự nghiệp, hùn vốn, góp vốn liên doanh, được chia thành 4 cấp (cấp I, cấp II, cấp III và phòng giao dịch).
Đến 31/12/2004, toàn hệ thống NHNo&PTNT Việt Nam có tổng cộng 1.886 chi nhánh các cấp, trong đó:
- Sở giao dịch và chi nhánh cấp I (107) và các chi nhánh phụ thuộc (cấp II, cấp III và phòng giao dịch) (1.722): 1.829
- Công ty trực thuộc (8) và các chi nhánh (25): 33 - Đơn vị sự nghiệp (3) và các đơn vị phụ thuộc (13): 16 - VPĐD (Miền Nam, Miền Trung và CamPuChia): 3
- Ngân hàng liên doanh Việt Thái (Vinasiam) và 1 chi nhánh tại Hà Nội, 1 chi nhánh tại Đà Nẵng: 3
- Công ty cổ phần chuyển mạch tài chính quốc gia, công ty cổ phần mía đường Lam Sơn: 2