Tương tự Ngân hàng Công thương Việt Nam, Ngân hàng Phát triển Nông thôn Việt Nam được thành lập theo Nghị định số 53/HĐBT ngày 26/3/1988 của Hội đồng Bộ trưởng về việc thành lập các Ngân hàng chuyên doanh, trong đó Ngân hàng Nông nghiệp hoạt động trong lĩnh vực nông nghiệp và phát triển nông thôn.
Lúc đầu, Ngân hàng Phát triển nông thôn hình thành trên cơ sở tiếp nhận từ Ngân hàng Nhà nước tất cả các chi nhánh Ngân hàng nhà nước huyện, Phòng tín dụng nông nghiệp, quỹ tiết kiệm tại các chi nhánh NHNN tỉnh, thành phố. Ngân hàng phát triển nông nghiệp Trung ương được hình thành trên cơ sở tiếp nhận Vụ tín dụng Nông nghiệp Ngân hàng nhà nước và
một số cán bộ của Vụ tín dụng thương nghiệp, Ngân hàng Đầu tư và Xây dựng, Vụ kế toán và một số đơn vị.
Ngày 14/11/1990, Chủ tịch Hội đồng Bộ trưởng ký Quyết định số 400/CT thành lập Ngân hàng nông nghiệp Việt Nam thay thế Ngân hàng Phát triển Nông thôn Việt Nam, là NHTM đa năng, hoạt động chủ yếu trên lĩnh vực nông nghiệp, nông thôn, là một pháp nhân, hạch toán kinh tế độc lập, tự chủ, tự chịu trách nhiệm về hoạt động của mình trước pháp luật.
Ngày 15/11/1996, được Thủ tướng Chính phủ ủy quyền, Thống đốc Ngân hàng Nhà nước Việt Nam ký quyết định số 280/QĐ-NHNN đổi tên Ngân hàng Nông nghiệp Việt Nam thành Ngân hàng Nông nghiệp và Phát triển nông thôn Việt Nam.
Đến nay, Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam đã có mạng lưới lớn nhất trong hệ thống NHTM tại Việt Nam, bao gồm trên 2000 Chi nhánh các cấp (thành phố, huyện, xã)