Năm 1988, Ngân hàng Phát triển Nông nghiệp Việt Nam được thành lập theo Nghị định số 53/HĐBT ngày 26/3/1988 của Hội đồng Bộ trưởng (nay là Chính phủ) về việc thành lập các ngân hàng chuyên doanh, trong đó có Ngân hàng Phát triển Nông nghiệp Việt Nam hoạt động trong lĩnh vực nông nghiệp, nông thôn. Ngân hàng Phát triển Nông nghiệp hình thành trên cơ sở tiếp nhận từ Ngân hàng Nhà nước: Tất cả các chi nhánh Ngân hàng Nhà nước huyện, Phòng Tín dụng Nông nghiệp, quỹ tiết kiệm tại các chi nhánh Ngân hàng Nhà nước tỉnh, thành phố. Ngân hàng Phát triển Nông nghiệp Trung Ương được hình thành trên cơ sở tiếp nhận Vụ Tín dụng Nông nghiệp Ngân hàng Nhà nước và một số cán bộ của Vụ Tín dụng Thương nghiệp, Ngân hàng Đầu tư và Xây dựng, Vụ Kế toán và một số đơn vị.
Ngày 14/11/1990, Chủ tịch Hội đồng Bộ trưởng (nay là Thủ tướng Chính phủ) ký Quyết định số 400/CT thành lập Ngân hàng Nông nghiệp Việt Nam thay thế Ngân hàng Phát triển Nông nghiệp Việt Nam. Ngân hàng Nông nghiệp là Ngân hàng thương mại đa năng, hoạt động chủ yếu trên lĩnh vực nông nghiệp, nông thôn, là một pháp nhân, hạch toán kinh tế độc lập, tự chủ, tự chịu trách nhiệm về hoạt động của mình trước pháp luật.
Ngày 15/11/1996, được Thủ tướng Chính phủ ủy quyền, Thống đốc Ngân hàng Nhà nước Việt Nam ký Quyết định số 280/QĐ-NHNN đổi tên Ngân hàng Nông nghiệp Việt Nam thành Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam. Ngân hàng Nông nghiệp và Phát triển Nông thôn hoạt động theo mô hình Tổng công ty 90, là doanh nghiệp Nhà nước hạng đặc biệt, hoạt động theo Luật các tổ chức tín dụng và chịu sự quản lý trực tiếp của Ngân hàng Nhà nước Việt Nam. Với tên gọi mới, ngoài chức năng của một ngân hàng thương mại, Ngân hàng Nông nghiệp và Phát triển Nông thôn được xác định thêm nhiệm vụ đầu tư phát triển đối với khu vực nông thôn thông qua việc mở rộng đầu tư vốn trung, dài hạn để xây
dựng cơ sở vật chất kỹ thuật cho sản xuất nông, lâm nghiệp, thủy hải sản góp phần thực hiện thành công sự nghiệp công nghiệp hóa - hiện đại hóa nông nghiệp nông thôn.
Năm 2001 là năm đầu tiên Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam (AGRIBANK) triển khai thực hiện đề án tái cơ cấu với các nội dung chính sách là cơ cấu lại nợ, lành mạnh hoá tài chính, nâng cao chất lượng tài sản có, chuyển đổi hệ thống kế toán hiện hành theo chuẩn mực quốc tế đôi mới sắp xếp lại bộ máy tổ chức theo mô hình NHTM hiện đại tăng cường đào tạo và đào tạo lại cán bộ tập trung đổi mới công nghệ ngân hàng, xây dựng hệ thống thông tin quản lý hiện đại.
Năm 2003 Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam đã đẩy nhanh tiến độ thực hiện Đề án Tái cơ cấu nhằm đưa hoạt động của Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam phát triển với quy mô lớn chất lượng hiệu quả cao. Với những thành tích đặc biệt xuất sắc trong thời kỳ đổi mới, đóng góp tích cực và rất có hiệu quả vào sự nghiệp phát triển kinh tế xã hội của đất nước, sự nghiệp Công nghiệp hoá, hiện đại hoá nông nghiệp - nông thôn, Chủ tịch nước CHXHCNVN đã ký quyết định số 226/2003/QD/CTN ngày 07/05/2003 phong tặng danh hiệu Anh hùng Lao động thời kỳ đổi mới cho Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam.
Đến cuối năm 2005, vốn tự có của Ngân hàng Nông nghiệp và Phát triển Nông thôn Việt Nam đạt 7.702 tỷ VND, tổng tài sản có trên 190 ngàn tỷ , hơn 2000 chi nhánh trên toàn quốc và 29.492 cán bộ nhân viên (chiếm 40% tổng số CBCNV toàn hệ thống ngân hàng Việt Nam), ứng dụng công nghệ hiện đại, cung cấp những sản phẩm, dịch vụ ngân hàng tiện ích.
Từ năm 2006 bằng những giải pháp mang tính đột phá và cách làm mới AGRIBANK thực sự khởi sắc. Đến cuối năm 2007, tổng tài sản đạt 325.802 tỷ đồng tương đương với 20 tỷ USD gấp gần 220 lần so với ngày đầu thành lập. Tổng dư nợ cho vay nền kinh tế đạt 242.102 tỷ đồng trong đó cho vay nông nghiệp nông thôn chiếm trên 70% với trên 10 triệu hộ gia đình, cho vay doanh nghiệp nhỏ và vừa
chiếm trên 36% với gần 3 vạn doanh nghiệp dư nợ. Tổng nguồn vốn 295.048 tỷ đồng và gần như hoàn toàn là vốn huy động.
Năm 2008 là năm ghi dấu chặng đường 20 năm xây dựng và trưởng thành của AGRIBANK và cũng là năm có tính quyết định trong tiến trình hội nhập kinh tế quốc tế theo chủ trương của Đảng, Chính phủ. Trong chiến lược phát triển của mình, AGRIBANK sẽ trở thành một Tập đoàn tài chính đa nghành, đa sở hữu, hoạt động đa lĩnh vực. Theo đó, toàn hệ thống xác định những mục tiêu lớn phải ưu tiên, đó là: Tiếp tục giữ vai trò chủ đạo, chủ lực trên thị trường tài chính nông thôn, luôn là người bạn đông hành thủy chung tin cậy của 10 triệu hộ gia đình; đảy mạnh tái cơ cấu ngân hàng, giải quyết triệt để vấn đề nợ xấu, đạt hệ số an toàn vốn theo tiêu chuẩn quốc tế, phát triển hệ thống công nghệ thông tin, đa dạng hóa sản phẩm , nâng cao chất lượng dịch vụ, chuẩn bị nguồn nhân lực chất lượng cao, đảm bảo các lợi ích của người lao động và phát triển thương hiệu- văn hóa AGRIBANK.
2009 cũng là năm AGRIBANK ưu tiên và chú trọng công tác đào tạo, bồi dưỡng đội ngũ cán bộ đáp ứng yêu cầu của cạnh tranh và hội nhập. Triển khai thành công mô hình đào tạo trực tuyến; Tuyển thêm trên 2000 cán bộ trẻ, được đào tạo căn bản, có ngoại ngữ và tin học nhằm chuẩn bị nguồn lực cho các năm tiếp theo. Đến cuối năm 2009, tổng tài sản của AGRIBANK đạt xấp xỉ 470.000 tỷ đồng, tăng 22% so với năm 2008; tổng nguồn vốn đạt 434.331 tỷ đồng, tổng dư nợ nền kinh tế đạt 354.112 tỷ đồng, trong đó cho vay nông nghiệp nông thôn đạt 242.062 tỷ đồng.
Năm 2010, AGRIBANK là Top 10 trong 500 doanh nghiệp lớn nhất Việt Nam. Thực thi Luật các tổ chức tín dụng năm 2010 và triển khai Nghị định số 59/2009/NĐ-CP của Chính phủ về tổ chức và hoạt động của Ngân hàng thương mại, năm 2010, HĐQT AGRIBANK đã ban hành và triển khai Điều lệ mới về tổ chức và hoạt động của AGRIBANK thay thế Điều lệ ban hành năm 2002. Cũng trong 2010, AGRIBANK được Chính phủ cấp bổ sung 10.202,11 tỷ đồng, nâng tổng vốn điều lệ của AGRIBANK lên 20.810 tỷ đồng, tiếp tục là Định chế tài chính có vốn điều lệ lớn nhất Việt Nam.
Năm 2011, thực hiện Quyết định số 214/QĐ-NHNN, ngày 31/01/2011, của Thống đốc Ngân hàng Nhà nước Việt Nam, AGRIBANK chuyển đổi hoạt động sang mô hình Công ty Trách nhiệm hữu hạn một thành viên do Nhà nước làm chủ sở hữu 100% vốn điều lệ. Năm 2011 là năm AGRIBANK đầu tư cho "Tam nông" đạt mốc 300.000 tỷ đồng, dẫn đầu các tổ chức tín dụng trong việc cho vay thí điểm xây dựng nông thôn mới, qua đó góp phần vào thành công bước đầu của Chương trình mục tiêu Quốc gia về xây dựng nông thôn mới giai đoạn 2010- 2020 của Chính phủ.