Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam đƣợc thành lập ngày 26/3/1988, theo quyết định số 53/HĐBT của Hội đồng bộ trƣởng Bộ (nay là Chính phủ) về việc thành lập ngân hàng chuyên doanh, trong đó có Ngân hàng Phát triển Nông nghiệp Việt Nam hoạt động trong lĩnh vực nông nghiệp, nông thôn, và tuân thủ theo Luật các Tổ chức Tín dụng Việt Nam.
Ngày 14/11/1990, Chủ tịch Hội đồng Bộ trƣởng kí Quyết định số 400/CT thành lập Ngân hàng Nông nghiệp Việt Nam thay thế Ngân hàng Phát triển Nông nghiệp Việt Nam.
Năm 1994 đổi mới hệ thống quản lí của Ngân hàng Nông nghiệp Việt Nam hoạt động theo mô hình Tổng công ty Nhà nƣớc, Ngân hàng Nông nghiệp Việt Nam có 2 cấp: Cấp tham mƣu và cấp trực tiếp kinh doanh.
Ngày 15/11/1996, đƣợc Thủ tƣớng Chính phủ ủy quyền, Thống đốc Ngân hàng Nhà nƣớc Việt Nam kí Quyết định số 280/QĐ-NHNN đổi tên Ngân hàng Nông nghiệp Việt Nam thành Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam.
Năm 2000 cùng với việc mở rộng kinh doanh trên thị trƣờng trong nƣớc, Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam tích cực mở rộng quan hệ hợp tác quốc tế và kinh doanh đối ngoại, và nhanh chóng trở thành đối tác quan trọng của nhiều tổ chức tín dụng tầm cỡ trên thế giới.
Năm 2001 là năm đầu tiên Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam triển khai thực hiện đề án tái cơ cấu với các nội dung chính sách là cơ cấu lại nợ, lành mạnh hóa tài chính, nâng cáo chất lƣợng tài sản có, chuyển đổi hệ thống kế toán hiện hành theo chuẩn mực quốc tế đổi mới sắp xếp lại bộ máy tổ chức theo mô hình ngân hàng thƣơng mại hiện đại.
Tính đến năm 2004, sau 4 năm nổ lực triển khai thực hiện đề án tái cơ cấu giai đoạn 2001-2010, Ngân hàng Nông nghiệp và phát triển nông thôn Việt Nam đã đạt đƣợc những kết quả đáng khích lệ. Tình hình tài chính đã đƣợc lành mạnh hơn qua việc cơ cấu lại nợ và tăng vố điều lệ, xử lí trên 90% nợ tồn động.
Năm 2008 là năm lịch sử đối với Ngân hàng, ghi dấu son cho chặn đƣờng 20 năm xây dựng và không ngừng trƣởng thành của Agribank. Đồng thời cũng là năm có tính chất quyết định, đánh dấu mốc trong tiến trình hội nhập kinh tế quốc tế theo chủ trƣờng Đảng, Chính phủ.
Năm 2011, Agribank chuyển đổi hoạt động sang mô hình Công ty Trách nhiệm hữu hạn một thành viên do Nhà nƣớc làm chủ sở hữu 100% vốn điều lệ. Năm 2012, vƣợt lên khó khăn của tình hình kinh tế thế giới và trong nƣớc, hoạt động kinh doanh của Agribank tiếp tục phát triển ổn định.