Những năm 1990, Việt Nam còn là một trong số quốc gia có tỷ lệ hộ nghèo, đói cao, khoảng 59% (theo số liệu điều tra của Ngân hàng Thế giới). Có nhiều nguyên nhân dẫn đến nghèo đói, trong đó tình trạng thiếu vốn sản xuất đứng ở vị trí hàng đầu trong khi lĩnh vực tín dụng bao gồm tín dụng ngân hàng và tín dụng nhà nước đều do hệ thống ngân hàng thương mại quốc doanh quản lý và cho vay với những phương thức, thủ tục không khuyến khích được người nghèo tiếp cận vốn vay.
Trước thực trạng đó, bắt đầu từ tháng 3/1995, Ngân hàng Nông nghiệp Việt Nam khởi xướng cùng Ngân hàng Nhà nước, Ngân hàng Ngoại thương Việt Nam góp vốn xây dựng Quỹ cho vay ưu đãi hộ nghèo với tổng số tiền ban đầu là 400 tỷ đồng, giao cho Ngân hàng Nông nghiệp Việt Nam quản lý, thực hiện cho hộ nghèo vay với lãi suất ưu đãi, thấp hơn lãi suất cho vay của ngân hàng thương mại và không phải thế chấp tài sản. Qua 5 tháng triển khai cho vay từ Quỹ cho vay ưu đãi hộ nghèo đã có gần 500.000 hộ nghèo trên phạm vi toàn quốc được vay vốn phát triển sản xuất.
Trước những thay đổi theo quá trình phát triển kinh tế - xã hội và để khắc phục những hạn chế của Quỹ cho vay ưu đãi hộ nghèo, ngày 31/8/1995, Thủ tướng Chính phủ Võ Văn Kiệt đã ký Quyết định số 522/TTg về việc thành lập Ngân hàng Phục vụ người nghèo, với mục tiêu xóa đói giảm nghèo không vì mục đích lợi nhuận. Sau 7 năm hoạt động (1995 - 2002), tổng nguồn vốn của Ngân hàng Phục vụ người nghèo đạt 7.083 tỷ đồng. Nguồn vốn này được tăng trưởng trên cơ sở bàn giao từ Quỹ cho vay ưu đãi hộ nghèo là 518 tỷ đồng, đã góp phần giúp cho trên 644.000 hộ thoát nghèo. Tuy nhiên, mô hình này vẫn còn những hạn chế vì thực chất như một Quỹ ưu đãi, việc điều hành tác nghiệp giao cho Ngân hàng nông
nghiệp và phát triển nông thôn đảm nhận, công tác tổ chức Hội đồng quản trị theo hình thức kiêm nhiệm không phân rõ trách nhiệm, cán bộ ngân hàng thương mại thiên về kinh doanh, chưa quan tâm đúng mức đến tín dụng hộ nghèo...
Trước yêu cầu của tiến trình hội nhập, cơ cấu lại hệ thống ngân hàng, từng bước tách tín dụng chính sách ra khỏi tín dụng thương mại, ngày 04/10/2002, Chính phủ đã ban hành Nghị định số 78/2002/NĐ-CP về tín dụng đối với người nghèo và các đối tượng chính sách khác; đồng thời Thủ tướng Phan Văn Khải ký Quyết định số 131/2002/TTg thành lập Ngân hàng Chính sách xã hội dựa trên cơ sở tổ chức lại Ngân hàng phục vụ cho người nghèo để thực hiện Nghị định 78 nhằm tập trung các nguồn vốn ngân sách tài trợ cho người nghèo và các đối tượng chính sách khác vào một đầu mối, tất cả phục vụ cho người nghèo và các đối tượng chính sách. Ngân hàng chính sách xã hội nhận bàn giao tài sản, các chương trình cho vay hộ nghèo từ Ngân hàng nông nghiệp và phát triển nông thôn, cho vay giải quyết việc làm từ Kho bạc Nhà nước, cho vay học sinh, sinh viên có hoàn cảnh khó khăn từ Ngân hàng Công thương Việt Nam và các nguồn vốn ngân sách địa phương, với tổng số tiền hàng nghìn tỷ đồng. Thực hiện có hiệu quả chính sách tín dụng ưu đãi đối với hộ nghèo và các đối tượng chính sách, ngân hàng Chính sách xã hội có bộ máy quản lý và điều hành thống nhất trong phạm vi cả nước, là một pháp nhân, có vốn điều lệ, có con dấu, có tài sản và hệ thống giao dịch từ Trung ương đến địa phương.