Ngày 01 tháng 04 năm 1963, NHNT chính thức được thành lập theo Quyết định số 115/CP do Hội đồng Chính phủ ban hành ngày 30 tháng 10 năm 1962 trên cơ sở tách ra từ Cục quản lý Ngoại hối trực thuộc Ngân hàng Trung ương (nay là NHNN). Theo Quyết định nói trên, NHNT đóng vai trò là ngân hàng chuyên doanh đầu tiên và duy nhất của Việt Nam tại thời điểm đó hoạt động trong lĩnh vực kinh tế đối ngoại bao gồm cho vay tài trợ xuất nhập khẩu và các dịch vụ kinh tế đối ngoại khác (vận tải, bảo hiểm...), thanh toán quốc tế, kinh doanh ngoại hối, quản lý vốn ngoại tệ gửi tại các ngân hàng nước ngoài, làm đại lý cho Chính phủ trong các quan hệ thanh toán, vay nợ, viện trợ với các nước xã hội chủ nghĩa (cũ)... Ngoài ra, NHNT còn tham mưu cho Ban lãnh đạo NHNN về các chính sách quản lý ngoại tệ, vàng bạc, quản lý quỹ ngoại tệ của Nhà nước và về quan hệ với Ngân hàng Trung ương các nước, các Tổ chức tài chính tiền tệ quốc tế.
Ngày 21 tháng 09 năm 1996, được sự ủy quyền của Thủ tướng Chính phủ, Thống đốc NHNN đã ký Quyết định số 286/QĐ-NH5 về việc thành lập lại NHNT theo mô hình Tổng công ty 90, 91 được quy định tại Quyết định số 90/QĐ-TTg ngày 07 tháng 03 năm 1994 của Thủ tướng Chính phủ.
Trải qua gần 45 năm xây dựng và trưởng thành, tính đến thời điểm cuối năm 2006, NHNT đã phát triển lớn mạnh theo mô hình ngân hàng đa năng với 58 Chi nhánh, 1 Sở Giao dịch, 87 Phòng Giao dịch và 4 Công ty con trực thuộc trên toàn quốc; 2 Văn phòng đại diện và 1 Công ty con tại nước ngoài,
với đội ngũ cán bộ gần 6.500 người. Ngoài ra, NHNT còn tham gia góp vốn, liên doanh liên kết với các đơn vị trong và ngoài nước trong nhiều lĩnh vực kinh doanh khác nhau như kinh doanh bảo hiểm, bất động sản, quỹ đầu tư... Tổng tài sản của NHNT tại thời điểm cuối năm 2006 lên tới xấp xỉ 170 nghìn tỷ VND (tương đương 10,4 tỷ USD), tổng dư nợ đạt gần 68 nghìn tỷ VND (4,25 tỷ USD), vốn chủ sở hữu đạt hơn 11.127 tỷ VND, đáp ứng tỷ lệ an toàn vốn tối thiểu 8% theo chuẩn quốc tế.