Ngày 04/11/1994, MB được thành lập với mục tiêu hỗ trợ cho các doanh nghiệp Quân đội làm kinh tế. Trụ sở tại số 28, Điện Biên Phủ, Hà Nội với số vốn điều lệ và 25 cán bộ nhân viên.
Trong giai đoạn từ năm 1997 đến năm 2002, từ vị thế một ngân hàng nhỏ, MB đã đặt nền tảng phát triển bền vững và ổn định, trở thành ngân hàng duy nhất có lợi nhuận trong cuộc khủng hoảng tài chính châu Á năm 1997 - chỉ 3 năm sau thời điểm thành lập; duy trì tốc độ tăng trưởng ở mức 20-30% trong năm tiếp theo. Trong giai đoạn này, MB cũng đánh dấu sự trưởng thành, mở rộng quy mô phát triển bằng việc trở thành thành viên của thị trường ngoại tệ liên ngân hàng (1997); Mua lại khách sạn ASEAN với khuôn viên gần 10.000m2 (1999); Thành lập Phòng nguồn vốn và kinh doanh tiền tệ (1999). Đến năm 2000, nhận quyết định thành lập Công ty chứng khoán Thăng Long - Tiền thân của MBS ngày nay và thành lập Công ty Quản lý nợ và Khai thác tài sản (nay là Công ty MB AMC) vào năm 2002. Đây là những dấu mốc quan trọng, đặt nền móng cho mô hình quản lý theo định hướng tập đoàn tài chính đa năng và hiện đại. Khép lại giai đoạn này, sự phát triển của MB đã vượt ra khỏi nhiệm vụ ban đầu để trở thành tổ chức tài chính có thể đáp ứng nhu cầu của hầu hết các phân khúc khách hàng tại Việt Nam.
Tiếp nối giai đoạn phát triển rực rỡ trước đó, MB bắt đầu kế hoạch cải tổ để phát triển toàn diện, mở rộng thị trường và thúc đẩy phát triển nhanh, mạnh và bền vững trong giai đoạn 2003-2008, với tầm nhìn đến năm 2015. Đánh dấu cho giai đoạn này là những sự kiện tiêu biểu như: Trở thành ngân hàng đầu tiêu phát hành cổ phần thông qua bán đấu giá ra công chúng với tổng mệnh giá là 20 tỷ đồng vào năm 2004; Ký kết thỏa thuận hợp tác ba bên với Vietcombank và Viettel, hợp tác với Citibank (2005) để xây dựng cơ sở phát triển các sản phẩm - dịch vụ tài chính có
hàm lượng công nghệ cao sau này; Mở rộng lĩnh vực hoạt động theo lộ trình phát triển chuỗi sản phẩm - dịch vụ tài chính toàn diện, hỗ trợ tốt nhất cho khách hàng bằng việc thành lập Công ty Quản lý quỹ Đầu tư Ngân hàng TMCP Quân đội (MB Capital) (2006). Đặc biệt, năm 2010, MB cũng bắt đầu xây dựng kế hoạch chiến lược phát triển của mình giai đoạn 2011-2015. Khép lại giai đoạn 2003-2010, MB ghi dấu sự phát triển ra ngoài phạm vi biên giới quốc gia bằng việc thành lập chi nhánh đầu tiên tại Lào, chính thức khai trương vào ngày 30/12/2010.
Trên cơ sở những thành công và kinh nghiệm đã tích lũy trong hơn 15 năm trước, MB bắt đầu giai đoạn thực hiện chiến lược phát triển 2011-2015 với tầm nhìn đến năm 2020 nhằm kiện toàn lại mọi mặt hoạt động, mục tiêu đưa MB vào vị trí nhóm 3 ngân hàng thương mại cổ phần hàng đầu tại Việt Nam. Trong những năm đầu tiêu của giai đoạn mới, năm 2011, MB đã chuyển chức năng hành chính quân sự về trực thuộc Bộ Quốc Phòng, Đảng bộ Ngân hàng trực thuộc Quân ủy Trung ương. Thực hiện thành công việc niêm yết cổ phiếu trên Sở Giao dịch Chứng khoán TP.HCM (HSX); Mở rộng hoạt động tại thị trường nước ngoài bằng việc thành lập thêm chi nhánh tại Campuchia. Dấu ấn rõ rệt nhất của MB trong giai đoạn này là việc bứt phá lên giữ vị trí đầu bảng trong năm 3 năm liên tục 2012, 2013 và 2014 về lợi nhuận kinh doanh, hiệu quả hoạt động so với các ngân hàng thương mại cổ phần không do nhà nước nắm cổ phần chi phối; được đánh giá là ngân hàng lớn thứ năm tại Việt Nam hiện nay.