Khái niệm về hiệu quả được phát triển từ các nghiên cứu của Koopmans (1951), Debreu (1951) và Farrell (1957) trong lĩnh vực sản xuất. Koopmans (1951) cho rằng hiệu quả đạt được khi sử dụng đầu vào ở mức tối thiểu để sản xuất một đơn vị sản lượng đầu ra định sẵn, hoặc với một đơn vị đầu vào định sẵn có thể thu được tối đa sản lượng đầu ra. Debreu (1951) đưa ra điều kiện để xem một kỹ thuật sản xuất là tối ưu khi không còn khả năng tăng đầu ra hoặc giảm đầu vào. Farrell (1957) đưa vào yếu tố giá để so sánh đầu vào và đầu ra khi xác định hiệu quả sản xuất.
Hauner (2005) đưa ra khái niệm hiệu quả mang tính tổng quát hơn, hiệu quả được hiểu khi tối đa hóa được giá trị cho chủ sở hữu doanh nghiệp trên cơ sở quy mô kinh tế, phạm vi hoạt động, quá trình sản xuất để biến đầu vào thành đầu ra và kỹ năng quản lý doanh nghiệp.
Tiêu chuẩn của một doanh nghiệp hiệu quả là tối đa sản lượng đầu ra dựa vào sản lượng đầu vào nhất định. Theo Coelli (2005) một đơn vị kinh tế được cho là hiệu quả hơn so với một đơn vị khác nếu nó có thể cung cấp hàng hoá dịch vụ nhiều hơn cho xã hội mà không cần sử dụng nhiều tài nguyên hơn đơn vị khác. Hay nói cách khác, đơn vị được gọi là hiệu quả nếu đạt được kết quả đầu ra tối đa trong khi sử dụng tối ưu các nguồn lực đầu vào.
Trong những thập niên gần đây, hiệu quả trong lĩnh vực ngân hàng đã được quan tâm nghiên cứu. Về bản chất, NHTM là một đơn vị kinh doanh được tổ chức vì mục tiêu tối đa hóa giá trị của cổ đông với mức rủi ro có thể chấp nhận được (Rose, 1998). Do đó, hiệu quả của NHTM cũng tương tự như các đơn vị sản xuất. Khi đề cập đến hiệu quả trong ngành ngân hàng cần phân biệt giữa hiệu quả phân bổ và hiệu quả kỹ thuật. Hiệu quả phân bổ là mức độ mà các nguồn lực được phân bổ để sử dụng với giá trị kỳ vọng cao nhất, còn hiệu quả kỹ thuật đạt được khi sử dụng tối thiểu sản lượng đầu vào để tạo ra sản lượng đầu ra. Sản lượng đầu ra có thể là dư nợ cho vay hoặc tổng số dư tiền gửi, hoặc thu nhập của ngân hàng, trong khi sản lượng đầu vào bao gồm lao động, vốn và chi phí hoạt động khác.
Như vậy, một ngân hàng được xem là có hiệu quả chi phí hay hiệu quả kinh tế toàn phần khi nó đạt được cả hiệu quả phân bổ và hiệu quả kỹ thuật (Mester, 1997). Trong khi đó, Berger và Humphrey (1997) cho rằng ngân hàng đạt được hiệu quả khi nó cung cấp một sự kết hợp tối ưu các dịch vụ tài chính dựa trên một tập hợp xác định các yếu tố đầu vào. Tuy nhiên, Reddy (2003) lại cho rằng một ngân hàng có hiệu quả không nhất thiết phải sản xuất ở mức tối đa sản lượng đầu ra cho tập hợp các yếu tố đầu vào, mà ngân hàng hiệu quả là ngân hàng hoạt động tốt nhất trong mẫu nghiên cứu.
Tóm lại, hiệu quả của NHTM đạt được khi sử dụng đầu vào nhỏ nhất để tạo ra một sản lượng đầu ra hoặc tối đa sản lượng đầu ra với một sản lượng đầu vào và đảm bảo hoạt động an toàn.