Tư tưởng chính của phương pháp là tìm ra những chi tiết đặc trưng và bất biến của khuôn mặt. Những chi tiết này phải bất biến với các tham số như tỷ lệ, tư thế chụp, điều kiện ánh sáng,… Những chi tiết đặc trưng được quan tâm nhất là: hai mắt, mũi, miệng và đường mép tóc. Thông thường những chi tiết này được tách bằng việc sử dụng những bộ phát hiện biên.
Hướng tiếp cận từ dưới lên gồm hai bước:
Bước 1: cố gắng tìm ra tất cả những chi tiết đặc trưng của khuôn mặt hiện diện trong ảnh.
Bước 2: nhóm những chi tiết này dựa trên những quan hệ về cấu trúc hình học, từ đó chỉ ra những khuôn mặt có trong ảnh.
Những phương pháp khác nhau đề xuất những giải pháp riêng để tìm kiếm những chi tiết đặc trưng và cách thức liên kết giữa chúng.
• Một trong những phương pháp được đề xuất đầu tiên là của Govindaraju. Trong phương pháp này, những chi tiết của khuôn mặt được đặc trưng bởi những đường cong và mối quan hệ về cấu trúc liên kết giữa chúng.
• Phương pháp của Leung sử dụng phép đối chiếu đồ thị ngẫu nhiên bằng việc áp dụng một tập những bộ lọc Gaussian và so sánh với một đồ thị mẫu biểu diễn khuôn mặt. (Việc so sánh cũng thường được thực hiện thông qua một giá trị ngưỡng đơn giản).
• Yow và Cipolla sử dụng một tập các bộ lọc để chọn ra những chi tiết cạnh như vùng đuôi mắt, khóe miệng,… và chỉ giữ lại những chi tiết có những thuộc tính nhất định (chẳng hạn như chi tiết phải có hai cạnh song song,…). Những chi tiết còn lại sẽ được liên kết với nhau để xây dựng mô hình khuôn mặt.
• Một phương pháp khác sử dụng dấu hiệu mầu sắc do Cai và Goshtasby đề xuất. Họ phát hiện khuôn mặt bằng cách kiểm tra sự hiện diện của những chi tiết có mầu khác với mầu da thịt trên những vùng da thịt đã được tìm thấy..