Những nhân tố xã hội tác động đến nghèo đói và hoạt động XĐGN bao gồm: dân số và lao động, trình độ dân trí, đầu tư cho giáo dục, chăm sóc sức khỏe, phong tục, tập quán, vấn đề cán bộ và tổ chức bộ máy quản lý, điều hành.
- Tình trạng nghèo đói liên quan chặt chẽ với sự gia tăng dân số và cơ cấu dân cư. Theo điều tra, bình quân nhân khẩu phải nuôi trên một lao động chính của các hộ nghèo thường cao hơn các hộ giàu. Như vậy, người nghèo dễ rơi vào vòng luẩn quẩn: nghèo đói, dân trí thấp dẫn đến sinh đẻ nhiều và đến lượt nó, sinh đẻ nhiều lại càng làm cho đời sống khó khăn hơn. Do sinh đẻ nhiều, thời gian lao động và thu nhập của hộ gia đình sẽ giảm. Ngược lại nhân khẩu trong gia đình tăng nên mức thu nhập bình quân đầu người của hộ giảm. Sức khỏe của người mẹ đẻ nhiều cũng suy giảm và tác động đến sức khỏe của những đứa con sau khi sinh làm cho sức lao động giảm dần, nguy cơ nghèo đói sẽ tăng cao.
Trên góc độ quốc gia, dân số tăng nhanh thì mức gia tăng thu nhập bình quân đầu người sẽ giảm. Với một nguồn lực hạn chế, lại phải cân đối cho một lượng dân cư lớn hơn thì sẽ khó khăn cho việc huy động nguồn lực để hỗ trợ thực hiện các mục tiêu XĐGN. Nếu cơ cấu dân số trẻ cao thì áp lực đầu tư cho giáo dục sẽ lớn, đầu tư cho phát triển sản xuất sẽ giảm dẫn đến tăng trưởng chậm. Một vấn đề khác nữa là, nếu tỷ lệ dân cư phân bổ ở những vùng nghèo tiềm lực và không theo quy hoạch của Nhà nước mà cao thì nguy cơ xuống cấp môi trường và tình trạng nghèo đói sẽ lớn (do tình trạng phát nương làm rẫy, khai phá tài nguyên bừa bãi, làm xói mòn đất...).
- Về lao động, nếu cơ cấu dân cư có tỷ lệ lao động thấp, một lao động chính phải nuôi nhiều người ăn theo thì khả năng tăng trưởng kinh tế thấp, XĐGN sẽ khó khăn. Hoặc nếu cơ cấu lao động phân bổ chủ yếu trong nông nghiệp, tỷ lệ lao động trong công nghiệp và dịch vụ thấp, thì đó là một bất lợi lớn cho việc tăng nhanh mức thu nhập bình quân đầu người, tỷ lệ tích lũy sẽ thấp cũng như tăng trưởng kinh tế và XĐGN sẽ khó khăn.
Chất lượng lao động (trình độ tay nghề, sức khỏe, thái độ lao động của người lao động) là một nhân tố tác động đến tăng trưởng kinh tế nói chung và XĐGN nói riêng. Chất lượng lao động sẽ tác động trực tiếp tăng năng suất và tăng thu nhập cho người lao động.
Trong bối cảnh toàn cầu hóa hiện nay, khi Việt Nam đã gia nhập WTO, đã và đang tạo ra nhiều cơ hội việc làm và thu nhập cao cho một bộ phận đáng kể người lao động trong các khu vực có lợi thế so sánh (như dịch vụ, dệt may, xây dựng và xuất khẩu); nhưng cũng đòi hỏi cao hơn về chất lượng lao động. Nếu chất lượng lao động thấp, không đáp ứng được yêu cầu thực tế thì nguy cơ thất nghiệp, giảm thu nhập là điều khó tránh khỏi.
- Về giáo dục: Chất lượng lao động gắn với việc nâng cao trình độ dân trí và chiến lược phát triển giáo dục. Hầu hết những người nghèo, vùng nghèo ở Việt Nam là những nơi có trình độ dân trí thấp. Cùng với tác động của thu nhập thấp nên việc đầu tư chăm lo cho con cái học hành của các hộ gia đình nghèo và vùng nghèo ít được quan tâm hơn. Do học vấn thấp, ít được đào tạo nghề nên con cái người nghèo ít có cơ hội tìm kiếm việc làm có thu nhập cao. Kết quả là tỷ lệ đi học trong độ tuổi ở các vùng này sẽ thấp và như vậy, nguy cơ nghèo về tri thức dẫn đến nghèo đói về mọi mặt sẽ gia tăng.