Bên cạnh những mặt tích cực do tích tụ ruộng đất mang lại thì những ảnh hưởng mang tính chất tiêu cực của nó đến đời sống xã hội vùng nông thôn là không thể tránh khỏi. Kết quả nghiên cứu đã chỉ ra đó là sự chênh lệch giàu nghèo xuất phát từ sự chênh lệch về ruộng đất, là việc mất đi sinh kế của
một bộ phận người dân nông thôn mà đa số rơi vào những người nghèo, không đất, làm cho cuộc sống vật chất khó khăn và cuộc sống tinh thần bi quan, bế tắc. Chính vì vậy bên cạnh các chính sách tạo điều kiện cho tích tụ ruộng đất phải có các chính sách trợ giúp phát triển kinh tế và đảm bảo về mặt an sinh xã hội cho người dân, đặc biệt là người nghèo không đất.
Muốn tích tụ ruộng đất thì phải có đất để tích tụ nghĩa là phải giải phóng lao động khỏi ruộng đất. Ở nước ta, bình quân cứ mỗi một héc-ta đất mất đi thì có khoảng 15 lao động nông thôn mất việc làm (Trung tâm thông tin PTNNNT, 2011).
Tích tụ không phải là mất đất nhưng con số này cũng nói lên một vấn đề tương tự là nếu 1 ha đất của đối tượng này tập trung vào đối tượng khác thì có 15 lao động mất việc làm (tất nhiên là chưa kể đến lao động có thể có thêm việc làm do được thuê mướn từ hoạt động tích tụ ruộng đất). Vì vậy rút lao động ra khỏi nông nghiệp và hỗ trợ thay đổi sinh kế sẽ thúc đẩy hoạt động bán, cho thuê ruộng đất, làm cơ sở cho tích tụ ruộng đất.
Tuy nhiên, thực tế Việt Nam cũng như kinh nghiệm của các nước trong khu vực cho thấy nếu chỉ thu hút lao động ra các thành phố, khu đô thị thì không đủ, chưa kể đến những bất cập khó giải quyết về mặt xã hội do dòng người di cư ra đô thị quá lớn mang lại. Do đó, địa bàn làm việc tương lai của lao động nông thôn Việt Nam không chỉ là các khu công nghiệp mà có thể tập trung nhiều hơn vào các lĩnh vực phi nông nghiệp ở nông thôn như dịch vụ nông nghiệp và công nghiệp chế biến nông sản tại chỗ, dịch vụ ở đô thị và xuất khẩu lao động. Khi thu nhập và nghề nghiệp của lao động rời khỏi nông nghiệp ổn định, họ có khả năng không quay lại sản xuất nông nghiệp, từ đó sẵn sàng chuyển nhượng, hoặc cho thuê lại ruộng đất.