Xuất phát điểm thấp, CNHT chưa phát triển, năng lực cạnh tranh còn hạn chế, lại đang cịu sự cạnh tranh gay gắt từ các cường quốc sản xuất dệt may thế giới như Trung Quốc, Ấn Độ, BangladeshẦ. Không những trên thị trường xuất khẩu mà còn ngay tại thị trường nội địa khi Việt Nam phải cam kết mở cửa thị trường, giảm thuế nhập khẩu và các hàng rào bảo hộ khác, riêng thuế nhập khẩu do cạnh tranh với hàng ngoại nên đã giảm 2/3 xuống còn 5 - 20%, trong khi chúng ta chưa nhận thức hết được những thách thức, áp lực cạnh tranh khi hội nhập, dẫn đến việc thiếu chuẩn bị, thiếu phương án khi sản xuất kinh doanh khó khăn. Đặc biệt từ 1/1/2009, khi Việt Nam phải mở cửa thị trường bán lẻ cho các DN nước ngoài thì sức ép cạnh tranh sẽ ngày càng lớn.
Các thị trường chính của hàng dệt may Việt Nam như Hoa Kỳ và châu Âu hiện đang đều trong tình trạng khủng hoảng tài chính. Theo Tập đoàn Dệt may VN, thị trường Hoa Kỳ đang chiếm tỉ trọng khoảng 55% tổng kim ngạch XK hàng dệt may của VN. Tuy nhiên, thị trường này vẫn đang tiềm ẩn những rủi ro, cụ thể là chương trình giám sát chống bán phá giá của Mỹ vẫn đang áp dụng đối với hàng dệt may VN
chuyển sang nước khác. Sức ép của vấn đề này đang còn làm cho nhiều Cty của VN và nước ngoài không dám đầu tư vào ngành dệt may vì sợ rủi ro. Bên cạnh đó, vấn đề kinh tế Mỹ đang suy thoái, sức mua của người dân đối với hàng dệt may giảm đáng kể... đang là những trở ngại cho ngành dệt may VN.
Sự cạnh tranh mạnh mẽ của hàng may mặc Trung Quốc với giá thành rẻ và kiểu dáng mẫu mã đa dạng, phù hợp với thu nhập của người dân Việt Nam và các nước trên thế giới.
Mặt khác Khủng hoảng kinh tế làm cho sức mua giảm, nhiều mặt hàng, sản phẩm tiêu thụ trong nước lẫn XK đang phải giảm giá làm cho ngành dệt may phải đối mặt với nhiều khó khăn hơn.