Dư đảng của Vua Lê, ngoài Lê Duy Chỉ dựa vào lực lượng các thổ dân ở các miền núi ngoài biên giới để chống lại nhà Tây Sơn[78] và đã bị Trần Quang Diệu dẹp yên, còn các cuộc bạo loạn rải rác ở miền Bắc.
Thứ nhất là cuộc bạo loạn của Trần Quang Châu người huyện Gia Bình thuộc Bắc Ninh, đã từng giúp Lê Chiêu Thống trốn tránh. Lúc Tôn Sĩ Nghị kéo quân xâm lấn nước ta Châu theo hộ giá Chiêu Thống và được phong làm Tiên Phong Ðại Tướng. Quân Thanh thua, Vua Lê bỏ chạy. Châu chạy về huyện nhà, mộ binh đánh phá các vùng lân cận. Võ Văn Dũng được cử đi
đánh dẹp. Nhờ địa thế hiểm trở binh của Châu cầm cự với quân Dũng từ thu Tân Hợi (1791) đến xuân Nhâm Tý (1792).
Châu bị bắt, dụ hàng không được nên Dũng đem giết đi. Thứ hai phải kể đến cuộc dấy loạn của Dương Ðình Tuấn người huyện Yên Thế (Bắc Giang), phò Lê Chiêu Thống trong lúc ẩn náu để chờ đợi viện binh. Khi Chiêu Thống chạy theo Tôn Sĩ Nghị, Tuấn ở lại tiếp tục hoạt động chống Tây Sơn, Ðặng Văn Long phụng mệnh đi tảo trừ. Tuấn đánh không lại, trốn vào rừng rồi biệt tích.
Ngoài ra còn có Phạm Ðình Ðạt người Vũ Giang (Bắc Ninh), cùng các em là Tạo sĩ Phạm Ðình Phan, Tiến sĩ Phạm Ðình Dữ và các con là Phạm Ðình Hân, Phạm Ðình Cù, Phạm Ðình Ninh, Phạm Ðình Duật quật khởi ở núi Huyền Ðinh tục gọi là núi Treo Ðanh. Thường hoạt động mạnh ở vùng Lạng Giang. Quân Tây Sơn do Ðặng Văn Long chỉ huy phải đánh dẹp mãi mới tiêu diệt được.
Những đám phiến loạn dẹp yên, trong nước dồn công sức vào công việc kiến thiết xã hội.