Với bản chất nhân văn sâu sắc, hòa giải ở cơ sở có lịch sử tồn tại và phát triển lâu đời. Hoạt động hòa giải hình thành và phát triển trường tồn gắn liền với truyền thống dựng nước và giữ nước của dân tộc ta, được kế thừa và phát huy, thể hiện truyền thống tốt đẹp hàng ngàn năm của dân tộc ta.
Trong các triều đại phong kiến Việt Nam, các vị vua rất chú trọng đến việc đem lại cho người dân cuộc sống yên ổn bằng con đường hòa giải ở cơ sở, tránh việc kiện tụng, gây mất trật tự, an ninh chính trị. Đời Lê Dụ Tông, trong thể lệ cử kiện có ghi rằng: "Tri huyện là viên quan gần gũi với dân, khi thấy hai bên nguyên bị mới bắt đầu kiện nhau, thì nên xem xét tất cả, rồi đem lý lẽ sự việc hiểu khuyên dụ cho họ nghe ra, khuyên đi bảo lại để cảm hóa họ, hòa giải hai bên " [50, tr. 288]. Trong Chỉ dụ của vua Lê Huyền Tông đã ghi:
Riêng các xã trưởng, nếu trong làng có sự tranh tụng, phải vô tư phân xét và hòa giải. Không được xui nguyên giục bị rồi lại tự nắm lấy việc phân xử. Cũng không được tự đặt ra những luật lệ riêng rồi dựa vào những luật lệ ấy mà chiếm đoạt tài sản khiến cho các nạn nhân phải bán nhà đất cho khánh kiệt, cô lập họ, không
cho tham dự các buổi tập họp, hội hè mà trái phép nước [38, tr. 228].
Thông sức của Ngự Sử Đài năm Vĩnh Thịnh thứ 15 (1719) đã quy định:
Các Huyện lệnh được trao cho trách nhiệm gần dân, lời kêu của hai bên lúc đầu đều đã qua mình xét đoán; bấy giờ lòng tranh tức của hai bên chưa phân, phí tổn theo kiện chưa mấy, còn có thể đem lẽ phải vạch cho họ hiểu, khuyên đi bảo lại khiến hai bên hòa giải, đó cũng là một cách làm cho thôi kiện [44, tr. 299-300].
Trước năm 1945, dưới chế độ phong kiến rồi đến chế độ thực dân nửa phong kiến, do tính tự quản của làng xã khá cao, việc hòa giải những mâu thuẫn nhỏ trong nội bộ nhân dân chủ yếu do các hương ước, khoán ước của mỗi làng quy định. Nghiên cứu hương ước một số làng, có thể thấy vấn đề hòa giải được quy định khá chặt chẽ. Trong các bản hương ước hay lệ làng đó, xu hướng giải quyết nội bộ các mâu thuẫn, tranh chấp bằng con đường hòa giải đã trở thành nguyên tắc của làng xã.
Trong khoán ước lập ngày 21 tháng Giêng năm Vĩnh Hựu (1739) đời Lê Ý Tông của xã Dương Liễu, huyện Đan Phượng, Phủ Quốc Oai (nay thuộc huyện Đan Phượng, tỉnh Hà Tây), ở điều khoản thứ 10 có ghi như sau:
Bản xã có người nào đánh nhau chửi nhau, cho phép trình báo các chức sắc hàng xã để khuyên giải phân xử phải trái. Nếu như người nào không làm theo như thế, mà lại đem bẩm báo lên nha môn, khi xét xử thấy đúng như lời khuyên giải phân xử của hàng xã, thì bắt phạt người ấy 3 quan tiền cổ. Nếu ai không trình báo với các hàng chức sắc ở xã để phân xử phải trái, lại bẩm báo thẳng lên quan trên thì cũng xử phạt như thế [42].
Còn khoán ước làng Đông Ngạc (nay thuộc huyện Từ Liêm, Hà Nội) được soạn năm 1937 bằng chữ Quốc ngữ dành tới 4 điều quy định về hòa giải. Trong đó, Điều thứ 60 và Điều thứ 61 quy định:
Trong làng có ai kiện cáo về dân sự hay thương sự trước hết phải trình hội đồng hòa giải, nếu ai không tuân mà tự tiện vào trình quan ngay thì hội đồng sẽ phạt 0$,20 đến 1$,00. Viên Chánh hương hội tiếp ai trình thì phải mở hội đồng, lấy lẽ chính đáng và tình thân ái hòa giải cho hai bên, nếu hòa giải xong thì cứ theo trong luật mà làm hòa giải, chứng thư giao cho lý trưởng trình quan sở tại [42].
Trong bản hương ước của làng Quỳnh Đôi có từ thế kỷ 18, tại Điều 73 có ghi:
Trong làng cốt lấy sự không kiện nhau là quý, phàm ai có sự gì uất ức phải trình làng để làng xét xử, không được đưa nhau đi kiện ở quan. Nếu làng xét xử không được rõ ràng công bằng thì mới đưa nhau đến quan xử, quan xử y như làng xử thì làng phạt lợn 1 con giá là 3 quan. Nếu không trình làng đi kiện ở quan, làng cũng phạt như vậy [58].
Trong thời kỳ Pháp thuộc, trong quá trình giải quyết các việc hộ và thương sự, hòa giải được xem là một giai đoạn bắt buộc. Chế định hòa giải này được quy định tại "Bộ Bắc Kỳ pháp viện biên chế". Khi Nhà nước Việt Nam dân chủ cộng hòa ra đời, trong thời gian đầu, chế định hòa giải này được phép tạm thời áp dụng trong quá trình giải quyết các tranh chấp dân sự và thương sự tại Tòa án theo quy định tại Sắc lệnh số 90/SL ngày 10 tháng 10 năm 1945 của Chủ tịch Chính phủ lâm thời về việc giữ tạm thời các luật lệ hiện hành ở Bắc, Trung, Nam bộ cho đến khi ban hành những bộ luật pháp duy nhất cho toàn quốc: "Cho đến khi ban hành những bộ luật pháp duy nhất
cho toàn cõi nước Việt Nam, các luật lệ hiện hành ở Bắc, Trung và Nam bộ vẫn tạm thời giữ nguyên như cũ, nếu những luật lệ ấy không trái với những điều thay đổi ấn định trong sắc lệnh này" [12]. Theo đó, Chánh án Tòa án sơ cấp có nhiệm vụ chính là hòa giải và chỉ khi hòa giải không thành mới đưa ra xét xử. Đối với việc thuộc thẩm quyền giải quyết của Tòa Đệ nhị cấp thì ông Chánh án Tòa án sơ cấp thử hòa giải, nếu hòa giải không thành thì chuyển hồ sơ lên cho Tòa Đệ nhị cấp xử.