Lịch sử hỡnh thành đường biờn giới trờn đất liền giữa Việt Nam và Trung Quốc cú từ rất lõu đời. Sỏch xưa của Trung Quốc thường núi đến cương giới Việt Nam và Trung Quốc ở nỳi Phõn Mao [15] (nỳi Cỏ Rẽ: Trờn đất Việt Nam thỡ cỏ ngả về Việt Nam, trờn đất Trung Quốc thỡ cỏ ngả về Trung Quốc). Tương truyền Mó Viện sau khi dẹp xong cuộc khởi nghĩa Hai Bà Trưng ở
Giao Chỉ, đó dựng một cột đồng ở nỳi Phõn Mao ở vựng Đụng Cổ Sõm. Bản đồ ngày nay cũn ghi lại một số nơi là Cổ Sõm bờn phớa Trung Quốc. Như vậy, ngày nay cả nỳi Phõn Mao lẫn Cổ Sõm đều nằm trờn lónh thổ Trung Quốc. Trong suốt thời kỳ Bắc thuộc, lónh thổ của nước ta bị cỏc triều đại phong kiến Trung Hoa đụ hộ, ranh giới giữa hai nước khụng được phõn định rừ ràng. Đến năm 938 khi Ngụ Quyền lónh đạo nhõn dõn ta đập tan cuộc xõm lược của quõn Nam Hỏn trờn sụng Bạch Đằng, nước ta bước vào kỷ nguyờn độc lập, vấn đề lónh thổ và chủ quyền quốc gia mới được phõn định rừ nột trong mối quan hệ giữa nước Việt với đế chế phong kiến phương Bắc. Theo Tống sử, Tống Cảo là sứ giả nhà Tống được phỏi sang nước Việt năm 990 (tức là 9 năm sau chiến thắng Bạch Đằng lần thứ hai) đó bỏo cỏo lờn vua Tống rằng khi họ đến “hải giới” Giao Chỉ thỡ vua Lờ Đại Hành đó cho 9 thuyền và 300 quõn lờn đún ở Thỏi Bỡnh Tường (Trõn Chõu) và dẫn đoàn sứ thần đến địa điểm quy định. Như vậy, ngay trong nghi thức tiếp đún sứ thần khi đú đó đề cập đến cương vực “hải giới” và chủ quyền lónh thổ.
Năm 1078, vua Lý Nhõn Tụng gửi thư cho vua Tống đũi lại vựng Quảng Nguyờn (Quảng Hoà và Thạch An thuộc tỉnh Cao Bằng ngày nay) và vựng Tụ Mậu (Đỡnh Lập và An Chõu thuộc tỉnh Lạng Sơn ngày nay) mà nhà Tổng đó chiếm trờn đường rỳt quõn trong cuộc chiến tranh xõm lược thất bại năm 1076. Năm 1127, trong di chiếu vua Lý Nhõn Tụng đó điểm lại việc thực hiện nhiệm vụ bảo vệ cương vực lónh thổ và hài lũng nhận thấy “bốn biển yờn lành, biờn thuỳ ớt biến”. Năm 1171, 1172, vua Lý Anh Tụng đớch thõn đi xem xột biờn cương, vựng biển phớa Nam, phớa Bắc, biờn soạn ra cuốn sỏch “Nam Bắc phõn giới địa đồ” ghi chộp về hỡnh thế nỳi sụng, cương vực đất nước [12]. Đến thế kỷ XII, nhà Trần giao nhiệm vụ lónh đạo bảo vệ cỏc hướng biờn giới cho cỏc trọng thần. Trần Hưng Đạo phụ trỏch hướng Lạng Sơn; Trần Nhật Duật phụ trỏch hướng Tuyờn Quang; Trần Khỏnh Dư trấn giữ Võn Đồn, bảo vệ hướng biển Đụng Bắc. Năm 1349, nhà Trần nõng vị trớ trang Võn Đồn thời Lý lờn thành một trấn trực thuộc triều đỡnh với nhiệm vụ tổ chức bảo vệ
vựng biển Đụng Bắc và quản lý việc thụng thương với nước ngoài.
Năm 1432, vua Lờ Thỏi Tổ cho khắc vào vỏch nỳi ở Hoà Bỡnh “Biờn phũng hảo vị trự phương lược, xó tắc ưng tu kế cửu an” [12]. Năm 1446, vua Lờ Thỏnh Tụng đó phản khỏng nhà Minh cho quõn cướp búc vựng Thụng Nụng, Bảo Lạc (Cao Bằng ngày nay) và đũi họ phải bồi thường, mặt khỏc ra lệnh đày hai viờn quan cai quản Cao Bằng đi xa vỡ tội phũng giữ biờn cương khụng cẩn mật.
Chớnh nhờ cuộc đấu tranh kiờn cường, bền bỉ và khụn khộo của cỏc thế hệ người Việt Nam nối tiếp nhau qua cỏc triều đại, dự so sỏnh lực lượng chờnh lệch nhưng biờn cương phớa Bắc nước ta vẫn được bảo tồn và cơ bản ổn định cả từ nghỡn năm nay.
Đến thời kỳ Phỏp thuộc, sau khi chiếm xong Bắc Kỳ, để khẳng định chủ quyền thuộc địa của mỡnh đối với Việt Nam, ngày 11-5-1884 tại Thiờn Tõn, Trung Quốc, chớnh quyền Phỏp và triều đỡnh nhà Thanh đó ký Cụng ước hữu nghị và lỏng giềng. Theo nội dung của Cụng ước này, Phỏp tụn trọng vào bảo vệ biờn giới phớa Nam của Trung Quốc; Trung Quốc rỳt ngay cỏc lực lượng quõn sự đúng tại Bắc Kỳ và tụn trọng hiện tại cũng như tương lai cỏc hiệp ước đó ký hoặc sẽ ký giữa chớnh quyền Phỏp và triều đỡnh Huế ở Việt Nam (thực tế là từ bỏ cỏi gọi là quyền tụn chủ của Trung Quốc đối với Việt Nam). Mặc dự Phỏp khụng buộc Trung Quốc bồi thường, nhưng Trung Quốc đồng ý tự do trao đổi hàng hoỏ hai bờn biờn giới và sẽ ký kết một hiệp ước thương mại cú lợi nhất cho Phỏp.
Tuy nhiờn, chỉ 15 ngày sau khi ký kết, nhà Thanh đó cú những hành động vi phạm cụng ước, đũi Phỏp phải cụng nhận biờn giới truyền thống của Trung Quốc vào sõu trong lónh thổ của Việt Nam mà Phỏp đang quản lý. Phớa Phỏp đó khụng chấp nhận yờu sỏch đú của Trung Quốc. Cuộc tranh chấp giữa Phỏp và nhà Thanh trong 8 thỏng mới kết thỳc và hai bờn lại đi vào cuộc thương lượng mới. Kết quả là, cỏc đại diện toàn quyền của hai bờn đó ký kết Hiệp ước hoà bỡnh và thương mại ngày 09-6-1885 tại Thiờn Tõn, Trung
Quốc.
Về vấn đề biờn giới, Điều 3 Hiệp ước năm 1885 ghi: Trong thời hạn 6 thỏng kể từ ngày ký kết Hiệp ước này, cỏc uỷ ban do cỏc bờn ký kết cử ra sẽ đến tại chỗ để hội khỏm biờn giới giữa Trung Quốc và Bắc Kỳ. Ở nơi nào cú nhu cầu, họ sẽ đặt những mốc giới nhằm làm rừ đường biờn giới. Trường hợp họ khụng thể thoả thuận về vị trớ những mốc giới đú hoặc về những điều chỉnh chi tiết cần cú đối với đường biờn giới hiện tại của Bắc Kỳ, họ sẽ vỡ lợi ớch chung của cả hai nước bỏo cỏo lờn Chớnh phủ của mỗi bờn quyết định.
Từ thỏng 01-1886, Phỏp và nhà Thanh tiến hành đàm phỏn để xỏc định biờn giới. Hai bờn đó tiến hành hoạch định thớ điểm khu vực từ Chi Ma đến Bỡnh Nghi thuộc đoạn biờn giới Bắc Kỳ - Quảng Tõy. Trong quỏ trỡnh đàm phỏn, phớa nhà Thanh khụng muốn phõn giới, chỉ muốn hoạch định trờn bản đồ. Do lỳc đú chưa cú bản đồ nờn hai bờn thống nhất cử cỏc đoàn đi đo vẽ thực địa, lập bản đồ đường biờn giới hiện tại. Từ ngày 20 thỏng 3 năm 1886 đến 13-4-1886, hai bờn đó vẽ bản đồ và hoạch định xong đoạn biờn giới thớ điểm, Phỏp và nhà Thanh đó lần lượt ký biờn bản hoạch định cỏc đoạn biờn giới Bắc Kỳ - Võn Nam (ngày 19-10-1886), đoạn biờn giới Bắc Kỳ - Quảng Đụng và Bắc Kỳ - Quảng Tõy (ngày 29-3-1887). Trong cỏc biờn bản hoạch định này cũn nhiều đoạn biờn giới chưa được hai bờn thống nhất.
Ngày 26-6-1887, Phỏp và nhà Thanh ký Cụng ước hoạch định biờn giới trờn bộ giữa Việt Nam và Trung Quốc, trong đú thoả thuận hoạch định lại một số đoạn biờn giới thuộc tỉnh Võn Nam. Đến ngày 20-6-1895, hai bờn ký Hiệp ước bổ sung hoạch định biờn giới, thống nhất hoạch định cỏc đoạn biờn giới hai bờn cũn gỏc lại trong cỏc văn bản hoạch định trước đõy và hoạch định mới đoạn biờn giới giữa Bắc Kỳ và Võn Nam từ sụng Đà đến sụng Mờ Cụng. Trờn cơ sở cỏc Hiệp ước hoạch định biờn giới 1887 và 1895, từ năm 1889, Phỏp và nhà Thanh đó tiến hành phõn giới và cắm mốc trờn thực địa và hoàn thành cụng việc này vào năm 1897. Tổng hợp toàn bộ kết quả phõn giới cắm mốc từ thỏng 6-1885 đến thỏng 6-1897, hai bờn đó xỏc định 314 vị trớ mốc và
cắm được 341 mốc giới trờn thực địa.