Ngày 04/01/1990, Chủ tịch Hội đồng Bộ trưởng đã ký Quyết định số 07/HĐBT thành lập hệ thống KBNN trực thuộc Bộ Tài chính với chức năng chính là giúp Bộ trưởng Bộ Tài chính thực hiện quản lý nhà nước về quỹ NSNN.
Cùng với đó, ngày 1/4/1990 Chi cục KBNN Lạng Sơn (KBNN) chính thức được thành lập và đi vào hoạt động với 10 chi nhánh KBNN huyện trực thuộc và 4 phòng (Phòng Tổ chức-hành chính; phòng Kế toán và Thống kê; phòng Kho-Quỹ; phòng Kế hoạch-tổng hợp và tín dụng Nhà nước). Ngay từ những ngày đầu mới thành lập, mặc dù gặp muôn vàn khó khăn, gian khổ: cơ sở vật chất thiếu thốn, nghiệp vụ chuyên môn còn mới mẻ, nhưng tập thể cán bộ, công chức Chi cục KBNN Lạng Sơn lúc bấy giờ đã đoàn kết một lòng, chung sức vượt qua khó khăn, phấn đấu hoàn thành tốt nhiệm vụ được giao.
Cùng với sự đổi mới và cải cách nền kinh tế đồng thời để tạo môi trường pháp lý cho KBNN hoạt động, ngày 05/4/1995 Chính phủ đã ban hành Nghị định số 25/CP thay thế Quyết định số 07/HĐBT của Hội đồng Bộ trưởng nhằm tiếp tục hoàn thiện chức năng, nhiệm vụ, quyền hạn và tổ chức bộ máy của hệ thống KBNN. Cùng với đó, Bộ Tài chính ban hành Quyết định số 87-TC/QĐ/TCCB quy định chức năng, nhiệm vụ, tổ chức bộ máy KBNN. Theo Quyết định này, Chi cục KBNN Lạng Sơn được tổ chức lại với 5 phòng nghiệp vụ là: Phòng Kế hoạch-Tổng hợp; Phòng Kế toán; Phòng Kho quỹ; Phòng Tổ chức cán bộ và phòng Hành chính. Tháng 8/1994 thành lập thêm phòng Thanh tra. Ngày 5/4/1995, đổi tên Chi cục KBNN Lạng Sơn
thành KBNN Lạng Sơn, chi nhánh KBNN các huyện được đổi tên thành KBNN huyện. Trong giai đoạn này, chức năng, nhiệm vụ quản lý quỹ NSNN của hệ thống KBNN có sự phát triển mang tính bước ngoặt về chất cùng với sự ra đời của Luật NSNN có hiệu lực từ năm ngân sách 1996. Đến năm 2000, KBNN tiếp tục được giao thêm nhiệm vụ quản lý cấp phát và thanh toán toàn bộ vốn đầu tư xây dựng cơ bản theo Nghị định số 145/1999/NĐ-CP ngày 20/9/1999 về việc tổ chức lại Tổng cục Đầu tư và Phát triển, phòng Thanh toán vốn Đầu tư được thành lập để thực hiện nhiệm vụ kiểm soát thanh toán vốn đầu tư xây dựng cơ bản thuộc vốn NSNN; năm 2004 phòng Tin học được thành lập với đội ngũ cán bộ trẻ, có trình độ tin học đáp ứng yêu cầu cho giai đoạn phát triển mới, giai đoạn hiện đại hóa hệ thống KBNN; bộ phận kế toán tài chính nội bộ được chuyển từ phòng kế toán sang phòng Hành chính - phòng Hành chính đổi tên là phòng Hành chính - Tài vụ - Quản trị; phòng Thanh tra được đổi tên gọi là phòng Kiểm tra - kiểm soát.
Ngày 21/8/2007, Thủ tướng Chính phủ đã ban hành Quyết định số 138/2007/QĐ-TTg phê duyệt Chiến lược phát triển KBNN đến năm 2020, với 04 trụ cột phát triển là: cải cách về thể chế, chính sách; hoàn thiện tổ chức bộ máy; hiện đại hóa công nghệ và phát triển nguồn nhân lực nhằm mục tiêu xây dựng KBNN hiện đại, hoạt động an toàn, hiệu quả và phát triển ổn định, vững chắc. Cùng với đó, KBNN được giao thực hiện 02 chức năng mới là Tổng kế toán nhà nước và Quản lý ngân quỹ nhà nước tại Quyết định số 108/2009/QĐ-TTg ngày 26/8/2009 của Thủ tướng Chính phủ. Bắt đầu từ giai đoạn này, hoạt động của KBNN bước vào một thời kỳ mới - thời kỳ cải cách và hiện đại hóa hệ thống.
Để thực hiện thắng lợi mục tiêu đó, ở giai đoạn này nhiều dự án công nghệ thông tin tích hợp và tập trung với quy mô lớn được tổ chức triển khai có hiệu quả, mang lại diện mạo mới cho hệ thống KBNN nói chung và KBNN Lạng Sơn nói riêng. Đặc biệt là triển khai dự án Hệ thống thông tin quản lý ngân sách và kho bạc (TABMIS). Đây là dự án quan trọng góp phần nâng cao hiệu lực, hiệu quả quản lý nhà nước và tăng tính công khai, minh bạch trong quản lý tài chính công. Xác định công nghệ thông tin là khâu đột phá, KBNN Lạng Sơn đã có nhiều cải cách mạnh
mẽ, thực hiện ứng dụng công nghệ thông tin, đơn giản hóa thủ tục hành chính, triển khai dự án Hiện đại hóa thu nộp NSNN, thanh toán song phương điện tử, triển khai dịch vụ công mức độ 4 trong công tác kiểm soát, thanh toán, từ đó đã tạo điều kiện rất thuận lợi cho người dân, doanh nghiệp và các đơn vị sử dụng NSNN, như công tác thu NSNN đã tập trung nhanh, kịp thời, đầy đủ nguồn thu cho NSNN.