Theo Pháp lệnh Thẩm phán và Hội thẩm Tòa án nhân dân năm 2002 sửa đổi, bổ sung
năm 2011 thì Chánh án Tòa án nhân dân nơi có Hội thẩm được bầu làm nhiệm vụ xét xử, thực hiện việc quản lý Hội thẩm và đoàn Hội thẩm theo Quy chế tổ chức và hoạt động của Hội thẩm. Tuy nhiên, do đặc thù trong hoạt động nghề nghiệp của Hội thẩm nhân dân là làm nhiệm vụ xét xử theo chế độ kiêm nhiệm nên việc quản lý đối với Hội thẩm nhân dân cũng có những khó khăn nhất định. Điều này ảnh hưởng rất lớn đến hoạt động xét xử của Tòa án vì Hội thẩm nhân dân chưa tập trung vào việc xét xử và thể hiện trách nhiệm của mình.
Hội thẩm chỉ tham gia vào việc xét xử của Tòa án theo từng vụ án khi được Chánh án
phân công, trong trường hợp được Chánh án phân công làm nhiệm vụ xét xử nhưng có lý
do chính đáng thì Hội thẩm cũng có thể từ chối việc tham gia xét xử. Thể hiện rõ nhất là trong tổ chức cơ sở vật chất tại trụ sở Tòa án, không có phòng nào dành riêng cho Hội thẩm, Hội thẩm chỉ đến trụ sở Tòa án để nghiên cứu hồ sơ vụ án khi được phân công. Hội thẩm không phải là công chức của Tòa án nên đương nhiên không chịu sự quản lý của Tòa án. Tòa án chỉ quản lý Hội thẩm trong thời gian họ nghiên cứu hồ sơ và tham gia xét xử. Ngoài thời gian đó thì họ sinh hoạt tại cơ quan, tổ chức nơi họ làm việc hoặc địa phương nơi họ
sinh sống. Khi tham gia xét xử, Hội thẩm nhân dân chỉ chịu trách nhiệm với Nhà nước về
việc xét xử của mình chứ không chịu trách nhiệm trước Chánh án. Vì vậy, các vị Hội thẩm
nhân dân thường đặt không cao trách nhiệm khi tham gia xét xử. Không nghiên cứu hồ sơ
vụ án trước khi xét xử, Chỉ cần với lý do “bận chuyện đột xuất” là vị Hội thẩm nhân dân đã không tham gia phiên tòa, thế là phiên tòa phải hoãn lại. Điều này làm lãng phí thời gian của Hội đồng xét xử và gây phiền phức cho những người tham gia tố tụng, làm mất lòng tin của người dân vào việc xét xử của Tòa án. Do không phải chịu trách nhiệm trước việc không tham dự phiên tòa nên việc Hội thẩm nhân dân không tham dự phiên tòa thường xuyên xảy ra trên thực tế. Việc Hội thẩm nhân dân không tham dự phiên tòa nên phải kiếm Hội thẩm khác để “chửa cháy” vì phiên tòa không thể hoãn liên tục nhiều lần, khi vị Hội
thẩm mới được mời để tham gia xét xử thì không có nhiều thời gian để nghiên cứu hồ sơ vụ
án dẫn đến việc Thẩm phán và Hội thẩm không thể độc lập khi xét xử.
Theo Pháp lệnh Thẩm phán và Hội thẩm Tòa án nhân dân hiện hành, Hội thẩm nhân dân chỉ bị bãi nhiệm khi vi phạm về phẩm chất đạo đức hoặc vi phạm pháp luật không còn xứng đáng làm Hội thẩm. Pháp luật chưa có quy định cụ thể trách nhiệm pháp lý đối với