Hàng thừa kế thứ hai trong thời kỳ phong kiến quy định cha mẹ ở hàng thừa kế thứ hai khi thừa kế di sản của các con. Còn ông, bà không phải là người thừa kế di sản của con cháu bởi vì các con không có tài sản riêng chừng nào cha mẹ còn sống, nếu cha mẹ chết mà còn ông bà thì tài sản đó
thuộc quyền quản lý của ông, bà. Ngoại trừ khi các con được phép ra ở riêng thì mới có tài sản riêng.
Điều 182 bộ Dân luật Trung kỳ quy định năm thứ tự ưu tiên hưởng di sản, trong đó thứ tự thứ hai gồm có cha đẻ, mẹ đẻ, cha nuôi, mẹ nuôi của người để lại di sản. Pháp luật thời kỳ này đã bắt đầu ghi nhận ông bà cũng là người thừa kế của các cháu, nhưng được xếp ở vị trí ưu tiên thứ ba.
Về hàng thừa kế theo pháp luật Việt Nam từ 1945 đến trước khi có Sắc lệnh số 97 trên thực tế không có văn bản pháp luật nào quy định. Đến khi có Sắc lệnh số 97 cũng chỉ ghi nhận gián tiếp một hàng thừa kế. Theo quy định của Điều 10 và Điều 11 Sắc lệnh này thì thứ tự ưu tiên hưởng di sản của người chết để lại trước hết là vợ góa, chồng góa và các con của người để lại di sản. Căn cứ vào quy định này chỉ có một hàng thừa kế theo pháp luật, mà không có hàng thứ hai. Những quy định của Sắc lệnh số 97 chỉ mang tính nguyên tắc trong việc xác định người thừa kế theo hàng. Đến Thông tư 1742 quy định về một số vấn đề thừa kế mặc dù chưa có được những quy định cụ thể về hàng thừa kế nhưng bước đầu đã xác định thứ tự thừa kế. Những thứ tự trong thông tư này chưa thật cụ thể, rõ ràng nhưng tinh thần của thông tư này thể hiện thứ tự thứ nhất gồm có vợ hoặc chồng và các con của người chết. Thứ tự thứ hai gồm có cha mẹ của người để lại di sản. Như vậy so với các quy định gián tiếp về hàng thừa kế trong Sắc lệnh số 97, Thông tư số 1742 đã có những quy định cụ thể hơn như đã mở rộng diện thừa kế, quy định số lượng hai hàng thừa kế, trong đó hàng thứ hai là bố mẹ của người chết. Sự ra đời của Thông tư 594 đã đánh dấu một bước phát triển mạnh mẽ trong quá trình hoàn thiện hệ thống pháp luật về thừa kế của Việt Nam. Theo thông tư này, hàng thừa kế theo pháp luật được xác định dựa trên các mối quan hệ hôn nhân, huyết thống, nuôi dưỡng với người để lại di sản. Việc hưởng di sản được tiến hành theo trật tự nhất định. Những người thừa kế được quy định theo trật tự
hàng và hàng thừa kế thứ hai gồm anh chị em ruột, anh chị em nuôi, ông bà nội và ngoại. Như vậy những người thuộc diện thừa kế thứ hai trong Thông tư 1742 được đẩy lên, xếp vào hàng thừa kế thứ nhất. Còn ông bà nội và ngoại, anh chị em ruột và anh chị em nuôi của người để lại di sản ở hàng thừa kế thứ hai. Việc đưa anh chị em vào những người thuộc hàng thừa kế thứ hai là hoàn toàn phù hợp với truyền thống của nước ta. Tuy nhiên, việc đưa anh chị em nuôi cũng thuộc hàng thừa kế thứ hai của nhau và phủ nhận quyền thừa kế của những người con nuôi với những người có quan hệ huyết thống với họ là một hạn chế lớn của thông tư này.
Đến Thông tư 81 tiếp tục kế thừa và phát triển những quy định trong Thông tư 594. Tại đây hàng thừa kế vẫn bao gồm hai hàng và hàng thừa kế thứ hai vẫn là những người được quy định trước đây nhưng cụ thể hơn: Ông nội, bà nội, ông ngoại, bà ngoại, anh chị em ruột, anh chị em cùng cha khác mẹ, cùng mẹ khác cha của người để lại thừa kế có quan hệ huyết thống gần gũi với người để thừa kế. Con nuôi được coi như con đẻ nên anh chị em nuôi cũng được xếp cùng hàng với anh chị em ruột và có quyền thừa kế như anh chị em ruột. Thông tư quy định bổ sung: anh chị em cùng cha khác mẹ, cùng mẹ khác cha. Quy định bổ sung này của Thông tư làm rõ quyền thừa kế của các con trong một gia đình có những người con không cùng bố, cùng mẹ sinh ra. Những người là anh chị em được sinh ra do cùng một cha thuộc hàng thừa kế thứ hai của nhau. Tương tự như vậy, những người là anh chị em được sinh ra do cùng một mẹ thuộc hàng thừa kế thứ hai của nhau. Xét về quan hệ huyết thống, những người có cùng một người mẹ hoặc cùng một người cha đều có quan hệ huyết thống về phía mẹ hoặc cha do vậy họ vẫn là anh chị em ruột nên thuộc hàng thừa kế thứ hai của nhau. Quy định này nhằm gắn bó tình yêu thương giữa những người con trong gia đình đối với nhau.
sống thực tế trong các Thông tư hướng dẫn giải quyết các tranh chấp về thừa kế trước đó, PLTK ngày 30/8/1990 mở rộng cả về diện và hàng thừa kế. Điều 25 pháp lệnh này quy định có ba hàng thừa kế và hàng thừa kế thứ hai gồm: ông nội, bà nội, ông ngoại, bà ngoại, anh ruột, chị ruột, em ruột của người chết. Như vậy, trong hàng thừa kế thứ hai đã loại bỏ người thừa kế là anh nuôi, chị nuôi, em nuôi. Nghị quyết số 02/HĐTP ngày 19/10/1990 đã hướng dẫn chi tiết, cụ thể anh chị em ruột là anh chị em cùng mẹ hoặc cùng cha. Con riêng của vợ hay con riêng của chồng thì không phải anh chị em ruột của nhau.
Theo quy định tại điểm b, khoản 1, Điều 679, BLDS năm 1995, hàng thừa kế thứ hai gồm: "Ông nội, bà nội, ông ngoại, bà ngoại, anh ruột, chị
ruột, em ruột của người chết" [23]. BLDS năm 2005 tiếp tục ghi nhận những
nội dung trên của PLTK và BLDS năm 1995, nhưng có sự bổ sung thêm người thừa kế thuộc hàng thứ hai đó là: "Cháu ruột của người chết mà người
chết là ông nội, bà nội, ông ngoại, bà ngoại" [26].
Ông nội, bà nội là người sinh ra cha của người chết. Ông ngoại, bà ngoại là người sinh ra mẹ của người chết. Anh chị em ruột của người chết là người cùng được sinh ra từ cha mẹ chung, hoặc cùng cha khác mẹ, cùng mẹ khác cha với người chết. Có thể nhận thấy rằng sau bố mẹ, con, vợ chồng, thì những người ở hàng thừa kế thứ hai có quan hệ thân thích khá gần với người để lại di sản.
Ông, bà nội ngoại là người thân thuộc của người để lại di sản, trong gia đình ông, bà nội ngoại luôn được coi là bề trên, là những người được kính trọng, nên ông, bà cùng với bố mẹ chăm sóc giáo dục bảo ban các cháu, đảm bảo cho các cháu một cuộc sống tốt cả về vật chất lẫn tinh thần, theo khoản 1, Điều 47 Luật HN&GĐ 2000, Điều 104 Luật HN&GĐ 2014 quy định quyền và nghĩa vụ của ông, bà nội ngoại đối với cháu chưa thành niên, cháu đã
thành niên mất năng lực hành vi dân sự hoặc không có khả năng lao động và không có tài sản để tự nuôi mình mà không có người nuôi dưỡng. Như vậy, việc pháp luật quy định ông bà nội, ông bà ngoại là người thuộc hàng thừa kế thứ hai là hoàn toàn phù hợp với truyền thống "kính trên, nhường dưới" và thể hiện đạo lý tốt đẹp của dân tộc ta.
Anh, chị, em ruột là những người cùng cha hoặc mẹ sinh ra, nên họ luôn được hưởng thừa kế của nhau. Điều 340 Bộ Dân luật Bắc Kỳ quy định: "Nếu người mệnh một không còn con cháu cùng cha, mẹ, ông bà về bên nội, thì di sản truyền cho anh, chị, em ruột người ấy, được chia phần đều cho nhau" [46]. Anh chị em ruột là những người có cùng huyết thống. Trong trường hợp không còn bố mẹ hoặc bố mẹ không có điều kiện thì anh chị em cũng phải nuôi dưỡng nhau. Vì vậy, pháp luật quy định cho họ thuộc hàng thừa kế thứ hai của nhau là hợp lý, phù hợp với thực tế cuộc sống.
BLDS năm 1995 quy định ông nội, bà nội, ông ngoại, bà ngoại, được thừa kế của cháu, nhưng cháu không thuộc hàng thừa kế thứ hai của ông bà trừ trường hợp thừa kế thế vị. Quy định như vậy không đảm bảo quyền lợi của những người cháu nội, cháu ngoại của người để lại di sản và tạo ra sự không thống nhất trong hệ thống pháp luật. Cháu phải có nghĩa vụ kính trọng ông, bà và trong trường hợp ông bà già yếu không có người nuôi dưỡng thì cháu cũng có nghĩa vụ nuôi dưỡng ông bà. Bên cạnh đó, pháp luật quy định ông bà là người thuộc hàng thừa kế thứ hai của các cháu nhưng không ghi nhận quyền thừa kế của các cháu đối với ông bà (trừ trường hợp thừa kế thế vị) đã tạo ra lỗ hổng trong hệ thống pháp luật. Chính vì vậy BLDS năm 2005 đã có sự sửa đổi, bổ sung kịp thời nhằm hoàn thiện hơn nữa chế định thừa kế.
Những người thừa kế ở hàng thứ hai cũng là hàng ưu tiên hưởng di sản thừa kế so với người thuộc hàng thừa kế thứ ba. Tuy nhiên, những người này được ưu tiên hưởng di sản sau người thừa kế ở hàng thứ nhất. Những
người ở hàng thừa kế thứ hai được hưởng di sản trong trường hợp ở hàng thứ nhất không có ai hưởng di sản theo luật định hoặc có những người thừa kế từ chối hưởng di sản, bị truất quyền hưởng di sản, hoặc trường hợp không được hưởng thừa kế thì những người thuộc hàng thừa kế thứ hai mới được hưởng di sản. Sở dĩ như vậy vì ông, bà, anh chị em, cháu không thể là người thừa kế ưu tiên hoặc cùng hàng so với con, cha, mẹ, vợ, chồng của người chết vì mức độ gần gũi, thân thuộc không thể bằng những người này nếu xét trên phương diện hôn nhân, huyết thống, nuôi dưỡng.
Những người thừa kế thuộc hàng thứ hai được hưởng di sản như nhau theo pháp luật. Quy định này có sự dung hòa khá cao giữa quan niệm kinh tế và quan niệm đạo đức về cơ sở của quyền thừa kế. Như vậy, giữa những người thừa kế ở hàng thứ hai là những người có mối quan hệ thân thuộc đối với người chết, trong đó có những người thuộc bề trên, có những người cùng bậc, có những người là bề dưới của người để lại di sản. Việc quy định ông, bà, anh, chị, em ruột, cháu ruột của người chết mà người chết là ông nội, bà nội, ông ngoại, bà ngoại thuộc hàng thừa kế thứ hai của người để lại di sản sự phù hợp với nguyên tắc của pháp luật thừa kế dựa trên quan hệ huyết thống nuôi dưỡng, đảm bảo quyền và nghĩa vụ của họ đối với nhau cả khi còn sống cũng như khi họ chết đi.