Hàng thừa kế thứ hai bao gồm: Ông nội, bà nội, ông ngoại, bà ngoại; anh ruột, chị ruột, em ruột của người chết; cháu ruột của người chết mà người chết là ông nội, bà nội, ông ngoại, bà ngoại.
Ở hàng thừa kế này, các bậc bề trên có ông bà nội, ngoại; ngang bậc có anh,chị, em ruột; bề dưới có các cháu gọi người để lại di sản là ông,bà nội ngoại. Có thể nhận thấy, những người thuộc hàng thứ hai có mối quan hệ thân thích khá gần với người để lại di sản. Tuy nhiên, ông, bà, anh, chị, em ruột, các cháu không thể đặt vị trí ngang hàng với cha, mẹ, vợ, chồng, con của người để lại di sản nên chỉ được ưu tiên hưởng di sản ở hàng thừa kế thứ hai.
Xét về mối quan hệ nuôi dưỡng ở hàng thừa kế thứ hai thì ông, bà là người thay cha, mẹ (khi cha mẹ mất hoặc cha mẹ không đủ điều kiện nuôi dưỡng) chăm sóc, dạy dỗ cháu nên người. Nghĩa vụ này xuất phát từ mối liên hệ máu mủ trong gia đình, dòng tộc, đồng thời xuất phát từ nền tảng đạo đức của người Việt. Ngược lại, các cháu phải yêu thương, chăm sóc, phụng dưỡng ông bà lúc tuổi già sức yếu. Vì vậy, ông bà và các cháu là những người thuộc diện thừa kế của nhau và được xếp vào hàng thứ hai.
Bộ luật Dân sự năm 2005 đã quy định bổ sung cháu nội, cháu ngoại của người để lại di sản được hưởng di sản theo trình tự hàng.Đây là điểm mới so với quy định về người thừa kế theo hàng tại Điều 679 Bộ luật Dân sự năm 1995. Quy định này xét theo quan niệm dân gian "nước mắt chảy xuôi"là phù hợp quy luật cuộc sống. Di sản của ông, bà được chuyển giao đến đời cháu sẽ đảm bảo hầu như chắc chắn của cải của ông, bà sẽ được kế tục và duy trì đến đời sau. Hơn nữa, xét về thực tiễn, quy định này sẽ bảo vệ triệt để hơn nữa quyền thừa kế của các cháu nội, ngoại của người để lại di sản trong những trường hợp cụ thể, đồng thời cũng giải quyết có hiệu quả hơn các quan hệ xã hội có liên quan đến việc chia di sản và nhận di sản thừa kế, tạo ra sự nhất thể hóa trong các quy định của pháp luật về thừa kế.
Tuy nhiên, có thể nhận thấy quy định các cháu hưởng di sản ở hàng thừa kế thứ hai như Điều 676 thực tế sẽ xảy ra những trường hợp rất phức tạp, bởi vì các cháu nội, ngoại được thừa kế của ông, bà nội ngoại chỉ có thể xảy ra trong hai trường hợp:
- Bố mẹ các cháu không được quyền hưởng di sản, hàng thừa kế thứ nhất không cònai hưởng di sản;
- Bố mẹ các cháu từ chối hưởng di sản, hàng hàng thừa kế thứ nhất không còn ai hưởng di sản.
Hơn nữa, trong trường hợp hàng thừa kế thứ nhất không còn ai thì cũng không áp dụng hàng thứ hai đối với các cháu vì trường hợp này sẽ áp dụng thừa kế thế vị cho các cháu.
Cùng với ông ông bà nội, ngoại, anh, chị, em ruột của người chết được xác định là những người ở hàng thừa kế thứ hai. Do cùng cha mẹ, cùng cha hoặc cùng mẹ sinh ra, anh,chị, em ruột là những người có mối quan hệ huyết thống. Trong gia đình, nếu không còn cha, mẹ hoặc cha mẹ không có điều kiện chăm sóc, giáo dục con thì các anh, chị, em phải yêu thương, chăm sóc, nuôi dưỡng nhau, do đó họ là những người thừa kế ở hàng thứ hai của nhau.
Pháp luật một số nước trên thế giới cũng thừa nhận quyền thừa kế giữa anh, chị, em ruột nhưng có sự phân biệt giữa anh, chị, em cùng mẹ, cùng cha và anh chị em cùng cha hoặc cùng mẹ. Pháp luật Thái Lan quy định: Anh, chị, em cùng cha khác mẹ hoặc cùng mẹ khác cha thuộc hàng thừa kế sau của anh, chị, em cùng cha cùng mẹ. Pháp luật Nhật Bản lại quy định anh,chị, em cùng cha khác mẹ, cùng mẹ khác cha chỉ được hưởng kỷ phần bằng 1/2 của anh, chị,em cùng cha mẹ đối với người để lại thừa kế.
Hàng thừa kế thứ hai không bao gồm anh, chị em nuôi như trong một số văn bản về thừa kế giai đoạn trước quy định và cũng không bao gồm cháu nuôi. Con nuôi chỉ có quan hệ thừa kế với cha mẹ nuôi mà không có quan hệ thừa kế với những người con khác của người nhận con nuôi. Cha mẹ của người nhận con nuôi cũng không có quyền thừa kế của người con nuôi đó. Như vậy, pháp luật không công nhận quan hệ thừa kế giữa những người mà theo cách gọi trong dân gian là anh, chị, em nuôi với nhau, ông bà nuôi với
cháu nuôi. Điều này là hợp lý bởi quan hệ con nuôi chỉ phát sinh do sự kiện nhận nuôi con nuôi. Quan hệ đó chỉ có ý nghĩa đối với người nhận nuôi và người được nhận nuôi mà không làm ảnh hưởng tới những người thân thích khác trong gia đình của người nhận nuôi con nuôi.