Mặc dù có sức ảnh hưởng và lan tỏa lớn song Islam lại là một tôn giáo có nhiều chia rẽ nội bộ. Nguyên nhân thứ nhất dẫn đến sự xung đột trong nội bộ thế giới Islam là, sau khi Muhammad chết cuộc chiến tranh quyền hành đã diễn ra gay gắt giữa những người đứng đầu, và tình trạng này đã làm nảy sinh
nhiều phe phái khác nhau. Sự chia rẽ này càng trở nên sâu sắc dưới thời các Giáo trưởng Caliphe Ả rập.
Vụ sát hại Uthman để đưa Ali lên thay là một biến cố vô cùng tai hại cho Islam trong suốt nhiều thế kỷ qua và có thể còn kéo dài mãi mãi về sau. Ali là họ hàng và đồng thời là con rể của Muhammad. Khi vừa được bầu lên làm Caliphe, Ali đã gặp phải sự chống đối của Muawiyah là người nhà của Uthman. Ali mang quân đến đánh Muawiyah nhưng hai bên không phân thắng bại nên phải ngưng chiến. Năm 662, Ali bị ám sát chết. Muawiyah tự cho mình là người đang nắm quyền lực quân sự mạnh nhất nên tự xưng là Caliphe lãnh đạo cộng đồng Islam.
Trong thời gian đó, những người Islam thân Ali đã lập ra một giáo phái mới là giáo phái Shi’a. Số tín đồ Islam còn lại được gọi chung là Sunni, có nghĩa là đa số.Năm 680, vua Yazid (con của Muawiyah) đến Medina chặn bắt con trai của Ali là Husayn và giết nhiều người thuộc giáo phái Shi’a.Năm sau (681), Yazid mang quân trở lại Medina (nơi ở cuối cùng của Muhammad) tàn phá và dìm thành phố thánh địa này trong biển máu. Để trả thù, giáo phái Shi’a mang quân chiếm thánh địa Mecca và tàn phá nặng nề thành phố này.
Từ đó đến nay, trải qua trên 13 thế kỷ, hai giáo phái Sunni và Shi’ah thường xuyên xung đột nhau nhiều trận đẫm máu. Đây là một thảm họa lớn nhất trong lịch sử thế giới Islam.
Hiện nay, Islam có nhiều hệ phái, trong đó đáng chú ý là phái Sunni, Shi’ah, Ismailiens, Sufit, Babit, Bekaa, …
Vì chia rẽ thành nhiều phái, nên dù là một tôn giáo quốc tế, có trung tâm tôn giáo ở Mecca nhưng Islam không có giáo hội thống nhất, không có hàng giáo phẩm; mặc dù Islam cũng có các chức sắc. Ở nhiều nước Islam, chức sắc có cả thần quyền lẫn thế quyền.
Islam được tổ chức theo hệ phái; hoặc theo từng quốc gia; và thường chịu ảnh hưởng phong tục tập quán, truyền thống lịch sử và các thể chế chính
trị của từng nước.
Nguyên nhân thứ hai dẫn tới sự phân hóa nội bộ của Islam là, do sự khác biệt trong việc thừa nhận hay không thừa nhận một số nguồn diễn giải Luật Islam.
Tất cả các sách Sunna và Shariah đã được hoàn thành vào cuối thế kỷ IX và đã được viết thành nhiều bản khác nhau tại nhiều nơi khác nhau. Do vậy, các sách này chứa đựng nhiều điều mâu thuẫn, nhất là những giai thoại khác biệt nhau về cuộc đời và lời nói của giáo chủ Muhammad.
Đây là một trong những nguyên nhân chính yếu gây ra sự phân hóa trong đạo Islam: giáo phái Sunni chỉ công nhận những Hadiths của Bukkhari; giáo phái Shi’a công nhận Hadiths của Kulayni và giáo phái Khariji chỉ công nhận Ibn Habib. Giáo phái này kết án giáo phái kia là xuyên tạc hoặc giả mạo Thánh Kinh Qur’an và gọi nhau là những kẻ tà đạo. Kết quả là những cuộc thánh chiến đẫm máu giữa các giáo phái này kéo dài trong nhiều thế kỷ qua.
Mặc dù có sự mâu thuẫn trong chính nội bộ Islam, nhưng theo đa số người Muslim, tôn giáo Islam là một, mọi người Muslim đều là anh em của một cộng đồng duy nhất, với một Đức tin trường cửu: Allah là Đấng Duy Nhất, Tuyệt Đối, Tối Cao và Muhammad là vị Sứ giả cuối cùng của Ngài.