Apabila beliau meninggal, mereka pun lalu membawa jasadnya bersama.

Kemudian
mereka menguburkannya berhampiran dengan Konstantinopel. (Lihat al-Bidayah
wa al-Nihayah, 8/65 dan Siyar A’lam al-Nubala’, 3/356)
Dikatakan bahawa pada pagi hari pengebumian Abu Ayyub, orang-orang Rom
berkata:  “Wahai orang-orang Arab, (kami melihat) berlaku sesuatu pada kamu
semalam.” Mereka menjawab, “Telah wafat salah seorang sahabat yang agung dari
Nabi kami, yang terlebih dahulu memeluk Islam.” (Lihat Usd al-Ghabah oleh Ibn al-
Athir, 3/142)
Al-Waqidi menyatakan:  “Abu Ayyub meninggal dunia pada tahun di mana Yazid
memimpin pasukan yang dihantar oleh ayahnya ke Konstantinopel. Sungguh telah
sampai khabar kepadaku bahawa orang-orang Rom mencari makamnya. Kemudian
mereka meminta hujan dengan perantaranya.” (Lihat Siyar A’lam al-Nubala’, 3/356)

Aku mendengar baginda Rasulullah saw mengatakan seorang lelaki soleh akan dikuburkan di
bawah tembok tersebut dan aku juga ingin mendengar derapan tapak kaki kuda yang membawa
sebaik-baik raja yang mana dia akan memimpin sebaik-baik tentera seperti yang telah
diisyaratkan oleh baginda.“