Əbu Əyyub əl-Ənsari 576-cı ildə Mədinədə (Yəsrib) anadan olmuşdur. O, Xəzrəc qəbiləsinin Bənu Nəcar qolundan idi. O, mühacirlərin ilk müsəlmanlarının Mədinəyə köçürülməsindən əvvəl İslamı qəbul etmiş, Əqəbədəki ikinci andın iştirakçısı olmuşdur.

Məhəmməd peyğəmbər Mədinəyə gəldikdən sonra bütün Mədinəli müsəlmanlar onu öz evlərində fəxri qonaq kimi qəbul etməyi şərəf bilirdilər. Məhəmməd qarşısındakı dəvəsinin yerə oturacağı evdə qalacağını bildirir. Bundan sonra dəvəni buraxır və heyvan bir qədər yol getdikdən sonra onu birinci mərtəbə ilə təmin edən Əbu Əyyub əl-Ənsarinin evinin yanında oturur. Peyğəmbər 7 ay Əbu Əyyubun evində qalır.

Əbu Əyyub ilk müsəlmanların apardıqları Bədr, Uhud, Xəndək və digər döyüşlərdə iştirak etmişdir. Dördüncü xəlifənin dövründə Əli öz ordusunda xaricilərə qarşı vuruşmuşdur.

Misirin fəthindən sonra Əbu Əyyub Əmr ibn As məscidinin yanındakı Fustata köçür. Fustatda onun qonşuları Zübeyr ibn Əvvam, Ubeydə, Əbuzər əl-Ğəffari, Abdullah ibn Ömər ibn Xəttab və Abdullah ibn Əmir idi.

, Ebu Bekir dövründəki döyüşlərə, Ömər dövründə baş verən Suriya, Filistin və Misir sefərlərinə, Osmanlı dövründə isə Kıbrıs sefərinə iştirak etmişdir. O, sağlam olan hər bir insanın Allah yolunda döyüşməyə inanırdı. 90 yaşlarında İstanbulun ikinci kuşatmasına qoşularkən vəfat etmişdir. Vasiyyəti üzərində İstanbulun qalalarının yaxınlığına dəfn edildiyi deyilir. İstanbulun Fəthindən sonra Akşemsəttin tərəfindən mezarı tapılıb və Fatih Sultan Mehmet mezarının olduğu yere bir külliyyə yaptırılmışdır. Osmanlı padişahları, tahtı işğal etmədən əvvəl Eyüp Sultan türbəsi önündə keçirilən kılıc alayı ilə tahta çıxardılar. Mezarının olduğu sahə, Eyüpsultan İlçesi adını almışdır.

İbn Cərir ət-Təbəri xəbər verir ki, Əbu Əyyub əl-Ənsari qoca ikən Konstantinopolun mühasirəsində iştirak edirir. Əbu Əyyub yaralanır və ordu başçısı Yezid yanına gəlir və ondan ehtiyacını soruşur. Əbu Əyyub ona belə cavab verir: “Müsəlmanlara salamımı göndər və onlara de: “Əbu Əyyub sənə vəsiyyət edir ki, düşmən torpağına mümkün qədər irəlilə və Konstantinopol divarları altında basdırmaq üçün onu özünlə aparasan”. Ət-Təbərinin yazdığına görə, Əbu Əyyub Konstantinopol divarları yaxınlığında dəfn edilmişdir.

Konstantinopol türklər tərəfindən fəth edildikdən sonra Əbu Əyyub əl-Ənsarinin ehtimal edilən məqbərəsi üzərində türbə və məscid tikilmişdir. İstanbulun Əbu Əyyub adını daşıyan ərazisi türklər üçün müqəddəs yer olur və bir çox Osmanlı məmurları bu yerin bilavasitə yaxınlığında dəfn edilməsini istənilir.