Zillur Rəhman, 1929-cu il, martın 9-da vəkil ailəsində anadan olmuşdur. Ali təhsilini Dəkkə Universitetində tarix və hüquq ixtisası üzrə almışdır. 1952-ci ildə benqal azadlıq hərəkatına qoşulmuşdur. 1970-ci ildə o zaman Pakistanın bir hissəsi olan Banqladeş parlamentinə seçilmişdir. Banqladeşin tanınmayan milli hökümətinin fəal əməkdaşı idi.

Ölkədə müstəqilliyin bərqərar edilməsindən sonra da siyasi fəaliyyətini davam etdirərək "Liqi Avami" partiyasının baş katibi oldu. 1973-cü ildən Banqladeş Parlamentinin üzvü idi. Prezident Micibur Rəhmanın ölümündən sonra ölkənin yeni hərbi rəhbərliyinin represiya təzyiqlərinə məruz qaldı.

1996-2001-ci illərdə Hasin Vazedin rəhbərliyi altında "Liqi Avami" hökümətində nazir vəzifəsində çalışmışdır. 2009-cu ildə hakimiyyət səlahiyyəti əldə edərək prezident oldu.

2004-cü ildə terroristlər tərəfindən öldürülmüş "Avami Liq" partiyasının fəal bir üzvü ilə evli olmuşdur.

Zillur Rəhman 2013-cü il, martın 20-də Sinqapur xəstəxanalarından birində vəfat etmişdir.