Brayan Daffi 1933-cü ildə Londonda irlandiyalı bir ailədə dünyada gəlmişdir. II Dünya müharibəsində iki qardaş və bir bacısı ilə birlikdə ailəsində uzaq qalmaq məcburiyyətində qalsa da, bu ayrılıq uzun sürmür. Londonda vəziyyət pisləşdikcə bir neçə dəfə evdən ayrılmalı olmuşdur. Müharibədən sonra liberal məktəbinə getmiş, uşaqların mövcud vəziyyətlərini yaxşılaşdırmağı qarşısına məqsəd qoymuşdur. Daha sonralar Kentiş qəsəbəsindəki məktəbdə təhsil almış, burada opera, balet, məktəb ekskursiyaları kimi bir çox sosial fəaliyyət ilə məşğul olmuşdur. Bu fəaliyyətlərə digər uşaqları da cəlb etməklə onların problemlərini həll etməyə çalışmışdır. Müəllimləri Brayanın yaradıcılıq qabiliyyətini gürüb onu "Saint Martini incəsənət məktəbi"nə (Saint Martin's School of Art) yönləndirdilər. Növbəti illlərdə paltar dizaynı kursunaa getmişdir. 1953-cü ildə "Sent Martinin incəsənət məktəbi"ni bitirdikdən sonra Suzan Smolun yanında işə başlamışdır.