Məscid XVI əsrdə Babüssəade Ağa Karabaş Mustafa Bin Qorqud bəy tərəfindən tikilmişdir. Məscid zaman-zaman təmir olunub. 1957-ci ildə mərhum baş nazir Adnan Menderesin əmri ilə sökülərək yenidən tikilib. Məscidlə vəhdət təşkil edən sufi xanədanı (türk. Zaviyə), ibtidai məktəb və ibadətxanadan əsər-əlamət qalmayıb. Bəzi mənbələrdə bu xanədanlarda Qədr gecəsi mərasimlərinin keçirildiyi qeyd olunur. Bunu məscidin məzarlığından tapılan qəbir daşları da təsdiq edir. Xanədanda xidmət etmiş şəxslərin xronologiyası belədir: Molla-zadə Şeyx Mehmet Qasım Çələbi (1506), Karabaş Ramazan (1609), Misirli Ömər (1658), Karabaş İsgəndər (1667), Hacı Hüseyn (1717), Hacı Mehmet (1719), Hacı Nur Əhməd (1765), Hüseyn (1774), Hacı Abdullah (1785), Mustafa Mühsin (Kadiri, 1796), Seyyid Əbdülqədir (1802), Seyyid Mustafa (Sümbüli, 1807), Seyyid Əhməd (Qədiri, 1832), Şeyx Şakir (1860), Şeyx Əhməd (1908) və Hobcuoğlu Şakir bəy.

Ümumi sahəsi 295 m² olan məscidin divarları daş və kərpicdəndir. Kvadrat planlıdır, damı taxtadır. Tək eyvanlı minarə kərpicdən, konus isə təmir zamanı daşdan hörülmüşdür. Bir vaxtlar yaxınlıqda olan fəvvarənin epitafisi, sonralar xarici giriş qapısının sağ tərəfində (məscidin qapalı divarına) quraşdırılmışdır. Həyətində bərk mərmərdən oyulmuş və sərv motivləri ilə bəzədilmiş tarixi su anbarı var ki, son vaxtlar ağac materialı ilə örtülmüşdür. Fəvvarə divarla əhatə olunub. Qəbiristanlığı isə baxımsızdır. Dəmirci Qulu Yusuf Əfəndi Xəttat Əhməd Karahisari məktəbinin son nümayəndəsidir. Onun məzarlığında Kılıç Əli Paşa Məscidi kitabələrinin xəttatları Dəmirçi Qulu Yusuf Əfəndi və digər şəxslər dəfn olunub. Xəttat Dəmirciqulu Yusuf Əfəndinin əsl adı Yusuf Bin Abdullahdır. Məscidin yanındakı Topçu ocağına rəhbərlik edən Dəmirçi Əli Ağanın qulu olduğu üçün “Dəmirçiqulu” ləqəbi ilə tanınır. Qulların ata adı üçün Abdullah yazılması da mənbələrdə yer alır. Dəmirçiqulu, indiki adı Topxaneyi Əmirə olan Topçu ocağında "Ulufəli Duacı" olaraq xidmət edib. Ocaq yandırılmadan əvvəl ocaq başında dua edənlərə “Ulufəli Duacı” deyirdilər. Daha sonra bu vəzifə burada yerləşən Karabaş şeyxi Zaviyəyə tapşırıldı. Məscidin qəbiristanlığı da daş divarla əhatə olunub. Qəbiristanlığın Qılıç Əli Paşa Məscidi ilə üzbəüz küncündə antik porfir sütunundan hazırlanmış Xeyriyyə daşı da var.