Mardin şəhərinin böyük sahəsinin dayandığı şəhərin yuxarı hissəsində möhkəm bir yerdir. Subari, Şumer, Babil, Mitans, Süryan, Fars, Roma, Bizans, Əməvi, Abbasi, Hamdanilər, Səlcuqlular, Artuklu, Qaraqoyunlu, Ağqoyunlu, Səfəvilər və Osmanlı dövründə mövcudluğunu saxlamış çox önəmli bir mədəniyyət parçasıdır. 330-cu ildə günəşə ibadət edən Şad Buxari adlı bir kral gəlib Mardin qalasında qalmışdır. Xəstə olan kral qalada yaşayıb yaxşılaşınca, bir qəsr tikdirir və 12 il həyatını bu qlada davam etdirir. Sonra öz məmləkəti olan Fars və Babildən olan çoxlu əsgər və mülki məmurları gətirdib onlar üçün Mardində yaşayış məskəni saldırır. Əhalinin təsiri ilə 424-cü ilə qədər qalada çox böyük bir inkişaf gedir. Sonradan qalada vəba xəstəliyinin yayılması əhalinin məhv olmasına səbəb olur və 542-ci ilinə qədər Mardin qalsı istifadə olunmamışdır.

975–976 Hamdan bin Hamdan Həsən Nəsir əl Devle Bin Abdullah bin Ham bu təbii daşıyıcıyı minlərlə ildir hakim mövqedə saxlamışdır. Qala dəniz səviyyəsindən min metrə qədər yüksəklikdə yerləşir. Qalanın bəzi yerləri sərt qayalıqlar üzərində inşaa edilibdir. Çox böyük bir insanın çıxması ehtimalının olduğu yerlərdə, istifadə etməklə qurulmuş bir divar var. Qalanın cənub hissəsindəki bir divar hələ də qalır. Yaşayış yeri olaraq istifadə edilən qalıqlar qala qarşısında müşahidə edilir. Evliya Çələbi yazırdı ki, qala anbarları ərzaq və döyüş sursatı ilə dolu idi. 19-cu əsrin birinci yarısında mövcud olan divarlarına indi yalnız bəzi yerlərdə rast gəlmək mümkündür. Bir neçə dəfə mühasirə alınmışş qala, su ehtiyatlarının və ərzaq anbarların dolu olması ilə Əmir Teymurun qoşunlarına müqavimət göstərə bilmişdir.

Qalanın altı qapısı mövcuddur. Bunlar; qərbdən Diyarbəkir qapısı, şərqdən Savur qapısı, cənubdan Babı Şövt, şimal-şərqdən Bab-i Hamara, cənub-şərqdən Babı Zeytun, cənubdan Babı Cedid (yeni qapı). Bu qapıların möhkəmliyi qalanın uzun illər işğal edilə bilməmisində çox əhəmiyyətli rol oynamışdır. Mardin qalasının şöhrəti çox şairlərə ilham qaynağı olmuşdur. Gecələr cənub tərəfdən Mardin qalasının möhtəşəm görünüşünə baxan biri, dağın ətəklərində parıldayan minlərlə işığı göyün ulduzları olmasını düşünər.