Rami kazarması 1757–1774-cü illər arasında Osmanlı sultanı III Mustafanın dövründə tikilib. Onlar sonradan 1828-ci və 1829-cu illərdə II Mahmudun hakimiyyəti dövründə Asakiri Mənsurəyi Məhəmmədiyyə ordu qüvvələrinin yerləşdirilməsi üçün təmir olunub və genişləndirilmişdir. Kazarma binaları Əyyubsultan səmtindəki Rami məhəlləsində yerləşirlər. O, vaxtlar bu ərazi İstanbulun kənarları sayılırdı.

Tarixən bu kompleks Rami məhəlləsində "Topçu Kışlası" (kazarması) kimi tanınırdı. Onlar Osmanlı hərbi islahatının bir hissəsi olaraq Yeni Nizam Ordusu (Nizami-Cədid ordusu, hərfi mənada "yeni nizam") əsgərləri üçün tikilmiş mühüm hərbi kazarma idi.

Rami kazarması Krım müharibəsi (1853–1856) zamanı Sultan I Əbdülməcidin (1839–1861-ci illərdə hökmranlıq edib) hərbi qərargahı kimi xidmət etmişdir. Kazarmalarlar son formasını Sultan II Əbdülhəmidin (1876–1909-cu illərdə hökmranlığı) dövründə alıb.Birinci Dünya müharibəsində müttəfiqlər tərəfindən İstanbulun işğalı zamanı (1918–1923) Fransa qoşunlarının Əlcəzair bölmələri Rami kazarmasında yerləşdirilmişdi.

1923-cü ildən sonra və 1960-cı illərə qədər Cümhuriyyət dövründə Rami kazarmaları Türkiyə Silahlı Qüvvələrinin istifadəsində olub. Hərbçilər kazarmanı tərk etdikdən sonra onlar bir müddət boş qalıblar. Bir müddət boş qalan kazarma binaları Əyyubsultan bələdiyyəsi tərəfindən ərzaq topdansatışçılarına icarəyə verilib. 1972-ci il oktyabrın 14-də Türkiyə Cümhuriyyəti Mədəniyyət və Turizm Nazirliyi kazarmanı mədəni sərvət abidəsi kimi qeydiyyata alıb. Kazarma ərazisi Türkiyə Silahlı Qüvvələri tərəfindən istirahət zonası kimi istifadə olunmaq üçün İstanbul bələdiyyə orqanlarına verilib. 1986-cı ildə Rami kazarmaları yenidən müvəqqəti olaraq İstanbulun o vaxtkı bələdiyyə sədri Bedrettin Dalan (1984–1989-cu illərdə bu vəzifəni tutub) tərəfindən ərzaq mağazalarının Haliç sahilində yerləşdiyinə görə ərzaq topdansatışçılarına icarəyə verilib. Bu vəziyyət Unkapı və Eminönündə tıxaclara, ətraf mühitin çirklənməsinə və səs-küyə gətirib çıxarırdı. O vaxtdan kazarma binası qismən ərzaq topdansatışçiləri tərəfindən ticarət meydançası kimi istifadə olunurdu. Onun ərazisində ümumilikdə 1500-ə yaxın ərzaq mağazası fəaliyyət göstərirdi.

Rami kazarma kompleksi 75.000 m² əraziyə malikdir. Bunun 33.000 m²-i binalardır. Rami kazarmasının ümumi faydalı sahəsi 220.000 m²-dir.

Rami kazarmaları ölçüsü 200x200 metr olan düzbucaqlı həyətlərlə əhatə olunub və səkkiz qanaddan və beş blokdan ibarətdir. Onlar bişmə kərpicdən tikilmiş və dəfələrlə təmir edilmişdir.

Rami kazarmalarının kitabxanaya çevrilməsi ideyası İstanbul 2010 Avropa Mədəniyyət Paytaxtı araşdırmaları zamanı yaranıb.

Kazarma binalarının bərpasına 2014-cü ildə başlanılıb və 2023-cü ildə başa çatdırılıb. Bərpa zamanı kazarma ərazisində dağılmış məscid də təmir edilərək istifadəyə verilib. Kitabxana 30 dekabr 2022-ci ildə Qlobal Davamlı Turizm Şurası tərəfindən akkreditə olunmuş təşkilat tərəfindən Dayanıqlılıq Sertifikatı alıb.

Kitabxananın açılış mərasimi 13 yanvar 2023-cü ildə baş tutub. Rəsmi açılış mərasimi Türkiyə prezidenti Rəcəb Tayyib Ərdoğan və xanımı Əminə Ərdoğanın iştirakı ilə olub.

Rami kitabxanası 2023-cü ildən İstanbulun ən böyük kitabxanası sayılır.

220 min kvadratmetr sahədə inşa edilən kitabxana 4200 nəfərlik istifadəçi yeri və 2,5 milyon kitaba malikdir. Kitabxanada şəhər muzeyi, kitab mağazaları, suvenir mağazaları, banklar, kafelər, restoranlar, kinoteatrlar və s. kimi 120-yə yaxın kommersiya müəssisəsi fəaliyyət göstərir, həmçinin 1200 avtomobilin yerləşə biləcəyi dayanacaq tikilib. Onun tərkibinə Bəyazid Dövlət Kitabxanası xidmət bölmələri, Tərtib Müdirliyinin xidmət sahələri, Atatürk Araşdırma İxtisas Kitabxanası və əlyazma təmiri şöbələri daxil edilib. Kitabxananın həyəti ictimai bağ kimi nəzərdə tutulub.