1862-ci ildə təqaüdçü yəhudi əsgərlər Rostov-na-Donuda Yəhudi Dua Cəmiyyəti qurdular. 31 may 1862-ci ildə Dnepr hökuməti cəmiyyətə ibadət ayinləri üçün ayrıca bir otaq icarəyə verməyə icazə verdi. Sinaqoqunun layihəsi 4 iyun 1872-ci ildə Rosotov səlahiyyətliləri tərəfindən təsdiq edildi və həmin il bina tikildi. Bəzi məlumatlara görə, sinaqoqların inşası üçün pulu Rostov taciri İosif Markoviç Elitser bağışlamışdı. Sinaqoqun memarının Ernest Ernestoviç fon Şulman, tikinti podratçısısının isə Moisey Leontyeviç Qeronimus olduğu ehtimal edilir.

Sinaqoqun binası bir neçə dəfə yenidən qurulmuşdur. 1881-ci ildə, şərq hissəsində üç mərtəbəli bir kərpic bina tikildi. 1891-ci ildə sinaqoqun cənub divarına iki mərtəbəli bir bina da qoşuldu. Bianın birinci mərtəbəsində kasıb əsgər uşaqları üçün məktəb, ikinci mərtəbədə isə dua məktəbi yerləşirdi. Sinaqoq 1905-ci ildə yəhudi əleyhinə poqrom zamanı vurulan atəş nəticəsində ciddi ziyan gördü.Bina yalnız 1913–1914-cü illərdə lazımi vəsait toplananda bərpa edildi. Yenidənqurma layihəsinin müəllifi Peterburq memarı Yakov Germanoviç Gevirts idi. Sinaqoqda ibadət Pasxa günü 29 Mart 1914-cü ildə bərpa edildi.

1935-ci ildə sinaqoq ibadət üçün bağlandı.Binada kimya fabriki yerləşirdi. Müharibə illərində bu müəssisələr şəhərdən təxliyə edildi. 1943-cü ildə, Rostov-na-Donu sinaqoqu azad edildikdən sonra yenidən yəhudi icması tərəfindən alındı. Binanın yəhudi icması tərəfindən istifadəsinə rəsmi icazə 14 aprel 1945-ci ildə icazə verildi.

2005-ci ildə sinaqoqun əsaslı təmiri həyata keçirildi. 1940-cı illərdə dağıdılmış, Davud ulduzları ilə bəzənmiş künc günbəzi bərpa edildi. Yenidənqurma işləri ilin sonunadək başa çatdı və sinaqoq 26 dekabrda açıldı.

Əsgər Sinaqoqunun memarlığı Modern və Şərq üslubunun elementlərinə malikdir. Binada kompleks konfiqurasiya planı var. Şəbəkənin yuxarı hissəsindəki zəif açıqlıqlar naxışlı, qotik gül ilə bəzədilmişdir. Sinaqoqun girşi tağlarla bəzədilib.