Monastır Arpaçayın sahilində yerləşir və monastıra yeganə yol bu çayın sahili ilə uzanan çətin keçilən yoldur. ən mühüm dini və mədəni mərkəzlərindən biri olan bu monastırın kral I Abbasın (943–953) dövründə inşa edildiyi bildirilir. XI əsr erməni tarixçisi Stefanos Asogik monastırın qədim bir karvan yolu üzərində inşa edildiyini bildirir.

xanədanının mərkəzinin 961-ci ildə Qarsdan Aniyə köçürülməsindən sonra Horomos monastırının əhəmiyyəti daha da artmışdır. Belə ki, Baqratilər monastırdan bir krallıq qəbrstanı kimi istifadə etməyə başlamışdılar. 982-ci ildə ərəblərin yürüşündən sonra monastır yandırılmış, lakin qısa zaman sonra yenidən bərpa edilmiş, həmçinin yeni şapel inşa edilərək istifadə edilməyə başlanmışdır.

1064-cü ildə türklərin Anini fəth etməsindən sonra monastır rahat həyatını sürməyə başlamışdır. Monastırın divarındakı 1180-ci il tarixli kitabə buranın böyük dini mərkəz olmasından bəhs edir. Horomos həmçinin XIII əsrdə Anini idarə edən gürcü mənşəli Mxraqdzeli xanədanı üçün də məzarlıq rolunu oynamışdır. Mənbələrdə monastırın böyük və zngin kitabxanasının olması haqqında da məlumatlar vardır.

Horomosda orta əsrlərə aid ən son kitabə 1336-cı ilə aiddir. O dövrdən XVII əsrə qədər monastırın tarixi haqqında bir şey bilinmir və hətta bəzi alimlər bu bir neçə əsr ərzində monastırın tərk edildiyini zənn edirlər. 1788-ci ildə monastırda yenidənqurma işləri aparılmış, bayır divarları yenidən inşa edilmiş, həmçinin zəng qülləsi əlavə edilmişdir. Səyyah John Ussher XIX əsrin 60-cı illərində bir keşişin müşaiyyəti ilə monastıra gəlmiş və binanın qəzalı və uçmaq vəziyyətində olduğunu görmüşdür. Sonrakı dövrlərdə — 1852, 1868, 1871 və 1878-ci illərdə də monastırda yenidənqurma işləri aparılmışdır.

Monastır 1920-ci ilə qədər fəaliyyət göstərmiş, Qars ruslar tərəfindən işğal edildiyi dövrdə ətrafında kənd olmuşdur, lakin indi bu kənd tamamilə tərk edilmişdir. 1920-ci ildən sonra isə monastır kompleksinə daxil olan binalar tədricən dağılmağa başlamışdır. Sağlam divaraların üz daşları isə ermənilər tərəfindən sökülərək daşınmışdır. 1970-ci ildə isə Yəhya Peyğəmbər kilsəsinin qübbəsi çökmüşdür.

Horomos monastırı mənbələrdə həm də Qoşavəng olaraq adlandırılır, lakin bu adın haradan qaynaqlanması haqqında heç bir dəqiq informasiya yoxdur. Sadəcə olaraq o qeyd edilir ki, monastırın əsasını Bizansdan qaçan kşişlər qoyub və bu ad da o dövrün hansısa hadisələri ilə əlaqədardır, lakin eyni əhvalatın Çukurovadakı (Kilikiya) erməni qalası ilə də bağlı söylənməsi bunun həqiqiliyi şübhə altına alır.

Kompleks iki ayrı qrup abidələrdən ibarətdir. Monastırın əsas hissəsi Arpaçaya baxan uçurumlarn kənarında, qoruyucu divarla əhatələnmiş ərazidədir. Əsas kompleksin Şimalında (aşağısında) kiçik bir təpəciyin üstündə yanaşı düzülmüş üç kiçik kilsə vardır. Monastırın yaxınlığında başqa abidələrin də qalıqları vardır. Monastırın 500 m Şimalında, Aniyə gedən yolun üstündə Zəfər Tağı deyilən abidənin qalıqları vardır.

Əsas monastır kompleksi düzbucaqlı şəkildə müdafiə divarları ilə əhatə olunmuş ərazidə inşa edilmişdir. Bu divarların indi yalnız bəzi hissələri qalmışdır. Bu qapalı ərazinin girişi isə Şimal divarının Qərb ucunda olmuşdur. Burada xarabalıqları hələ də qalan iki qrup bina olmuşdur. İlk qrup monastırın ən önəmli kilsəsi olan Yəhya Peyğəmbər kilsəsinin ətrafındakı binalardan ibarətdir. İkinci qrup binalar isə birinci qrupun Cənub tərəfindədir. Əvvəllər jamatunun önündən qapalı ərazini qonaqlar üçün qarşılanma yerinə çevirən bir divar keçirmiş. Qarşılanma yerinin içində qonaqların dinlənməsi üçün inşa edildiyi düşünülən bir bina və monastır rahibləri üçün inşa edilmiş bir neçə kiçik hücrə olmuşdur. Bu iki abidə XX əsrin əvvəllərində dağılmış, günümüzə isə onlardan heç nə çatmamışdır.

Monastırın əsas binası olan Yəhya peyğəmbər kilsəsi qübbəli düzbucaqlı formada idi. Yarımdairəvi şəkilli qübbənin tağlarla dəstəklənmiş silindrik alın hissəsi və konik şəkilli damı olmuşdur. İçi çox sadə olmuş, yalnız XIII əsrdən qalma bəzi şəkil qalıqlarına təsadüf edilmişdir. Daha qədim kilsələr üçün xarakterik olan bir cəhət — apsisində iki pəncərəsi vardı. Şimal, Cənub və Şərq bayır divarlarındakı nişlər kilsəsnin inşasından sonrakı bərpalarda o qədər də dəyişikliyə uğramayan bir tikili olduğunu göstərirdi. Bu nişlərin Qərb divarında az olmaları və həin divardakı qapının sadəliyi jamatunun nşasının kilsənin inşasə zamanı düşünüldüyü qənaətinə gəlməyə imkan verir. Kilsənin Qərb divarında jamatunun izələrinin X əsrdən etibarən, xüsusiylə XIII əsrdə rastlanır. Jamatun kəlməsi "kilsə ev" deməkdir və toplantı məkanı olaraq və ölüləri yola salmaq üçün istifadə olunurdu. Çünki, ölüləri kilsədən yola salmaq qadağan idi.

Yəhya peyğəmbər kilsəsinin jamatunu Horomosda dövrümüzə çatan ən mühüm abidədir və erməni memarlığı tarixində mühüm yeri var. Kilsəylə demək olar ki eyni dövrdə inşa edilən jamatun həm də erməni memarlığında ən qədim jamatun nümunələrindəndir. Jamatunun giriş qapısının üstündəki kitabədə onun inşası haqqında deyilir: "Erməni təqviminin 487-ci ilində (miladi 1038) mən, Şahənşah Qagikin oğlu, Şahənşah Hovannes Kulpdakı meyvə bağçalarını Horomosda inşa jamatunuyla birgə inşa etdirdiyim Surb Hovhannes kilsəsinə bağışladım. Və Petros bəyin patrikliyi və Hovannes atanın katolikosluğu sürdükcə ildə gömrük vergisindən azad yüz kisə duz bəxş etdim. Əgər bizdən sonra kimsə bu hökmə və mənim bəxşişimə müxalif olarsa Tanrı önündə mənim günahlarıma görə cavab verəcək və sağlığında və ölümündə Nikeyada (İznik) toplanan 318 patrik tərəfindən lənətlənəcək. Və bu hökmə itaət edənlər İsa tərəfindən təriflənəcək."

Jamatun eyni zamanda çox qeyri-adi plana və bu tip dizayna daha çox XII əsrin ortalarında rast gəlindiyi üçün həm də dövrü üçün qeyri-adi bəzək ünsürlərinə sahibdir. Jamatunun damı iri və yuvarlaq kəmər silsiləsiylə dəstəklənirdi. Bunlar otaqda hər iki yövə kəsişir və dörd böyük sütun üzərində birləşir. Bu sütunlar qalın və qısa olmaqla, sadə və yumru sütun başlığı və altlıqlarına malikdir. Sütun altlıqları səkkizguşəli təməl üzərində yerləşdirilmişdir. Kəmərlər tavanı doqquz düzbucaqlı bölməyə ayırmışdır. Orta hissə üzərindəki kəmərlər içəridə Şərq- Qərb yönünü vurğulamaq və keçidlərlə əhatələnmiş orta hissəsi görüntüsü yaratmaq məqsədi ilə daha uzun hazırlanmışdır.