Qədim dəfnetmə mağarasının ərazisində yerləşdiyi güman olunan Taya mağaralarının tarixi məbədin qurulduğu 1532-ci ildən əvvələ aiddir. Bu tunellər (1185–1333) qazılmış və mənsub olan buddistlər tərəfindən asketik təlim yeri kimi istifadə olunmuşdur. Onlar burada meditasiya ilə məşğul olarkən divarlara müxtəlif buddist qabartma naxışları həkk etmişdirlər. Mağaraların tağlarında və qum daşı divarlarından ibarət dar keçidlərində buddist ilahları və mifoloji varlıqları, eləcə də, sanskritcə işarələrin təsvirləri yerləşir.

Edo dövründə baş vermiş zəlzələ nəticəsində mağaraların tağlı tavanının bir hissəsi çökmüşdür və mağaralar uzun müddət tərk edilmiş vəziyyətdə qalmışdır. 1830-cu ildə yerli kəndlilərin çəltik zəmilərini suvarmaq üçün mağarada yerləşən bulağın suyunu çəkməyə başlamışdırlar. Bu, buddist keşişlərinin mağaralara qayıtmasına və təlimlərinə davam etmələrinə səbəb olmuşdur.

1927-ci ildə mağaralar ictimaiyyətə açılmışdır. Buna baxmayaraq, keşişlər burada təlim keçməyə davam edirlər.

Mağaranın Otonaşiqava (hərf. "səssiz çay") adı ilə tanınan bulağı mürəkkəb tunel sistemi boyunca axır və bəzi divarlardan aşağı tökülür. Bulağın daş heykəlinə həsr olunmuş müqəddəs otaqdan keçən hissəsinə Almaz suyu adı verilmişdir. Almaz suyunun xəstəlik sağaldıcı və arzuları həyata keçirmə xüsusiyyətlərinə malik olduğuna inanılır. Başqa bir inanca görə mağaranı ziyarət etmək ruhu və bədəni arındırır.

• — Taya mağaralarının rəsmi saytı