Arxeoloji araşdırmalara görə, indiki məscidin altında daha iki qalığı var. Qalıqlardan biri Arslan xanın (1102—1130) binasıdır. Arslan xan məscidi mövcud bina ilə eyni ölçülərə sahib idi. 1399-1404-cü illərdə Səmərqənddəki Bibixanım məscidi tikilənə qədər Mavəraünnəhrdə ən böyük məscid idi. İkinci məscid XII əsrin I rübündən XIV əsrin ortaları qədər, eyni tipdə idi, ancaq tamamilə kərpicdən düzəldilmişdi.

Məscidin üçüncüsü, hazırda mövcud olan üçüncü binası, Teymurilər dövründə, Mirzə Uluqbəy (1409-1449) dövründə inşa edildi. 1514-cü ildə Şeybanilərin Özbək xanədanının nümayəndəsi Ubeydulla xanın (1512-1540; 1533-cü ilə qədər Buxara xanlarının şahı idi - Kuçkunci xan və Əbu Səid xan) dövründə, cümə məscidinin əsaslı təmiri həyata keçirildi: fasadı əsaslı təmir edildi və məscidin bir hissəsi majolika və çini naxışlar ilə bəzədildi.