Münhen və Berlin universitetlərində memarlıq təhsili almış, ilk dəfə 1903-cü ildə Orta Şərqə getmiş, Mesopotamiyadakı Assuriya şəhərlərindən birində aparılan qazıntılarda memar kimi işləmiş, İraqdakı qədim Samarra şəhərini gördükdən sonra İslam mədəniyyəti ilə maraqlanmağa başlamışdır. Burada həyata keçirmiş olduğu ilk işlərini daha sonra 1907-ci ildə Samarra, Aufnahmen und Untersuchungenzur islamichen Archeologie (Səmarra, İslam Arxeologiya üzrə Ölçülər və Tədqiqatlar) adı altında çap etmişdir. Assuriya qazıntılarından ölkəsinə 1906-cı ildə qayıdarkən, İran yolundan istifadə etmiş və burada Pasarqad və Persepolisə səyahət etmişdir. Növbəti il bu iki şəhər əsasında hazırladığı tədqiqat işi ilə Berlin Universitetində doktorluq adı almışdır. 1908-ci ildə İstanbul və Suriyadan keçməklə Hindistana səyahət etmişdir. Sənət tarixçisi Friedrich Sarre ilə birlikdə Mesopotamiyada Fərat və Dəclə çayları vadilərində gəzərək bir çox arxeoloji sahəni müəyyən etdilər. Bu tədqiqatlarının nəticələrini 1911-1920 arasında Archeologische Reise im Euphrat ung Tignis Gebiet (Fərat və Dəclə Regionunda Arxeoloji Səyahət) adlı dörd cildlik əsərlərində yaydılar.

Herzfeld, 1910-1913-cü illərdə Samarrada qazıntılar apararaq şəhərdəki bir çox binanın ilkin vəziyyətini təyin etmişdir. Bu qazıntının nəticələrini özündə cəmləşdirən və son cildi ölümündən sonra çıxan Die Ausgrabungen von Samarra (1923-1948, 6 cild; Samarra qazıntıları) adlı kitabı islam memarlığı mövzusunda ən vacib mənbə kitablarından biri sayılır.

Herzfeld 1917-ci ilə qədər İranda və Şərqi Anadoluda tədqiqatlar aparmışdır. 1920-ci ildə Berlin Universitetində Şərq arxeologiyası professoru olmuş, 1928-ci ildə Persepolis yaxınlığındakı Pasargadda qazıntı aparmış və 1933-cü ilə qədər Persepolisdə qazıntılarına davam etmişdir. 1935-ci ildə Almaniyanı və Berlin Universitetini tərk edərək ABŞ-yə getmiş və New York əyalətindəki Princeton Universitetinə daxil olmuşdur; Daha sonra tədqiqatlarını bu ölkədə davam etdirdi.

1947-ci ildə tədqiqat aparmaq üçün Qahirəyə getdi; orada xəstələndi və müalicə üçün aparıldığı İsveçrədə öldü.