Yaponiyada olmuş ilk avstriyalı şəxs 1629-cu ildə Kristof Karl Fernberger olmuşdur. O, hollandların Yaponiyadakı ticarət mərkəzi olan Hiradonu ziyarət etmişdir.

18 oktyabr 1869-cu ildə Tokioda tərəfindən Yaponiya ilə dostluq, ticarət və dənizçilik müqaviləsi imzalanmışdır. Bu müqavilə daha sonra I Frans İosif və Meyci tərəfindən imzalanmış və 1 dekabr 1871-ci ildə qüvvəyə minmişdir. Bu, Avstriya ilə Yaponiya arasında diplomatik əlaqələrin başlanğıcı qəbul olunur. 1873-cü ildə Yaponiya hökuməti tərəfindən Avropaya göndərilmiş Vyanada keçirilmiş dünya sərgisində iştirak etmişdir. 1883-cü ildə Avstriyanın Yaponiyadakı diplomatik missiyası nümayəndəlik statusuna qaldırılmışdır.

Meyci dövründə bir sıra avstriyalılar Yaponiyaya gələrək məüyyən sahələrdə töhfələrini vermişdirlər. Avstriyalı general Yaponiyanı dağ-xizək idmanı ilə tanış etmiş, bu idman növünün Yaponiyadakı qabaqcılı olmuşdur. Hüquqşünas (1889) hazırlanmasında iştirak etmişdir. Avstriyalı diplomat ilə evlənmiş Avropaya miqrasiya etmiş ilk şəxslərdən biri olmuşdur.

1907-ci ildə Avstriya–Macarıstanın Tokiodakı nümayəndəliyi səfirlik statusuna qaldırılmış və Yaponiya Vyanaya səfir təyin etmişdir. 1914-cü ildə Birinci Dünya müharibəsinin başlaması səbəbilə ölkələr arasındakı diplomatik əlaqələr kəsilmişdir.

1935-ci ildə tərəfindən Tokioda Yapon–Avstriyalı İcmasının əsası qoyulmuşdur. Ölkələr arasında diplomatik əlaqələr 1953-cü ildə bərpa olunmuşdur. 15 noyabr 1955-ci ildə Yaponiya Avstriyanın tərəfsizliyini tanıyan ilk ölkə olmuşdur. 1957-ci ildə Tokio və Avstriyadakı nümayəndəliklər səfirlik statusuna qaldırılmışdır.

1959-cu ildə Yaponiya baş naziri Nobusuke Kişi Avstriyaya səfər etmişdir. 1965-ci ildə Vyanada Yaponşünaslıq İnstitutunun əsası qoyulmuşdur. 1999-cu ildə Avstriya prezidenti Yaponiyaya səfər etmişdir. 2002-ci ildə Yaponiya imperatoru Akihito Avstriyada rəsmi səfərdə olmuşdur. 2009-cu ildə ölkələr arasındakı diplomatik əlaqələrin 140 illiyi qeyd olunmuş, həmin il "Yaponiya–Avstriya ili" elan olunmuş və Avstriya prezidenti Haynz Fişer Yaponiyaya səfər etmişdir.

və mütəmadi olaraq Yaponiyada konsertlər verir. Avstriya Avropaya səyahət edən yapon turistlərin ən çox ziyarət etdiyi ölkələrdən biridir. Vyana, Zalsburq və İnsbruk onların ən çox ziyarət etdikləri şəhərlərdir. Yaponiya və Avstriya şəhərləri arasında 30-dan çox əməkdaşlıq müqaviləsi imzalanmışdır.