In Mühlhausen sind seit 1346 Rabbiner nachweisbar, was auf das Vorhandensein einer Synagoge in der Stadt schließen lässt. Der erste direkte Nachweis für eine Mühlhäuser Synagoge stammt aus dem Jahr 1380, als sich eine neue Gemeinde nach dem Pestpogrom von 1349 in der Stadt gebildet hatte. Diese lag in der heutigen Jüdenstraße, ohne dass bislang ihr genauer Standort ermittelt werden konnte. Im Jahr 1560, Jahrzehnte nach dem Weggang der Juden aus der Stadt, wurde diese mittelalterliche Synagoge noch einmal als wüst stehend erwähnt.

Die im 17. Jahrhundert neu entstandene jüdische Gemeinde nutzte lange einen Betraum in der Jüdenstraße 20. Erst im Jahr 1839 konnte in der Nachbarschaft ein Grundstück zum Neubau einer Synagoge erworben werden. Die Weihe fand mit großer öffentlicher Anteilnahme am 6. August 1841 statt.

In der Pogromnacht vom 9. zum 10. November 1938 wurde die Synagoge von der Entourage des NSDAP-Kreisleiters verwüstet, Rabbiner Max Rosenau wurde von diesem selbst schwer verwundet. Am nächsten Tag wurden Thorarollen, Einrichtungsgegenstände und Unterlagen der Gemeinde am Rieseninger Berg verbrannt. Synagoge und Gemeindehaus gingen nach dem Auslöschen der jüdischen Gemeinde in das Eigentum des Deutschen Reiches über. Nach 1945 wurden die Gebäude der noch einmal für kurze Zeit neu entstandenen jüdischen Gemeinde zurückerstattet. Der nach 1948 einsetzende Exodus vieler Gemeindemitglieder führte faktisch zur Auflösung der Gemeinde, womit die Synagoge an die Jüdische Landesgemeinde Thüringen überging. Bis in die 1990er Jahre wurde der Fortbestand des Synagogengebäudes durch die Nutzung als Lagerraum gesichert.

Durch eine private Initiative angeregt, wurde die Mühlhäuser Synagoge im Vorfeld des 60. Jahrestages der Pogromnacht von der Jüdischen Landesgemeinde Thüringen, unterstützt durch die Stadt Mühlhausen und viele Spender, umfassend saniert. Zur Neuweihe am 9. November 1998 lud die Stadt Mühlhausen ehemalige jüdische Mitbürger aus aller Welt ein. Heute wird die Synagoge wieder als Gotteshaus und Begegnungsstätte mit jüdischer Religion, Kultur und Geschichte genutzt.