Die Allerheiligenkirche wurde vor 1287 als Sühneaktion für die von der Bürgerschaft zerstörte Kapelle der Mühlhäuser Reichsburg errichtet. Mit der Schleifung der Burg erlangte die Stadt den Status einer Freien Reichsstadt und war bis zur Eroberung durch die Preußen im Jahre 1802 rechtlich nur dem deutschen Kaiser unterstellt.

Die markante gotische Architektur des einstigen Gotteshauses geht bereits auf die Zeit der Ersterwähnung der Kirche zurück, ist jedoch auch das Ergebnis einer Erweiterung aus der 1. Hälfte des 14. Jahrhunderts. Im Rahmen der Geschehnisse um den Bauernkrieg in Mühlhausen spielte auch die Allerheiligenkirche als Ereignisort eine Rolle. Hier kamen Mitte März 1525 Vertreter der Aufständischen, der innerstädtischen Opposition und des bestehenden Rates zusammen, um über dessen künftige Zusammensetzung zu verhandeln. Auf diese Weise ist die Allerheiligenkirche ein weiteres Mal eng mit einem wichtigen Prozess der Mühlhäuser Stadtgeschichte verbunden.

Im 18. Jahrhundert wurde die nun protestantische Pfarrkirche umgestaltet. Der für das Stadtbild Mühlhausens markante Turm erhielt damals außerdem seine prachtvolle barocke Haube. Das Innere wurde zwischen 1724 und 1754 mit Emporen, Kanzelaltar und einem bemalten Holztonnengewölbe versehen. Im Zentrum des Deckengemäldes erscheint die Heilige Dreifaltigkeit, umgeben von den vier Evangelisten und zahlreichen musizierenden Engeln.

Seit seiner grundlegenden Sanierung in den 1980 Jahren wird das Gebäude museal genutzt.