Noch immer hält sich in der Bevölkerung die Legende, das Kloster Allerheiligen sei dreimal durch einen Blitzschlag abgebrannt. Richtig ist, dass der erste Großbrand 1470 in der Klosterküche und der zweite 1555 im Gästehaus ausbrach und 1804 tatsächlich der Blitz einschlug. Das bedeutete jedoch nicht das Ende des Klosters selbst. Vielmehr hatte Markgraf Karl Friedrich von Baden bereits am 29. November 1802 die »Civil Besitzergreifung« des »Gotteshauses Allerheiligen« vornehmen lassen und es damit aufgelöst. Und auch die Aussage, dass die Anlage durch diesen Blitzschlag zur Ruine geworden sei, stimmt so nicht.
Das Ende des Klosters Allerheiligen war nicht nur von Tragik, sondern auch von einer gewissen Dramatik begleitet. Fast zeichenhaft zu nennen ist der Blitz, der am 6. Juni 1804 abends während eines Gewitters in den Turm der Klosterkirche einschlug. Zeichenhaft deshalb, weil der 6. Juni der Namenstag des Ordensgründers Norbert von Xanten ist, für den ein Blitzstrahl einst die Wende seiner Lebensbahn gebracht haben soll. Dieser Blitz vor 210 Jahren leitete aber symbolhaft das Ende und den Zerfall der ganzen Anlage ein. Das schindelgedeckte Kirchendach und das obere Stockwerk des Klausurgebäudes brannten ab.
Dennoch konnte Baudirektor Friedrich Weinbrenner, der im Auftrag der Karlsruher Regierung Allerheiligen besuchte, mitteilen, dass die Mauern und auch das Gewölbe der Kirche weitgehend unbeschädigt geblieben waren. Im Rahmen der Ausbesserungsarbeiten erhielt sie ein neues mit Schindeln gedecktes Dach. Zu den Eigentümlichkeiten Allerheiligens gehört, dass nach der Vertreibung der Prämonstratenser zwei Kapuzinermönche aus dem ebenfalls aufgelösten Oppenauer Kapuzinerklösterle  mit der Seelsorge betraut wurden. Bis 1814 wurden in der vorübergehend zur Pfarrkirche erklärten Klosterkirche noch Gottesdienste gehalten. Danach kam jedoch das religiöse Leben vollkommen zum Erliegen.
1814 fiel die Entscheidung
Nach der Säkularisation hatte es Pläne gegeben, in Allerheiligen eine Korrektionsanstalt (Besserungsanstalt) für Geistliche einzurichten. Dies kam jedoch nicht zur Ausführung. Endgültig scheiterte 1806 auch der von der Regierung geförderte Versuch des Fabrikanten Brenneisen aus Iffezheim, in den Gebäuden eine Wollspinnerei einzurichten. 1814 wurde die endgültige Entscheidung getroffen, in Allerheiligen keine Pfarrei (für das hintere Achertal und das hintere Lierbachtal) zu gründen, sondern stattdessen in Ottenhöfen eine Kirche für das hintere Achertal zu bauen. Die Steine sollte die Klosterkirche liefern. Damit war der Abbruch des einstigen Münsters von Allerheiligen besiegelt. Die anderen Gebäude waren schon 1811 auf Abbruch versteigert worden. Bis auf das im Westflügel gelegene Försterhaus und eine Scheune wurden sie in den folgenden Jahren abgetragen. Eine Menge Holz, 26 000 noch brauchbare Ziegel sowie ein großes Quantum Quadersteine wurden 1821 nach Ottenhöfen geschafft. 1824 gestattete die badische Regierung auch, dass Allerheiligen zum Bau der Pfarrkirche in Achern als Steinbruch genutzt wurde.