Das Kloster blickt auf eine bewegte Baugeschichte von der Spätromanik über die Spätgotik bis zum Spätbarock zurück. Im Mittelpunkt der Anlage steht die ehemalige Klosterkirche St. Magnus, an die im Westen die Abtei und im Süden der Kreuzgang bzw. die Konventsgebäude anschließen. Der spätbarocke Konventsneubau liegt im Norden der Kirche. Heute betritt man die Anlage durch einen barocken, turmbekrönten Torbau. Anfänglich umzog eine mit Türmen gesicherte Mauer das Klosterareal.
Spätromanik
Eine erste Klosterkirche, mit deren Bau man im 12. Jahrhundert begonnen hatte, wurde in den dreißiger Jahren des 12. Jahrhunderts als dreischiffige Pfeilerbasilika fertiggestellt. Am Ostende der Südwand führte ein Rundbogenportal in den Kreuzgang und von dort ins Kloster.
Spätgotik
1482 ließ Abt Heinrich Österreicher der schmucklosen Westfassade der Kirche einen schlossartigen Vorbau, eine Kirchenvorhalle mit darüberliegenden Amtsräumen, anbauen. 1494 wich der spätromanische Altarraum einem verlängerten Mönchschor mit spitzbogigen Buntglasfenstern. Der Glockenturm wurde 1493 erhöht und erhielt einen Spitzhelm. 1497 stattete der einheimische Werkmeister Georg Lutz d. Ältere das Langhaus mit einem Netzgewölbe aus.
Frühbarock
1622 versah der Weilheimer Werkmeister Johannes Guggenmoos den Glockenturm von St. Magnus mit einem frühbarocken, zwiebelbekrönten Achteckaufbau. Nach Abzug der schwedischen Truppen wurde dann der Umbau des Gotteshauses, dessen Langhaus von den Soldaten in Brand gesteckt worden war, in Angriff genommen.
Hochbarock
Das Neue Konventsgebäude geht auf die Planungen des Baumeisters Dominikus Zimmermann in der Mitte des 18. Jahrhunderts zurück. Der mächtige Klostertrakt war so geplant, dass er die Kirche in symmetrischer Bauweise umschließen sollte. Etwa zu einem Drittel wurde das Bauprojekt vom lokalen Meister Jakob Emele realisiert.
Das hochbarocke, mit überreichem Schnitzwerk versehene Chorgestühl der Magnuskirche aus der Überlinger Werkstatt von Georg Anton Machein (1685-1739) zählt zu den Meisterwerken des Oberschwäbischen Barocks. Es entstand zwischen 1715 und 1717.
Beendet wurde auch der zweistöckig entworfene Bibliothekssaal mit umlaufender Empore. Seine prachtvolle Rokoko-Bilderwelt nimmt jeden Betrachter ein.