Das Benediktinerkloster St. Mang wurde in der ersten Hälfte des 9. Jahrhunderts als Eigenkloster der Bischöfe von Augsburg errichtet. Der Gründungsvorgang reicht jedoch zurück auf das Wirken des Einsiedlers Magnus, der hier eine Zelle und ein Oratorium erbaut hatte und dort an einem 6. September verstarb. Das Todesjahr selbst ist nicht überliefert. Die von Wundern begleitete Erhebung des unversehrt gebliebenen Leibes von Magnus, was seine Heiligkeit bewies, bildete die spirituelle Grundlage des Klosters.
Die Gründung der Abtei war jedoch nicht nur religiös motiviert, im Hintergrund standen auch handfeste machtpolitische Interessen. Gelegen an einer im Mittelalter bedeutenden Fernstraße von Augsburg über die Alpen nach Oberitalien und an der Füssener Enge, dem Durchbruch des Lechs aus den Alpen, nahm das Kloster eine geographische Schlüsselposition ein. Diesen strategischen Punkt zu besetzen, waren die Augsburger Bischöfe und die kaiserliche Politik bestrebt.
Die Geschichte der Abtei im Mittelalter war geprägt vom Bemühen der Konventualen im Auf und Ab der gesellschaftlichen Entwicklungen um ein getreues Leben nach den Regeln des hl. Benedikt. So schloss sich die Mönchsgemeinschaft im Laufe der Jahrhunderte immer wieder Reformbewegungen an, die eine Rückbesinnung auf die Wurzeln benediktinischen Lebens zum Ziel hatten. Meist lösten die Reformen einen geistlichen, personellen und ökonomischen Aufschwung aus, der sich dann auch in neuen Baumaßnahmen und Kunstaufträgen niederschlug.
Die gegenreformatorische Energie fand ihren bleibenden Ausdruck im Bau eines mächtigen Barockklosters, das zwischen 1696 und 1726 errichtet wurde. So prägt der Klosterkomplex St. Mang, zusammen mit dem Hohen Schloss, heute wesentlich das Stadtbild Füssens.
Außerordentliches zu schaffen war ja auch das Bestreben des Bauherrn, des Abtes Gerhard Oberleitner (reg. 1696–1714) und seines Konvents, die mit dem Neubau beabsichtigten, den „Neid aller Kunstfreunde zu erwecken“.
Dem Architekten Johann Jakob Herkomer (1652–1717) gelang es, aus der unregelmäßig gewachsenen mittelalterlichen Klosteranlage einen repräsentativen, symmetrisch angeordneten Baukomplex zu entwerfen. Die Umgestaltung der mittelalterlichen Basilika in eine nach venezianischen Vorbildern gestaltete Barockkirche sollte zum architektonischen Symbol der Verehrung des hl. Magnus werden. Das Kirchengebäude stellt ein monumentales Reliquiar des Heiligen dar. Erstmals im süddeutschen Barockbau gibt hier in St. Mang die Lebensbeschreibung des Lokalheiligen das Bildprogramm für den Freskenzyklus der gesamten Kirche vor.
In der zweiten Hälfte des 18. Jahrhunderts wandte sich aber der Konvent verstärkt gesellschaftlichen Aufgaben zu: der Seelsorge, der Wissenschaft, Musik und dem Bildungswesen. Obgleich die Abtei nie die angestrebte Reichsunmittelbarkeit erlangen konnte, prägte sie als Herrschafts- und Wirtschaftszentrum, als kultureller Kristallisationspunkt und als Mittelpunkt des Glaubenslebens maßgeblich Füssen und die gesamte Region.
Am 11. Dezember 1802 nahm im Zuge der Napoleonischen Kriege und des Friedens von Lunéville das Fürstenhaus Oettingen-Wallerstein das Kloster St. Mang und seine Ländereien in Besitz (ebenso wie das Kloster Maihingen). Am 15. Januar 1803 wies Fürstin Wilhelmine Abt Aemilian Hafner an, den Konvent aufzulösen und das Kloster bis zum 1. März 1803 zu räumen. 1819 wurde der im Jahre 2000 seliggesprochene Franz Xaver Seelos in der Klosterkirche getauft. 1821 kaufte der Fürst Ludwig von Oettingen-Wallerstein auch das nahe Schloss Hohenschwangau, um es vor dem drohenden Abbruch zu retten, verkaufte es jedoch 1823 wieder; erst ab 1832 wurde es durch Kronprinz Maximilian restauriert, für den ursprünglich das oberhalb vom Kloster St. Mang gelegene Hohe Schloss Füssen, der ehemalige Sommersitz der Augsburger Fürstbischöfe, als Sommerresidenz vorgesehen war.
1839 kaufte der königlich bayerische Kämmerer Christoph Friedrich Freiherr von Ponickau die Herrschaft St. Mang. Zuvor jedoch, 1837, wurde die ehemalige Klosterkirche in einer Dotation dem „Kultus“, der Pfarrei Füssen, übertragen. Seither ist die ehemalige Benediktinerabtei auf zwei Eigentümer aufgeteilt.
1909 erwarb die Stadt Füssen die ponickausche Gutsherrschaft St. Mang und damit auch das ehemalige Klostergebäude. Im Nordflügel richtete sie hier ihr Rathaus ein. Im Südflügel befindet sich heute das Museum der Stadt Füssen, in dem auch die barocken Repräsentationsräume des Klosters zu besichtigen sind.