Mit der Einkehr der christlichen Lehre im Raum Schwabmünchen wurde Augsburg bald Sitz eines Bischofs. Dieser brachte durch Kauf und Schenkungen zahlreiche Liegenschaften der Umgebung an sich. Sein Einfluss als „Grundherr“ wurde immer stärker und er konnte seinen Besitz weitgehend an seinen „Untertanen“, den sogenannten „Grundsolden“ oder „Hintersassen“, vergeben.
Von Augsburg nach Süden über Schwabmünchen nach Buchloe lief die „Hochstraße“; diese wurde mit der Zeit eine Hauptader für den Handel und Verkehr im weltlichen Besitz des Bischofs von Augsburg. Aus diesem Besitztum entwickelte sich im Laufe der Jahre das mächtige Hochstift Augsburg.
In Schwabmünchen war der Augsburger Bischof besonders stark begütert. Deshalb ist es verständlich, dass er sich hier, ganz abgesehen von der günstigen Lage, um einen festen Sitz umsah, der ihm im Ernstfalle – und damals gab es viele Kleinkriege – auch Schutz bieten konnte. Verfehlt wäre es jedoch, sich unter diesem Sitz eine mächtige Burg vorzustellen; es handelte sich vielmehr um eine burgähnliche Anlage mit Wall und Graben, die einen kräftigen Mittelbau schützten.
Diese „Burg“ spielte im Jahre 953, wie der Lebensbeschreibung des hl. Ulrich zu entnehmen ist, eine große Rolle. Der Herzog Ludolf von Schwaben lag in Fehde mit seinem Vater, dem ruhmreichen König Otto. Nachdem Bischof Ulrich dem König die Treue hielt, wurde er vom Schwabenherzog Ludolf bekämpft. Auf der Seite des Schwabenherzogs stand der bayerische Pfalzgraf Arnulf. Dieser griff mit einer großen Heerschar im Dezember 953 Augsburg an und raubte, soviel er rauben konnte. Die Getreuen des Bischofs fassten den klugen Entschluss, Augsburg aufzugeben und das Castellum Mantahinga auszubauen (Dez. 953). Auch der Bischof begab sich eiligst an jenen festen Ort. Hier wurden Befestigungen gebaut und die Wälle erneuert. Am Fastnachtsonntag 954 griffen die Feinde das Castellum an.
In dieser Not eilten des Bischofs Brüder Graf Adalbert und Dietpold mit ihren Mannen herbei und jagten den Feind in die Flucht. Bischof Ulrich war befreit.
Dieses geschichtlich verbürgte Ereignis hat für Schwabmünchen eine besondere Bedeutung, nachdem hier zum ersten Mal in zuverlässiger Weise das Wort „Mantahinga“ auftritt.
Rund hundert Jahre nach dieser Belagerung musste Mantichingen, so hieß damals Schwabmünchen, wiederum einen kriegerischen Überfall über sich ergehen lassen. Zwischen dem Bischof Heinrich I. von Augsburg und dem Grafen Dietpold aus dem Hause der Schyren waren Grenzstreitigkeiten ausgebrochen. Bei diesem Anlass, man schrieb das Jahr 1059, rächte sich Rapoto, der Sohn des Grafen Dietpold, an seinem Gegner, indem er das „Burgschloss“ des Bischofs in Brand steckte und die Burg nebst Verschanzungsanlage zerstörte.