Im ersten Jahrhundert nach der Bildung der deutschen Provinz verschwanden bereits wieder sieben Klöster. Von drei nicht sicher lokalisierbaren Niederlassungen wissen wir nur aus der Ordenschronik, drei weitere gingen schon vor der letzten Stiftung 1437 wieder ein. Blümlistobel im Thurgau ist nur durch eine einzige, Ebnit in Vorarlberg durch zwei Urkunden belegt. Die Gründungsausstattung dieser beiden ländlichen Klöster, eher wirklich Eremitorien, wie auch einiger anderer, reichte wohl von Anfang an nicht aus. An der fehlenden wirtschaftlichen Grundlage kann es dagegen in St. Oswald im Bayrischen Wald nicht gelegen haben, wenn der Provinzial ab 1427 der Gründerfamilie die Rückgabe des Klosters anbot. Sie hatten ihrer Gründung 1397 sechs Dörfer, drei Mühlen, insges. 60 Lehengüter und eine Pfarrkirche übergeben. Doch bedrängten neue Vögte das Kloster, so dass der Orden den weit von den übrigen Konventen entfernten Außenposten lieber aufgab. Die letzte Stiftung Maihingen wurde kurz nach der ersten Erwähnung 1437 von den Paulinern wieder verlassen. Kleinere Klöster wurden durch jedes Unglück in ihrer Existenz bedroht. So wurde St. Peter auf dem Kaiserstuhl 1464 als „monasterium ruinosum“ bezeichnet, 1485 soll Kirnhalden durch Flut und Hagel zerstört worden sein und Gundelsbach galt 1482 als baufällig. Das Rote Haus bei Basel mussten die Mönche nach einem Brand 1508 aufgeben58.
Mit der Klosterzucht scheint es im 15. Jahrhundert noch ordentlich bestellt gewesen zu sein, denn immerhin wird von einem Austritt und zwei Übertritten zu den Benediktinern wegen zu großer Strenge des Ordens berichtet59. Im 16. Jahrhundert lockerte sich die Disziplin in den Konventen und es kam zu erheblichen Missständen. 1520 muss die Gräfin von Montfort als Landesherrin über das Kloster Langnau die Beachtung der Ordensregel, ordentliches Finanzgebaren und rechte Ordnung des Stundengebets anmahnen60. Nachdem wegen der Türken- und Bürgerkriege in Ungarn die Verbindung zur Ordenszentrale verloren ging, verschlimmerte sich die Lage. Wegen Mangels an Konventualen wurde die Seelsorge vernachlässigt. Vier Prioren von Rohrhalden nacheinander, zwei Prioren von Tannheim, den Prioren von Anhausen, Bonndorf und Langnau, und damit gleichzeitig dem Provinzial, wurden Misswirtschaft, Konkubinat und sonstige Exzesse vorgeworfen61. Der Provinzial wies am 4. 8. 1584 darauf hin, „das man sie zuo verhietung merer ergernuss, huorei und anderer besorgenden neuwen noch grösseren sünden und unraths nit ohn megd hausen lassen kann“62. Die Prioren stellten sich gegen den Provinzial63. So ergriffen im späten 16. Jahrhundert mehrfach Landesherren und der Konstanzer Bischof in den verbliebenen Klöstern die Initiative, beaufsichtigten die Güterverwaltung und führten trotz Exemtion Visitationen und Reformen durch. Mehrere Prioren und auch der Provinzial wurden abgesetzt oder zum Rücktritt gedrängt. Die Situation besserte sich, als um die Wende zum 17. Jahrhundert wieder der Ordensgeneral eingriff, Visitatoren entsandte, wieder mehr Novizen in den Orden eintraten, schwäbische Mönche in süddeutschen Jesuitenuniversitäten studierten und nach Prag, Ungarn und Rom zum Studium entsandt wurden64.
Im Bauernkrieg hatten die Klöster Anhausen, Gundelsbach, Kirnhalden, Langnau und Tannheim gelitten und waren geplündert worden, die ersten drei brannten aus. Vier Konvente fielen dann der Reformation zum Opfer65, als erstes Gundelsbach, das 1534 im Herzogtum Württemberg aufgehoben wurde66. Nach dem Augsburger Religionsfrieden eigneten sich die Grafen von Hohenlohe 1556 Goldbach und 1557 der Markgraf von Brandenburg-Ansbach Anhausen an67. 1544 übergab der Provinzial den Grafen von Nassau-Saarbrücken das in Verfall geratene Kloster St. Jakob auf dem Donnersberg68. Kirnhalden und St. Peter auf dem Kaiserstuhl konnte die Provinz wegen Nachwuchsmangel nicht halten, sie wurden im Laufe des 16. Jahrhunderts auch wegen ihres geringen Besitzes aufgegeben69. Nach diesem Verlust von weiteren sieben Konventen (mit dem Roten Haus) überlebten das 16. Jahrhundert nur sechs Konvente, von denen Argenhardt 1672 mit Langnau vereinigt wurde. Ihre erste Erholung zu Beginn des 17. Jahrhunderts wurde durch den 30jährigen Krieg wieder zunichte gemacht.
Als nach dem Krieg im Zuge der Rückeroberung Ungarns und neuer Konstitutionen ab 1643 der Orden eine neue Blüte erlebte, die Zentralisierung der Ordensverfassung v.a. durch regelmäßige Generalvisitationen verstärkt wurde, regten sich in der Provinz Separationsbestrebungen, die aber scheiterten. Im Zuge der josefinischen Klosteraufhebungen wurden 1786/87 die beiden größten Klöster der Provinz, Langnau und Rohrhalden, aufgehoben. Die Fürsten von Fürstenberg lösten in der Säkularisationswelle von 1802/03 ihre Klöster Grünwald und Tannheim auf. Die letzten deutschen Pauliner mussten 1807 in Bonndorf ihren Orden verlassen. Seit 1981 sind polnische Pauliner wieder nach Süddeutschland zurückgekehrt und haben sechs Konvente neu begründet. 2002 hat das Generalkapitel beschlossen, wieder eine deutsche Provinz zu errichten70.