Under borgerkrigen, der ender med Christian IIs fald og reformationens indførelse, plyndres bispegården af borgerne i Odense. Det meste af den katolske kirkes ejendom konfiskeres - herunder også bispegården - og overtages af kronen.

Frederik II ønsker at benytte den tidligere bispegård som residens under sine ophold i byen og igangsætter en ombygninng. Imidlertid opgives planerne og Frededrik II skøder i stedet gården til den odenseanske storkøbmand Oluf Bager, som kongen skylder penge.

Gården købes af Rigsråd Jørgen Brahe (med tilnavnet "Den lille Konge i Fyen") og Anne Gyldenstierne - Karen Brahes bedsteforældre. Hovedbygningen ombygges, bl.a. tilføjes 1. salen og hovedbygningen fremstår herefter i det ydre stort set uændret, som man ser den i dag. Over hoveddøren kan stadig ses Jørgen Brahe og Anne Gylden-stiernes forvitrede våbenskjold.

Efter Jørgen Brahes død arveds den af sønnen Preben Brahe og hans to niecer. Preben er gift med Susanne Gøie - Karen Brahes forældre. Bl.a. deres initialer ses på kaminen i biblioteket.

Karen Brahes morfars søster Anne Giøe bosætter sig på gården. Hun testamenterer sin bogsamling på ca. 900 bøger og ca. 100 dokumenter til sin unge slægtning Karen Brahe. Denne bogsamling udgør grundstammen i det berømte Karen Brahes Bibliotek.

Karen Brahes søster Anne bosætter sig på gården efter at have tilbragt mange år hos slægtninge på Lolland.
Under sit lollandske ophold slutter Anne Brahe venskab med Leonora Christine enke efter Corfitz Ulfeldt og datter af Christian IV og Kirstine Munk. Efter Leonoras fængsels-ophold på 22 år i Blåtårn tilbringer hun de sidste 11 år af sit liv i det tidligere birgittinerkloster i Maribo. Fra overleverede breve og dokumenter har vi et godt kendskab til det kulturliv, Leonora etablerede i Maribo Kloster. Hun dør 1698, og Anne Brahe rejser samme år tilbage til Fyn. Med sig bringer hun kendskabet til Leonora Christines kulturbærende miljø i Maribo.

Christian V underskriver Roskilde adelige Jomfruklosters fundats. Roskilde er det første jomfrukloster i Danmark oprettet af Berthe Skeel og Margrethe Ulfeldt. Nogle af de adelskvinder, der opholdt sig i Maribo flytter til det nye kloster i Roskilde, som i øvrigt eksisterer endnu.
Dette kloster giver inspiration til Karen Brahe, da hun organiserer sit eget en årrække senere - med hjælp fra Berte Skeel og fra Dorthe Sophie Urne. Sidstnævnte opholdt sig også en tid i Maribo hos Leonora Christine. Roskilde bliver derfor på mange områder en model for Odense.

Efter Annes død begynder Karen Brahe oprettelsen af et tilsvarende jomfrukloster i den gamle bispegård.

Hovedbygningen indrettes til bolig for otte ugifte kvinder af dansk adel og en priorinde. Personale til betjening af de adelige beboerne er fire-fem kammerpiger, tre tjenestepiger, en husholderske og en gårdskarl. Derudover har der været yderligere personale til varetagelse af de mange arbejdsopgaver, en stor husholdning kræver.

Frederik IV konfirmerer Karen Brahes fundats for Odense adelige Jomfrukloster. I et særligt afsnit af fundatsen bestemmer Karen Brahe, at hendes bibliotek skal være til jomfruernes brug og til evig tid stå i klostret. I løbet af sin levetid øger hun biblioteket til henholdsvis 3.400 bøger og 1.150 håndskrifter.