Het bolwerk was eigendom van Werenbrecht van Ubbergen, wiens nazaten het tot halverwege de 15e eeuw in bezit hielden.

Toen het kasteel in 1582 in handen van de oprukkende Spanjaarden dreigde te vallen werd het door burgers uit Nijmegen in brand gestoken.

De familie Vijgh maakte van de restanten later weer een bewoonbaar geheel, compleet met tuin.

Waarschijnlijk heeft beroemd architect Daniël Marot het ontwerp geleverd voor een enorme siertuin met terrassen, watervallen, vijvers en fonteinen.

In 1868 werd het huis gesloopt en het landgoed verkaveld en een van deze percelen vormde het huidige terrein van De Refter.

De familie Van der Meer bouwde er rond 1885 de Villa ter Meer compleet met koetshuis en wandelpark.

Architect Van Groenendael laat zich voor de kapel inspireren door de Sainte Chapelle op het Île de la Cité in Parijs.

De zusters betrekken het complex in 1903 en vestigen een pensionaat met Franstalig onderwijs voor meisjes van gegoede huize: Notre Dame des Anges.

In 1910 worden de kerk en de westvleugel (met gymzaal, slaapzaal en studiezalen) gebouwd en in 1926 volgt de noordvleugel, waardoor het gebouw zijn huidige vorm krijgt.

Van Groenendaal neemt dit keer het schilderij van Aelbert Cuyp als vertrekpunt en past een eclectische bouwstijl toe, waarbij hij gebruik maakt van romaanse, gotische en renaissance stijlelementen.

Notre Dame des Anges doorstaat 2 wereldoorlogen maar ontkomt niet aan het teruglopende animo voor kostscholen.

Begin jaren ’70 verkopen de nonnen het complex aan de heer Van Reijendam die het de naam ‘De Refter’ geeft.

Henk van Reijendam, de textielfabrikant begint een congres- en Alpine Centrum. Het Zusterhuis wordt gebruikt voor kamerverhuur. Van Reijendam heeft de Refter verkocht om zijn textielateliers te redden, helaas is zijn textielbedrijf toch failliet gegaan.

Hij zal zich echter eerst van de huidige bewoners moeten ontdoen … deze bewoners wachten dit niet af en ontwikkelen een eigen plan voor bewoning en activiteiten.

Ze richten in 1982 de ‘Stichting tot Behoud van De Refter’ op en overtuigen de bank (grootste schuldeiser van de bijna failliete eigenaar) van hun gelijk.

Uiteindelijk is de bank bereid om het gebouw te kopen, Volkshuisvesting en de Provincie geven subsidie en de gemeente Ubbergen staat garant.

Het grote avontuur is begonnen!

Stichting De Refter koopt het gebouw op 13 september 1983, waarna de renovatie van start gaat. De toekomstige bewoners deden al het poets- sloop- en sjouwwerk, voor het vakwerk werd de firma Nelissen ingehuurd.

In 1984 wordt het gerestaureerde en verbouwde complex opgeleverd en in 1985 volgt de officiële opening.