Dépendance de l'abbaye de Floreffe au XIIe siècle, la terre d'Acoz est achetée en 1543 par Jean Marotte et demeure jusqu'en 1759, propriété de la famille.  A cette date, Jean-Michel Valentin de Marotte, Comte de Quiévrain, resté sans descendance, lègue la seigneurie d'Acoz à Marie-Thérèse Catherine d'Udekem, sa cousine, qui a son tour, en fera don à son neveu Jacques-François-Joseph d'Udekem.

Un siècle plus tard, Irénée Drion s'installe avec sa famille dans leur nouvelle propriété, le château d'Acoz. Son fils, Octave Pirmez, écrivain-poète-philosophe, précurseur des Lettres belges, y demeurera jusquà sa mort. En 1883, Maurice, son neveu, lui succède. Jusqu'à l'an 2000, le domaine d'Acoz appartient à la famille Pirmez. 

En 2001, Tony Cammaert, Antiquaire du Grand Sablon à Bruxelles, spécialiste d'Art Japonais, fait l'acquisition du château et entreprend de nouvelles rénovations.