Tijdens de 12de eeuw was het domein van Acoz onderhorig aan de abdij van Floreffe. In 1543 werd het gekocht door Jean Marotte. Het kasteel bleef eigendom van deze familie tot 1759, wanneer Jean-Michel Valentin de Marotte, graaf van Quiévrain en zonder erfgenamen, het vermaakt aan zijn nicht Marie-Thérèse Cathérine d'Udekem. Zij schonk het op haar beurt aan haar neef Jacques-François-Joseph d'Udekem.

Een eeuw later installeerde Irénéé Drion zich met haar familie in haar pas verworven eigendom, het kasteel van Acoz. Haar zoon Octave Pirmez, schrijver-dichter-filosoof en voortbrenger van "Lettres Belges", verbleef er tot zijn dood. In 1883 volgde zijn neef Maurice hem op. Het domein van Acoz hoorde toe aan de familie Pirmez tot het jaar 2000. 

In 2001 kocht Tony Cammaert, antiquaire-expert van Japanse kunst, het kasteel van Acoz en ondernam nieuwe restauraties."