Antic castell senyorial de la ciutat (9e-10e segles) l’únic vestigi és la paret en ruïnes a la dreta.

En 1916, el pintor Pierre Brune (1887-1956) s’instal·la a Ceret. Construeix la seva casa sobre els vestigis del castell : el « Castellas » acull el 1919 els seus amics artistes, Soutine, Krémègne, Masson, Loutreuil…

El conjunt de l’obra de Pierre Brune testimoni de la seva fidelitat per a l’observació de la naturalesa i el seu afecte per Ceret que pinta moltes vegades a través dels seus paisatges.

El 1948, ajudat de Frank Burty Haviland i de la municipalitat, Pierre Brune es llança a l’aventura del Museu d’Art Modern de Ceret. Designat conservador, s’entesta a recollir les obres d’artistes vinguts a Ceret : Picasso i Matisse són les dues « locomotores » del seu projecte (Picasso deixa a la ciutat 53 obres, Matisse 14 dibuixos).