En 1968, un groupe de jeunes semurois décide de sortir le château de ses ruines.
Les travaux de débroussaillage et de consolidation commencent .
En 1971, l’association Les Vieilles Pierres est créée avec pour mission la sauvegarde et la valorisation du patrimoine communal, particulièrement du château Saint-Hugues.
En 1972, les Vieilles Pierres obtiennent le 14ème prix national du Concours de Chantier de Jeunes Bénévoles organisé par la caisse des Monuments Historiques et le château est inscrit à l’Inventaire des Monuments Historiques en 1971.
Depuis 1999, l’association est également chargée de la restauration des peintures murales de la petite église romane de St-Martin-la-Vallée (inventaire supplémentaire des monuments historiques en 1971).
Très vite, le patrimoine communal est mis en valeur par des programmes d’animations afin de placer le site de Semur dans une dynamique, notamment touristique.
L’association vit en autofinancement grâce aux entrées du château, aux visites guidées, aux animations, aux dons et aux adhésions. Elle emploie une salariée à temps plein.
Les travaux d’entretien du château sont à la charge de l’association.
Seuls les projets de plus grande envergure peuvent être soutenus financièrement.
Président : Jean-Louis Dosso-Greggia
Agent d'accueil touristique : Lydie Boyer