Le château de Carrouges s'organise autour d'un plan carré avec cour intérieure, chacun de ses angles renforcé par une tour ou un corps de bâtiment. Le donjon carré du nord-ouest, qui conserve des parties du 13e siècle, représente l'une des structures les plus anciennes, aux côtés du châtelet d'entrée et de la section nord-ouest remontant au 15e siècle. La façade nord date également de cette période, tandis que le reste de l'édifice a été construit au 17e siècle. Le château s'entoure de douves, d'un parc et d'une terrasse s'étendant devant la face sud, prolongée par des allées bordées de grilles.

À l'intérieur, l'escalier d'honneur en briques du 17e siècle a été préservé, ainsi qu'un salon orné de lambris de la même époque. Une antichambre et une chambre dite de Louis XI conservent leurs plafonds peints du 16e siècle. Le pavfransk d'entrée, situé près des grilles, est une construction rectangulaire du 16e siècle, renforcée à chaque angle par une tourelle. Des modifications et réfections successives ont marqué les 16e et 17e siècles.