De la résidence princière à la résidence administrative

Lorsque meurt le dernier des Chauvigny, au début de l'époque moderne (1503), la terre de Châteauroux est divisée en deux seigneuries. Le Château-Raoul échoit alors à la famille des Maillé de La Tour-Landry, tandis que la famille d'Aumont fait construire le château du Parc. Henri II de Bourbon-Condé, cousin du roi, rachète l'ensemble en 1612 et fait ériger la terre de Châteauroux en duché-pairie en 1616. Devenu un lieu de résidence peu agréable au regard des critères de l'époque, le Château-Raoul est délaissé par les ducs de Châteauroux, qui préfèrent résider au château du Parc, plus moderne. Louis II de Condé, dit Le Grand Condé, exila à Châteauroux son épouse, Claire-Clémence de Maillé-Brézé, qui vécut vingt-quatre années recluse entre le Château-Raoul et le château du Parc. Décédée en 1694, elle fut inhumée dans l'église Saint-Martin. Le Château-Raoul passa ensuite successivement entre les mains de Louis XV, de sa favorite Marie-Anne de Mailly-Nesle, puis de Louis XVI, qui le donna en apanage à son frère le comte d'Artois. Il servait de résidence aux administrateurs du duché. Henri-Gatien Bertrand, futur grand maréchal du Palais de Napoléon Ier, fils d'un subdélégué de l'intendance de Bourges, y naquit en 1773. Le fermier général Louis-Claude Dupin de Francueil, grand-père paternel de George Sand, y résida.