Bâti au 14e siècle sur les vestiges d'un premier château dont il ne reste qu'une tour fortifiée (la tour Simon de Montfort), l'édifice actuel se compose de deux parties distinctes : au châtelet d'entrée de style gothique se raccorde une aile de style Renaissance percée de belles fenêtres à meneaux délicatement sculptées. Cette aile ouvre sur la cour par une porte géminée qui permet d'accéder à un escalier voûté d'ogives. Une vaste salle occupe la presque totalité du premier étage. Un escalier à vis dépourvu de noyau central, véritable tour de force technique, conduit à l'oratoire. Toutes les pièces ont été remeublées et enrichies d'objets d'art d'époque. De même, le jardin en terrasse a été redessiné ; il domine un paysage mamelonné, typique de la Lomagne.