La mayoría de sus seis hijos (tuvo uno más pero murió al nacer) viven alejados de la vida palaciega, aunque tienen claro que si bien siguen siendo nobles, deben renovarse y aportar lo suyo para no sentir que viven de la herencia de hace 500 años. Estos son sus hijos con sus respectivos títulos de nobleza: Carlos Juan Fitz-James Stuart y Martínez de Irujo, duque de Huéscar y futuro duque de Alba, 63 años; Alfonso, duque de Aliaga, 61 años; Jacobo, conde de Siruela, 57 años; Fernando, marqués de San Vicente del Barco, 52 años; Cayetano, conde de Salvatierra, 48 años, y Eugenia, duquesa de Montoro, 43 años.
