Fue mandado construir a mediados del siglo XVII por João Gonçalves da Câmara, 4º Conde da Calheta a mediados del siglo XVII. En 1726, el palacio y los terrenos circundantes (también conocidos como Quinta do Meio y actualmente ocupados por el Jardín Botánico Tropical), fueron adquiridos por el rey João V que los reformuló profundamente, junto con otras propiedades también compradas por el monarca en la zona. 

El 3 de septiembre de 1758 el rey José I sufrió un atentado junto al Patio das Vacas de este palacio, que sirvió de pretexto para el trágico proceso de los Távora. Los interrogatorios de los sospechosos tuvieron lugar en este palacio, a la fecha conocido como Palácio das Secretarias de Estado (Palacio de las Secretarías de Estado), nombre que le fue dado después del terremoto de 1755. En el siglo XIX, esta residencia real se utilizó para alojar huéspedes extranjeros, como los hijos del rey de Francia. A principios del siglo XX era conocido como Palacio do Páteo das Vacas (Patio de las Vacas), y albergó el Museo Agrícola Colonial entre 1929 y 1994.

Actualmente en la primera planta subsiste la Xiloteca (colección de muestras de maderas), mientras que en la planta baja acoge el Centro de Documentación e Información del Instituto de Investigación Científica Tropical. De estilo barroco, el interior del edificio está profusamente decorado con paneles de azulejos de los siglos XVII y XVIII representando escenas de caza, campestres, marítimas y militares.