Mandado construir como casa de veraneio, em meados do século XVII, por D. João Gonçalves da Câmara, 4º conde da Calheta, este palácio e os terrenos envolventes (também conhecidos como Quinta do Meio e atualmente ocupados pelo Jardim Botânico Tropical), foram adquiridos, em 1726, pelo rei D. João V, que, juntamente com outras propriedades na zona, entretanto também adquiridas pelo monarca, os reformulou profundamente. A 3 de setembro de 1758, o rei D. José I sofreu, junto ao Pátio das Vacas, logradouro deste paço, um atentado que será o pretexto para o trágico processo dos Távoras. Os interrogatórios dos suspeitos foram feitos neste Palácio, à data conhecido por Palácio das Secretarias de Estado, nome que lhe foi atribuído após o terramoto de 1755. No século XIX, esta residência real foi utilizada para acomodar hóspedes ilustres estrangeiros como foi o caso dos filhos do rei de França e, já no início do séc. XX, altura em que era conhecido por Palácio do Páteo das Vacas, foi destinado à instalação do Museu Agrícola Colonial, que ali funcionou entre 1929 e 1994. Atualmente subsiste, no primeiro andar, a Xiloteca (coleção de amostras de madeiras), enquanto no piso térreo alberga o Centro de Documentação e Informação do Instituto de Investigação Científica Tropical. De cariz barroco, o edifício é profusamente decorado no interior por painéis de azulejos dos séculos XVII e XVIII representando cenas de caça, campestres, marítimas e militares.