Em 1606, o português João Francisco de Oliveira constrói a Casa do Contrato das Baleias, no mesmo local onde hoje está o Casarão Solar do Rei, edificado em 1957. No Contrato das Baleias, centenas de operários, a maioria escravos vindos da África, faziam óleo com a gordura dos cetáceos e moqueavam a carne da baleia para vender e para consumo dos escravos. O óleo extraído das baleias era usado na construção de igrejas e casarões. Em 1808, em visita à Ilha, o Rei D. João VI, hospedou-se nesse mesmo casarão, que apenas começava a entrar para a história. Em 1826 foi à vez do Príncipe D. Pedro I se hospedar, e em 1859 o Príncipe D. Pedro II.
