Em 1751, Pe. Ângelo do Prado ergue uma capela e um Seminário na então praia, chamada Mar de Espanha, em honra à Nossa Senhora da Lapa do Desterro. A igreja daria nome ao bairro que cresceu à sua volta
Com o uso do convento do Largo do Carmo (Praça XV) pela Família Real, Igreja e Seminário são cedidos aos carmelitas em 1810 e o templopassa a se chamar Nossa Senhora do Carmo da Lapa do Desterro