O convento passou por brigas internas pelo poder administrativo e viu sua procura diminuir. Uma epidemia de malária e o transporte ferroviário substituindo o naval levaram ao declínio e quase abandono total do convento. Sem atividades, foi cedido como casa de caridade, mas acabou desmoronando.