É toda ela de arenito dunar assente sobre xistos e deve ter-se formado durante a última glaciação (Wurmiana) quando o nível do mar desceu cerca de 120 metros em relação ao nível actual.

Durante o período da ocupação romana, a ilha foi um importante apoio à navegação costeira e também um importante entreposto comercial, tendo-se depois convertido num centro industrial com a produção de salgas de peixe (principalmente sardinha).

Elevando-se pouco sobre as águas, a Ilha do Pessegueiro é coroada pelas ruínas de um forte inacabado do século XVII que foi muito danificado pelo terramoto de 1755. Em terra existe uma fortaleza gémea da que se encontra na ilha. Construídas durante o reinado de D. Filipe III, tinham a função de proteger os pescadores e gentes locais das incursões dos piratas argelinos e holandeses.

Ainda no século XIX, o canal entre a ilha e o continente desempenhava funções portuárias, aproveitando das condições abrigadas que aí se podiam encontrar.

De acordo com os historiadores, a toponímia da Ilha do Pessegueiro não deverá estar relacionada com a árvore de fruto homónima mas antes com o termo latino piscatorius ou piscarium, derivado do seu papel na exploração de pescado durante a época romana.