Situé dans la péninsule qui porte le même nom, derrière cette petite chapelle –de plante rectangulaire et une nef– se cachent quelques-unes de pages cruelles de l’histoire de Bayonne. Par sa situation, l’ermitage a souffert les attaques des pirates qui siégeaient la ville, qui l’ont détruite et brûlée à plusieurs reprises (un d’entre eux, le pirate Drake, qu’en 1585, lorsqu’il brûlait la chapelle, fut combattu par les forces et les voisins de Bayonne). Après avoir récupéré le calme, elle fut restaurée par les voisins, qui de son style roman de transition n’ont pu maintenir que la porte Sud, avec un arc semi-circulaire et tympan uni.