Le château d'Ultrera aujourd'hui en ruines, est un ancien château fort, situé au sommet d'un éperon rocheux du massif des Albères, sur la commune d'Argelès-sur-Mer.
.
Perché à 530 m d’altitude, il dominait un passage entre le Roussillon et l’Espagne.
Probablement fortifié par les Romains, et par la suite par les Wisigoths au Ve siècle, il est historiquement lié à la commune de Sorède.
Au Moyen Âge le château fut attaché à la seigneurie de Sorède.
Les seigneurs de Sorède étant qualifiés de Seigneurs de Sorède et Ultrera, ils résidèrent au château d'Ultrera jusqu'à la construction d'une résidence seigneuriale dans le village.
.
Vers l'an 1000, une chapelle de style roman fut bâtie dans le château et dédiée à la Vierge.
La chapelle Sainte Marie devint dès lors un lieu de pèlerinage, puis un ermitage.
.
Après le Traité des Pyrénées (1659), qui cède la Roussillon à la France, et pour éviter que le château ne fasse l'objet d'une nouvelle conquête espagnole, Jeanne de Béarn et de Vilaplana fit détruire en 1675 le château, et la chapelle.
.
Peu de temps après son frère, François chanoine à Elne, fit bâtir l'ermitage de Notre-Dame du Château.
Sa construction pris fin six années plus tard, en 1681.
La majorité des éléments retirés de la chapelle détruite servirent à construire le nouvel édifice de Notre-Dame du Château.
Le retable en bois du 18e siècle, ainsi que la Vierge qui se trouvent à l'ermitage sont tous deux classés aux Monuments Historiques depuis 1997.