Deve o seu nome aos Reis Católicos, que mandaram amuralhar o Monte do Boi para que, entre os seus muros, encerra-se a povoação de Baiona perante possíveis invasões. Foi construída no século XVI, embora tenha sofrido reformas posteriores. Também foi residência do Conde de Gondomar. Conserva três torres de interesse: A do Relógio, a da Tenaz e a do Príncipe, aonde segundo a lenda esteve encerrado um príncipe português. Actualmente, a fortaleza acolhe um Parador de turismo.