En 1571 el duque de Medinaceli visitó nuestro puerto. Poco más tarde lo hace el Adelantado Pedro Meléndez de Avilés. Con la opinión de ambos y la de Gonzaga y Fratín se consideró Felipe II suficientemente documentado para resolver la cuestión de las obras de defensa que habrían de ejecutarse en Santander. Acordes estaban todos en que habría de constituirse una fortaleza discrepando en el lugar en que habría de emplazarse, pues unos opinaban que fuera el cabo de Ano, considerando otros como más conveniente la Peña de Mogro. Fratín era de este último parecer y en su informe decretó Felipe II de su puño y letra como solía hacerlo: «Lo de la Peña me parece bien que se haga, pero en tiempo que los corsarios u otros no la pudieran ocupar, estando casi fuerte, aunque creo que no la podrían sostener»
Sin embargo, entre los años l574 a 76 se construyó el Castillo de San Salvador de Ano, del que en 1583 era ya Castellano el Proveedor Fernando de la Riva Herrera, aproximadamente en el emplazamiento que hoy ocupa el Real Palacio de la Magdalena.
