En la Ruamayor los linajes santanderinos levantaron durante la edad media sus torres y casas-torre, por ejemplo los Puebla, Calleja, Escalante, Pámanes o Liermo. La puerta de la Ruamayor daba paso al Arrabal de Fuera de la Puerta, que contaba con dos manzanas de casas dispuestas a cada lado de una calle, en las que habitaban marineros