En época romana, el núcleo principal de población se encontraba en los alrededores del Cerro. Fueron los árabes quienes tras la conquista construyeron la fortaleza y le dieron nombre. No se complicaron mucho la vida, al-Mudawwar al-Adna, que significa "el redondo" por la forma del cerro. Claro que los cristianos en otro alarde de originalidad completaron el nombre con un "del Río", Guadalquivir claro, que pasa a sus pies.
Aquí fue decapitado en 1226 el rey musulmán de Baeza considerado traidor por los almohades debido a su alianza con el rey de Castilla y Leon Fernando III el Santo. Fue este mismo quien se quedó finalmente con el castillo tras la conquista de Córdoba.
Como todo buen castillo este también tiene su fantasma. Tal y como cuenta la Leyenda de la Encantá, se trata de Zaida, la esposa del principe Fath-Al-Mamun, que al presentir la muerte de éste en su lucha con los almohades cayó en una profunda depresión hasta dejarse morir de inanición.
Tras un largo periodo en el olvido a principios del s XX el Conde de Torralva decidió reconstruir el castillo. Los obreros contaban la presencia de una dama vestida de blanco, además de gritos lamentos y sollozos, con lo cual se negaron tajantemente a trabajar de noche.
Actualmente el castillo pertenece a la familia Solís que es la que gestiona las visita
