De padres granjeros, su origen y primeros años fueron humildes. En su libro al-Tadkira, cuenta cómo de joven, junto a sus compañeros, iban al cementerio a recoger caolín, para luego venderlo a los fabricantes de losas cerámicas y agujeros. Y cuenta como anécdota, que a veces, al remover la tierra en busca del caolín, aparecían huesos y restos de carne. Sin embargo, esto no impidió que Al Qurtubi desarrollara una exquisita formación en las ciencias del Corán, de los hadices del profeta, jurisprudencia islámica y lengua árabe.

Su formación intelectual, de mano de grandes maestros, tuvo lugar en la ciudad de Córdoba. Allín, aprendió las 7 formas de recitación del Corán de mano de Abu Yafar b. Abi Huyya, maestro especialista en hadiz, gramática y jurisprudencia.

También se formó con Abur Amir Yahya, que tenía una rivalidad con ibn rushd o Averroes, y se convirtió en su maestro determinante en la etapa andalusí de formación de Al-Qurtubi.

También se formó en las ciencias del sufismo de mano de Abu l-Asbag.

Debido al hostigamiento cada vez mayor de los cristianos sobre la provincia de Córdoba, que culminaría con la conquista de la capital y el valle del Guadalquivir, Al Qurtubi quedó huérfano de padre a temprana edad. Este hecho, provocó una situación que nos deja entrever la actitud inconformista y respeto hacia el conocimiento que tenía, siempre llegando a la raíz del asunto. 

La muerte de su padre tuvo lugar por una emboscada de los cristianos mientras estaban trabajando en los campos, por lo que a la hora de enterrarlo, no sabía si debía tratarle como mártir, o si bien debía lavar su cadáver y tratarlo como si hubiese muerto por una causa ordinaria. Así que preguntó a sus maestros, en los que encontró discrepancia, ya que algunos le decían que era mártir, mientras que otros no. Ante la duda, se dirigió al gran Cadi de Córdoba, Abul Hasan, que tras consultar con un grupo de alfaquíes, determinó que no debía ser enterrado como mártir, dictamen que fue acatado y cumplido por el joven. Tras ello, y fruto de su insatisfacción, decidió investigar por su cuenta en otras obras de jurisprudencia, llegando al tiempo a la conclusión de que sí debía haberlo enterrado como mártir. 

Otra situación que nos ayuda a entender mejor el carácter de al Qurtubi, y el gran amor y respeto que tenía hacia el noble corán, fue cuando, en las afueras de Toledo, dos jinetes cristianos le perseguían por el campo. Sin hallar cobijo ni donde poder esconderse, se echó a un lado del camino y comenzó a recitar el inicio del Sura Yasin junto con otras aleyas del corán. Según sus propias palabras, Allah le protegió al recitar estas aleyas ya que cegó los ojos de los jinetes, que al pasar por su lado, no le vieron.