سلك القاسم منهجًا مغايرًا لمسلك أخيه مع أهل قرطبة، فعاملهم باللين وأسقط عنهم بعض [[ضريبة|المكوس]]. كما حاول التخلص من سيطرة البربر على الأمور، بأن اتخذ بطانة من السود، وجعل منهم وزراءه.<ref name="عذاري130">{{Harvnb|ابن عذاري| Ref =البيان المغرب في أخبار الأندلس والمغرب - الجزء الثالث|1983|p=130}}</ref> ثم حاول استمالة خيران الصقلبي الذي عاد إلى ألمرية، ولم ينجح في ذلك. لكنه نجح في تحييد العامريين بتوليته [[زهير الصقلبي]] على جيان و[[قلعة رباح]].<ref name="عنان662">{{Harvnb|عنان| Ref =دولة الإسلام في الأندلس، الجزء الأول|1997|p=662}}</ref>
في تلك الأثناء، كان [[يحيى المعتلي بالله]] الذي كان يرى نفسه الأحق بخلافة أبيه يتحيّن الفرصة لينقلب على عمه القاسم. فعبر من ولايته في سبتة إلى ولاية أخيه [[إدريس بنالمتأيد علي بن حمودبالله|إدريس]] في [[مالقة]]، وبدأ في جمع جيش قوي للزحف على قرطبة، ونجح في ذلك، فآثر القاسم السلامة وفرّ من قرطبة إلى [[إشبيلية]] ولايته القديمة في 23 ربيع الآخر 412 هـ، قبل وصول جيش يحيى الذي دخل قرطبة في غرة جمادى الأولى 412 هـ، لتتم بيعته كخليفة جديد.<ref name="عنان662" /> لم يلبث البربر أن خلعوا يحيى بن علي بعد نحو عام ونصف، ودعوا القاسم للعودة مجددًا للخلافة، فبويع مجددًا في 18 ذي القعدة 413 هـ. هذه المرة، حرص القاسم على استرضاء البربر الذين كانوا يلعبون الدور البارز في اختيار من يلي ومن يعزل من الخلفاء، فأطلق يدهم، فاشتد البربر في معاملة أهل قرطبة، إلى أن ثار أهل قرطبة على البربر واستعدوا لقتالهم، وخلعوا القاسم في 21 جمادى الآخرة 414 هـ،<ref>{{Harvnb|ابن عذاري| Ref =البيان المغرب في أخبار الأندلس والمغرب - الجزء الثالث|1983|p=134}}</ref> وقاتلوا القاسم والبربر باستماتة إلى أن هزموهم، وفرّ القاسم مجددًا إلى إشبيلية التي كان بها ابناه محمد والحسن، فأغلقت المدينة وعلى رأسهم قاضيهم [[أبو القاسم محمد بن إسماعيل|محمد بن إسماعيل بن عباد]] أبوابها دونه، وطردت ولديه فلجأوا إلى بلدة [[شريش]]. لم يمض وقت طويل حتى حاصر يحيى المعتلي بالله عمه القاسم في شريش، إلى أن استسلمت المدينة، وأسر عمه وبنيه وظل سجينًا إلى أن مات خنقًا في شعبان 427 هـ.<ref>{{Harvnb|ابن عذاري| Ref =البيان المغرب في أخبار الأندلس والمغرب - الجزء الثالث|1983|p=125}}</ref>
