إلى الصحراء وصار كل ما كان لبني العافية لبني إدريس. وكانت الرياسة فيهم لبني محمد بن القاسم، وهم حسن، وقنون، وإبراهيم المعروف بالرهوني. وقنون اسمه القاسم، وكان يلزم مدينة صخرة النسر.
ذكر العذري وغيره أن إدريس وسليمان ابني عبد الله الحسن بن الحسن ابن علي ابن أبي طالب - رضي الله عنهم - فروا من الواقعة التي كانت في أيام جعفر المنصور، وهي وقعة فخ، وكانوا ست أخوة: إدريس، وسليمان، ومحمد، وإبراهيم، وعيسى ويحيى. أما محمد فخرج بالحجاز وقتل. وأما يحيى فقام في الديلم، في خلافة الرشيد، وهبط على الأمان، ثم سم ومات. وأما إدريس، ففر إلى المغرب؛ ودخل إليه في أيامه من الطالبين أخوه سليمان، فاحتل بتسلمان، وداود بن القاسم بن إسحاق بن عبد الله بن أبي طالب، ثم رجع داود إلى المشرق، وبقيت ذريته بالمغرب. واحتا إدريس بن عبد الله بالمغرب سنة 170، واستوطن وليلى، وكانت أزلية. وكان وصوله مع مولاه راشد؛ ثم نزل على إسحاق ابن عبد الحميد سنة 172؛ فقدمه قبائل البربر وأطاعوه وبلغ خبره هارون الرشيد، فدس إليه من سمه. وكان المدسوس إليه رجل يقال له الشماخ فسمه وهرب إلى المشرق. ومات إدريس في سنة 175، فقام بأمر البربر مولاه راشد. وترك إدريس جارية بربرية اسمها كنزة؛ فولدت له علاما سمي باسم أبيه فولى إدريس بن إدريس سنة 187 وهو ابن أحد عشرة سنة؛ وقيل: