ثم قام بالأمر بعده ابنه المهدي بالله. بويع له بالخلافة يوم وفاة أبيه المنصور بعهد منه. وأول من بين تعزيته وتهنئته أبو دلامة فقال:
عيناي واحدة ترى مسرورة ... بأميرها جذلى وأخرى تذرف
تبكي وتضحك تارة ويسؤها ... ما نكرت ويسرها ما تعرف
فيسؤها موت الخليفة محرما ويسرها أن قام هذا يخلف
ما إن رأيت كما رأيت ولا أرى ... شعرا أسرحه وآخر أنتف
هذا حباه الله فضل خلافة ... ولذاك جنات النعيم تزخرف
وكان المهدي شهما فطنا كريما شديدا على أهل الإلحاد والزندقة. لا تأخذه في إهلاكهم لومة لائم. وكانت أيامه شبيهة بأيام أبيه في الفتوق والحوادث والخوارج. وكان يجلس في كل وقت لرد المظالم. وفي سنة خمس وستين ومائة سير المهدي ابنه الرشيد لغزو الروم فسار حتى بلغ خليج قسطنطينية وصاحب الروم وقتئذ إيريني امرأة لاون الملك. وذلك أن ابنها كان صغيرا قد هلك أبوه وهو في حجرها فجزعت المرأة من المسلمين. وطلبت الصلح من الرشيد فجرى الصلح بينهم على الفدية. ومات المهدي بما سبذان واختلف في موته ولما توفي المهدي كان الرشيد معه في ما سبذان فكتب على الهادي يعلمه بوفاة المهدي والبيعة له. فنادى بالرحيل إلى بغداد ولما قدمها استوزر الربيع بن يونس. وكان الربيع جليلا نبيلا منفذا للأمور