ولما نام سليمان بن عبد الملك على فراش الموت وعلم أن هذا المرض هو مرض الموت، استدعى سليمان وزيره الأمين وصاحبه الصادق رجاء بن حيوة طيب الله ثراه، ونور الله مسراه، استدعى سليمان رجاء وسأله فقال: يا رجاء! يهمني أمر الخلافة، فبماذا تشير علي؟ فأشار عليه هذا الرجل مشورة صادقة كريمة بارة، قال له رجاء: يا أمير المؤمنين! إن مما يحفظك في قبرك، ويشفع لك في أخراك أن تستخلف على المسلمين رجلاً صالحاً، فالتفت سليمان إلى رجاء وقال: ومن عساه يكون يا رجاء؟! فقال رجاء -على الفور-: عمر بن عبد العزيز.
إنه عمر! ولا أحد غير عمر! وتلقى سليمان مشورة رجاء كالبشرى، وقال قولته الباهرة الجامعة: والله لأعقدن لهم عقداً لا يكون للشيطان فيه نصيب.
يا رجاء! قال: لبيك يا أمير المؤمنين! قال: ائتني بكتاب، واكتب: استخلف سليمان بن عبد الملك عمر بن عبد العزيز خليفة للمسلمين من بعده، ثم نظر إلى رجاء وقال: اختم هذا الكتاب واطوه، واجعله معك، وتضامنا وتعاهدا ألا يعلم أحد بمضمون هذا الكتاب ما دام خليفة المسلمين حياً.
وأمر سليمان بن عبد الملك أن يدخل عليه أمراء بنو أمية، فدخلوا عليه ووقفوا بين يديه وهو على سرير موته، وفي مرضه الأخير، وأمرهم أن يبايعوا من استخلفه في هذا الكتاب، وهم لا يعلمون من هو، فبايعوا جميعاً من استخلفه خليفة المسلمين، ودفع الخليفة الكتاب إلى رجاء، وأذن لهم فانصرفوا وهم يتساءلون ويخوضون: يا ترى من سيكون هذا الخليفة؟! وبعد أيام قليلة مات سليمان بن عبد الملك، وانطلق الناس جميعاً إلى مسجد دابق، واكتظ المسجد بالناس، وازدحم الناس وكأن القيامة قد قامت! وصمتت الأنفاس، وشخصت الأبصار تجاه رجاء بن حيوة الذي وقف على المنبر؛ ليقرأ كتاب الخليفة، ويأخذ البيعة لخليفة المسلمين الجديد! وبايع الناس جميعاً وهم لا يعلمون من يبايعون، وشخصت الأبصار، واتجهت تجاه رجاء، وشق هذا السكون وهذا الذهول صوت رجاء وهو ينادي ويقول: قم يا أمير المؤمنين! قم يا أيها الشاب التقي النقي الورع، قم يا عمر بن عبد العزيز! ولم يكد عمر يفيق من هول هذه المفاجأة التي لم يكن يتوقعها أبداً! وإذ به ينتفض انتفاضة العصفور المبلل بماء المطر! ولا يقوى عمر على القيام بعدما سمع، لقد ذهل وعقر! فقام متكئاً على بعض إخوانه حتى صعد المنبر، وأذهل الناس بكلامه الإيماني الرائع، فحمد الله وأثنى عليه وقال: أيها الناس! إني قد ابتليت بهذا الأمر من غير رأي مني ومن غير مشورة للمسلمين، وإني أخلع اليوم بيعة من بايعني فاختاروا لأنفسكم! وضج المسجد! وارتفعت صيحة من هذه الحناجر الصارخة على صوت رجل واحد: بل إياك قد اخترنا يا أمير المؤمنين! فتول أمرنا يا عمر على بركة الله عز وجل، واندفعت الجموع التي تبكي من السعادة والفرح؛ لتولية عمر رضي الله عنه وأرضاه ولتبايعه وهو على المنبر لا يقوى على القيام! بينما راح بطلنا وزاهدنا وورعنا يجهش بالبكاء.
ونزل عمر من على المنبر بعد هذه البيعة الجماعية التي تخلع القلوب وتهز الوجدان، واقترب منه رجاء بن حيوة رحمه الله وطيب الله مسراه، اقترب منه وقال له: يا أمير المؤمنين! أرى أن تذهب اليوم إلى بيتكم لتستريح قليلاً، فإني أرى التعب ظاهراً جلياً عليك، فنظر إليه عمر ودموعه تنسال على خديه وهو يقول: لقد فعلتها يا رجاء، لقد فعلتها يا رجاء! فدعني أستنقذ نفسي من عذاب الله.