الهم الثالث الذي كان يشغل باله رضي الله عنه وأرضاه، هم الخلافة، لقد طعن عمر فقال المسلمون جميعاً له: أوص يا أمير المؤمنين، فقال إن أستخلف فقد استخلف من هو خيرٌ مني -يعني أبا بكر - وإن أترك فقد ترك من هو خيرٌ مني -يعني رسول الله صلى الله عليه وسلم- فعلم الناس حين ذكر رسول الله صلى الله عليه وسلم أنه غير مستخلف، ثم جعل الأمر شورى في الستة الذين توفي رسول الله صلى الله عليه وسلم وهو عنهم راضٍ، وقال: يشهدكم عبد الله بن عمر وليس له من الأمر شيء، وأمرهم أن يجتمعوا ويتشاوروا فيما بينهم، قال: فإن أمروا سعداً فنعما هو، يعني سعد بن أبي وقاص وإلاّ فأيكم ولي فلا يستغني عنه، فإنني لم أعزله عن خيانة.