ولما بلغ عمر الخامسة والعشرين من عمره نظر خليفة المسلمين الوليد بن عبد الملك إلى عمر فوجد نفسه أمام قدرة ذهنية وعلمية فائقة هائلة، فاختاره الوليد بن عبد الملك والياً على المدينة المنورة.
وأصبح عمر -وهو في الخامسة والعشرين- والياً على مدينة رسول الله صلى الله عليه وسلم، وسعد أهل المدينة سعادة غامرة، فهو الذي يحبهم ويحبونه، وهو الذي يعرفهم ويعرفونه، وسعد الناس واستطاع هذا الشاب التقي النقي أن يجعل من ولايته مثلاً عالياً للرحمة والعدل والسعة والرخاء، في فترة لا تساوي من حساب الزمن شيئاً، ولما رأى خليفة المسلمين ذلك كافأه فولاه على الحجاز كله، وكأنما أراد الله جل وعلا بهذا: التجربة العملية الرائدة لهذا الشاب التقي النقي؛ لما يدخر له في الغد القريب، حينما سيصير خليفة لأعظم دولة عرفت في ذلك التاريخ.
وهكذا أيها الأحبة! مات الوليد بن عبد الملك، وخلفه من بعده أخوه سليمان بن عبد الملك، الذي تعلق بـ عمر تعلقاً شديداً، وكان يصطحب عمر معه في معظم رحلاته وسفراته، وفي يوم من الأيام اصطحب سليمان عمر لزيارة معسكر من معسكرات الجيش، وأمام معسكر يعج بالعتاد والسلاح سأل سليمان في فخر وزهو عمر قائلاً: ماذا تقول فيما ترى يا ابن عبد العزيز؟! فنظر عمر إلى الخليفة وقال: أرى دنيا يأكل بعضها بعضاً! وأنت المأخوذ بها والمسئول عنها بين يدي الله عز وجل! يا إلهي! ما هذا؟! فبهت الخليفة ونظر إلى هذا الشاب الورع وقال: ما أعجبك يا عمر! فرد عليه عمر بمنتهى القوة وقال له: بل والله ما أعجب من عرف الله فعصاه، وعرف الشيطان فاتبعه، وعرف الدنيا فركن إليها! وعلم هذا الرجل أن رجل الغد القريب هو عمر رضي الله عنه وأرضاه، حتى قال سليمان قولته الشهيرة: والله ما أهمني شيء قط إلا وخطر ببالي أول ما خطر عمر بن عبد العزيز.