عاد عمر إلى بيته، وترك قصر الخلافة الشاهق في دمشق، ونزل إلى غرفته، وجلس على الحصير وقال: هذا حظي من الخلافة، ثم استدعى زوجته الزاهدة فاطمة زوجة الخليفة وبنت الخليفة وأخت الخلفاء، وقال لها: [[إني بعت نفسي من الله عز وجل، فإن كنت تريدين العيش معي فحيهلاً وسهلاً وإلا فالحقي بأهلك]] فبكت وقالت: الحياة حياتك والموت موتك، ثم سلمت له ذهبها وفضتها وحليها إلى بيت المال، وعاد رضي الله عنه وأرضاه ليرد الأمة إلى الله الواحد القهار، عاد ليربيها من جديد مع ربها سُبحَانَهُ وَتَعَالَى، فكان يصدق قوله فعله، وكان لا يشغله عن الله شاغل.
أما ليله فبكاء وسجود وتبتل وخشوع مع الله، وأما نهاره فتعليم للناس وعدل وإنصاف وبذل وعطاء، كان بعد كل صلاة ينادي المنادي: أين الفقراء؟ أين المساكين؟ أين المحتاجون؟ أين الذين يريدون الله؟ أين الذين لم يأخذوا من الدنيا شيئاً؟ فيبذل لهم المال، فتقام به قلوب حية وتحيا بهم أرواح كانت ميتة.
رزقه الله الخشية، والذي يجعل الله نصب عينيه دائماً؛ يفتح الله عليه فتحاً لا يدور بالخيال، ولا يخطر بالبال؛ فكان من أخشى الناس لله.
دخل عليه أحد العباد من أهل المدينة، واسم هذا العابد زياد مولى ابن عياش، فقال لـ عمر بن عبد العزيز: "ما دهاك؟ ماذا أصابك؟ قال: وماذا تقول؟ قال: والله لقد رأيتك وأنت من أجمل الفتيان في قريش، تلبس اللباس اللين، وأصبحت في هذه الحالة، والله لو دخلت عليك في غير هذا المكان لما عرفتك، فبكى عمر وقال: والله لو رأيتني بعد ثلاثة أيام من دفني لأنكرتني شديداً، حين تسقط عيناي على وجنتي، وتخلع أذناي من رأسي، ويتغير خدي، وينهش بطني، إذاً لرأيت منظراً فظيعاً؛ فبكى ذاك العابد".