كانت موازينه عنده التقوى، يقول: " والله ما رأيت متقياً لله إلا وددت أنني في جلده ".
استدعى يوم تولى الخلافة مولاه مزاحماً، وقال له: يا مزاحم! -وهو مولى- رأيتك تصلي الضحى في شعب من الشعاب، حيث لا يراك إلا الله فأحببتك والله، فإذا رأيتني ظلمت فخذني بتلابيب ثوبي وقل: اتق الله يا عمر بن عبد العزيز.
بينما هو جالس للناس إذا بثلاثة من الشباب عليهم ثياب جميلة، ومنظر بهي، دخلوا عليه في ديوان الحكم، فجلسوا بجانبه، فالتفت إليهم وقال لهم: من أنتم؟ قال أولهم: أنا ابن شريك بن سحماء تولى أبي ولاية كذا وكذا، فأعرض عنه عمر بن عبد العزيز كالمغضب، وقال للثاني: وأنت من أبوك؟ قال: أبي كان والي دار الحسبة في دمشق فأعرض عنه، وأتى إلى الرجل الثالث وقال: أنت ابن من؟ قال له:
أنا ابن الذي سالت على الخد عينه فردت بكف المصطفى أحسن الرد
هذا الرجل أبوه قتادة بن النعمان من الأنصار، شارك مع رسول الله صلى الله عليه وسلم في معركة أحد، فلما قاتل ضرب بالسيف على عينه، فنزلت عينه حتى أصبحت على خده، فأتى إلى رسول الله صلى الله عليه وسلم فردها بيده الشريفة إلى مكانها، فكانت أجمل من أختها، فيقول هذا الابن:
أنا ابن الذي سالت على الخد عينه فردت بكف المصطفى أحسن الرد
فدمعت عينا عمر بن عبد العزيز، وقال:
تلك المكارم لا قعبان من لبن وهكذا السيف لا سيف ابن ذي يزن
فلذلك رضي عن هذا وغضب عن أولئك؛ لأنهم انتسبوا إلى الدنيا وانتسب هذا إلى الآخرة، والذي ينتسب إلى الآخرة أعظم عند الله من الذي ينتسب إلى الدنيا.
كان رضي الله عنه وأرضاه لا يرضى مظلمة، لما تولى دخل عليه الأمراء يبايعونه بالخلافة، فمدوا أيديهم، فقبض يده إلى حضنه رضي الله عنه وأرضاه، فقال أولهم وهو شريك: بايعني، قال: اغرب عني غرب الله بك، والله لا تتولى لي عملاً أبداً، قال: ولماذا؟ قال: جلست أنت وأبناؤك في خيمة في الغزو والشمس تصيب الناس، وجلست تتظلل وتركت الناس في الشمس، والله لا تتولى لي، ثم تقدم له عدي بن أرطأة، فقال: اغرب عني! والله لا تتولى لي، قال: ولم؟ قال: جلدت فلاناً سبعين جلدة؛ لأنه آذى ابنك، فما غضبت لله ولا غضبت لرسول الله، ثم ولى العباد والزهاد فقامت الدنيا.
يقول ميمون بن مهران رضي الله عنه وأرضاه: والله لقد أخبرنا رعاة الأغنام أن الذئب في خلافة عمر بن عبد العزيز ما كان يعدو على الغنم، فلما توفي عمر في ذاك اليوم عدا الذئب على الغنم فعرفوا أنه مات، فسألوا الناس، فقالوا: مات في ذاك اليوم.
وقال ابن كثير: لما توفي رضي الله عنه وأرضاه نزلت في قبره صحيفة من السماء مكتوب فيها: براءة لـ عمر بن عبد العزيز من النار، قال الله تعالى: {إِنَّ الَّذِينَ قَالُوا رَبُّنَا اللَّهُ ثُمَّ اسْتَقَامُوا تَتَنَزَّلُ عَلَيْهِمُ الْمَلائِكَةُ أَلَّا تَخَافُوا وَلا تَحْزَنُوا وَأَبْشِرُوا بِالْجَنَّةِ الَّتِي كُنْتُمْ تُوعَدُونَ * نَحْنُ أَوْلِيَاؤُكُمْ فِي الْحَيَاةِ الدُّنْيَا وَفِي الْآخِرَةِ وَلَكُمْ فِيهَا مَا تَشْتَهِي أَنْفُسُكُمْ وَلَكُمْ فِيهَا مَا تَدَّعُونَ * نُزُلاً مِنْ غَفُورٍ رَحِيمٍ} [فصلت:30 - 32].