ذكر ابن الجوزي أن عمر بن عبد العزيز قد استعفى من المدينة كما مرّ ذكره ولكن ذكر غيره أنه عزل عنها، ففي سنة 92هـ عقد الخليفة الوليد لواء الحج للحجاج بن يوسف الثقفي ليكون أميراً على الحج ولما علم عمر بن عبد العزيز بذلك، كتب رحمه الله تعالى إلى الخليفة يستعفيه أن يمرَّ عليه الحجاج بالمدينة المنورة، لأن عمر بن عبد العزيز كان يكره الحجّاج ولا يطيق أن يراه، لما هو عليه من الظلم، فامتثل الوليد لرغبة عمر، وكتب إلى الحجّاج: إن عمر بن عبد العزيز كتب إليَّ يستعفيني من ممرك عليه، فلا عليك أن لا تمر بمن كرهك فتنحّ عن المدينة (?)، وقد كتب عمر بن عبد العزيز وهو والٍ على المدينة إلى الوليد بن عبد الملك يخبره عما وصل إليه حال العراق من الظلم والضيم والضيق بسبب ظلم الحجّاج وغشمه، مما جعل الحجّاج يحاول الانتقام من عمر لاسيما وقد أصبح الحجاز ملاذاً للفارين من عسف الحجاج وظلمه حيث كتب الحجّاج إلى الوليد: إن من قبلي من مراق أهل العراق وأهل الثقاف قد جلوا عن العراق، ولجأوا إلى المدينة ومكة، وإن ذلك وهن: فكتب إليه يشير عليه بعثمان بن حبان، وخالد بن عبد الله القسري، وعزل عمر عبد العزيز (?). وقد كان ميول الوليد لسياسة الحجّاج واضحاً وكان يظن بأنه سياسة الشدة والعسف هي السبيل الوحيد لتوطيد أركان الدولة، وهذا ما حال بينه وبين الأخذ بآراء عمر بن عبد العزيز ونصائحه، وقد أثبتت الأحداث فيما بعد أن ما كان يراه عمر أفضل مما كان يسير عليه الوليد، وذلك بعد تولي عمر الخلافة وتطبيقه لما كان يشير به (?).
خرج عمر بن عبد العزيز من المدينة المنورة وهو يبكي ومعه خادمه مزاحم، فالتفت إلى مزاحم وقال: يا مزاحم، نخشى أن نكون من نفت المدينة (?)، يشير بذلك إلى قول رسول الله صلى الله عليه وسلم: ألا وإن المدينة كالكير يخرج الخبث، لا تقوم الساعة حتى تفني المدينة شرارها، كما ينفي الكير خبث الحديد (?). وقال مزاحم: ولما خرج عمر بن عبد العزيز من المدينة نظرت فإذا القمر في الدبران (?) ـ كأنه تشاءم من ذلك ـ فقال: فكرهت أن أقول ذلك له