فلما استخلف الوليد بن يزيد امر صاحب شرطه سعيد بن غيلان بأخذ خالد بالمال الذى عليه من بقايا خراج العراقين والبسط عليه، وقال: اسمعنى صياحه.
فاقبل سعيد بن غيلان الى خالد وهو في منزله، فاخرجه، فانطلق به الى السجن، فعذبه يومه ذلك بألوان العذاب، فلم يكلمه خالد بحرف.
وقال الاشعث بن القينى فيما نال خالدا:
الا ان خيرا الناس نفسا ووالدا ... اسير قريش عندها في السلاسل
لعمري، لقد اعمرتم السجن خالدا ... واوطاتموه وطأة المتثاقل
فان تحبسوا القسرى لا تحبسوا اسمه ... ولا تحبسوا معروفه في القبائل
وقدم يوسف بن عمر الثقفى بمال العراقين على الوليد، فجلس الوليد للناس، واذن لهم إذنا عاما.
فتكلم زياد بن عبد الرحمن الضمرى، وكان معاندا لخالد، فقال: يا امير المؤمنين، على محاسبه خالد بخمسه آلاف الف درهم، فسلمه الى.
فأرسل الوليد الى خالد وهو في السجن ان زياد بن عبد الرحمن قد اعطى بمحاسبتك خمسه آلاف الف درهم، فان صححتها لنا، والا دفعناك اليه.
فأرسل له خالد: ان عهدي بالعرب لاتباع، وبالله لو سألتني ان اضمن لك هذا، ورفع عود من الارض، ما فعلت.
فلما راى الوليد بن زيد تقاعد خالد بما عليه من المال امر به، فسلم الى يوسف ابن عمر، وقال: انطلق به الى العراق، واستاده جميع ما عليه من المال.