وإنما ثارت العصبية بينه وبين نصر بن سيار الوالي؛ لأنه كان أحسن إلى نصر في ولاية أسد بن عبدالله، فلما ولِي نصر بن سيار خراسان عزل الكرماني عن الرئاسة، وصيرها لحرب بن عامر بن أيثم الواشحي، فمات حرب، فأعاد الكرماني عليها، فلم يلبث إلا يسيرا حتى عزله، وصيرها لجميل بن النعمان، فتباعد ما بين نصر والكرماني، فحبس الكرماني في الحصن "القهندز" وكان على الحصن مقاتل بن علي المري، ولما أراد نصر حبس الكرماني أمر عبيدالله بن بسام صاحب حرسه فأتاه به، فقال له نصر: يا كرماني، ألم يأتني كتاب يوسف بن عمر يأمرني بقتلك فراجعته فقلت له: شيخ خراسان وفارسها، وحقنت دمك؟ ! ، قال: بلى، قال: ألم أغرم عنك ما كان لزمك من الغرم، وقسمته في أعطيات الناس؟ ، قال: بلى، قال: فبدلت ذلك إجماعا على الفتنة! ، قال الكرماني: لم يقل الأمير شيئا إلا قد كان أكثر منه، فأنا لذلك شاكر، فإن كان الأمير حقن دمي فقد كان مني أيام أسد بن عبدالله ما قد علم، فليستأن الأمير ويتثبت فلست أحب الفتنة، فقال عصمت بن عبدالله الأسدي: كذبت، وأنت تريد الشغب وهو ما لا تناله، وقال سلم بن أحوز: اضرب عنقه أيها الأمير، فقال المقدام وقدامة ابنا عبد الرحمن بن نعيم الغامدي: لجلساء فرعون خير منكم، إذ قالوا: {أَرْجِهْ وَأَخَاهُ} (?)، والله لا يقتلن الكرماني بقولك يا ابن أحوز، وعلت الأصوات، فأمر نصر سلما بحبس الكرماني، فحبس لثلاث بقين من شهر رمضان سنة (126) ست وعشرين ومائة، فكلمت الأزد نصرا فقال: إني حلفت أن أحبسه ولا يبدؤه من سوء، فإن خشيتم عليه فاختاروا رجلا يكون معه، فاختاروا يزيد النحوي، فكان معه في الحصن، وصير حرسه بني ناجية أصحاب عثمان وجهم ابني مسعود.

وبعث الأزد إلى نصر المغيرة بن شعبة الجهضمي، وخالد بن أبي صالح الحداني، فكلماه فيه، فلبث في الحبس تسعة وعشرين يوما، فقال علي بن وائل؛ أحد بني ربيعة بن حنظلة: دخلت على نصر والكرماني جالس ناحية، وهو يقول: ما ذنبي إن كان أبو الزعفران جاء! ، فوالله ما واريته ولا أعلم مكانه، وقد كانت الأزد يوم حبس الكرماني، أرادت أن تنزعه من رسله، فناشدهم الله الكرماني ألا يفعلوا، ومضى مع رسل سلم بن أحوز وهو يضحك، فلما حبس تكلم عبدالملك بن حرملة اليحمدي، والمغيرة بن شعبة الجهضمي، وعبد الجبار بن شعيب بن عباد، وجماعة من الأزد