ذُكِر عن رشيد أبي داود بن رَشِيد أنّ أبا جعفر شخص إلى الكوفة حين بلغه خروجُ محمد بن عبد الله، وقد هيّأ لبناء مدينة بغداد ما يحتاج إليه من خَشب وساج وغير ذلك؛ واستخلف حين شخص على إصلاح ما أعدّ لذلك مولىً له يقال له أسلم؛ فبلغ أسلم أنّ إبراهيم بن عبد الله قد هزم عسكر أبي جعفر، فأحرق ما كان خَلَفه عليه أبو جعفر من ساجٍ وخشب؛ خوفًا أن يؤخذ منه ذلك؛ إذا غُلب مولاه؛ فلما بلغ أبا جعفر ما فعل من ذلك مولاه أسلم كتب إليه يلومه على ذلك؛ فكتب إليه أسلم يخبر أنه خاف أن يظفر بهم إبراهيم فيأخذه، فلم يقل له شيئًا.
وذُكِر عن إسحاق بن إبراهيم الموصليّ، عن أبيه، قال: لما أراد المنصور بناء مدينة بغداد، شاور أصحابه فيها؛ وكان ممّن شاوره فيها خالد بن برمك، فأشار بها؛ فذكِرَ عن عليّ بن عصمة أن خالد بن برمك خطّ مدينة أبي جعفر له، وأشار بها عليه؛ فلما احتاج إلى الأنقاض، قال له: ما ترى في نقض بناء مدينة إيوان كسرى بالمدائن وحمل نقضه إلى مدينتي هذه؟ قال: لا أرى ذلك يا أمير المؤمنين، قال: ولمَ؟ قال: لأنه علَمٌ من أعلام الإسلام، يستدلّ به الناظر إليه على أنه لم يكن ليُزال مثل أصحابه عنه بأمر دنيا؛ وإنما هو على أمر دين؛ ومع هذا يا أمير المؤمنين؛ فإن فيه مصلّى عليّ بن أبي طالب صلوات الله عليه، قال: هيهات يا خالد! أبيتَ إلا الميل إلى أصحابك العجم! وأمر أن يُنَقض القصر الأبيض، فنُقِضت ناحية منه، وحمِل نقضه، فنظر في مقدار ما يلزمهم للنقض والحمل فوجدوا ذلك أكثر من ثمن الجديد لو عُمل، فرُفع ذلك إلى المنصور، فدعا بخالد بن برمك، فأعلمه ما يلزمهم في نقضه وحمله، وقال: ما ترى؟ قال: يا أمير المؤمنين، قدْ كنت أرى قبل ألّا تفعل، فأما إذ فعلتَ فإني أرى أن تهدم الآن حتى تلحق بقواعده؛ لئلا يقال: إنك قد عجزت عن هدمِه، فأعرض المنصور عن ذلك، وأمر ألّا يهدم، فقال موسى بن داود المهندس: قال لي