وكان أبو عبيد ديّنا ورعا جوادا، وأنفذ أبو دلف [1] إلى ابن طاهر يستهديه أبا عبيد مدّة شهرين، فأنفذ أبا عبيد إليه، فأقام شهرين، فلما أراد الانصراف وصله أبو دلف بثلاثين ألف درهم، فلم يقبلها وقال: أنا فى جنبة [2] رجل ما يحوجنى إلى صلة غيره، ولا آخذ ما فيه علىّ نقص. فلما عاد إلى طاهر بن الحسين وصله بثلاثين ألف دينار بدل ما وصله أبو دلف، فقال له: أيها الأمير، قد قبلتها ولكن قد أغنيتنى بمعروفك وبرّك وكفايتك، وقد رأيت أن أشترى بها خيلا وسلاحا وأوجّهها إلى الثغر ليكون الثواب متوفّرا على الأمير، ففعل.
ولما عمل أبو عبيد كتاب غريب الحديث وعرضه على عبد الله بن طاهر استحسنه وقال: إنّ عقلا بعث صاحبه على عمل مثل هذا الكتاب لحقيق ألّا يحوج إلى طلب المعاش. فأجرى له عشرة آلاف درهم فى كل شهر.
قال أبو عبيد: مكثت فى تصنيف هذا الكتاب أربعين سنة. وربما كنت أستفيد الفائدة من أفواه الرجال فأضعها فى موضعها من الكتاب، فأبيت ساهرا فرحا منّى بتلك الفائدة، وأحدكم يجيئنى فيقيم عندى أربعة أشهر، فيقول: قد أقمت الكثير! وأوّل من سمع هذا الكتاب من أبى عبيد يحيى بن معين [3]، وعرض هذا الكتاب على أحمد بن حنبل فاستحسنه وقال: جزاه الله خيرا. وكتب أحمد كتاب غريب الحديث الذى ألفه أبو عبيد أوّلا.