كان أبوه عبداً رومياً لرجل من هراة، وولد أبو عبيد بهراة ورحل في طلب العلم، فسمع من إسماعيل بن جعفر، وشريك، وإسماعيل بن عياش، وهشيم، وسفيان بن عيينة، وإسماعيل بن علية، ويزيد بن هارون، في خلق كثير، وكان عالماً بالقراءات واللغة والغريب، وصنف الكتب الكثيرة في فنون، وكان ذا فضل ودين وورع وجود.
عبد الله بن أحمد بن حنبل قال: عرضت كتاب غريب الحديث لأبي عبيد على أبي فاستحسنه وقال جزاه الله خيراً.