وروى عنه الناسُ من كتبه المصنفة بضعةً وعشرين كتابًا في القرآن الكريم، والحديث وغريبه والفقه.
ويقال: إنه أول من صنف في "غريب الحديث (?) "، ولما وضع كتابَ الغريب، عرضه على عبد اللَّه بن طاهر، فاستحسنه. وقال محمد بن وهب: سمعت أبا عبيد يقول: مكثتُ في تصنيف هذا الكتاب أربعين سنة، وربما كنت أستفيد الفائدة من أفواه الرجال، فأضعها في موضعها من الكتاب، فأبيتُ ساهرًا فرحًا مني بتلك الفائدة، وأحدُكم يجيئني فيقيم عندي أربعة أو خمسة أشهر، فيقول: قد أقمت كثيرًا!
قال الهلال بن علاء الرَّقِّي: مَن اللَّه تعالى على هذه الأمة بأربعة في زمانهم:
1 - بالشافعي، تفقه في حديث رسول اللَّه - صلى الله عليه وسلم - 2 - وبأحمد بن حنبل، ثبت في المحنة، ولولا ذاك لكفر الناس، 3 - ويحيى بن معين، نفى الكذب عن حديث رسول اللَّه - صلى الله عليه وسلم -، 4 - وبأبي عبيد القاسم بن سلام، فسر "غريب الحديث"، ولولا ذاك، لاقتحم الناس الخطأ. وقال إسحاق بن راهويه: أبو عبيد أوسعُنا علمًا، وأكثرنا أدبًا، وأجمعُنا جمعًا، إنا نحتاج إليه، وهو لا يحتاج إلينا.
وكان يخضب بالحناء، أحمرَ الرأس واللحية، وكان له وقار وهيبة.
قدم بغداد، فسمع الناس منه كتبَه، ثم حجَّ وتوفي بمكة، وقيل: بالمدينة بعد الفراغ من الحج سنة 223، وقال البخاري: سنة 224.
وقال الخطيب في "تاريخ بغداد": بلغني أنه عاش سبعًا وستين سنة.
اشتغل بالعلم على أبي إسحاق الشيرازي، وولي القضاء بعدة بلاد، ورحل إلى العراق وخراسان والجبال، وسمع الحديث الكثير، وسمع منه السمعانيُّ.