بعد هذا التجوال رجع أبو عبيد -رحمه الله- إلى خراسان موطنه الأصلي، وعمل هنالك مؤدباً لآل هرثمة، والمؤدب: الذي يربي الأولاد ويعتني بهم، ويخلقهم بالأخلاق الحسنة، ويحملهم على الأدب الجم ويعلمهم الصلاة والطهارة، والأمور الأساسية التي ينبغي أن يتعلمها كل ولدٍ من الأولاد، كان هذا الشيء منتشراً في أولاد الكبار في ذلك الوقت أنهم يحرصون على الاتيان بمؤدبٍ لأولادهم.
فـ هرثمة بن أعين من كبار قواد هارون الرشيد، وأبو عبيد في أول حياته تولى تأديب أولاد آل هرثمة، ثم اتصل بـ ثابت بن نصر بن مالك الخزاعي يؤدب ولده، وكان ثابت قد تولى طرسوس، وهي: مدينة بثغور الشام، بين أنطاكية وحلب وبلاد الروم، وتُعرف أيضاً بـ طرطوس، ولما تولى ثابت على طرسوس وحكمها ثماني عشرة سنة، ولَّى أبا عبيد القاسم بن سلاَّم قضاء طرسوس، فتولاها له ثماني عشرة سنة، وأصبح قاضياً لـ طرسوس، وعلى ذلك يكون أبو عبيد رحمه الله قد تولى القضاء فيها سنة: (192هـ)، إلى سنة: (210هـ).