وقد أدرك أبو عيسى الترمذي شيوخا أقدم من هؤلاء وسمع منهم وروى عنهم. قال الذهبي في تذكرة الحفاظ: سمع قتيبة بن سعيد (?) وأبا مصعب (?) وإبراهيم بن عبد الله الهروي (?) ، وإسماعيل بن موسى السدي (?) ، وسويد بن نصر (?) ، وعلي بن صخر (?) .

والترمذي تلميذ البخاري وخريجه، وعنه أخذ علم الحديث وتفقه فيه ومرن بين يديه، وسأله واستفاد منه، وناظره فوافقه وخالفه، كعادة هؤلاء العلماء، في اتباع الحق حيث كان. وقد طاف ابو عيسى البلاد، وسمع خلقا من الخراسانيين والعراقيين والحجازيين.