وكان يتهم بالزندقة.
وهو أخو عبد الله بن عبد الأعلى الشيباني وكان يؤدب الوليد بن يزيد بن عبد الملك. ويقال: إنه هو الذي أفسده.
قال محمد بن جرير الطبري في تاريخه: وظهر من الوليد من المجون والفسق أشياء حمله عليها فيما حدثني أحمد بن زهير، عَن عَلِيّ بن محمد - وهو المدائني - عن جرير بن عبد الحميد: عبد الصمد بن عبد الأعلى مؤدبه.
قلت: ولعبد الصمد قصة مع سعيد بن عبد الرحمن بن حسان بن ثابت فقال فيه سعيد يخاطب هشاما:
إنه والله لولا أنت لم ... ينج مني سالما عبد الصمد
... الأبيات.
قال الضحاك بن عثمان: كان سعيد جميل الوجه وكان عبد الصمد لوطيا زنديقا أسند ذلك الزبير بن بكار.