في القضاء عليهم (?) بعد وفاة أبيه في سنة تسع وستين ومائة (169 هـ) ، حيث تولى الخلافة بعده، وعمل بوصية أبيه الذي أوصاه بقتل الزنادقة، واقتدى به في ذلك، وشرع في تَطَلُّبهم من الآفاق، وَجَدَّ في ذلك، فقتل منهم خلقاً كثيراً (?) .

وكان موسى الهادي لما تولى الخلافة عزم على خلع أخيه هارون الرشيد من ولاية العهد بعده، والعهد بها لابنه جعفر كما صنع أبوه بعيسى بن موسى، فانقاد هارون لذلك ولم يظهر منازعة، واستدعى الهادي جماعة من الأمراء، فأجابوه لذلك، وأَبَتْ أُمُّهما الخيزران، وكانت تميل إلى ابنها هارون أكثر من موسى، فأَلَحَّ الهادي على أخيه هارون في الخلع، واستشار يحيى بن خالد بن بَرْمَك، فقال له: ماذا ترى فيما أريد من خلع هارون وتولية ابني جعفر؟ فقال: إني أخشى أن تهون الأيمان على الناس، ولكن المصلحة تقتضي أن تجعل جعفراً وليَّ العهد من بعد هارون، وأيضاً فإني أخشى أن لا يجيب أكثر الناس إلى البيعة لجعفر، لأنه دون البلوغ، فيتفاقم الأمر ويختلف الناس، فعدل الهادي عن رأيه، ولم يلبث إلا يسيراً حتى توفي في سنة سبعين ومائة (170 هـ) (?) ، وتولَّى الخلافة بعده أخوه هارون الرشيد،