أبوه يزيد مولى معاوية بن الحكم، ودخل أمية الأندلس في طالعة بلج ابن بشر بن عياض القشيري، سنة ثلاث وعشرين ومائة من الهجرة، في آخر خلافة هشام بن عبد الملك، فلاصقه بنفسه خالد بن زيد، كاتب يوسف بن عبد الرحمن الفهري أمير الأندلس، وكان كاتباً معه، فلما تغلب عبد الرحمن بن معاوية على يوسف، واستقر بدار الملك قرطبة، صار خالد إلى كتابته أياماً، ثم نفر عن القرار بالأندلس وسأل الإذن بالخروج إلى المشرق. وقد ضم عبد الرحمن بن معاوية أمية بن يزيد إليه، واشتمل عليه لكونه من مواليه، فأمر لخالد بكتاب سراح، فتحامى أمية الكتاب بين يدي خالد وقال: معلمي وولي الإحسان قبلي يكون أول شيء يجري له على يدي الكتاب بخروجه عن أهله وماله! وامتنع من ذلك؛ فأمر عبد الرحمن خالداً بالكتاب لنفسه، فكتب إلى عامل الجزيرة: أما بعد، فأخرجنا خالداً بقضه وقضيضه، فإنها الراحة له والراحة منه، والسلام!