لم يستقر الأمر لخلافة إبراهيم بن الوليد وأخذ مروان يزحف على دمشق، وقد هزم وهو في طريقه إليها جيش إبراهيم بن الوليد الذي كان قد أرسله لإخماد ثورة أهل حمص وفر قائد الجيش سليمان بن هشام إلى دمشق فاستولى هو وإبراهيم بن الوليد على ما في بيت المال وفرا هاربين، تاركين دمشق مفتوحة الأبواب، فدخلها مروان، فوجد ابن الوليد ابن يزيد - الحكم وعثمان - قد قتلا ولما كانا في نظره، هما أصحاب الحق الشرعي في الخلافة، وأنه ما خرج إلا للمطالبة بدم أبيهما ويحقهما فيها، وبعد موتهما لم يعد هناك من يستحقها غيره خصوصاً بعد أن شهد له أبو محمد السفياني بأن ابني الوليد عهدا له بها وتقدم وبايعه وتبعه الناس فبايعوا مروان وذلك في شهر ربيع الآخر سنة 127 هـ وبهذا أصبح مروان آخر الخلفاء الأمويين (?). وقد جاء في بعض الروايات: أن أبا محمد السفياني الذي نجا من القتل بأعجوبة وكان مع ابني الوليد بن يزيد في السجن، وقد أتُي به في قيوده، فسلَّم على مروان يؤمئذ بالإمرة (?)، واستنكر مروان التسليم عليه بالخلافة، ولكن أبا محمد السفياني قال: إنهما - ويريد الغلامين - الحكم وعثمان. جعلاها لك بعدهما، وأنشده شعراً قاله الحكم في السجن، وكانا قد بلغا وولد للحكم مولود، وهذا هو شعر الحكم الذي رواه السفياني لمروان:
ألا من مُبلغُ مروان عني ... وعَمي الغَمْرَ طال بذا حَنِينا
بأني قد ظُلمت وصار قومي
على قتل الوليد متابعينا ... أيذهب كلبهم بدمي ومالي
فلا غشّا أصبت ولا سمينا
ومروان بأرضِ بني نزار ... كليث الغاب مفترش عرينا
ألم يحزنك قتل فتى قريش ... وشقهم عصِيَّ المسلمينا
ألا فاْقرَ السلام على قريش ... وقيس بالجزيرة أجمعينا
وساد الناقص القدري فينا ... وألقى الحرب بين بني أبينا
فلو شهد الفوارس من سليم ... وكعب لم أكن لهم رهينا
ولو شهدت ليوثُ بني تميم
لما بعنا تراث بني أبينا
أتنكث بيعتي من أجل أميَّ ... فقد بايعتم قبلي هجينا
فليت خؤولتي من غير كلب ... وكانت في ولادة آخرينا
فإن أهِلك ووليُّ عهدي ... فمروان أمير المؤمنينا (?)
وكان أول من نهض لمبايعة مروان في رواية الطبري: معاوية بن يزيد بن الحصين بن نمير