من جمادى الآخرة سنة 126 وله اثنان وأربعون سنة، فأخذوا ابنيه وليي عهده الحكم، وعثمان، فقتلا بعد ذلك بدمشق مع يوسف بن عمر الثقفي. فقال الأصبغ بن ذؤالة الكلبي في ذلك:
من مبلغ قيسا وخندف كلها ... وساداتها من عبد شمس وهاشم
قتلنا أمير المؤمنين بخالد ... وبعنا وليي عهده بالدراهم
وقال خلف بن خليفة البجلي:
تركنا أمير المؤمنين بخالد ... مكبا على خيشومه غير ساجد
وإن سافر القسري سفرة هالك ... فان أبا العباس ليس بعائد
أقرى معد بالهوان فاننا ... قتلنا أمير المؤمنين بخالد
وبويع مروان بن محمد بن مروان بن الحكم، ويكنى أبا عبد الله وأبا عبد الملك وأمه أم ولد، يقال لها زبادة، كانت لإبراهيم بن الأشتر النخعي، فصارت إلى محمد ابن مروان يوم قتل إبراهيم، وإبراهيم على مقدمة مصعب بن الزبير، ومحمد على مقدمة أخيه عبد الملك بن مروان، وقيل انها كانت حاملا من إبراهيم، فجاءت بمروان على فراش محمد بن مروان، وكانت بنو أمية تكره أن تولى الخلافة أبناء أمهات الأولاد لأنها كانت ترى أن ذهاب ملكها على يدي ابن امة فكان ذلك مروان بن محمد، وكانت البيعة له يوم الاثنين لأربع عشرة ليلة خلت من صفر سنة 127، ونزل حران بن ارض الجزيرة.
وكان جميع من مالك من قبله من بنى أمية ينزلون دمشق، ومنهم من كان يتبدى، وكانت أيامه كلها فتنا وحروبا، ولم تصف له الأمور، وخالفه أهل حمص وخلعوا طاعته، فحصرهم وحاربهم دفعة بعد اخرى، وخلعه أهل مصر إلى أن