وتوفي في خلافة عمر بن الخطاب سنة 21هـ (641 - 642 م) وعمره بضع وأربعون سنة، وكانت وفاته بحمص، وقبره مشهور يزار إلى الآن في ضمن مسجد واقع خارج السور إلى الجهة الشمالية من حمص وقد اتصل به العمران وصار حوله لهذا العهد حي يسمى (حي سيدي خالد) كما يسمى المسجد أيضا مسجد سيدي خالد.

قال رفيق بك العظم في كتابه (أشهر مشاهير الإسلام) وقد زرته مرة فوجدت عليه من المهابة والوقار ما يأخذ بمجامع القلوب التي يعرف أصحابها أقدار الرجال ويتأثرون بذكرى عصر أولئك الأبطال.

وقد كان لخالد أولاد كثيرون انقرضوا جميعا في الطاعون فلم يبق منهم أحد، وورث أيوب بن سلمة دورهم بالمدينة.

وكان عمر يقول لما مات خالد: قد ثلم في الإسلام ثلمة لا ترتق، ولقد ندمت على ما كان مني إليه.

ورثته أمه فقالت:

أنت خير من ألف ألف من النـ ... ـاس (الناس) إذا ما كبت وجوه الرجال

أشجاع فأنت أشجع من ليـ ... ـث (ليث) عرين حميم إلى الأشبال

أجواد فأنت أجود من سيـ ... ـل (سيل) دياس يسيل بين الجبال

ولخالد كرامات منها أنه ابتلع السم فلم يؤثر فيه كما مر ذكره، ومنها ما رواه ابن أبي الدنيا بإسناد صحيح عن خيثمة قال أتى خالد بن الوليد رجل معه زق خمر. فقال: اللهم اجعله عسلا فصار عسلا. رحمه الله رحمة واسعة ونفعنا بذكرى حياته المملوءة عبراً، وشهامةً، وبلاءً