ولما أراد عمر أن يرسل الجيش وهو ما يقارب ثلاثين ألفاً إلى القادسية للمعركة، فشاور الصحابة، فكان كثير منهم يرى أن يخرج أمير المؤمنين قائداً للجيش، فخرج عمر ولبس السلاح، وأصبح القائد عمر، ولما وصل إلى ضاحية من ضواحي المدينة نزل يستعرض الجيوش، أتت جيوش من اليمن وجيوش من الجزيرة من غطفان وتميم، فلحقه علي بن أبي طالب قال: يا أمير المؤمنين! أرى ألاَّ تخرج قائداً وابق في المدينة، فإنه إذا هزم الجيش كنت وراءهم ردءاً وعوناً لهم ومدداً، وإنك لو ذهبت وهزمت سحق الإسلام واجتيحت عاصمة الإسلام، وصدق رضي الله عنه، قال عمر: من ترى أن نولي؟
قال: نفكر، فذهب الصحابة طيلة الليل وعمر في الخيمة يفكرون من الذي يولونه مكان عمر بن الخطاب يقود الجيش، وإذا ب عبد الرحمن بن عوف أقبل يهلل، فقال عمر: مالك؟ قال: وجدت الأسد في براثنه، قال: من هو؟ قال: سعد بن أبي وقاص، قال: أصبت أصاب الله بك الخير، فأتى بـ سعد فولاه رضي الله عنه فذهب، وقاد الجيش، وكانت معركة القادسية من أعتى المعارك في الإسلام، قائدها سعد بن أبي وقاص، وأصابه مرض رضي الله عنه في مقاعده حتى ما كان يستطيع أن يجلس، فكان يصعد على الحصن فيتكئ على صدره وبينه وبين الحجر وسادة، وكان يدير الجيش من فوق الحصن، ولما قطعوا جسر دجلة كانت تمر القوافل والكتائب الإسلامية؛ الخيول ثم الجمال ثم يمر الأبطال من طرف الجسر ليقاتلوا الأعداء، فقطع أهل فارس الجسر، فإذا بالناس في النهر، فغرق منهم مئات وماتوا، فنظر سعد ودعا الله عز وجل أن ينجي جيش الإسلام وقال: يا خيل الله اركبي، أي امشي في النهر، فسمعته الخيل، والجمال، وجمَّد الله النهر، فما أصبح ثلجاً تنزلق عليه الأقدام، ولا ماء تغوص فيه، وإنما أصبح كأنه يبساً، لا تخاف دركاً ولا تخشى، فمر الجيش حتى نزل في الجهة المقابلة، واستمرت المعركة ثلاثة أيام كأنها من أيام الله الكبرى التي تمر بالأمم، حتى ذهل كثير من الناس، وشاركت الفيلة، وفقد بعض الناس أبناءهم وأعمامهم، وأتى القتل الرهيب الذي لا يعلمه إلا رب السماوات والأرض، وفي تلك الأيام أرسل رستم قائد فارس: جاسوساً وقال: اذهب وادخل في جيش المسلمين وانظر ماذا يفعلون في الليل، وادخل في جيشنا وانظر ماذا يفعلون، فذهب هذا الجاسوس في الليل فدخل في جيش المسلمين فوجد فرقة تقرأ القرآن، ووجد طائفة تبكي وتدعو الله، ووجد طائفة أخرى ركعاً لله، ووجد آخرين سجداً، ووجد آخرين يتذاكرون العلم والحديث والفتيا، ووجد سعداً يبكي في الليل ويرفع يديه ويطلب الله النصر، وعاد إلى جيش فارس فوجد طائفة يعاقرون الفتيات في الزنا، ووجد آخرين بكاسات الخمر، ووجد آخرين في نوم عميق يغطون، وفي سباتهم يعمهون، فعاد فأخبر رستم فعض أصابعه، وقال: هزمنا، هذه أول الهزائم، وفي صباح اليوم الثاني قال رستم: أخرجوني لأرى المسلمين هؤلاء، فأخرجوه فنظر، فإذا هم الألوف المؤلفة ورأى سعداً إذا كبر كبروا، وإذا ركع ركعوا، وإذا رفع رفعوا، وإذا سجد سجدوا، فأخذ القائد الفارسي يعض أصابعه، ويقول: علَّم محمد الكلاب الأدب، كذب عدو الله، بل علم محمد صلى الله عليه وسلم الأسود الأدب.
وفي اليوم الثالث أرسل إلى سعد قال: أرسل لي شاباً من جنودك أتكلم معه، يريد أن يعرف ما الذي حصل للعرب، فقد كانوا قبل ذلك بدواً، والآن يريدون يفتحوا أرض كسرى وقيصر.
قال سعد: من نرسل؟ قالوا: أنت أبصر، قال: قم يا ربعي بن عامر! شاب في الثلاثين من عمره، لا تغير من هيئتك شيئاً واخرج إلى رستم قائد فارس الذي يقود مائتين وثمانين ألفاً، فادخل عليه وتكلم معه، فأخذ هذا الصحابي رضي الله عنه أسماله البالية، وثيابه الممزقة، ورمحه في لفائف في قماش حتى الرمح ليس له خبء، وذهب بفرس كبير هزيل قحم عجوز، فأخذ يقوده وليس عنده حرس ولا موكب ولا أُبَّهة، ولا تاج ولا ثياب مثل ثياب الناس حتى دخل، فقيل: يستأذن عليك رسول سعد بن أبي وقاص، قال: أدخلوه، وقبل أن يدخلوه قالوا: أتى رستم فلبس تاج الذهب وألبس أمراءه والحاشية والبطارقة مثله ليرهب ربعي بن عامر، فدخل ربعي برمحه يخرق الوسائد التي وضعها ليعلمه أن الدنيا تافهة لا تساوي عندنا شيئاً، فقال له رستم: لماذا خرجتم؟ إن كنتم جياعاً أعطيناكم الأموال، وإن كنتم عراة كسوناكم، وإن كان بكم حاجة أعطيناكم حوائجكم، قال ربعي: إن الله ابتعثنا لنخرج العباد من عبادة العباد إلى عبادة رب العباد، ومن ضيق الدنيا إلى سعة الآخرة، ومن جور الأديان إلى عدل الإسلام، فقال رستم مستهزءاً: جئتم تفتحون الدنيا بهذا الفرس المعقور وهذا الرمح المثلم، وهذه الثياب الممزقة! لسان حاله: الذي يفتح الدنيا، ويصارع الدول عنده جيش، قال: فأعاد عليه الكلمة فغضب وأقسم بآلهته لا تخرج حتى تحمل تراباً من تراب إيواني هذا، وكان ساكناً في الصحراء وعنده سرادق، فحملوه في صحفة أو قصعة أو طست أو صحن تراباً فأخذه على رأسه وركب الفرس، فقال البطارقة ل رستم: مالك؟ إن معنى تسليمك التراب أنه يحتل الأرض، قال: أدركوه، فذهبوا وراءه فوجدوه قد دخل في جيش المسلمين، قال سعد: ما هذا الذي على رأسك؟ قال: تراب من ترابهم، قال: نصرنا ورب الكعبة، وفي اليوم الرابع أتى سعد رضي الله عنه وقال: انتهت المفاوضات يعني باءت بالفشل، وما بقي إلا السيف الأملح، قال سعد: إني مصلٍّ الفجر وسوف أكبر بعد الصلاة تكبيرة، فإذا كبرت التكبيرة الأولى فاركبوا الفرسان، فإذا كبرت الثانية فاستقبلوا الأعداء، فإذا كبرت الثالثة فالقتل، فكبر الأولى فركب الخيالة على الخيول وأهل الجمال والمغامرون والمنازلون والمبارزون، وكبر الثانية فاستقبلوا الأعداء، وكبر الثالثة فبدأ القتل، واحتدمت المعركة ثم هزموهم بإذن الله، وكان من فشلهم أنهم كانوا يسلسلون كل عشرة بسلسلة لئلا يفروا، فكان إذا قتل واحد من العشرة أخذوا يسحبونه، فإذا قتل الثاني لم يستطيعوا أن يسحبوه فيسقط معهم الثمانية فتدوسهم الخيل، حكمة بالغة، وقدرة نافذة فما تغني النذر، حتى امتلأ بهم النهر ومر سعد رضي الله عنه في كتيبته الخاصة به حتى وصل إلى المدائن أرض الخبث وعاصمة الكفر، فافتتحها ورأى إيوان كسرى الذي بقي عليه ألف سنة ففتحه بـ (الله أكبر) ثم جلس فيه يقرأ القرآن رضي الله عنه.
واستمر في حياته مجاهداً حتى عزله عمر بقرار، وكان عمر رضي الله عنه يريد أن يبقى الصحابة أصفياء أوفياء بلا دنيا ولا مهاترات، فاعتزل رضي الله عنه ورجع إلى المدينة وقال له عمر: يا أبا إسحاق! ما عزلناك خيانة فيك، ولكن أضن بك على الدنيا أو كما قال، وأتى أهل الكوفة فقالوا: سعد بن أبي وقاص لا يحسن الصلاة، فقال عمر: تعال يا سعد! يقول أهل الكوفة: إنك لا تحسن الصلاة، فضحك سعد، وقال: سبحان الله! يعيرني بنو أسد أني لا أعرف أصلي، وقد أدخلتهم في الإسلام بسيفي هذا، وصدق، قال: ماذا تفعل؟ قال: أركد في الأوليين وأخفف في الأخريين، هذا الحديث في الصحيحين، قال عمر: ذلك الظن بك يا أبا إسحاق.
وقتل عمر فبقي على العهد وتولى عثمان وبقي على العهد، ولما قتل عثمان اختلفت الأمة وأتت الفتنة فاعتزلها وذهب إلى الصحراء رضي الله عنه معه قطيع غنم، وصنع بيتاً من شعرٍ -خيمةً- وسكن هناك يقرأ القرآن ويبكي، فيأتي ابنه ويقول لأبيه: مالك ترعى الضأن والناس يتقاسمون الملك؟ قال: اغرب عني والله إني أولى الناس بالخلافة وإن الخلافة أولى بي من قميصي هذا، يقول: لو كنت أريد الخلافة كنت أطلبها ولكني سمعت الرسول صلى الله عليه وسلم يقول: {إن الله يحب العبد التقي الغني الخفي} وهذا الحديث في صحيح مسلم.
ولما أتته سكرات الموت أتت ابنته عائشة وقالت: يا أبتاه! تموت في الصحراء وحدك بعد أن رافقت الرسول عليه الصلاة والسلام، وصاحبت أبا بكر وعمر وعثمان؟ قال: يا بنية! لا تبكي علي؛ والله إني من أهل الجنة، قال الذهبي معلقاً في السير: صدق هنيئاً له ومريئاً ونحن نقسم بالله أنه من أهل الجنة، فقد أخبرنا محمد عليه الصلاة والسلام، يقول: {أبو بكر في الجنة، وعمر في الجنة وعثمان في الجنة وعلي في الجنة وابن عوف في الجنة والزبير في الجنة وطلحة في الجنة وسعد بن أبي وقاص في الجنة وسعيد بن زيد بن نفيل في الجنة وأبو عبيدة في الجنة} فنشهد أنهم من أهل الجنة، وذهب إلى الله، فلما سمع بجنازته بكت عليه المدينة المنورة وقالت عائشة: [[مروا بسعد علينا في البيوت حتى ندعو له]] أي: أزواج الرسول صلى الله عليه وسلم وأمهات المؤمنين، فمروا بجنازته والبكاء يلاحق الجنازة، لأنه فاتح القادسية، وصاحب تلك المعارك الهائلة في الإسلام، فسلمت عليه عائشة ودعت له وبكت كثيراً وذهب إلى لقاء ربه.