وعاد رضي الله عنه وأرضاه إلى المدينة بعد أن توفي عمر، ولما بدأ الخلاف بين الصحابة، في عهد علي ومعاوية رضوان الله عليهم جميعاً، اعتزل الفتنة، وخرج إلى الصحراء رضي الله عنه وأرضاه، ترك الدنيا وهي مقبلةٌ إليه، ترك زينتها وزخرفها، وترك كل ما يمت إلى الدنيا، وقد أدى مهمته في الحياة ورسالته، ونصب له خيمةً في الصحراء، أما نهاره فصيام، وأما ليله فقيام، يسبح الله في الصباح والمساء، لا يفتر عن ذكر الله، معه قطيعٌ من الغنم، استغنى بما عنده من التقوى والزهد وعبادة الله عن الدنيا، وترك الفتنة لأصحابها والباحثين عنها، وجاءه ابنه عمر وقال: [[يا أبي يتقاتل الناس على الملك، وأنت في هذه الصحراء، قال: يا بنيَّ! والله إني أولى بالخلافة مني ببردي هذا، ولكني تركتها خوفاً من الله، إني سمعت رسول الله صلى الله عليه وسلم يقول: {إن الله يحب العبد الغني الخفي التقي}]].
خذوا كل دنياكم واتركوا فؤادي حراً طليقاً غريباً
فإني أعظمكم ثروةً وإن خلتموني وحيداً سليباً
وأتاه الموت في الصحراء، فمات كما يموت الناس، ولكن عمله محفوظ عند الله!!: {يَوْمَ تَجِدُ كُلُّ نَفْسٍ مَا عَمِلَتْ مِنْ خَيْرٍ مُحْضَراً وَمَا عَمِلَتْ مِنْ سُوءٍ} [آل عمران:30] يجد عمله وإخلاصه وصدقه عند الله، الذي لا تضيع ودائعه، عند علام الغيوب، الذي يثيب بالحسنة عشر أمثالها، إلى سبعمائة ضعف، إلى أضعافٍ كثيرة.
وحضرته الوفاة، واقتربت ابنته عائشة منه، وكانت تبكي وتقول: [[يا أبي!! أتموت هنا وحدك في الصحراء بعد صحبة رسول الله صلى الله عليه وسلم وأبي بكر وعمر؟!!
فقال لها: لا تبكي علي فوالله إني من أهل الجنة]].
قال الذهبي معلقاً: صدق رضي الله عنه وأرضاه، فهنيئاً له، ومريئاً، نُشهد الله ونُدين الله بأنه من أهل الجنة، وارتفعت جنازته إلى المدينة ليصلى عليها هناك، وخرج الصحابة يتباكون، ويقولون: رضي الله عنك يا أبا إسحاق! عشت حميداً، ومت حميداً وتلقى الله يوم القيامة سعيداً، وخرج أزواج رسول الله صلى الله عليه وسلم متحجباتٍ من الحجرات يبكين، ويقلنَ: [[مروا بـ سعد علينا سقى الله سعداً من سلسبيل الجنة نصلي عليه]] فمروا به عليهن بعد أن صلوا عليه، فصلين عليه كذلك ودعون له، ووقف أحد الصحابة على جثمان سعد، وهو في أكفانه وقال: [[والله ما أعلم أشجع منك، والله ما أريد أن ألقى الله بعمل رجلٍ كعملك، ذهبت عن الفتنة نظيفاً سليماً رضي الله عنك وأرضاك]] رضي الله عنكم يا أصحاب محمد ورضي الله عنكم يا من اتبع محمداً صلى الله عليه وسلم:
كن كالصحابة في زهدٍ وفي ورعٍ القوم هم مالهم في الناس أشباهُ
عبادُ ليلٍ إذا جن الظلام بهم كم عابدٍ دمعه في الخد أجراه
وأسدُ غابٍ إذا نادى الجهاد بهم هبوا إلى الموت يستجدون لقياه
يا رب فابعث لنا من مثلهم نفراً يشيدون لنا مجداً أضعناهُ
أقول ما تسمعون وأستغفر الله العظيم الجليل لي ولكم، ولجميع المسلمين فاستغفروه وتوبوا إليه، إنه هو التواب الرحيم.