توفي رحمه الله في خرتنك قرية من قرى سمرقند ليلة السبت بعد صلاة العشاء, وكانت ليلة عيد الفطر, ودفن يوم الفطر بعد صلاة الظهر سنة ست وخمسين ومائتين. ومدة عمره اثنتان وستون سنة إلا ثلاثة عشر يوما رحمه الله تعالى, قال الحافظ ابن كثير رحمه الله في كتابه البداية والنهاية: "وقد ترك رحمه الله بعده علماً نافعاً لجميع المسلمين فعلمه لم ينقطع بل هو موصول بما أسداه من الصالحات في الحياة".
وقد قال رسول الله صلى الله عليه وسلم: "إذا مات ابن آدم انقطع عمله إلا من ثلاث: علم ينتفع به" الحديث, رواه مسلم.