ورحل علي بن المديني رحمه الله تعالى إلى ربه تاركاً عدداً من الآثار والكتب، مثل: علل الحديث ومعرفة الرجال، وسؤالات لشيخه يحيى بن سعيد القطان، كَتَبَها وبَوَّبَها، وكتاب المسند ويبدو أنه قد ضاع، وَضَعَه في قِمَطْر وغاب فترة طويلة عن البيت ورجع، قال: فحركتها، فإذا هي ثقيلة، ففتحتها، فإذا الأرضة قد خرقت الكتب، فصارت طيناً، وإلا فإن علي بن المديني كان عنده كتاب عظيم هو: المسند بِعِلَلِه.
وذهب علي بن المديني رحمه الله تاركاً تراثاً كبيراً من أهم ذلك: الأحاديث التي نقلها لتلاميذه.
ودَوَّن البخاري رحمه الله قسماً، ومسلم، والترمذي، وأبو داود، دوِّنت الأحاديث، ودوِّن كلام علي بن المديني في الرجال جرحاً وتعديلاً.
وترك كذلك آثاراً في فقهه رحمه الله تعالى رحمةً واسعةً.
نسأل الله عز وجل أن يعلي منزلته، وأن يرفع درجته، وصلى الله وسلم على محمد وعلى آله وصحبه وسلم.