لقد كان ابن المبارك شاعراً وأديباً، كما كان إماماً في الفقه والحديث والتفسير واللغة وغيرها من الفنون، وكان والده يحفزه على حفظ الشعر وهو صغير ويكافئه على حفظ القصيدة بدرهم، وكان ابن المبارك شاعراً مجيداً صادق اللهجة فلذلك كان لشعره وقع في النفوس، ولاسيما أنه كان مليئاً بالحكم والمواعظ والنصح.
قال الدكتور نزيه حماد:
وشعر ابن المبارك ليس بالقليل، غير أنه منثور في بطون مدونات العلم وكتب التراجم وأسفار التاريخ والأدب، ويحتاج لمن ينقب عنه في مظانه، ويعرف الناس بيواقيته ودرره ونفيس مكنوناته، وإنه لمهم حقاً باعتباره يمثل نموذجاً رفيعاً رائعاً من شعر الزهاد الأوائل والمجاهدين الحكماء من السلف الصالح، فصاحبه قد قضى عمره في الجهاد والرباط والعلم والزهد، فجاء شعره مرآة صادقة لتلك النفس الإنسانية السامية التي ارتقت في مدارج الكمال وعلت في مراتب الفضيلة ومقامات الإيمان والإحسان.
وقد وصف الإمام الذهبي في سير أعلام النبلاء موهبته الشعرية الصادقة بقوله: "كان ابن المبارك رحمه الله شاعراً محسناً قوالاً بالحق1 أ. هـ
ومن شعره ما يلي:
قال الذهبي: قال أحمد بن جميل المروزى: قيل لابن المبارك إن