من قبائل اليمن، وقيل هو مولى بجيلة بن أنمار بن إراش بن الغوث، وإنما قيل له الجرمي لأنه كان ينزل فيهم. وقيل إنه مولى قريش. مات سنة خمس وعشرين ومائتين في أيام المعتصم، وكانت وفاته بأصبهان، وكان يلقب بالكلب النبّاح لأنه كان يذهب إلى أبي زيد الأنصاري فيناظره ويصايحه فلقب بذلك. وكان يلقب بالمهارش لأنه كان لا يرى إلا ناظرا أو مناظرا. وهو بصري قدم بغداد فأخذ عن يونس بن حبيب العربية وأخذ اللغة عن أبي عبيدة وأبي زيد الأنصاري والأصمعي ومن في طبقتهم وقرأ كتاب سيبويه على أبي الحسن الأخفش سعيد بن مسعدة وكان رفيقا لأبي عثمان المازني، وأخذ منه المبرد والمازني وغيرهما وناظر الفراء، وانتهى إليه علم العربية في وقته فكان عالما بالعربية واللغة فقيها ورعا، وخولط في آخر عمره لأنه كان توأما ومن خولط في الرحم يصيبه شيء.

وقال الجرمي: أنا منذ ثلاثين سنة أفتي الناس في الفقه من كتاب سيبويه، فقيل له: وكيف ذاك؟ قال: أنا رجل مكثر من الحديث، وكتاب سيبويه يعلمني القياس، وأنا أقيس الحديث، وأفتي به.

قال أبو عمر الجرمي يوما في مجلسه: من سألني عن بيت من جميع ما قالته العرب لا أعرفه، فله عليّ سبق. فسأله بعض من حضر، فقال: كيف تروي (السائل: أبو عثمان المازني) :

من كان مسرورا بمقتل مالك ... فليأت نسوتنا بوجه نهار

يجد النساء حواسرا يندبنه ... قد قمن قبل تبلّج الأسحار

قد كنّ يخبأن الوجوه تستّرا ... فاليوم حين بدون للنظار

فقال: كيف تروي «بدأن» أو «بدين» ؟ فقال له: بدأن. فقال: أخطأت،