أستاذه الذي يكرمه ويبجله، فثار لأستاذه ابنه شمس الدين عبد الرحمن (?) فوكل أمر الطوفي إلى بدر الدين بن الحبال (?)،- أحد النواب- أو رجال الإدارة في تلك السنة- وسرعان ما أشهد هذا عليه بالرفض، وأخرج بخطه هجوا في الشيخين ... ثم مضت الحيلة في الطريق المرسوم فعزر الطوفي وطيف به ثم نفي إلى قوص وقيل: نفي إلى الشام، وكان قد هجا أهلها فتوجه إلى دمياط ثم إلى قوص ولقي بها جماعة من العلماء.

وبقي في قوص عدة سنوات ولم يتوان عن القراءة والاطلاع والتحصيل فقرأ الحديث وصنف كثيرا من الكتب حتى يقال: إن له خزانة كتب بقوص.

يقول كمال الدين جعفر الأدفوي (?):" كان كثير المطالعة، أظنه طالع أكثر كتب خزائن قوص" (?).

واشتغل فيها بالتأليف فقد ألف فيها عددا من كتبه منها" الصعقة الغضبية في الرد على منكري العربية".