قلعة دمشق يوم الإثنين الرابع والعشرين من ذي القعدة سنة (595هـ)، وتكلموا معه في مسألة العلو، ومسألة النزول، ومسألة الحرف والصوت، وطال الكلام، فظهر عليهم الحافظ عبد الغني بالحجة، فقال له الصارم برغش والي القلعة: كل هؤلاء على ضلال، وأنت على حق؟ فقال: نعم، فأرسلوا من كسر منبره في الجامع، ومنعوه من الجلوس فيه، فضاق ذَرعاً، ورحل إلى بعلبك، ومنها إلى مصر، فنزل عند الطحانين، وصار يقرأ الحديث، فنفق بها سوقه، وصار له حشد وأصحاب، فثار عليه الفقهاء بمصر أيضاً، وكتبوا إلى الوزير صفي الدين بن شُكر، فأقر نفيه إلى المغرب، غير أن الحافظ عبد الغني مات قبل وصول كتاب النفي إليه (?).
كان لا يضيّع شيئاً من وقته، يصلي الفجر، ويقرأ القرآن أو الحديث، ثم يتوضأ، ويصلي الكثير من النفل إلى قبيل الظهر، ثم ينام سويعة، ثم يصلي الظهر، ويقبل على التسميع، والتسبيح إلى صلاة العصر فيصليها، ويتابع ما كان عليه إلى الغروب، فيفطر إن كان صائماً، ويصلي المغرب، وينتقل إلى العشاء فيصليها، وينام إلى نصف الليل، ثم يستيقظ فيتوضأ، ويصلي إلى قبيل الفجر، فينام قليلاً، ثم يستيقظ لصلاة الفجر، وهكذا دواليك (?).