خرج ابن السمعاني من مرو ودخل بغداد سنة أربعمائة وواحد وستين، وناظر الفقهاء، ثم خرج منها إلى الحجاز على غير الطريق المعتاد -وهذه القصة تبين أن بعض العلماء عندما كانوا يرحلون في طلب العلم يصابون بمصائب وتحصل لهم حوادث ومع ذلك يتحملون- فهذا يقول: خرجت على غير الطريق المعتاد فأسرني عرب البادية، وكانوا يأخذونني مع جمالهم إلى الرعي، ولم أقل لهم: إني أعرف شيئاً من العلم، فاتفق أن رئيسهم أراد أن يتزوج، فقال: نخرج إلى بعض البلدان نبحث عن فقيه ليعقد لنا، فقال أحد الأسرى: هذا الرجل الذي يخرج مع جمالكم إلى الصحراء فقيه خراسان، فاستدعوني وسألوني عن أشياء فأجبتهم وكلمتهم بالعربية فخجلوا واعتذروا، فعقدت لهم العقد ففرحوا، وسألوني أن أقبل منهم شيئاً فامتنعت، وسألتهم فحملوني إلى مكة في وسط السنة، فبقيت فيها مجاوراً لـ مكة؛ ولقي الحافظ الزنجاني رحمهما الله.