التطاول على الحرم، أي على هذا الحمى، بقطع شجره وتحويل أرضه إلى بناء، أو بإبقاء بعض أشجاره في داخل الدور، بقوا ينظرون إلى ذلك الشجر الباقي في البيوت نظرة هيبة وتقدير، باعتبار أنه من بقايا الحرم القديم. وبذلك صغرت مساحة الحرم، وقلت مساحته، حتى اضطر الخليفة "عمر" إلى توسيعه بشراء البيوت التي أقامها الناس عليه وإدخالها في الحرم من جديد، وذلك حين ضيق الناس على الكعبة وألصقوا دورهم بها، فقال: "إن الكعبة بيت الله، ولابد للبيت من فناء، وأنكم دخلتم عليها ولم تدخل عليكم"، فاشترى بعض الدور من أهلها وهدمها وبنى المسجد المحيط بها، ثم اشترى عثمان دورًا أخرى وأغلى في ثمنها1 ثم زاد في المسجد من جاء بعدهما حتى وصل إلى النحو الذي هو عليه الآن.

ولم يكن للحرم في الجاهلية سور، إنما كانت تحدد معالمه وحدوده أنصاب نصبت على أطرافه. لتكون علامة على ابتدائه وانتهائه. أما ما نراه في الوقت الحاضر من وجود سور مرتفع له، أي حائط به غرف، فإنه مما حدث في الإسلام. وذكر أهل الأخبار أن الحرم قد ضرب على حدوده بالمنار القديمة التي بَيَّنَ إبراهيم مشاعرها، وكانت قريش تعرفها في الجاهلية والإسلام، لأنهم كانوا سكان الحرم، ويعلمون أن ما دون المنار إلى مكة من الحرم، وما وراءها ليس من الحرم. فما كان دون المنار، فهو حرم لا يحل صيده ولا يقطع شجره، وما كان وراء المنار، فهو من الحل يحل صيده، إذا لم يكن صائده محرمًا2.