قال مقاتل: نزلت في الحارث بن قيس السهمي أحد المستهزئين؛ لأنه كان يعبد ما تهواه نفسه، وقال سفيان بن عيينة: إنما عبدوا الحجارة؛ لأن البيت حجارة، يعني: البيت الذي أقامه إبراهيم حجارة، والمسلم حين يطوف بالكعبة المكرمة المشرفة لا يعبد الكعبة، إنما يعبد الله سبحانه، كما أنه حين يتوجه في الصلاة إلى القبلة، فيتوجه إلى هذا الجدار؛ لأنه سترة، فلا يعبد جداراً، إنما يعبد الله سبحانه تبارك وتعالى، ولا بد من وجهة للعبادة، إما شمال أو جنوب أو شرق أو غرب، فجعل الله القبلة في سرة الدنيا، وأمر كل الخلق أن يتوجهوا إلى هذا المكان بالصلاة ونحو ذلك.
فإذاً الجهة ليست معبودة، وإنما يتوجهون إليها عندما يصفون صفوفاً، وحتى يكون الجميع على قلب واحد، وإلى جهة واحدة، يعبدون رباً واحداً سبحانه تبارك وتعالى.
فهؤلاء الكفار لم ينظروا في ذلك، وإنما نظروا إلى أن البيت من حجر، فعبدوا الأحجار من دون الله.
يقول الحسن وقتادة: ذلك الكافر اتخذ دينه هواه، فلا يهوى شيئاً إلا ركبه، فكانوا يستحسنون الأشياء فيعبدونها، يصنع أحدهم صنماً من العجوة، فإذا جاع أكل صنمه، وهو يعلم أنه لا ينفع ولا يضر، فالكافر يفعل هذا الشيء وبزعمه من أجل ألا يتحكم أحد فيه، فيعبد غير الله بهواه.