ولما لم تصلح الحال بينه وبين عبد العزيز، وحصل نزاع وشقاق قام أهل الإنصاف من ساكني بريدة وقالوا: لما يستقيم الخلاف بينكما والمرجع فيصل في الرياض، فكتبوا إليه بعد وفاة أبيه يؤيدون عبد العزيز، وكان قد أتى لهم الإمام على ما يطلبون فأقر عبد العزيز وقال لابن عرفج يا محمد إن هنا بلاد أحسن من بريدة وهي الجوف، هوائها طيب وجوها معتدل إذا كنت ترغب في الإمارة، وإنما أشار عليه الإمام بها ليبعده عنه لأنه شاعر وله دهاء ولعله أن يقتل بها لأن أهل الجوف إذ ذلك كانوا إذا لم يوافقهم الأمير قتلوه، فذهب بن عرفج أميرًا على الجوف من قبل الإمام، ولكنه على أمر عجيب بحيث أنه لما قدم إلى الجوف أميرًا خطب فيهم خطبةً ظريفة قال فيها يا أهل الجوف لقد علمتم بأنه لم يبعثني الإمام إليكم إلا رغبةً في قتلي إن لم أوافيكم، فأنا الذي لا أخالف رأيكم، بل أكون تبعًا لما تطلبون، فإن شئتم تسجدون وتهللون فأنا زاهدكم، وإن أحببتم الغنا واللهو فأنا رئيسكم، وإن قمتم ترقصون وتصفقون فأنا صاحب الدف أحمله أمامكم، ففرحوا به وسروا، وقالوا هذا الأمير أحسنت فلا نبغي سواك، فاستقام عندهم، وله نكت عجيبة لكنه لا يزال يلهج بذكر بريدة ويقول فيها الأشعار يمتدحها وأهلها بعدم الخلاف لمن تأمر عليهم.

ومن نكته أنه خطب جارية من أهلها وكانت حسناء جميلة، وأهلها لا يزوجونها إلا بإذنها، فأجابت بشرط أن تراه، وكان محمد دميمًا فواعدهم أن يمر من عند بيتهم لتشاهده، فإن بن عرفج ذكره يملأ المسامع غير أن صورته لا تعجب النساء، فالمرأة تميل إلى الجميل كما أن الرجال يميلون إلى الجميلة، فأخذ بن عرفج بيد عبد المحسن آل سديري وذهبا يمشيان حتى مرا من أسفل البيت وهي تنظر فتكلمت جارية من الطاق تدعو ابن عرفج باسمه ليتمز فتنظره، فقال لصاحبه التفت إلى نحو هذا الذي يدعونا ففطن لها عبد المحسن وعلم مقصده، وأبى أن يلتفت إلا بعباءة ثمينة كانت على محمد، فأجابه بذلك فلما التفت السديري وكان فتى نضيرًا عشقته ظنًا منها أنه صاحبها فأجابت إلى زواجه، وتزوجها وبعد الدخول لم تتمكن من الخلاص لإذنها وإجابتها.