ولما اتسعت الدولة الإسلامية لتشمل الجزيرة، كان لابد من إرسال الولاة إلى أطراف الدولة المختلفة يعهد إليهم بالقضاء كجزء من أعمالهم في إدارة شؤون الولاية، فبعث عليّا إلى اليمن وقال له: «ادعهم إلى الإسلام ... واقض بينهم» فقال: لا علم لي بالقضاء، فدفع في صدره وقال: «اللهم اهده للقضاء» (?) ويلاحظ أن النبي صلّى الله عليه وسلم كان يزود قضاته بمجموعة من التوجيهات، ومن ذلك ما رواه علي قال: بعثني رسول الله إلى اليمن قاضيا فقلت: يا رسول الله، ترسلني وأنا حديث السن، ولا علم لي بالقضاء، فقال: «إن الله سيهدي قلبك ويثبت لسانك، فإذا جلس بين يديك الخصمان فلا تقضين حتى تسمع من الاخر كما سمعت من الأول، فإنه أحرى أن يتبين لك القضاء» ، قال علي: فما زلت قاضيا أو ما شككت في قضاء بعد (?) . وتشعر الروايات أن عليّا بقى قاضيا في اليمن حتى جاء إلى النبي صلّى الله عليه وسلم في حجة الوداع ولم يرجع إليها بعد ذلك (?) .

كما بعث معاذ بن جبل وأبا موسى إلى اليمن عام فتح مكة، أي في أواخر السنة الثامنة للهجرة، وقيل: قبل حجة الوداع، ولكن المصادر لا تذكر تاريخا محددا لإرسال كل من علي ومعاذ وأبي موسى إلى اليمن، ويمكن القول أن عليّا ذهب لفترة قصيرة ثم عاد إلى المدينة حيث شارك في حجة الوداع (10 هـ) (?) ثم أرسل النبي صلّى الله عليه وسلم معاذا وأبا موسى إلى اليمن، وبقيا في اليمن حتى وفاة الرسول صلّى الله عليه وسلم.

وكانت اليمن قد قسمت بين معاذ وأبي موسى، فكان لمعاذ الجهة العليا صوب صنعاء (اليمن الشمالي حاليّا) ، وكان من عمله أيضا الجند، وهو مكان يبعد عن صنعاء ثمانية وخمسين فرسخا (?) ، وكانت جهة أبي موسى السفلى (اليمن الجنوبي حاليّا) ، وكان كل واحد منهما إذا سار في أرضه صار قريبا من صاحبه، فيزوره ويسلّم