وفي عام 1961م تشكلت أول جمعية للطلبة المسلمين، وضمت الطلاب القادمين من مختلف البلدان الإسلامية للدراسة في اليابان، وقد كونت جمعية الطلبة المسلمين وجمعية مسلمي اليابان أول مجلس مشترك للدعوة في اليابان: هو المجلس الإسلامي المشترك الذي ضمّ ممثلين من جمعية مسلمي اليابان وجمعية الطلبة المسلمين، وظل جهاز الدعوة يخطط لنشر الإسلام في اليابان حتى عام 1966م؛ فنشر رسائل عديدة عن الإسلام، وأصدر جريدة إسلامية وقام بالدعوة، ونظم دروسا تربوية عملية للشباب المسلم الياباني وغير الياباني، وابتعث العديد من الشباب الياباني للدراسة في البلاد الإسلامية، وفي أوائل 1966م طور المجلس نفسه وضم ممثلين عن الجمعيات الإسلامية الأخرى، مثل الجمعية التركية وجمعية الطلبة الأندونيسيين، وأطلق على نفسه المركز الإسلامي الدولي، ونشط هذا المركز لمدة قصيرة اعتراه الضعف بعدها؛ نظرا لعودة أكثر الطلبة النشطين إلى بلادهم بعد انتهاء الدراسة؛ فأصاب العمل الإسلامي في اليابان انحسار شديد.

وفي أوائل السبعينات جرت محاولات لإحياء المركز الإسلامي مرة أخرى؛ فتعاون الداعية الباكستاني سيد محمد جميل مع جمعية الطلبة المسلمين وأسس مركزا للدعوة سرعان ما تقلص؛ نظرا للظروف السياسية التي سادت باكستان في ذلك الوقت، ولنقص الدعم المادي.

وفي أواخر عام 1973م عاد بعض الخريجين ممن كان يعمل في جمعية الطلبة المسلمين مرة ثانية لليابان؛ بناء على الطلب الذي تقدمت به الجمعية لجلالة المرحوم الملك فيصل بن عبد العزيز إبان زيارته لليابان للعمل على تنشيط الدعوة الإسلامية في اليابان؛ فقام هؤلاء بالتعاون مع المهتمين بالدعوة من المسلمين اليابانيين وغير اليابانيين بإنشاء المركز الإسلامي في اليابان كصيغة جديدة للمركز الإسلامي الدولي.