وكان عبد الله قد رجع ضعيفًا مع قريش لما رجعوا من تجارتهم، ورموا بالمدينة يثرب، فتخلف عند أخواله بني عدي بن النجار، فأقام عندهم مريضًا شهرًا، فلما قدم أصحابه مكة سألهم عبد المطلب عنه فقالوا: خلفناه مريضًا، فبعث إليه أخاه الحارث فوجده قد توفي، ودفن في دار التابعة، وقيل دفن بالأبواء.
وقالت آمنة زوجته ترثيه:
عنا جانب البطحاء من آل هاشم ... وجاور لحدًا خارجًا في الغماغم