وفي سنة 1820 بدأ العمل في زراعة حديقة، وهاجم مشاكله بشجاعة حربية وانضباط· لقد جنّد كل مستعمرته للعمل في المشروع فسعدوا بالخروج على روتينهم اليومي وانخراطهم في الحفر وجر عربات المزرعة والزرع والري وإزالة الأعشاب الضارة· وبادر السير هدسون لو - في مبادرة ودية منه - إلى إرسال النباتات وأدوات الزراعة لسجينه· وازدهرت الحديقة فسرعان ما أنبتت خضروات طازجة راح نابليون يأكلها ببهجة· وتحسنت صحته بشكل ملحوظ· لكن بعد أن تمّ استهلال محصول الحديقة وساد الطقس السيئ عاد نابليون إلى كسله قابعا خلف الأبواب·

وسرعان ما عاودته الآلام وحاصرته في جبهات عديدة: آلام في الأسنان، صداع، طفح جلدي، تقيّؤ، دوسنتاريا dysentery، برودة أطراف، وساءت قرحته، وداء السرطان الذي تبين أنه مصاب به بعد تشريح جثته، اتضح أنه كان قد بدأ يُسبب له آلاما متواصلة· لقد أثرت هذه المعاناة الجسدية في مزاجه بل وحتى في عقله، فأصبح متشائما سريع الهياج، مُحِسّا بالمرارة، بل إنه راح ينظر لما حققه من فخار وعظمة على أنهما شيء تافه، مستعداً للإساءة سريع التسامح، يَعُد البنسات القليلة ويعطي - برغبته - مبالغ كبيرة· وفي سنة 1820 وصف حالته بجزع:

"كيف سقطت؟! أنا - الذي كان نشاطي لا حد له· أنا الذي لم أخلد للراحة! أيصبح هذا حالي؟ كسولا بليدا خَدِرا! لقد أصبحت أبذل جهدا لأفتح عيني (لأرفع الجفن عن عيني) لقد كنت في بعض الأحيان معتاداً أن أُملي في مختلف الموضوعات على أربعة أو خمسة من السكرتيرين يكتبون بالسرعة نفسها التي بها أتحدث، لكنني كنتُ وقتها نابليون··· أما الآنا فأنا لا شيء···· إنني حي لكنني ميت"·