وفي السابعة عشرة من عمره اعترف أنه "مغرم بالنساء والنبيذ أكثر من أي شيء آخر" وكان من بين خليلاته الأوليات - ماري روبنسون التي فتنته بقيامها بدور بيرديتا Perdita في حكاية شتاء صلى الله عليه وسلم Winter's Tale، وظل ينفق عليها ببذخ طوال ثلاث سنوات· ثم كوَّن علاقة أكثر جدية مع ماريا آن فيتزهيربرت Maria صلى الله عليه وسلمnne Fitzherbert التي ترمَّلت مرّتين (مات عنها زوجها فتزوجت غيره ومات بدوره) وكانت كاثوليكية وأكبر منه بست سنوات، وكانت رقيقة لطيفة متحررة وقد رفضت أن تكون خليلته لكنها لم تمانع في الزواج منه·

وكان قانون وراثة العرش الذي كان قد أعطى عرش إنجلترا لأسرة هانوفر قد استثنى من حق المُلك كل من يتزوج كاثوليكية أو تتزوج كاثوليكياً، كما منع قانون 1772 أي فرد في الأسرة المالكة دون الخامسة والعشرين من الزواج دون موافقة الحاكم· ومع هذا فقد تزوج الأمير من السيدة ماريا فيتزهيربرت (1785) بعد أن دفع لراعي أبرشية شاب خمسمائة جنيه ليقوم بإجراءات (طقوس) الزواج غير الشرعي، مما أدى إلى احتفاظه بحق وراثة العرش إذ ادعى هذا الحق في سنة 1788 عندما انتابت والده نوبة خَبَل فراح يترقب موت والده بصبر نافد، وقلما كان الابن وأبوه على وفاق·

وعلى كل حال فقد كان هناك اتفاق أنه إذا دفع الملك (عملياً البرلمان) ديون الأمير (110,000 جنيه إسترليني) قام الوريث الظاهر بترك زوجته الأدنى منه منزلة وتزوج قريبة والده الأميرة كارولين البرونسفيكيه of رضي الله عنهrunswick· لقد بدت في عينيه دميمة غير مشجعّة، وبدا في عينيها سميناً مقززا، لكنهما تزوجا في 8 أبريل 1795، وقد أكدت كارولين فيما بعد أنه قضى ليلة العُرس (الدُّخْلة) وقد أضاع الشراب همّته· وعلى أية حال فقد أنجبت له بنتاً في 7 يناير 1796 (الأميرة شارلوت Charlotte) وسرعان ما فارقها وعاد لفترة إلى زوجته السابقة السيدة فيتزهيربرت التي كانت فيما يبدو المرأة الوحيدة التي أحبها بعمق· (عندما مات وجدوا صورتها معلقة على صدره) ·