Пытаясь устроить подопечных сирот в юнги, Каролина обзавелась знакомствами среди проживавших поблизости моряков. Они захаживали в дом к веселой принцессе, и по округе пошли пересуды. Слухи были небезосновательными. Одним из предполагаемых любовников Каролины стал капитан Томас Манби, взявший двух ее мальчишек юнгами на фрегат. Другим – морской офицер сэр Сидни Смит, который к 37-ми годам повидал весь свет и был удостоен рыцарского титула. Сэр Сидни помогал Каролине декорировать одну из гостиных на манер восточного шатра. Принцесса звала его приходить почаще, тем более что квартировал он неподалеку – у общих друзей сэра и леди Дуглас.