Kabar itu berhembus ketika dirinya menjalin hubungan dengan Peter Townsend.
Seorang pria bernama Robert Brown percaya Putri Margaret diam-diam melahirkannya pada 5 Januari 1955.
Dia mengklaim dia dikirim ke Kenya untuk dibesarkan karena, pada saat itu sang putri belum menikah dan melupakan perpisahannya dari Peter Townsend.
Brown tidak pernah dikonfirmasi sebagai putra Putri Margaret, namun dia percaya bahwa ia adalah anak tidak sah dari Putri Margaret dan Kapten Grup Peter Townsend, mantan pilot RAF yang bernasib naas dengan sang putri.
Jika dia terbukti sebagai anak haramnya, Brown akan berada di urutan kedua belas dari takhta.
Mr Brown lahir pada tanggal 5 Januari 1955 di Nairobi, Kenya, meskipun kelahirannya tidak terdaftar sampai 2 Februari, dan akta kelahiran tertulis pada tanggal 4 Juni 1955.
Dia mengatakan jIka dirinya diperkenalkan kepada Putri Margaret ketika dia berusia dua tahun.
Orang tuanya terdaftar sebagai Cynthia dan Douglas Brown. Cynthia adalah model masyarakat yang bekerja untuk Hardy Amies, mantan penata rias Ratu, sementara Douglas ditugaskan ke Kenya bersama tentara selama perang dunia kedua.