Мать Одри – баронесса Эльбриг Вильгельмина Генриетта ван Асбек – была голландкой из древнего аристократического рода, в котором были как крупные землевладельцы, офицеры, так и чиновники высокого ранга и придворные. Семейное древо ван Хемстра, в котором взросла баронесса Элла ван Хемстра, мать малышки Одри, вело свой отсчет с самого начала XVI века. Мать знаменитой актрисы родилась 12 июня 1900 года в фамильном поместье в Вельпе, в пригороде Арнема (расположенного в нескольких километрах юго-восточнее Амстердама). Но в детстве она жила в другом фамильном замке, который носил название Доорн. Кроме нее в семье было еще пятеро детей: четыре дочери и сын (по другим сведениям, в семье было девять детей). В венах баронессы Эллы бушевала смесь голландской, французской и венгерской крови.