В мае 1940 года Голландию заняли германские войска. Одри оказалась в оккупации.
А ведь летом 1939 года они с матерью отдыхали в Англии у родственников и с началом войны могли остаться там. Но Элла была уверена, что нейтральной Голландии ничего не грозит, и вернулась на родину, где поселилась в городе Арнеме. Это было ее большой ошибкой, да и не только ее – никому из семьи ван Хеемстра не пришло в голову уехать из страны.
Они довольно быстро поплатились за свое легкомыслие – вскоре после оккупации их счета были арестованы, а ценности конфискованы. Никогда не знавшие материальных проблем, ван Хеемстры оказались на грани нищеты. Но на этом их несчастья не закончились: вскоре один из братьев Одри был схвачен и отправлен в лагерь за связь с Сопротивлением, другой оказался в плену, и о нем до конца войны ничего не было известно, а дядя и два кузена попали в облаву и были расстреляны.
Одри вспоминала, что жила в то время в постоянном иррациональном страхе: «Я не боялась, не попаду ли я, как многие молодые девушки и женщины, в дома, предназначенные для «развлечения» германских офицеров и других мужчин. И я не знала, не заберут ли меня на день или на неделю на уборку или на полевую кухню. Я знала лишь, что мне двенадцать лет и мне страшно».