В XI веке замок представлял собой большой донжон, окруженный водяными рвами и двойной крепостной стеной, защищенной барбаканами. Это фортификационное устройство оказалось действенным в 1150 году во время осады замка Жоффруа Плантагенетом, королем Англии. Семья Дю Белле, особенно Жиро, противостояли графам Анжуйским, их сюзеренам, которые в ответ на это разорили долину Туе и взяли замок в осаду. В течение нескольких месяцев, невзирая на то, что крепостная стена была разрушена, замок оставался неприступным. Осажденные укрылись в главном донжоне и смогли продержаться долгое время, так как в их распоряжении были мельница, колодец и печь. Кроме того, подземные галереи позволяли Дю Белле иметь сообщение с фортом Ла Мот-Бурбон. 
Другой проход, существование которого в настоящее время ставится под сомнение, связывал замок на западе с аббатством Асньер и проходил под руслом реки Туе. Победа, одержанная графом Анжуйским, в результате которой донжон был частично уничтожен, сопровождалась зловещими предсказаниями. Кюре из Броссе убедил графа в неминуемости его смерти, и действительно некоторое время спустя, купаясь вблизи Шато-дю-Луар во время сильной летней жары, он схватил лихорадку и через несколько дней скончался. На пороге смерти он отказался от исповеди.