История замка Лош тесно связана с историей Франции. Изначально он принадлежал графам Анжуйским. Начиная с Х века на вершине скалистого утеса возвышалась деревянная башня, служившая защитой для прилегающего к ней селения и связанная с ним подземными переходами, проложенными в скалах.
В Лоше был построен донжон между 1005 и 1070 гг. По сторонам его размеры составляли 25 х 15 м, высота превосходила 38 м, а толщина стен колебалась между 2-3 м. Стены были прорезаны бойницами и увенчаны машикулями, через которые бросали метательные снаряды на осаждавших крепость врагов. Внутри на трех этажах расположены камины, стояки которых видны на крыше.
Графы Анжуйские оставались хозяевами прилегающих поместий, до тех пор пока последний из Фульков не женился на дочери герцога Нормандии, который был также королем Англии. Их сын Генрих План-тагенет был избран королем Англии в 1154 году и вскоре вынужден был выступить против короля.