Por entre as muralhas do castelo, ou o que resta delas, encontram-se vestígios da passagem dos judeus, nomeadamente o edifício da antiga sinagoga. A vinda de judeus para a região está relacionada com a fuga dos mesmos de Espanha, o que originou uma “explosão” de população judaica em alguns locais, como é o caso de Freixo de Numão, vila do concelho de Vila Nova de Foz Côa.
No entanto, os judeus não tiveram a vida facilitada nesta região, isto porque em meados de 1808, sucedeu-se um ataque a quando das invasões francesas, o que originou centenas de judeus mortos na região.