O número de marcas existentes é inumerável, o que faz desta cidade um ponto único de passagem.
Pelas referências à existência da comunidade judaica deixadas pela cidade, presume-se que houve uma sinagoga mas ainda sem qualquer confirmação.
Para além disso Castelo Branco é a cidade berço de um explorador judeu chamado Afonso de Paiva, bem como algumas das figuras principais da história da medicina internacional, Amato Lusitano e Elijah Montalto, duas personalidades relevantes para a medicina. Durante os séculos XVI, XVII e XVIII, foram levantados 400 processos na inquisição dentro da área intra-muralhas da vila. A influência do judaísmo e marranismo nesta cidade foi tão vincada que no jardim dos bispos do Paço Episcopal, a estátua do cardeal rei D. Henrique 1º (Inquisidor do reino), é exposta em formato pouco notório.