Logo após a Reconquista Cristã, Penamacor foi vila régia. Em 1209 D. Sancho I outorga-lhe Carta de Foral. Nos séculos seguintes, o Castelo é reforçado e ampliado face ao aumento da população e à permanente ameaça dos reinos vizinhos. Durante o século XVII, no decurso da Guerra da Restauração, a velha fortaleza medieval é parcialmente demolida e surge uma estrutura abaluartada que envolve toda a vila.

O Castelo, implantado em promontório rochoso, aproveitando as condições naturais que permitiam alcançar largas vistas, integrava a linha de defesa da fronteira. Hoje, a Torre de Menagem é tudo o que resta da alcáçova de uma das mais importantes fortalezas da Beira. Não se pode, com rigor, situar o ano ou reinado da sua construção. Sabe-se que no início do séc. XVI sofreu obras, provavelmente de reforço ou de restauro. Um testemunho do séc. XVIII ainda a descreve coroada com balcão de matacães assente em cachorrada. A entrada processava-se por uma das dependências assobradadas da alcáçova, através de porta única, situada a cerca de seis metros da base e à qual se acede hoje por escada exterior. O Castelo de Penamacor foi classificado Monumento Nacional em 1973.

A antiga Casa da Câmara de Penamacor é um exemplo perfeito de localização da casa da câmara sobre as portas da vila. Encontra-se no alinhamento da muralha e assenta sobre a primitiva porta da vila, a cujo portal românico se justapôs o portal gótico, originando uma entrada em túnel. Por simples observação depreende-se que o edifício atual resulta de várias intervenções ao longo dos últimos séculos. No interior encontram-se dois compartimentos: o mais pequeno servia para o escrivão da Câmara, no mais amplo realizavam-se as sessões. Aqui reuniram e deliberaram os vereadores do concelho até aos anos 1800, altura em que a Câmara transitou para a atual localização, junto ao Terreiro de Santo António. Despojado das suas antigas funções, o edifício viria a servir de paiol da guarnição militar, e, já em 1949, foi sede do núcleo embrionário do Museu Municipal. Entre 2005 e 2010 acolheu o Posto de Turismo.

O Castelo, implantado em promontório rochoso, aproveitando as condições naturais que permitiam alcançar largas vistas, integrava a linha de defesa da fronteira. Hoje, a Torre de Menagem é tudo o que resta da alcáçova de uma das mais importantes fortalezas da Beira. Não se pode, com rigor, situar o ano ou reinado da sua construção. Sabe-se que no início do séc. XVI sofreu obras, provavelmente de reforço ou de restauro. Um testemunho do séc. XVIII ainda a descreve coroada com balcão de matacães assente em cachorrada. A entrada processava-se por uma das dependências assobradadas da alcáçova, através de porta única, situada a cerca de seis metros da base e à qual se acede hoje por escada exterior. O Castelo de Penamacor foi classificado Monumento Nacional em 1973.

Adossada à muralha medieval, esta torre foi peça importante na defesa das portas da vila. A sua construção remonta, provavelmente, a meados do séc. XIV. As atuais ameias e campanário resultam da reconstrução operada em meados do séc. XX, para receber o novo relógio carrilhão instalado em 1956, em substituição do antigo, que já vinha do séc. XIX. As numerosas inscrições que se observam no aparelho de cantaria são marcas de canteiro.

O pelourinhos são antigos símbolos de autonomia administrativa e judicial. Junto deles se proclamavam os editais e, por vezes, se executavam sentenças. O pelourinho de Penamacor é considerado peça única no Distrito de Castelo Branco, por manter ainda as argolas nos seus ganchos de ferro forjado. Seguindo a regra, situa-se junto à Câmara, donde emanavam as decisões das autoridades públicas. O terreiro contíguo serviu, primeiramente, de praça pública e mercado e, mais tarde, quando aquelas funções se deslocaram para o arrabalde, como cemitério, situação que se verificava ainda no início do séc. XIX. A data inscrita no brasão de armas da vila, na face sul do capitel, é de 1565.

As Misericórdias foram instituídas em Portugal com o alto patrocínio da rainha D. Leonor, a partir de 1498, com a finalidade de assistir aos pobres e enfermos. A Misericórdia de Penamacor data, certamente, do reinado D. Manuel I (1495-1521), em cuja época a vila regista um assinalável surto de crescimento urbano, atestado pelos numerosos apontamentos arquitetónicos disseminados pelo arrabalde, de feições caracteristicamente manuelinas, cujo o melhor exemplo é o bonito portal da própria igreja, com as suas arquivoltas ornadas de motivos vegetalistas, típicos do gótico final português. No interior sobressai o altar-mor, em talha de estilo nacional, bem como as magníficas imagens de Nossa Senhora das Dores e do Senhor dos Passos, que ocupam os altares laterais. À porta da Misericórdia funcionou, até ao primeiro quartel do séc. XX, a roda dos expostos, artifício pelo qual se recebiam os recém-nascidos enjeitados. Por tradição, que ainda se mantém, cabe ao sino da Misericórdia anunciar o falecimento dos naturais da vila.

Não se conhece, em rigor, a data de construção da Igreja de São Tiago, embora alguns apontamentos arquitetónicos, próximos da renascença, e a sua localização no arrabalde (por conseguinte, num momento em que a vila já havia transbordado há muito para fora das muralhas medievais),  apontem para o séc. XVI, ou mesmo para tempos mais recuados. A fachada foi alvo de algumas transformações ao longo dos tempos. Em meados do séc. XX apresentava uma varanda assente no friso sobre o portado principal, onde no séc. XIX havia existido um óculo e no presente se observa o nicho com a figura de São Tiago, sob o óculo entretanto reposto. O interior é composto de três naves, separadas por amplos arcos sustentados por elegantes pilares de granito, e capela-mor, cuja abóbada apresenta uma pintura representando a Trindade. O transepto apenas é sugerido pelos dois altares laterais que se opõem entre si, no conjunto dos quatro existentes no corpo da igreja. A notória inclinação do campanário é razão de alguém, por gracejo, já lhe ter chamado a “Torre de Pisa” de Penamacor.

Fundado em 1571 pelos Frades Capuchos de São Francisco, a rogo dos “principais” da vila de Penamacor, oficiais da Câmara e do próprio Bispo da Diocese da Guarda junto do Ministro Provincial da Ordem, o Convento de Santo António foi construído com a ajuda das rendas do concelho, doações de fidalgos, abastados da terra e com a mão de obra voluntariosa de toda a população. A partir de 1834, com a extinção das Ordens Religiosas e nacionalização dos seus bens, o edifício conhece vários usos. Entre períodos de abandono e degradação é sucessivamente Hospital (1867–1905), Centro de Saúde (1975-1990) e Centro de Dia assistencial para idosos. Em 1946, o Ministério de Assuntos Sociais entrega à Misericórdia o hospital e todos os seus bens, incluindo o Convento. A estrutura arquitetónica do conjunto prima pela sobriedade, destacando-se a fachada da igreja, onde se evidenciam elementos clássicos, e o claustro, de dois andares, de proporções igualmente clássicas. O interior da igreja surpreende pelo brilho da talha que reveste o altar-mor e o púlpito, de cunho barroco, os dois altares laterais, ambos de feição clássica, e o teto de caixotões decorados com motivos picturais tipicamente barrocos. Curiosas pinturas orientalistas podem ser ainda vislumbradas no cadeiral do coro, talvez relacionadas com o papel evangelizador dos franciscanos no Extremo Oriente. Na sacristia sobressaem os quadros de episódios da vida do grande taumaturgo e patrono do Convento, Santo António. Da imagística de outrora restam as figuras dos patronos São Francisco e Santo António e uma da Nossa Senhora da Conceição.

Além dos monumentos emblemáticos, que integram habitualmente os roteiros e cartas turísticas, existe uma grande variedade de motivos de interesse patrimonial para os quais urge chamar a atenção e despertar consciências com vista à sua preservação por parte de cada um.