Construído no local da antiga residência episcopal, o Paço dos Três Escalões destinou-se, na origem, a seminário ou colégio para a formação do clero. Uma lápide comemorativa certifica que as obras tiveram início a 6 de Junho de 1593, prolongando-se pela primeira metade do séc. XVII. De concreto, sabe-se apenas que, por volta de 1613, as obras eram dirigidas por Domingos Rodrigues, designado como «pedreiro e mestre das obras do Seminário», residente em Viseu, e que em 1630 alguns trabalhos, eventualmente de acabamento, decorriam ainda no interior do edifício. Já no séc. XVIII, durante a vacância de 1720-1741, no mesmo período em que se construiu o piso superior do Claustro da Catedral, foi-lhe acrescentado também o piso superior.
Embora se desconheça a autoria do projeto original, é provável que se deva a um arquiteto de origem castelhana, à semelhança do que sucedeu com o da atual fachada da Catedral, encomendado ao salamantino João Moreno.
Configurando uma das alas da Praça do Adro, o emblema maior do valor patrimonial da cidade, o Paço dos Três Escalões é um extenso e imponente maciço granítico que não tem, na forma e na escala, qualquer paralelo na cidade. Singular na relação entre sobriedade e monumentalidade, sobretudo pela fachada Norte, bem mais extensa e elevada sobre enormes rochas graníticas, desenvolve-se interiormente em longas galerias, onde pontuam ainda, apesar dos diversos tipos de utilização e das profundas alterações de que foi objeto no decurso do tempo, diversos elementos originais, incluindo os fogões-de-sala classicistas.
Ao contrário do que sucedia com o exterior, já que o edifício conserva genericamente uma marca identitária singular e poderosa, o interior, objeto de obras sucessivas de readaptação aos mais diversos serviços que ao longo dos séculos aí se foram instalando, ainda antes da ocupação do museu, e chegando mesmo a coincidir com ele, encontrava-se profundamente degradado e descaracterizado, essas longas galerias só viriam a ser ocupadas pelas coleções museológicas em 1938.
Um complexo problema de acesso dos públicos e das coleções, a incapacidade de sustentação do acervo em bom estado de conservação e de um conjunto de infra-estruturas básicas de funcionamento, entre outros, inscreviam-se no vasto elenco de problemas do edifício, em período anterior ao da intervenção profunda de que foi objeto, segundo o projeto do Arquiteto Eduardo Souto Moura, que entre 2001 e 2003 libertou o interior dos muitos elementos apostos e desvirtuantes, e adaptou-o às exigências de um programa museológico novo.
