A Vila de Nossa Senhora é composta pela antiga Leprosaria de Ká-Hó, a Igreja de Nossa Senhora das Dores e outras construções acessórias, sendo a única ruína de uma antiga leprosaria que que se conservou até ao pesente em Macau. A sua história faz parte do processo histórico mundial de prevenção e tratamento da doença da lepra, ou doença de Hansen. Esta foi uma das doenças contagiosas mais cedo registadas e amplamente disseminadas na história da civilização humana. Quer na história ocidental, quer na história chinesa, a doença de Hansen foi durante muito tempo objecto de preconceitos e discriminações religiosas e sociais. O isolamento foi a forma de tratamento universal.
Macau foi o primeiro lugar no Extremo Oriente onde se estabeleceu uma instituição para o tratamento da doença de Hansen, o que demonstra a preocupação secular da sociedade de Macau com a assistência médica e social aos leprosos, testemunhando a propagação do humanismo ocidental no Extremo Oriente.
A história da prevenção e tratamento da lepra em Macau começou no século XVI. Em 1568, o Bispo D. Belchior Carneiro criou uma leprosaria dependente da Santa Casa da Misericórdia de Macau. Devido às necessidades de tratamento em isolamento, a leprosaria foi localizada no exterior das muralhas da cidade (actualmente, o Bairro de São Lázaro). Em consequência do desenvolvimento urbano de Macau na segunda metade do século XIX, os leprosos foram transferidos para Pac Sa Lan, na Ilha da Montanha. Em 1883, após a destruição da leprosaria de Pac Sa Lan por um tufão, e também devido à necessidade de separar os doentes masculinos e femininos, o governo português de Macau construiu novas leprosarias em Pac Sa Lan e em Ká-Hó, Coloane. A Leprosaria de Ká-Hó, concluída em 1885, acolhia exclusivamente doentes do sexo feminino (na actual localização).
Em 1929, o governo português de Macau reconstruiu a Leprosaria de Ká-Hó. As novas instalações, inauguradas em 1930, eram compostas por cinco pavilhões independentes e um capela de estilo arquitectónico ecléctico, distribuídos de acordo com a topografia numa pequena elevação junto ao mar, na costa Leste de Coloane, formando um arruamento em arco. Cada pavilhão era servido por um anexo no qual se localizavam a cozinha e as instalações sanitárias. O acesso ao conjunto de habitações era feito por mar, através de um cais construído para o efeito.
Embora a Leprosaria de Ká-Hó fosse gerida e financiada pelo Governo, a Diocese de Macau tinha um papel importante nos cuidados prestados aos leprosos. Existem registos desde o início do século XX, de visitas periódicas de religiosos prestando serviços assistenciais. Inicialmente, a Leprosaria de Ká-Hó não dispunha de instalações de alojamento para visitantes nem de uma estrada que permitisse o acesso desde as povoações de Coloane. Os religiosos precisavam de viajar até ao Cais de Coloane nos barcos da carreira das ilhas e, em seguida, fazer a ligação para Ká-Hó noutra embarcação. Na década de 60 as condições de acessibilidade e residência na Leprosaria de Ká-Hó obtiveram melhoramentos. Em 1962, o então Governador de Macau decretou no sentido de melhorar o ambiente sanitário da leprosaria, ordenando que os Serviços de Saúde levassem a cabo inspecções periódicas. Foram ainda concessionados terrenos para actividades agrícolas dos leprosos. A partir deste ano construíram-se estradas, residências para os religiosos que prestavam assistência, dormitórios e consultórios médicos.
Com o avanço da medicina, a doença de Hansen deixou de ser incurável, permitindo a recuperação gradual de muitos leprosos após a década de 80 do século XX. Em 1992, o Instituto de Acção Social (IAS) construiu o Lar de Cuidados de Ká-Hó, onde foram acolhidos mais de 20 leprosos idosos já curados. Actualmente, o antigo lar encontra-se desocupado e a Leprosaria de Ká-Hó terminou a sua missão na prestação de cuidados médicos.