O Pagode de Sam Seng (Ká-Hó) foi construído no 9.º ano do reinado do imperador Guangxu da Dinastia Qing (1883). De acordo com a documentação histórica, o pagode original, de menores dimensões, era dedicado ao deus Hong Seng. Este pagode foi construído nos inícios do reinado do imperador Tongzhi da Dinastia Qing (década de 1860) e ter-se-á arruinado nos tempos de Guangxu, depois de 1875. Em 1883, foi construído um novo pagode dedicado não só ao culto de Hong Seng, como também ao culto de Tam Kong e Kuan Tai. O novo templo ficou conhecido como Pagode de Sam Seng, o que significa “Pagode dos Três Deuses”. Destes três deuses, Hong Seng é também conhecido como “Grande Rei do Mar do Sul”, ou “Hong Seng Ye”, um deus do mar muito afamado nas regiões litorais do sul da China, a quem a maioria dos pescadores e suas famílias prestam culto. A crença de Tam Kong é proveniente da cidade de Huizhou, na Província de Guangdong. O seu culto é popular entre os habitantes de Huizhou e também entre os pescadores. Kuan Tai (Guan Di ou Guan Yu), devido à sua fama de lealdade e rectidão, foi reverenciado por vários imperadores chineses, os quais lhe conferiram títulos por ordem imperial, levando à deificação de Kuan Tai e à difusão do seu culto por toda a China. Em 1908 e 1922, o Pagode de Sam Seng foi objecto de pequenas intervenções de restauro, incluindo a substituição do lintel de pedra da porta principal e a pintura dos frisos em baixo-relevo.
O Pagode de Sam Seng (Ká-Hó) é um edifício constituído por dois pavilhões, medindo 4.5 metros de largura por 8.5 metros de comprimento, que apresenta a característica peculiar de não ter um pátio de separação entre os dois pavilhões, como é habitual nos templos tradicionais chineses. O pavilhão de entrada e o pavilhão principal estão ligados por um telhado de duas águas. A fachada principal é caracterizada por um alpendre que precede a entrada principal. As paredes exteriores apresentam um acabamento rebocado e pintado com uma imitação de alvenaria de tijolo cinzento. A decoração do pagode é simples, destacando-se os frisos pintados no topo das paredes do alpendre de entrada e os frisos em baixo-relevo no topo das empenas, que conferem um toque de leveza e elegância a todo o edifício.
No passado, as actividades de culto no Pagode de Sam Seng eram muito populares, especialmente durante as festividades anuais do pagode, celebradas no 13.º dia do quinto mês do calendário lunar, nas quais eram organizados espectáculos de ópera cantonense para as divindades ou de teatro de marionetas para a população da aldeia de Ká-Hó. A Baía de Ká-Hó, em Coloane, onde está localizado o pagode, é também conhecida como Baía de Sam Seng, nome que deriva da existência do templo. A Povoação de Ká-Hó foi formada durante o período do reinado do imperador Qianlong da Dinastia Qing (entre 1735 e 1796), maioritariamente por emigrantes de etnia Hakka, sendo uma povoação insular cujos habitantes se dedicavam sobretudo à pesca e à produção agrícola. Actualmente, a Vila de Ká-Hó e a Vila de Hác-Sá são as duas únicas povoações de origem Hakka em Macau. O pagode constitui um importante centro religioso em Ká-Hó, sendo Tam Kong uma divindade amplamente venerada pela comunidade Hakka. Por conseguinte, este pagode reveste-se de grande importância para o estudo dos grupos étnicos de povoações tradicionais nas ilhas de Macau.