大樓建於1868年，屬於新古典主義建築風格，牆身以黃色粉刷，配以白色的圓形浮雕及花環裝飾。大樓頂部曾有高大的三角山花及瓦坡屋頂，值得注意的還有側立面的半圓形造型。建築周圍設有花園，並與一旁的西灣街17號房屋相連，兩者形式風格一致，昔日曾是一個整體。
大樓最初是怡和洋行擁有的住宅。怡和洋行是繼英國東印度公司結束對中國的壟斷貿易後發展起來的其中一間大型英資企業，與中國有著頻繁且密切的關係。1844年，怡和洋行將總部從澳門遷至香港，其在澳門的產業相繼出售或轉移。
二十世紀40年代，天主教澳門教區接收西灣街19，21號。1955年，耶穌會利瑪竇會院安徽德神父見當時澳門失學兒童甚眾，於是計劃創辦一所健全之平民學校，以收容清貧失學兒童。此舉得到時任教區主教高德華支持，並撥出上述地段作為校舍，利瑪竇學校乃告開辦。至1960年代，利瑪竇學校已增設中學部及夜間部，及後亦增建新校舍。2010年，隨著校務的發展，該校師生遷至新校舍，西灣街19，21號自2021年起成為聖庇護十世音樂學院的校舍。
二十世紀五六十年代，內地大量人口移居澳門，對教育的需求變得迫切。除民間社團及公會外，天主教團體亦積極推動平民教育的工作，創辦了不少免費或低收費的學校，利瑪竇學校為澳門天主教會開辦面向草根階層子女的學校範例。
