大楼建於1868年，属於新古典主义建筑风格，墙身以黄色粉刷，配以白色的圆形浮雕及花环装饰。大楼顶部曾有高大的三角山花及瓦坡屋顶，值得注意的还有侧立面的半圆形造型。建筑周围设有花园，并与一旁的西湾街17号房屋相连，两者形式风格一致，昔日曾是一个整体。
大楼最初是怡和洋行拥有的住宅。怡和洋行是继英国东印度公司结束对中国的垄断贸易後发展起来的其中一间大型英资企业，与中国有着频繁且密切的关系。1844年，怡和洋行将总部从澳门迁至香港，其在澳门的产业相继出售或转移。
二十世纪40年代，天主教澳门教区接收西湾街19，21号。1955年，耶稣会利玛窦会院安徽德神父见当时澳门失学儿童甚众，於是计划创办一所健全之平民学校，以收容清贫失学儿童。此举得到时任教区主教高德华支持，并拨出上述地段作为校舍，利玛窦学校乃告开办。至1960年代，利玛窦学校已增设中学部及夜间部，及後亦增建新校舍。2010年，随着校务的发展，该校师生迁至新校舍，西湾街19，21号自2021年起成为圣庇护十世音乐学院的校舍。
二十世纪五六十年代，内地大量人口移居澳门，对教育的需求变得迫切。除民间社团及公会外，天主教团体亦积极推动平民教育的工作，创办了不少免费或低收费的学校，利玛窦学校为澳门天主教会开办面向草根阶层子女的学校范例。
