日據時期重新開設淡水稅關，在其所屬的地界處設立石碑標示，此為淡水關稅所屬地界石的由來。

臺灣光復後，總稅務司署長李度為再確立海關的屬地，又於官舍及淡水海關的用地上，重立「總稅務司公署界石」數座。

現今「淡水稅關所屬地」界石共存四座，在海關博物館籌設之初，收藏其中一座；另外三座則是於2014年，從海關碼頭整修時挖出，其後交由本館典藏。此外，「總稅務司公署 界石」今存三座：一座由海關博物館典藏，一座立於淡水中正路364號前，另一座則由本館典藏。本館又於小白宮內重立「淡水稅關所屬地」與「總稅務司公署界石」數座，以茲紀念。

至於在小白宮前院靠近門邊，還有一棵高大挺拔的雞蛋花，其生命力旺盛香味濃郁，極富異國的情調。據傳為英國人栽植，屹立於小白宮已有百年之久，現在被新北市府公告列為「珍貴樹木」。