本間家４代目当主が冬季失業者対策として1813年に別荘を建築。 1947年、全国に先駆け私立美術館として開館した。 貴重な資料や重要文化財の美術品を多数展示。 また、庭園は国指定の名勝庭園となっている。