記念館の建物は、大正時代に洋風住宅建築会社『あめりか屋』によって建てられたもので、大正15年に近衛文麿が別荘として野沢源次郎から購入しました。昭和7年に政治学者で近衛と親交があった市村今朝蔵が購入し、翌年に南原に移築されました。その後、平成9年に現在の場所、雨宮池の東端に移築され、市村家のご遺族より町に寄贈されたものです。
近衛文麿や、南原の別荘地としての開発に尽力した市村今朝蔵とその妻で名誉町民となったきよじ、雨宮敬次郎、の資料が展示されています。
平成28年5月24日付けで、軽井沢町文化財（指定第19号）に指定されました。平成29年度の耐震補強等の工事で一部外壁の塗装を変更し、南原移築時の姿を復原しました。