初代当主柳次郎は、今からおよそ二百五十年前に牟礼の里への移り住み、四代目当主、半三郎義勝は、苗字帯刀を許され、高松藩から「与力」の命を受け、牟礼大町村の行政司法、警察の任に当たり、それ以降は近郷一円を治め高松藩に仕えてきました。

以来周辺の人々から「与力屋敷」 として親しまれてきました。「与力」とは鎌倉時代には力を与にして加勢する人を意味し、江戸時代には上官を助ける職制として与力制度を設置、各地方を治めた。

又、半三郎義勝は温順にして人望厚く、文化人でもあり、牟礼を訪れる各地の著名な粋人、名人、達人、奇人を持て成し、宴を催し、文化交流の場としても栄えた。