西汉文人司马相如出游求官不如意，回到成都。一次他到临邛（地名）富豪卓王孙家赴宴。酒过三巡，他应激弹起琴来。琴声打动了卓越王孙新寡的女儿卓文君，她连夜就跟司马相如回成都。到了相如家，发现家居徒四壁立（家中贫穷，只有四周的墙壁），于是卓文君就劝司马相如一起到临邛去。他们卖掉马车，在临邛开了家酒店。文君卖酒，相如干杂活。卓王孙认为女儿伤风败俗，既不给他们经济上的援助，也不来见他们。
家居徒四壁立现在写为家徒四壁。