据《旧唐书·白居易传》载,长庆四年(824)春,白居易罢杭州刺史。五月,任太子左庶子,第一次分司东都。秋天到洛阳,或就在其间买下了履道坊一处宅子:“居易罢杭州,归洛阳,于履道里得故散骑常侍杨凭宅,其间竹木池馆,有林泉之致。”
宅子原先主人叫杨凭,是白居易妻子杨氏的亲戚。杨凭、杨凝、杨凌是三兄弟,本籍虢州弘农,大历中兄弟三人同登进士第,时号“三杨”。杨凭的弟弟杨凌是韦应物的女婿,而杨凭的女婿是柳宗元。杨凭大约在贞元初作过京兆尹。
唐玄宗时,岐王李范府邸中有山池,又称“山亭院”。少年杜甫曾被邀入岐王宅中做客。