劝都劝不住，因寺庙不留女客，二公子带着家中女眷先回府了。第二日，大夫人一早就带着2个孩子去了南云山，傍晚还是母子三人一起回来。大夫人回来和老夫人哭诉，说大公子决心皈依佛门，给大夫人写了一纸休书，让大夫人自去改嫁。
第三日，老夫人一早去了南云山，没有见到大公子的面，只拿到了一封别亲书，信上写李天风愧对爹娘养育之恩，让娘和弟弟，妹妹忘了他这个不孝的人。以后法号‘忘忧’，忘记尘世间的一切。不让家人再去山上寻找他了，勿念勿扰。
此后一段时间，老夫人，大夫人，三小姐，2个孩子都去南云山，或哭或劝，皆无功而返。大夫人的爹娘上门讨要说法，老夫人理亏准备好好招待亲家，却被杨举人一家在李府大闹了一通，最后把大夫人和2个孩子接到了娘家住。老夫人一时怒火攻心气病了，二公子还没结婚，房内只有守春一个通房，难担大任，一时间府内无人做主，各种流言满天飞，眼看着李府就要大厦将倾。
青衫站出来以雷霆手段镇压府中流言，精简人员，李府院子里丫鬟仆从被遣散了大半，被遣散的人都归还了卖身契，每天都有人拎着包袱往外走，有知恩之人走到门口还会对着府门磕个头。
其他时间青衫还在东花厅和李掌柜，黄掌柜统计清楚其余铺子分号所有财物，如此过了半个月，等一切交待清楚后，也就早早回了后花园，准备回去收拾收拾东西，出府找夫人和小姐另谋生计。