在刘备前往荆州期间，诸葛亮坐镇成都，自然发现了这些世家的异动，但他并没有自乱阵脚，大动干戈。
因为他知道，如果刘备不能把汉中抢夺过来，西川就是不完整的，很难形成坚实的防线，这些家族为了自身的利益，就很难安分下来。
诸葛亮虽然没有追究他们的责任，但他也加快了对官员的考核与调整。
在官员的考核和任用方面，动了一些手脚，震慑了不少的世家，加强了对各郡的管控力度。
好在这些世家大族，虽然准备充当墙头草，不会替刘备卖命，但也不敢随意背叛，给家族带来灭顶之灾。
西川看似已经被刘备完全掌控，但因为内部几大势力没有达到平衡，西川世家大族，大部分仍然没有归心。
所谓“攮外必先安内”，刘备要想谋取汉中，就急需与蜀中大族豪强结纳关系，形成利益共同体，才能一致对外。
因此，有不少人劝刘备迎娶刘璋旧将吴壹之妹吴氏。
但吴氏是刘璋已故兄长刘瑁之妻，刘备对孙尚香还存在念想，因此，就以自己与刘瑁同族，这么做有违礼法来推托。
这次刘备气势汹汹前往荆州，虽然是因为孙权先动刀兵，但他也有逼迫孙尚香回来的意思。
孙权也是死要面子，又不想让刘备合法占有江陵，就是不开口提孙尚香这档子事。
刘备更加在乎自己的名声，当然不会让步，直到荆州分割完毕，孙权也没有提起妹妹回到刘备身边的事情，刘备这才彻底死心了。
法正以前作为刘璋的使者出使荆州，曾经在公安住过一段时间，与刘备相处甚是想得。
以法正的精明，看出了刘备与孙尚香之间的微妙关系，当时并没有力劝刘备迎娶吴氏。
法正知道刘备对孙尚香还没有死心，等到刘备从荆州失意而回，觉得时机已经成熟，就对刘备进谏道:
“吴氏虽曾是同族之妻，论其亲疏，何与晋文之于子圉乎?“
晋文公逃难到秦国时，曾娶了亲侄晋怀公子圉的妻子怀嬴。
法正认为，晋文公尚且可以娶亲侄之妻而未遭到礼法的抨击，何况于刘备与刘瑁之间还不是亲戚关系。
吴氏早年丧父，其父生前与刘焉交情深厚，所以全家跟随刘焉来到蜀地。
刘焉颇有野心，听相面者说吴氏有大贵之相，于是就为儿子刘瑁迎娶吴氏。
但事与愿违，迎娶吴氏似乎对刘瑁并不是什么好事，他本来只是有些孤僻，吴氏进门以后，就发作为狂疾，并没有能与吴氏在一起生活。
刘瑁死后，有人认为相面者没有相准，但相士辩白道：
“刘瑁本身的福分不足以匹配吴氏，这才短命而亡。如果真的是西川之主，自然是良配！”