原来自从郭援兵败和袁尚被围困的消息传递到荥阳，袁绍便派人将荀谌接来，就是为了听取他的意见。
荀谌道：“我军强攻了两个月，伤亡十数万兵马，损失的粮草辎重更是不计其数，这些损失已经初步影响到后方的稳定。现在泰山臧霸和黑山张燕都有所异动，一旦我军继续失败，难免会后院失火，不如就此撤兵，要求曹操放归围困在温县的我军士兵，作为回报我军也放弃河内郡中南部那些曹军本就占据的地方，再命审正南加强邺城一线的防守，等到了来年秋天，我军稳定了后方，当可卷土重来。”
郭图听了荀谌的话就想要反驳，但话到口边突然想到对方已经是颍川荀氏的大家主，地位非同以往。再加上这次三公子袁尚吃了一个大亏，袁氏内部重臣对立储的风向又倒向袁谭，他便强忍了下来，竟是默认了荀谌的说法。
袁绍犹豫不决，恐一旦退兵遭天下人嗤笑，便说自己再考虑一二。
袁军各将、参赞先后离去。
郭图偷偷找上荀谌：“荀先生。”
“公则。”
郭图将心中疑惑道出：“荀先生，我军还有一战之力，为何要退军？”
荀谌道：“我军高举清君侧的大旗，但总归是没有站在大义的一方，天下间各方诸侯都视大将军为逆贼，多有掣肘。继续进攻只会放大这种在道义上的劣势，使得我军全面落在曹操下风。”
郭图急道：“所以我军才要攻入司隶，将朝廷大义抢在手中。”
“真的能抢在手中吗？”荀谌冷笑，“公则不会忘了当年董卓是怎么做的了吧？”
“这…”
郭图无法回答。
荀谌又道：“大将军想差了，你我也都想差了。这天下间刘姓之人比比皆是，又何必去追逐唯一的那个大义呢？”
郭图心头一颤：“你是说…”
荀谌面无表情，一副波澜不惊的样子。
郭图站直身体，弹了一下管帽，整理好袍袖，郑重向荀谌行礼道：“荀先生思虑久远，图不及也。”
荀谌受了郭图一礼：“许都事物繁忙，我明日就会向大将军请辞，这边就交给公则了。我知道你和辛氏兄弟的谋划，只要不影响我军大业，我不会反对。”
郭图大喜，再次向荀谌行礼。
荀谌还是面无表情，轻飘飘的回过礼，转身离开了。
却说直到荀谌离去，袁绍还是无法决定是否退兵，又拖了两日。这一日恰好庖厨为他做了一罐鸡汤，他看见碗中漂浮的鸡肋，正有所感悟，大将吕旷步入大帐禀请这一日的夜间口号。
袁绍随口道：“鸡肋、鸡肋。”
吕旷传令全军，众将官都称“鸡肋”。
口号传至主簿杨修耳中，见传“鸡肋”二字，便教随行军士，各收拾行装，准备归程。
有人报知吕旷，旷大惊，遂请杨修至帐中问道：“公何收拾行装？”