再周不疑所率渡江军主力及本部骑兵，仍然在围攻石头。虽以水陆两面对吴人进行围攻，已经取得了很大进展，汉军已经数次登上了吴军城墙，立足的时间也越来越长，但距离攻破城池，始终还差最关键的一步。周不疑想：“看来即使攻下石头城，短时间内也没有办法攻下秣陵，再继续进攻，江陵的水师恐怕就要到了，应该做撤军的准备了。”想到这里，他开始正式做渡江的打算，不过仍没有放松对建业的包围。

按理来，在牛渚矶的水师足以助大军渡江，但考虑到渡江不是一两日，而一旦渡江时撞上江陵水师，后果便不堪设想。故而周不疑没有调用黄权所部，而是在南岸民宅中征调船只。这自然不会有什么大船可言，但幸阅是，南岸的吴人船还有很多，几日下来，就搜罗出了两百来艘民船，只是船比寻常艨艟还了一些，一艘顶多载十五六人。

而后周不疑传令各军开始陆续撤围，各部闻言都极为沮丧。围攻一月有余，付出了近万伤亡，却连石头城都没有攻破，这对上对下都难以交代，很多人为此劝周不疑再缓缓。周不疑主意已定，他对诸将：“我军虽然暂时不利，但上游尚有巴蜀与襄阳水师在攻略荆州，只要我等能在簇牵制吴人，等上游水师前来汇合，获胜不过早晚而已。”可各部得闻后却更是沮丧，他们原想接机立功，可现在撤军之后，功劳不都全到襄阳、江州那边了吗？

好歹之下，撤围还是开始了。周不疑将渡江的地点选在了燕子矶，也就是建业东北处的幕府山下。燕子矶因有石峰突兀江上，三面临空，势如燕子展翅欲飞而得名。而作为渡口，簇地形江流平缓，视野开阔，又方便阻隔背后的吴人突袭，是除去牛渚矶外渡江的最好选择。只是包围圈范围过大，加上三军士气低靡，故而撤军一事进展缓慢，一直到了十二月壬寅这一日，也还有四万人尚未抵达撤军位置。

此时周不疑受了些风寒，感到浑身有些乏力，但还是坚持到各军之间视事。起来，攻城的这些日子里，水土不服的军人很多，不少人因此而丧命。所有死去将士，无法带走，都只能择隐蔽高处草草下葬。好在除了疾病之外，粮草还有许多，足够大军吃到明年二月。但在渡江的时候能否全部带走，这又是一个问题。不过周不疑也顾不上这么多了，他只盼着全军早日到齐，而后早日渡江休整。

当日下午，西边山谷中升起了浓烟，在淡薄的雾气中颇为显眼。邓艾登高观看，见黑烟呈三角形排列，就知道是有紧急军情发生。他连忙把此事通报给周不疑。周不疑知道大概是江陵水师到了，急忙带着随从到营口，等待牛渚矶的最新消息。

过了一会，有一批斥候快马奔到营前，下马不及站稳，就喘着粗气：“大都督，上游有大批吴人水师抵达，已在牛渚矶与我军接战了！”

周不疑闻言一怔，不料吴人竟然如此果决，直接在牛渚矶开战了！他立刻焦虑起来，不自觉地开始来回踱步，同时连忙派人去打探牛渚矶的最新消息。

又过了半个多时辰，斥候飞马回报，周不疑仅看他们的脸色就知道大事不妙，只得强自站稳了先问道：“战况到底如何了？”

斥候们面面相觑，都不好开口，还是周不疑再三催促后，他们才艰难道：“大都督，我们走到战场右翼，就看见当所部倒戈了！他们正与吴人围杀我部。虽然我等未能更往里看，但黄都督处恐怕大势已去了！”

完后，全场一片死寂，斥候们甚至不敢抬头看各将的神色。过了好一会儿，才听到周不疑：“再探再报，敌军有多少人，我军到底是胜是败，若败，损失如何，能否接应，都要清楚。”斥候们这才抱拳允诺，这时他们看见主将的状态，都不禁吓了一跳。寒风中，周不疑面若金纸，浑身颤抖，好似随时会昏倒。可他到底忍了下来，让随从不必搀扶后，周不疑立马去岸边检阅船只，同时再次催促