1853年韦泽一起顺江而下杀到天京城下，然而韦泽很快就选择了撤退，一路撤退到安庆去。那时候负责守安庆的韦昌荣觉得韦泽放着这么大的功劳不拿，反倒要跑路，未免是太胆小了。
现在韦昌荣才明白了韦泽当年的做法绝对是正确的。作为第一军军长，作为韦泽的最亲信的大将，谁敢在攻克广州城的大战功中分一份，韦昌荣是绝对不能放过那人的。对部队的同僚尚且是如此，更别说对那帮天地会的人了。
“不见！”韦昌荣几乎是完全依靠本能说道。不过说完之后，韦昌荣却也有些后悔了，这倒不是他良心发现，而是韦昌荣觉得或许天地会有点利用价值。而且罗大纲毕竟是天地会著名的首领，占据两广的过程中，罗大纲肯定要出大力。所以他很快收回了方才的发言，“让天地会的人先等着，把罗副参谋长请来。”
罗大纲很快就到了韦昌荣这里，韦昌荣笑道：“罗大哥，外面有天地会的人求见，不知你有什么想法么？”
听到这个消息，罗大纲已经完全明白了韦昌荣的想法。罗大纲根本没有因为自己以前是天地会的首领，所以觉得韦昌荣不肯让天地会插手进攻广州城的事情生气。韦昌荣能专门请罗大纲商谈此事已经足以足以证明韦昌荣对罗大纲的尊重。对这份尊重，罗大纲当然不会给脸不要脸。
罗大纲说道：“他们来找咱们定然是想在这次攻打广州城的事情上插一手，所以我们不妨见见他们，先稳住天地会的这些人，不要让他们插手。等我们拿下广州城之后，再和他们正式见面。”
韦昌荣与天地会素来没什么交往，听了这话之后觉得罗大纲的建议更具可操作性，硬生生的不见也未免太过于不给天地会面子。想到这里，韦昌荣笑道：“罗大哥，看来你对我军战斗力很有信心啊！”
罗大纲哈哈一笑，“亲眼见过打赣州城，我还有什么不放心的。现在只要拖天地会两三天就行，等我们拿下广州城，不管天地会是跑来入伙，还是想让咱们帮他们攻打其他地方，都是咱们说了算的事情。所以现在还是以稳住他们为上。”
韦昌荣认真的对罗大纲说道：“那就请罗大哥去和这帮天地会的兄弟们交涉吧。好歹他们知道你回到了两广，肯定不少人还是愿意跟你的。”
罗大纲当然是欣然从命，见了天地会的人之后，果然如同罗大纲所料。被迫从广州撤围的陈开、李文茂、陈显良三人本来准备沿着西江进入广西，攻打梧州。得知光复军以迅雷不及掩耳之势杀到广州城下，自然希望入伙。
得到了罗大纲让他们“暂且等几日再说”的回应，使者有些意外，却也没有非得立刻加入光复军的战列。双方约定三日后双方首领会面，使者就离开了光复军的军营。
第二天，也就是6月6日，光复军正式开始攻击广州城。
英国广州使馆发给英国本土的报告中写到，“……一支穿着欧洲军服的军队在6月5日突然抵达广州城之后，在6月6日凌晨立刻对广州城展开了进攻……他们拥有极为出色的