尽可能排挤附近的土家势力，建立起客家对当地的控制权，是很容易想到的选择。
其实不光是这些客家村落的长老，在韦泽亲眼看到广西土客之间残酷仇杀之前，他也曾经试图在某地建立起一个地方割据政权，以此为根据地，不断向周围扩张么？
亲眼看到土客之间仇杀之后，韦泽已经放弃了这样的打算。在这种仇杀中，韦泽只能选择一边，而且只能选择客家一边。仇杀一起，韦泽就只能面对土家人民的汪洋大海，别说推翻满清，自己的生存都处于朝不保夕的地步，更别说星星之火可以燎原。
对韦泽展现出来的能力，客家村落的长老们是非常佩服的。所以他们明着暗着都在希望韦泽能够留在当地主持局面。
韦泽的态度很坚定，那就是一定要走。不仅要走，还要带着这些客家人一起走。能说的道理很简单，就是无论土家还是官府，都不会坐视客家这么突然崛起。而且客家掺和太平军的事情不可能没人知道，到时候官府不会放过客家的。
至于不能说出口的道理，韦泽是真心想把这些客家的战士带出广西。如果这些人留在广西，只会永远陷在土客仇杀的小世界中。到更广阔的空间去，站到整个中国的甚至整个世界的舞台上，大家才有可能揭开眼前的黑幕，去完成更大的功业。
韦泽的道理打动不了村里面的长老，官军们哪里有那么灵的耳目，只要韦泽不说，村民不说。谁知道太平军掺乎过攻打吴家镇的事情。就算是官军知道了一些事情，只要韦泽等太平军已经不在这里，官军又能如何？
村里面的长老们自然有自己的想法，面对韦泽的说法，长老们开始反驳了，“韦大人，你说官府要杀光我们。官府若是把我们杀光，谁给他们交税？官府还能自己种地不成？”
这话说的言之凿凿，掷地有声，韦泽一时也没有反驳的理由。的确，在土家完全占据了优势的地区，官府首先就没有足够的力量对土家进行剿杀。在以自身武装力量为基础，土家有可能与官军达成暂时的妥协。而且韦泽已经明白了长老们背后没有明说的话，只要韦泽离开，长老们就有了与官军周旋的基本条件。
小富则安么？韦泽心里面想。当这六个土家村落终于摆脱了一直压在他们头上的客家势力，他们自然是期待能够立刻享受一下刚夺取的一切。有了土地，财货，乃是吴家镇的城堡，谁会也不会吃饱了撑选择背井离乡，不会选择跟着韦泽迈上看不到未来的远征。如果下一次这些客家人再次与官府斗争起来，那定然是官府施加的沉重赋税让客家人的生活无以为继，不过那样的矛盾还没有出现，客家人自然不信。
当然，相信韦泽的人也不是没有，旗帜鲜明的站在韦泽这边的客家人只有阮希浩一个，天地会毕竟是天地会，有反清的传统。而且走南闯北之后，阮希浩支持韦泽的判断。但是阮希浩太年轻了，在一群年长的长老中，无论是年纪还是数量，他根本不算啥。
韦泽也考虑过如果发生这样的事情之后怎么办。看长老们的意见颇为一致，韦泽