陈独秀把章瑜提出的方案告诉了岳王会的干部之后，原本就已经不怎么团结的岳王会层立刻就陷入对立的局面。&&凡是已经面对现实，接受了岳王会根本没有单独推行革命能力的干部，都表示能够接受章瑜的安排。依旧认为岳王会能够东山再起的干部则是完全反对。即便这些强硬派知道人民党官兵都要从事劳动。他们依旧固执的认为，自己与人民党不同，身为干部就不该干些“低三下四”的工作。
争论进行了大半天，包括常恒芳、范传甲在内的干部都不能接受人民党的作风，陈独秀也无法说服岳王会的这些同志。以柏文蔚为代表的干部已经接受了现实，他们干脆拒绝与强硬派讨论。会议不欢而散。
第二天，常恒芳等人找到陈独秀，作为领表人物，常恒芳率先说道：“陈先生，我们准备离开安庆去湖北。”
虽然早知道这次冲突几乎不可避免，陈独秀也忍不住有些伤感。成立了将近两年的岳王会终于走到了自己的末路。常恒芳等人离开** 之后，选择留在安庆的都会加入人民党的队伍，岳王会的招牌再也不会有了。
“你们准备去投靠黄兴先生？”陈独秀问。
“投靠谁都比跟着人民党强。”常恒芳几乎是咬牙切齿的说道。这不仅仅是常恒芳的真实态度，其他岳王会的干部们也都是同样的看法。
“陈先生，你不和我们一起去么？”有岳王会的干部问。他们还是希望陈独秀能和他们一起去湖北。
这是个很难回答的问题，陈独秀觉得怎么都说不出拒绝的话来。从某种意义说，这些选择离开安庆的岳王会干部倒是坚持了岳王会的存在，陈独秀这个创始人反倒是选择了脱离岳王会。
“算了，人各有志。”常恒芳拦住了这些希望陈独秀跟他们一起走的干部。
趁着这个时机，陈独秀连忙说道：“去湖北需要盘查，咱们剩下的银子，都给大家分了。”
一次占据安庆的时候，岳王会从安庆的银库里头缴获的银两只剩了不到三千两。这些好不容易留下的钱不仅仅是一笔钱，它也意味着岳王会曾经有过的顶峰时期。陈独秀下令，所有不想离开安庆的岳王会成员，一人一两，愿意离开安庆的，把剩下的钱给平分了。最后有一百七十多人不愿意离开安庆，剩下的两百人选择了离开。选择离开的人有些是想去湖北，有些是选择离开岳王会。不管是什么原因，陈独秀都把钱分给了他们。虽然送钱并不雅致，不过在这最后，送钱却是最实在的做法。
随着岳王会缴获自安庆银库的钱分发一空，这个曾经在中国一度名声赫赫的组织彻底解散了。
常恒芳他们也不愿意久留，安庆世面凋敝，连开个送行宴的酒店都找不到。而且这些人对人民党实在是厌恶到了极点，既然决定离开，那是再也不想多见人民党一眼。他们带着行李坐了过江的渡船，在江对岸集合之后，常恒芳才召开了一个简单的会议。“人民党既然没有把咱们兄弟们放到眼里头，咱们也没有必要跟着人民党丢人现眼，现在黄兴和宋教仁先生回到了湖北，咱们不妨投奔他们去。”
这些人选择离开安庆也未必是真的有什么长远的目标，不少仅仅是为了摆脱现在呆滞停顿的状态，又不肯加入人民党，这才不得不选择离开而已。听常恒芳说要带着他们到湖北，一想到遥远的距离，这些人心中就感到很大的不安。他们都是大手大脚花钱花惯了的，十几两银子看着不少，其实根本就不够花。靠这些银子做盘缠或许能够找到黄兴与宋教仁，但是接下来又能如何？若是不能再弄到一大笔钱，日子照样是极为难过的。
常恒芳看得出这些人的想法，“富贵险中求，现在人民党在安徽成了气候，咱们若还是留在安徽，怎么都会被人民党压制。大家都知道人民党的头目大多数都不是本地人，咱们在湖北干起来，也未必比人民党更差。”
即便是常恒芳极力劝说，依旧有一百多人选择了回家，最后有七十多人选择到湖北与黄兴宋教仁汇合。其他人去各个方向的都有，而这七十多人的小队伍头也不回的向着西边进发。
人民党在江南的控制区本来就不很大，常恒芳先带着众人走了不到两天就离开了人民党的控制区。在休息的时候常恒芳对人员进行了整编。剩下的七十多人模仿工农革命军的军制，编成了一个连四个排的部队。常恒芳任命自己为政治委员，任命范传甲为连长。讨厌人民党是一码事，学习人民党又是另外一码事。岳王会的部队进行了整编，照猫画虎的确立了“官兵一体，支部建在连队。”这两项来自人民党的组织模式。在政治，岳王会的老宗旨既然不能用，也没空临时创造新的政治纲领，常恒芳就以“驱逐鞑虏，恢复中华。”为现在的口号。