责任在天地会武装的滥杀和好杀，同时在大的意义上来讲，天地会农民武装南下，是挤占了越南人的生存空间的，斗争当然在所难免。
在斗争中，天地会武装的优势是不言而喻的，别说越南百姓了，他们连当地官府都打的抱头鼠窜。四处攻城掠地、袭击官府、屠杀越南地方官员，就好像他们屠杀满清地方官员一样，有记载的大战就有多次，1868年天地会武装进入越南，在边境地带的谅山大败前来阻截的越军，斩杀副提督阮日成。1870年，苏国汉武装夜袭谅山，杀死领兵官黎文迟，当地官员武仲平、邓算以及当时还只是地方官的权臣阮文祥逃走。
而后来进入越南的，满清正规副将出身的李扬才武装，进入越南的目的就不单纯，李扬才在满清活动未果，丢掉了副将的官职，结果散尽家财招募兵勇，借口入越攻打天地会，结果进入越南后，就号称要夺取越南江山，开始疯狂的攻城略地。
李扬才、黄崇英之前的两广人初到越北时，没少被当地苗人杀，当地的白苗人，瑶人和侬英人都有自己有城寨和枪支，当李扬才、黄崇英等人率领有战斗经验的天地会武装进入这里后，结果就开始反过来屠戮不肯合作的当地人。
据记载，有1872年，黄崇英率众攻打距山西百余里一村寨，“此处悉避难民众，故居民多至数十万，黄部万余人既至，在附近立营后即进攻掘地道以通土人寨栅，纵火药炸轰之”，申报也刊登过入越人民攻杀越民的事件，“太原有一险要地，名龙眼洞。为越南著名之大村落，烟户数万家，颇称殷富。前经黄黑旗攻之月余不下，李逆李扬才即到，村民不肯假道，悉力相拒。李逆怒率党躬冒险环攻四昼夜，夺而守之”等记载。
其他小股农民武装，发扬他们在国内那一套抢劫勒索的风格，也没留下好印象。比如，入越武装黄二、何亚木、许晚等，率众300余人攻打越北当地的山瑶村栅，勒索“限某日送银数百”。王士林武装，“每抵一地，即纵兵大掠，惟各墟贫户多富户少，甚至掳人勒索，亦无所得”。逆匪吴亚终因粮食不继，分党潜于中外交界一带掳掠粮草，“畜物尽陷贼中”。
后来负责帮助越南镇压天地会武装的满清四川总督丁宝桢向皇帝奏报过相关情况，称：“臣闻从前发逆自扑灭后，余党散入越南，尚以万数千记，率皆剽掠为生，越南深受其害。”
由于天地武装刚刚入越的时候，没有根基，只能劫掠为生，因此跟当地百姓攻杀不断，相互之间不可能融洽。
后来越南官府开始招抚这些悍勇的农民武装，给他们划地安置，甚至拨付粮草、耕牛，有的吃完了粮食后会继续反叛，比如黄崇英以及继任者叶成林部，但也有的老老实实的拿着越南人给的资助就地开荒，比如刘永福黑旗军部。
1875年之后，越北地区的华人和当地百姓关系才开始变得融洽起来，像刘永福这种比较安分的移民首领起到了相当大的作用，他不但招抚汉人百姓垦荒，也收留越南流民垦荒，在他手下华人和越人和睦相处，都给他当兵。另外还有华人开始跟当地人通婚，刘永福手下的光棍都娶了越南媳妇。越南媳妇非常彪悍，还出现过两个女子都是华人士兵妻子，丈夫抗法战死后，俩人竟然招募士兵起兵要报夫仇，越南女人的这种悍勇后来自卫反击战的时候，中国士兵也领教过。
杂居、通婚是改善关系的最好办法，但需要的时间太长，真正起到速效作用的，其实还是法国人对北圻的侵略，1873年法军侵入北圻，激起了当地人的反抗，这时候华人、越人、瑶人等民族联合起来对抗法军，这种战争中的凝聚力，短期内就改善了关系。
有记载，刘永福攻打法军在下龙湾的海中炮台的时候，攻不下来，苗人中的悍勇谙熟水性的勇士，驾驶小船拼死杀上了炮台，打死了法国炮兵攻占了炮台。法国人炸毁堤坝水淹抗法华人的时候，越南人驾驶小船，往来救助救了不少人。白苗人不当兵，但是负责运送粮食很卖力气。
正是因为法国的入侵，导致了越北地区民族关系的融合，可以说华越关系靠法国。
有了十年前的合作，这一次法国人卷土重来，华人农民武装，越南乡绅势力，瑶人、苗人的山寨首领们，已经能够提前互相联络，一起抗敌了。所以越南政府通过这些乡下组织征募的劳工给明军干活，他们是理解的。尤其是明军还坚持发给他们现银工资，更是调动了这些劳工的积极性。
一个月之后，简易壕沟完工，之后还深入包围圈之内修建了坚固的要塞炮台，距离进到可以跟法军要塞上的大炮可以进行对轰，但总体来说明军是吃亏的，因为法军依然占据着地势，所有的高地基本上都在法军手中控制。
完成包围之后，大明才开始谋求改变这种状况，经过认真的侦查，陆军决定攻取深入大海的海防南方的涂山口，这里跟北面的吉婆岛如同拥抱海防的两个臂膀一般，一旦能够攻陷涂山，虽然火炮的射程还达不到二十六公里外的海防城中，但是已经可以封锁涂山弯海面，让法国舰队无法在海防中停留，否则就有被聚歼的可能。