然而，被杨广举荐回朝任职的张衡在正式卸任前却给杨广带来了一个坏消息：据广州刺史刘方发回的军报，官军在清剿交州李佛子叛乱时遭遇了顽强抵抗，最终未能渡海平定叛乱。
刘方在请罪的同时，也在这份军报中说明了导致交州兵败的两个原因：
首先，李佛子扯旗造反之初，就投奔了南海的扶南国，公然对外宣称，交州的数十万俚人皆是扶南国的子民，不再是大隋的编民，为自己寻找到了强有力的外援；
另一个原因则是，早在李佛子于交州扯旗造反之前，商氏兄弟就流窜往来于岭南诸俚部落，大肆煽惑起了俚人的反隋情绪，致使岭南沿海一带俚人自愿充当起了李佛子的眼线、耳目，往往是这边剿匪的官军还未登船渡海，那边已有俚人泅海将官军的动向报告给了李佛子，提前加强了防御力量，令官军屡次渡海征讨，都无功而返。
在广陵总管府的议事厅内，杨广阴沉着脸仔细看罢刘方发来的这份军报后，抬头问兵曹参军麻叔谋道：“刘方率军渡海平叛，事前不是已请冼夫人发兵相助了吗？为何还有如此多的俚人自愿充当李佛子的眼线，主动为他通风报信？”
麻叔谋求助似地望了望张衡，见他没有帮自己说话的意思，遂咽了口唾沫，硬着头皮跨步向前，抱拳答道：“禀殿下，根据最近高州谷窿驿发回的驿报，冼夫人身染沉疴，近半年来，已将岭南政务多托于其长孙冯喧主持，而冯喧又以祖母病重，不宜远离为由，对朝廷敦请他派兵协助平叛推诿搪塞，始终不肯发兵，故而才导致了俚人心向叛军的局面。对此，末将难辞其咎，敬请殿下处罚。”
“郭衍，你以为，该如何应对岭南目前的局势啊？”杨广并没有责怪麻叔谋，转向王府司马郭衍问道。
郭衍不仅是晋王府司马，晋王骠骑营的统领，还是杨广的近卫，见杨广首先向自己问策，便已猜到杨广想王驾亲征，前往岭南率军平叛了，遂有意答道：“刘方率军虽未能平定李佛子叛乱，但交州毕竟地处偏僻，不过是南海的一处孤岛而已，末将料那李佛子倒行逆施，必不能长久。故而以为，只需严命刘方继续征讨，同时敦使冼夫人发兵参与平叛，多则数月，少则数十天，李佛子之乱必平。”
“冼夫人年事已高，依岭南诸俚部落的惯例，将政务军务暂委长孙冯喧主持，也是情由可原的。但本王忧虑的是，一旦冼夫人与世长辞，冯喧成为岭南诸俚部落的首领，以他前次参与平定陈佛智叛乱时的表现而论，很可能于朝廷不利。关于此事，建平有何良策教我呀？”
杨广同样未对郭衍委婉地劝阻自己王驾亲征表明态度，又向王府长史张衡询问起了关于岭南诸俚部落首领继承人选的问题来了。