“可是，据目下朝中的局势，唯有越国公可以帮得上殿下了呀。所以，请殿下务以大局为重，莫要再计较此前的事了吧。”张衡情知杨广对杨素心怀不满，大多源自开皇十三年间发生于帝都长安的猫鬼案，心中焦急，顿足劝谏杨广道。
关于猫鬼案的始末，有必要在此简要交待几句：开皇十三年间，有人指使（包括杨广本人在内，都高度怀疑猫鬼案的幕后主使就是太子杨勇）一名被黜出宫的宫女徐阿尼调教猫鬼作祟，屡次潜入宫中和杨素家中窃取钱物，杨素认为猫鬼潜入家中作祟是太子对他充做晋王杨广在朝中内援的警告，因而自请离朝到歧州为皇帝督建仁寿宫去了，杨广便据此认为杨素只能锦上添花，难以雪中送炭。
“建平，本王有意举荐你回朝任职，不知你意下如何？”杨广目光深邃地注视着张衡，淡淡地问道。
“我？恐怕难为殿下担此重任吧？”
“仁寿宫已经建成，用不着本王写信敦促，杨素做为尚书右仆射，自该回朝理政的。可是，经过猫鬼案的教训，本王着实对他难以放心，故而，欲举荐你回朝任职，以便随时监督他。”
“可是，萧子宝弹劾下官这件事朝廷尚未有个明确的说法，在这个当口，陛下会诏准下官回朝任职吗？”
“昨日在平陵驿，我已传命李靖开始着手解散‘鹰窠’了，此次举荐你回朝任职，如蒙诏准，我将请求父皇给我选派一位新的长史来，接替你的位置。建平，以你的足智多谋，不用我多说，应当能够猜料我这么做的用意了吧。”杨广背负起双手，缓缓地踱着步，不时地向站在原地未动的张衡投去一瞥，悠悠说道。
“前有陛下擢拔太子左庶子唐令则充任礼部侍郎一事，莫非殿下欲效仿此先例，举荐建平回朝任职？”张衡隐约猜到了几分，却不很确定，张着两眼问道。
“唐令则担任朝职，那是父皇先提出来的，此次是本王欲上章举荐你回朝任职，二者之间还是有所不同的。”杨广内心深处也不免为自己的这一着棋感到有些得意，不禁提示张衡道。
“哦……建平明白了，殿下之所以解散‘鹰窠’，举荐建平回朝任职，是欲借此向圣上以及朝臣们表明殿下坦荡无私之胸襟，和某些人两相一比较，就高下自分了。”张衡恍然大悟道。
一个月之后，朝廷传下诏旨，册任张衡为黄门侍郎，专掌呈递奏章之事，日常随皇伴驾，并命张衡接旨之后立即回朝任职。