李能又以粗鄙无文辞让，第五伦仍不允。
就在李能陷入维谷之时，倒是亲家西门平过来，代老爷子给李能指点了迷津。
“事已至此，不如退一步。”
“既不做郡丞，也不当督盗贼，告老归乡！”
“西门老儿欲害我焉？”李能先是勃然大怒，旋即却反应过来了。
确实，现在的斗争，随着黄泽贼被收编，虽然李能指使钦口贼劫了粮，但在郡府，仍是第五伦稍占上风，随着选贤任能、招徕豪右、给邺吏们发足额俸禄等事，邺城已经快要归心了。
李能手里虽然有千余郡兵，但城门防务渐被第五伦安插亲信控制，郡卒被排挤到了城墙之外，第五伦缩在郡府里不好刺杀，李能还能孤注一掷造反不成？西门氏和邺县宰不一定会帮自己，而若引来王师，那就麻烦了。
进不能进，倒是西门延寿这个“退一步”的提议，能让李能抽身。
李家在西北三县势力极强，背靠太行易守难攻，可发徒附族兵两千，加上一千多铁官奴，以及钦口山盗贼千余，能得四千之众，若能裹挟三县官吏百姓，则兵势过万，那才是他的倚仗。
与其在邺城被捧成无权的郡丞，被困于笼中，任由第五伦控制郡城，不如退回西北，第五伦便奈何不得他家丝毫。
一念至此，李能倒也干脆，再度以手臂伤残，冬日剧痛为由辞了官职，只带着王莽封的“男爵”，乘夜离开了邺城，折返回武安。
在回家的路上，李能已经想好了下一步的斗争方式，那就是让魏郡内忧外困，叫第五伦无暇顾及自己，他只叮嘱弟弟道：“立刻派人去邯郸，谒见赵王世子刘林，就说，我有事关河北诸刘生死存亡的消息要禀报！”
……
李能直接开溜，这确实是“料事如神”第五伦没想到的。
这一抽身确实是鸟入山林鱼入深渊，用郡丞之职架空李能，最后慢慢控制在邺城做人质的打算是落空了。
但不妨碍大的结果向好，第五伦火速点了平黄泽贼时作战勇敢的赵尨为督盗贼，这下贼真的要抓贼了，对李氏肯定掺了许多沙子外来人难以指挥动的郡卒亦不急着沙汰，先放在城外扔着。
而第五伦又举荐耿纯为郡假丞，让他从繁忙的五官掾里休憩，这两个多月，耿纯就像一天要耕五顷地的老黄牛似的，可累坏了，第五伦只让他代替自己去做抚恤孤老等事，休憩一段时日。
随着李能退了一步，而西门氏也颇为积极的合作协助。邺城
…。。