不久，宋太宗决心收回当初被石敬瑭割让出去的16个州，任命潘美为大将，杨业为副将，率领大军攻打契丹。宋军节节胜利，很快就攻下了4个州。不久，曹彬率领的部队吃了败仗，宋军只好撤退，潘美等人返回代州。
太宗下令宋军把4个州的老百姓都迁回内地，命令潘美等人率军护送。这个时候契丹人出动十几万人马攻陷了寰州，杨业对潘美说：“现在契丹士兵士气正旺，我们士气低落，不能和他们硬拼。再说朝廷只命令我们护送百姓，我们只需事先派人通知当地守将，等大部队离开那天，让云州的百姓先出城，我们去应州，契丹人一定会来攻击我们。趁他们被我们吸引走的时候，再让朔州百姓撤离。再派1000弓箭手在石碣谷埋伏好，让骑兵在中路支援。这样，3个州的百姓才能万无一失地撤走。”监军王侁跳出来反驳道：“我们有几万精兵，根本不用害怕他们！我觉得我们只管带领军队赴雁门关，和他们决一死战就行！”刘文裕也赞成这个意见。杨业说：“不行，现在敌强我弱，这样做肯定失败。”王侁阴阳怪气地说：“将军不是一向号称无敌吗？今天怎么变得如此胆小？该不会是有异心吧？”杨业很生气，对王侁说：“我不是怕死，实在是现在形势对我们不利，我担心让将士们白白送命却没有任何效果。现在您居然说我怕死，那我愿意打头阵。”