当时刘备屯驻在樊城，刘琮不敢告诉刘备他已经投降。刘备过了很久才察觉，派亲信去问刘琮，刘琮令官属宋忠到刘备处宣旨。这时曹操大军已经抵达宛城。刘备大为惊骇，对宋忠说：“你们是这么做事的吗？不早告诉我，等到大祸已至，才给我消息，这不是太过分了吗!”刘备抽出佩刀，指着宋忠说：“如今我斩下你的头，也不能解恨，大丈夫临别之际，杀你这种人也是我的耻辱!”放宋忠回去。于是刘备招呼部曲一起商议，有人劝刘备攻打刘琮，可以取得荆州。刘备说：“刘表去世前给我以托孤之重，背弃信义，只图自己利益，这不是我做的事，否则我死后怎么和刘表见面呢？”于是率众撤离，从襄阳经过的时候，停下马高呼刘琮，刘琮恐惧，不能起身。刘琮左右及荆州人很多都归附刘备。刘备到刘表墓前告辞，涕泣而去。到了当阳，跟随的部众有十几万人，辎重车数千辆，一天只能走十几里。刘备命关羽乘船数百艘，约定到江陵会合。有人对刘备说：“应该急速进军，保卫江陵，现在虽然带着这么多人，但是有盔甲的士兵很少，如果曹公兵到，如何抵御？”刘备说：“济大事者必以人为本，如今大家跟着我，我怎么能抛弃他们自己走？”