请到江陵自己的王府中居住，自己和眷属退到厢房。义帝不许，他对共敖道：“卿主临江，政多而繁，寡人闲居，少驻即离，但居馆驿可也。”但共敖不答应，道：“天子巡狩，诸侯奉之，礼也。”
义帝道：“如寡人者，宾也；王者，主也。宾不压主。王若退，寡人不安。”
由于义帝坚持一定要住馆驿，共敖拗不过他，只得安排他住在馆驿内，于馆驿外陈设卫士加以保护。
义帝在馆舍中一住多日。共敖每天献饮食，义帝都不当着共敖的面吃。一定要等共敖走了，让内侍们试吃后，自己才吃。义帝住了几天，向共敖辞行。共敖道：“衡山王将及，愿义帝见之。”
义帝道：“寡人过彭蠡，入云梦，道衡山，而衡山王未之见也。今至临江，未足见之。愿早之国，以杜口舌。”
共敖在接待了义帝数日之后，终于备舟，送义帝进入湘水，往南而去。在湘水支流耒水的尽头，就是郴县。
一个月后，项籍遣使来问共敖，为何放义帝之郴？共敖答道：“霸王迁义帝之郴，臣安敢背之，是故送之郴。”由于项籍与共敖之间只通过信使往来，共敖封国又远，共敖本人德高望重，项籍虽恨，但也只能忍着。
更何况，他还有更重要的事要办：田都已经到达彭城，报告了田荣伏击自己，自己全军覆没的消息。看着丧魂失魄的田都，项籍恨不得把他给吃了！