4年）春，进入氐王千万部落中，占据显亲，夏侯渊想要袭取显亲，韩遂逃走。
夏侯渊缴获遂韩遂军粮，追击至略阳城，留下负责监查的部将守卫辎重，自己亲率精锐步骑突袭焚毁长离羌屯，斩首颇多。
听闻消息的韩遂军中羌兵纷纷回援各自的部落，韩遂不得已，果然率军来救，而与夏侯渊对阵。诸部将眼看韩遂军力庞大，非常头痛，准备扎营挖堑做持久战。夏侯渊击鼓奋击，大破韩遂军。
建安十九年（214年），让阎行别领西平郡。阎行纠集他的部曲欲杀韩遂投降，响应夏侯渊，乘夜攻击韩遂不下。
韩遂极为失意，向成公英表示自己打算从羌中撤退至蜀地，依附刘备。成公英反对，认为韩遂兴军数十年，如今虽然失败了。
但是不应该丢弃自己在西州建立的威信而转投他地，向韩遂献计先躲入羌氐部落中重新招揽部众，等待机会卷土重来。
韩遂从计，连同数千名追随者退走羌中，由于韩遂曾经有恩于羌人，所以得到羌人的保护。
建安二十年（215年），夏侯渊回汉中，留下阎行，韩遂结集羌胡数万兵众攻破阎行。
不久，韩遂便病死，田乐、阳逵、麴演、蒋石等于是斩下韩遂头颅送于曹操（一说被部下杀害），享年七十余岁。
早年在凉州起兵，杀傅燮，败张温，董卓、孙坚、皇甫嵩等名将亦都曾在其手上失利。后来与马腾一同割据关西，对马腾形成压制。袁尚派高干袭击河东郡时，韩遂派兵帮助曹操。
在《三国演义》中，韩遂形象与正史有一些出入。为并州刺史，与马腾结为异姓兄弟，同镇西凉，曾随马腾勤王，进攻李傕等人，因军粮不足被击败。
后马腾被曹操诱入京城，遇害。出于兄弟之谊，韩遂与马腾之子马超联合，起兵进攻曹操，欲为马腾报仇。
几番交战之后，马超、韩遂中曹操离间之计，马超对韩遂起疑，韩遂手下密谋降曹，被马超发现，砍断左手，成为残疾之人。最终，马超败走，韩遂降于曹操，被封为西凉侯。(本章完)