学图书馆管理员，后因罪弃官逃亡。刘季攻略关中，路过他的家乡阳武，他投靠了刘季，曾跟着刘季一起攻打过南阳。他还差一点因罪被斩，只因生得身材高大，又有一身白肉，被路过的王陵救下，才侥幸活了下来。后来张耳兵败来投时，张苍被任命为常山守，跟着韩淮阴、张耳一起攻略赵国，陈耳就是被他擒获的，也算是立有战功。赵地平定后，张苍先后担任代相、赵相，又复任代相。
臧荼反叛时，张苍以代相的身份，率军参加了平定臧荼的战斗，并因战功而封侯。随即，他被调入长安，在萧何手下任主计，主管各地官员的述职、考核工作。四年后，他被任命为淮南相。
张苍既有军事经验，又有行政经验，还参与中枢工作，是个多面手。这样的人进入淮南后，淮南的局面很快就安定下来。黥布在淮南几乎无法立足，偶尔占领一两座城池，也被很快扑灭。黥布已经陷入山穷水尽的地步。
这时，他的岳父长沙王番君吴芮派人找到他，让他通过越地，以图再起。黥布信以为真，跟着使者进入越境，来到番阳，结果在兹乡一家农舍里被杀。黥布就是在番阳起家的，这里对他来说就是最安全的地方。可能是因为太放松了吧，结果遭到毒手。这一切应该都是长沙王吴芮暗地里安排的。