袁天罡少年时孤苦贫寒，但他喜爱读书，对相术深有研究。后来，袁天罡应友人张柬之的邀请来到洛阳，任职资官令。袁天罡初到洛阳时，他便以相术出名。当时，袁天罡为杜淹、王珪、韦挺看相，并成功预言三人的仕途。大业末年，天下大乱，袁天罡回到故乡以卖卦为生。贞观初年，袁天罡偶遇武则天一家，也留下预言。贞观六年，唐太宗听闻袁天罡的名气，招他做朝廷的智囊。贞观8年，袁天罡请辞回乡，不久就去世了。
袁天罡在相术方面很有研究，著有《推背图》、《称骨歌》、《天文志》等大量作品，为后世留下大量资料。