太尉一职始设于秦朝，分管全国的军事，相当于军委主席。职权最高时期是在西汉、曹魏时期，在西汉时不常设，之外的时期便成为荣誉性虚职。明朝时彻底废除太尉。宋徽宗年间重定武官制度后，宋代太尉成为武阶官之首，相当于一国之国防部长。
秦始皇统一六国后建立中央集权制度，在中央设三公九卿，分掌全国事务。其中三公为丞相、太尉和御史大夫。丞相分掌行政权，太尉分掌兵权，御史大夫分掌监察权。
秦朝虽然设立了太尉，而职位一直空缺，因为秦始皇不想让别人掌握军权。
汉承秦制，也设有太尉一职，不过西汉时期的太尉并不常设。西汉第一任太尉为卢绾，是刘邦的近臣发小，不过卢绾后来造反，太尉一职暂时撤销，职权归于丞相，后来由周勃接任。