1980年11月共和党人在大选中胜利，温伯格、卡卢奇分别担任里根政府的国防部长和副部长。卡卢奇还没有上任就告诉鲍威尔，要他把目标指向参联会主席。鲍威尔要卡卢奇别再提这事了，说自己年轻、资历浅。的确，通往参联会主席的路还有许多台阶要上。
1981年6月，鲍威尔出任第4机械化步兵师副师长，4个月后被调到利文沃思堡，在“联合战斗装备发展署”任副署长。1983年年中，国防部长温伯格的军事助理卡尔·史密斯将军按轮换计划离任，由鲍威尔接任。
年仅46岁的鲍威尔进入了美国国防部最高决策层，参预了一系列重大事件的决策，如入侵格林纳达、空袭利比亚、海湾护航、伊朗门事件，可谓春风得意，但他早就悟出高处不胜寒的道理。在华盛顿，方式比见解更为重要，最终能够出人头地的人，不但要能准确领会总统和国防部长的意图，还要能感受到他们的难处，既要做他们不便做的事，又要干得堂而皇之。
