魏征原先招抚李密旧部有功，但被胁入农民军中一年半，再度归唐后就很难被重用。太子李建成听说魏征既有才华又有才能，就把他找来，给了他一个管理图书经籍的小官，叫做洗马。在这一阶段，魏征虽有文名，实际上并未发挥多大的作用，只是给李建成提过一个建议，让他带兵去攻打不堪一击的刘黑闼，既可建立军功，又可暗结豪杰，太子听信了他的建议，结果取得了圆满的成功。
李唐政权把握了天下大势之后，李世民发动“玄武门之变”，杀死了哥哥太子李建成、弟弟齐王李元吉，自己当了太子。李世民也知道魏征既是李建成的心腹，又非等闲人物，就立刻招见了他。责问他说：“你为什么挑拨我们兄弟间的关系呢？”魏征没有巧言机辩，而是据理回答，他说：“人各为其主。如果太子早听信了我的话，就不会有今天的下场，我忠于李建成，又有什么错呢？管仲不是还射中过齐桓公的带钩吗？”
