他精通八九种语言，对各种部落的风俗了如指掌，武艺高超，勇武过人。而最重要的是安禄山每到一处，都能够很快和部落酋长搭上关系，取得酋长的信任。过了三四年，到安禄山十七八岁的时候，安禄山当了自己人生的第一个官职，诸蕃互市牙郎，负责在各部落交易的时候维持秩序，调解纠纷。
安禄山的工作做的很好，但是安禄山可不仅仅安于做一个集市管理员，安禄山借着和各部落交易的时节，故意耍弄手段，让一些强大的部落在交易中的到好处，而打压那些弱小的，或者是和曾经得罪过安禄山的部落。
当一些部落酋长带上牛羊，来感谢安禄山的时候，安禄山都不收牛羊，而是和那些部落酋长结拜兄弟。那些酋长都感谢安禄山为人仗义(当然，小部落的酋长就会痛骂安禄山了)，懂得看风色，也就答应了安禄山的请求。很快，安禄山就成为整个胡人领域最有影响力的人物之一。
这也为他将来进军唐朝的官场做了一个很大的铺垫。