麦铁杖生活于陈朝和隋朝期间,隋朝灭掉陈朝后,他转入大将军杨素的军中,被派往清流县,在那里多次立下战功。正巧江东发生叛乱,杨素派遣铁杖前往江南侦察情况。
麦铁杖头戴草帽,在夜间漂水渡过江河,详细了解了敌人的营地情况后回报了杨素。后来他又一次潜入敌营侦察,结果被敌军抓住,贼帅李棱派出三十名士兵押送他,并准备把他绑送给高智慧。押送过程中,抵达肻亭时,士兵们吃饭休息,看到他饥饿的样子,就解开了他的绑缚让他吃饭。麦铁杖趁机夺过士兵的刀,乱砍押送他的士兵,直到全部杀尽,然后一一割下他们的鼻子,怀揣着回到了杨素那里,让杨素非常震惊。后来在功劳评定时,麦铁杖却没有得到应有的奖赏。正好碰上杨素坐驿车返回京都,铁杖却选择徒步追随杨素,每晚都在同一家店里休息。
直到杨素发现麦铁杖时,才明白他的用心。杨素特地向隋文帝请奏,请求授予麦铁杖仪同三司的官职。但因为麦铁杖不识字,于是被送回了家乡。成阳公李彻非常欣赏铁杖的勇猛,于是在开皇十六年(597年)征召麦铁杖到京城,并任命他为车骑将军。他仍然跟随杨素北征突厥,还被封为上开府。