我军最早组建仪仗队不是在新中国成立后，而是在解放战争初期。
1945年10月，美国五星级上将马歇尔以美国总统杜鲁门特使身份来华“调解国共军事冲突”。
为在延安迎接来访的马歇尔，党中央特地指示我军驻南泥湾某团组织一支仪仗队。从全团精选500名年轻、精干、姿态好的战士，编成3个连，组成了我军历史上第一支仪仗队，在延安进行紧张训练。
组队伊始，战士们听说要去欢迎一个支持蒋介石打内战的美国人，抵触情绪很大。许多战士很不高兴，暗暗发誓，“到现场消灭了美国鬼子！”队领导向大家讲了执行这次任务的重大意义，传达了周恩来副主席的指示：我们以这样的形式欢迎马歇尔，表明了我党要求和平的诚意，表明了我们的强大和力量；同时也警告美国政府，如果他们支持蒋介石打内战，中国人民是决不答应的。因此，这项工作有非常重大的政治意义。周副主席的指示，使大家心胸豁然开朗，官兵们以极大的热情投入到训练中。
仪仗队员穿着普通的军衣。因为参加大生产劳动，许多战士的衣服都打了补丁，直到执行任务那天，才换发了一套崭新的军装。
1946年3月4日上午，毛泽东、周恩来、朱德等中央领导人陪同马歇尔在延安机场停机坪检阅了这支仪仗队。仪仗队3个连队呈横队排列，每连排头是炮班，其次是机枪班。战士们穿着崭新的军装，紧握从日寇手中缴获的武器，昂首挺胸，精神百倍，向马歇尔行了注目礼。
受阅后，他们回到原部队，担负起保卫延安的任务。
■毛泽东亲自训练仪仗连；周总理为战士们示范脸上的表情
新中国成立三天后，苏联副外长葛罗米柯致电周恩来外长，表示苏联政府决定同我国建立外交关系，并互派大使。此后，蒙古、朝鲜、越南、缅甸、印度尼西亚等国家纷纷要求与我国建立外交关系。
中央警卫团按照毛泽东指示，将警卫营一连改为仪仗连，担负外国大使呈递国书时的仪仗任务。
这一天，仪仗连被毛泽东请进中南海。毛泽东说，“请你们来，主要是看看你们的动作，让你们也熟悉执行任务的场地和环境。”100多名仪仗队员上身是凡尔丁礼服，下身着东洋式马裤，头戴钢盔，手持三八式马枪和步枪，分列怀仁堂门口两侧。
毛泽东很认真地看了看每位队员，对外交部的同志称赞说：“个头选得好，很整齐。”在主席的亲自指挥下，由外交部组织，仪仗连进行了一场模拟演练。外国大使的车子来到门口后，开始高奏国歌，在国歌声中，大使走出轿车。在“向右看齐”的口令中，官兵们举枪行礼，目光随着大使的脚步移动，直至进入怀仁堂。
外国大使从怀仁堂出来后，部队仍要举枪行礼，目送大使离去。周总理在队列里纠正了一些队员的动作，强调说：“你们要为国家做出模范样子来，从今天起，每位战士代表的就不仅仅是一个人了。尤其是在向右看时，不要绷脸。人家高高兴兴地来，我们也要愉愉快快地迎。”说着，总理又为战士们示范了脸面上的表情。
主席看完演练后，表示基本上满意。他又向仪仗连领导交待了两点，“仪仗兵就要有仪仗兵的样子，要从眼睛里体现出仪仗兵的精神气质，要从动作上体现出军事技术的干练和过硬；还要注意衣服的整洁，武器的保养。另外，动作不要太复杂，再精练一些。”
遵照毛泽东的指示，在聂荣臻总参谋长的具体督促下，这支部队很快开始了外国大使呈递国书的仪仗司礼任务。
之后，随着对外交往的不断发展，毛泽东主席以政治家的胆识和外交家的眼光深切认识到，建立一支专业仪仗队已迫在眉睫。于是，他向公安部队有关领导提出要求：尽快组建中国仪仗队！
经过一年的紧张筹备，1953年6月29日，公安部队首长签署命令：在警卫一团范围内挑选优秀士兵，组建仪仗营。自此，由陆海空军种组成的代表“三军的形象，国家的尊严”的中国人民解放军三军仪仗队正式诞生。