至德年間，代宗李豫以廣平王任天下兵馬大元帥，平靖安史之亂，征伐千裏，曆險無數，親曆國破顛沛之苦，親睹兵民累屍盈野之殤，深惡權臣軍閥叛亂之害。痛定思痛，代宗認為此次叛亂的根本原因，在於玄宗對底下的外臣太信任，讓渡過多權力尤其是兵權給外臣。
為了避免今後再次遭受兵變之禍，代宗決定要將兵權牢牢地掌握在自己手裏。主要方式有二，其一是將兵權交給作為內臣的閹人，由閹人統領北衙禁軍，同時虛化由外臣掌控的南衙十六衛，使南衙十六衛禁軍有名無實，這樣朝廷中央直屬的禁軍絕大多數都由閹人統領，現今權勢熏天的神策軍就是代宗在廣德年間授意閹首魚朝恩設立的。其二是秘遣李光弼於廣德二年（公元764年）從天下低階文官武將中招募忠勇之士，組建絕對忠誠於皇室的歸義軍，並以歸義軍為班底，改組南衙外臣集團；同時命其在離長安七十裏的驪山營建驪宮，作為歸義軍的本營和皇帝的避難行宮。
其實代宗也是知道的，重用宦官內臣隻是權宜之計，因為閹人的學識、心胸均是遠低於正規選拔而出的外臣，而且由於心裏缺陷，很大部分閹人都有心裏和性格缺陷，容易出陰鷙刻薄的小人。東漢因權閹而亡已是血淋淋的前車之鑒。不料，掌握重權之後閹人內臣，經過代宗、德宗、順宗三朝四十多年的經營後，竟逐漸嬗變為控製了大唐最精銳的神策軍兵權的北司閹黨，不但持續打壓南衙外臣集團，讓代宗原先設想的以歸義軍為班底改組南衙外臣後便讓外臣集團重新掌權的設想徹底落空。這其實也是現在南衙北司之爭的由來，實質上是北司和皇權之間的鬥爭。
歸義軍的編成、官職皆依唐製，其作戰部伍編有墨離、赤水、瀚海、靜塞、保大、建康、寧寇、振威、曜武、天山十都，每都依律置左右二廂，每廂置五營，每營置五隊，每隊置五夥，每夥置二伍，每伍遍五人，故歸義軍共有彍騎（即人員）編製二萬五千人；都設都指揮使、別將，廂設都尉、果毅，營設校尉、尉副，隊設隊正、隊副，均係各自部曲的正副長官，皆有官品，均入流；夥設火長，伍設伍長，無官品，不入流。
歸義軍的日常辦事機構則是行營，行營置有錄曹、功曹、倉曹、法曹、兵曹、胄曹六曹，各司文牘、敘功、錢糧、法紀、兵刃、甲胄諸職事；都知兵馬使、掌書記是行營正副長官，參軍、隨軍則是六曹的正副長官，其下還設有判官、度支等官職，皆有品入流。
歸義軍還在長安、洛陽兩都，以及各藩鎮秘設留院，專司情報刺探、文牒通傳、暗驛經營，長吏為主官，下設巡官、通傳若幹，亦有品入流。
歸義軍之將校僚佐，下至隊正、隊副，上至行營都知兵馬使、各都指揮使，均由押衙擔任，押衙是由天子親自從無甚宗室門閥背景的下品流官中選出，被選中之人皆是正八品以下的少壯文武官員。授予押衙後，尚需觀察及密訓三年，再根據其德行才幹密授歸義軍軍職。
同時，這些押衙大部在朝中還有正規官職，為了壯大皇權聲勢，天子及歸義軍會暗中擢升各押衙。昨日大明宮病變中中犧牲的同平章事李訓、左金吾大將軍韓約均是押衙。但是墨離都左廂（通常稱為左墨離都）及各處留院的將校僚佐，因平日在歸義軍中便有專職，故並未在朝中領有他職。
為了避免今後再次遭受兵變之禍，代宗決定要將兵權牢牢地掌握在自己手裏。主要方式有二，其一是將兵權交給作為內臣的閹人，由閹人統領北衙禁軍，同時虛化由外臣掌控的南衙十六衛，使南衙十六衛禁軍有名無實，這樣朝廷中央直屬的禁軍絕大多數都由閹人統領，現今權勢熏天的神策軍就是代宗在廣德年間授意閹首魚朝恩設立的。其二是秘遣李光弼於廣德二年（公元764年）從天下低階文官武將中招募忠勇之士，組建絕對忠誠於皇室的歸義軍，並以歸義軍為班底，改組南衙外臣集團；同時命其在離長安七十裏的驪山營建驪宮，作為歸義軍的本營和皇帝的避難行宮。
其實代宗也是知道的，重用宦官內臣隻是權宜之計，因為閹人的學識、心胸均是遠低於正規選拔而出的外臣，而且由於心裏缺陷，很大部分閹人都有心裏和性格缺陷，容易出陰鷙刻薄的小人。東漢因權閹而亡已是血淋淋的前車之鑒。不料，掌握重權之後閹人內臣，經過代宗、德宗、順宗三朝四十多年的經營後，竟逐漸嬗變為控製了大唐最精銳的神策軍兵權的北司閹黨，不但持續打壓南衙外臣集團，讓代宗原先設想的以歸義軍為班底改組南衙外臣後便讓外臣集團重新掌權的設想徹底落空。這其實也是現在南衙北司之爭的由來，實質上是北司和皇權之間的鬥爭。
歸義軍的編成、官職皆依唐製，其作戰部伍編有墨離、赤水、瀚海、靜塞、保大、建康、寧寇、振威、曜武、天山十都，每都依律置左右二廂，每廂置五營，每營置五隊，每隊置五夥，每夥置二伍，每伍遍五人，故歸義軍共有彍騎（即人員）編製二萬五千人；都設都指揮使、別將，廂設都尉、果毅，營設校尉、尉副，隊設隊正、隊副，均係各自部曲的正副長官，皆有官品，均入流；夥設火長，伍設伍長，無官品，不入流。
歸義軍的日常辦事機構則是行營，行營置有錄曹、功曹、倉曹、法曹、兵曹、胄曹六曹，各司文牘、敘功、錢糧、法紀、兵刃、甲胄諸職事；都知兵馬使、掌書記是行營正副長官，參軍、隨軍則是六曹的正副長官，其下還設有判官、度支等官職，皆有品入流。
歸義軍還在長安、洛陽兩都，以及各藩鎮秘設留院，專司情報刺探、文牒通傳、暗驛經營，長吏為主官，下設巡官、通傳若幹，亦有品入流。
歸義軍之將校僚佐，下至隊正、隊副，上至行營都知兵馬使、各都指揮使，均由押衙擔任，押衙是由天子親自從無甚宗室門閥背景的下品流官中選出，被選中之人皆是正八品以下的少壯文武官員。授予押衙後，尚需觀察及密訓三年，再根據其德行才幹密授歸義軍軍職。
同時，這些押衙大部在朝中還有正規官職，為了壯大皇權聲勢，天子及歸義軍會暗中擢升各押衙。昨日大明宮病變中中犧牲的同平章事李訓、左金吾大將軍韓約均是押衙。但是墨離都左廂（通常稱為左墨離都）及各處留院的將校僚佐，因平日在歸義軍中便有專職，故並未在朝中領有他職。