北府兵的蓬勃發展大大出乎了桓溫的預料，原本隻是想要安置一下無地流民的工作，解決他們的生存問題，但是流民們對胡人刻骨的仇恨以及打迴故土的強烈願望深深的震撼了桓溫，也讓桓溫意識到這支軍隊若是利用好的話，極有可能會成為自己統一天下的利器，同樣也會成為自己建立霸業的基石。
因此，為了更好的培育這支軍隊，將它打造成一支像戰國時代魏武卒和秦國銳士那樣的精銳部隊，桓溫決定親自來領導和建設這支部隊。
首先，為了徹底掌控這支軍隊，同時也基於洛陽之戰時士族將領不敢迎戰的拙劣表現，桓溫決定將北府兵裏麵的出身於士族的將領全部清理出去，甚至連謝安的侄子謝玄都被清理了出去。
按理來說，謝玄確實是一名優秀的將領，自從軍以來，作戰勇敢，指揮有方，在軍隊當中屢立戰功，是一個不可多得的優秀將領，但是因為謝玄出身於頂級門閥陳郡謝氏，為了排除士族階層的幹擾，建設一支全寒族將領組成的軍隊，桓溫還是忍痛將謝玄清理出了北府兵係統，將他調到了兗州刺史朱序手下擔任建武將軍。
清理出士族階層的將領之後，桓溫又將出身寒族的將領東海郡的何謙﹑琅琊郡的諸葛侃﹑樂安郡的高衡﹑東平郡的劉軌﹑西河郡的田洛﹑晉陵郡的孫無終等人安排進了北府兵軍隊裏麵擔任領兵將領，這些人皆出身寒族，在沒有投靠桓溫之前，又都曾是領兵一方的流民帥，在江北等地率領流民跟胡人作戰多年，隻不過規模都不大，在桓溫北伐之時，攝於桓溫的威名而先後投靠桓溫，雖然作戰勇敢，戰功赫赫，但是因為出身寒族的緣故，所以在軍隊當中遲遲得不到提拔。
桓溫將他們安排進北府兵係統裏麵之後，因為北府兵的兵源就是流民，所以跟他們有一種天然的親近感，更加有利於增強軍隊的凝聚力。
解決了將的問題之後，桓溫又著手解決兵的問題，熟悉現代軍隊建設標準的桓溫很清楚士兵在精而不在多，因為流民的來源比較雜亂，身體素質也參差不齊，為了將北府兵建設成一支精銳部隊，桓溫決定嚴格選拔士兵，限製軍隊人數，將身體素質不行的全部剔除出去。
桓溫選拔士兵的要求不僅僅是身體強壯，還要能夠吃苦，最簡單的要求就是需要攜帶三天吃的軍糧以及各種武器裝備連續急行軍一百裏，因為古代都是步行，所以三天吃的軍糧加上各種武器設備，重量基本上都超過一百斤，背著一百斤的東西在一天之內急行軍一百裏，對任何人來都是一個極大的考驗。
經過嚴格的選拔測試，當時已經入伍的八萬士兵當中僅留下不足一千人，基本上一百個人才能留下一到兩個，選拔標準可是說是相當的嚴格，嚴格到連桓衝都忍不住的抱怨，建議桓溫放寬一下選拔標準，但是桓溫就是要精益求精，因此堅持這樣的選拔標準，最終桓衝拗不住桓溫，為了補充兵源，隻得再次到京口各地繼續招募流民，在又招募了二十多萬流民之後，才勉強湊齊了五千名符合標準的士兵，但是即便這樣，桓溫依然不肯降低標準。
既然在京口招募流民人數已經達到了極限，為了吸引更多的流民來參軍入伍，桓溫決定采取大幅度提高待遇標準的方式來招募全天下的流民，由於北府兵屬於私兵，不在朝廷的軍隊編製裏麵，所以北府兵的所有開支都由桓溫自己的楚公府來支付，楚公府坐擁十郡之地，桓溫所掌控的荊州又是天下最富庶的大州，所以財力自然不成問題。
桓溫給這些士兵的薪水不但是其他部隊裏的十倍，而且桓溫還建立了一整套的獎勵製度：隻要在戰場上斬殺一人首級即為立功，不但可以得到財產的獎勵，而且累功到一定程度還可以獲得提拔；斬殺十人首級就可以獲贈一畝土地，斬殺一百人首級可以獲得相應的爵位。
不但如此，桓溫還規定士兵戰死之後不但可以獲得生前俸祿的一百倍作為撫恤金，而且士兵生前所獲得的所有財產、土地和爵位均可由其子女繼承，同時免除一家人的賦稅，讓一家人都能夠跟著沾光，在知道，在當時人頭稅可是很高的，人隻要一生下來就得交稅，一直交到死為止，一個家庭勞累了一整年所有的收成就是被各種各樣的雜稅給克扣的所剩無幾，所以才會造成不管收成好不好都要忍饑挨餓的現象，所以桓溫這種直接免除一個家庭所有稅負的作法，對當時的人們是相當的有誘惑力。
而桓溫之所以這樣做就是免除了北府兵戰士的後顧之憂，讓他們在戰場上更加賣命，每殺一個敵人，就代表著自己又可以多得到一些財產、田地，甚至獲得爵位了。
正所謂重賞之下必有勇士，北府兵如此優厚的待遇，再加上桓溫的赫赫威名，吸引了眾多的人前來參加北府兵，但是由於桓溫製定的選拔標準實在太高，所以經過了半年多的選拔之後，才勉強湊齊了一萬人的符合標準的士兵。
有了這一萬名標準非常高的士兵後，桓溫又著手進行了編製改革，桓溫將這一萬人統為四個軍，每軍兵力有2500人，軍之下有幢、隊、什、伍等編製，一軍有若幹幢，一幢大致有10隊，一隊有10什，一什2伍，一伍5人，各個級別的長官分別是幢主、隊主、什長、伍長。
部隊編製完成之後，桓溫又比照後世特種兵的訓練標準培訓士卒，再加上北府兵的大小將領皆出身流民，對同為流民的士兵有種天然的親近感，吃住都跟士兵們在一起，甚至訓練的間隙還能跟士兵們一起睡在田埂上，有什麽事情大家也是相互幫助，彼此之間感情深厚，而這些都是出身士族的將領們無論如何都做不到的事情。
超高的待遇、能夠同甘同苦的領導以及可以讓後人蒙陰的身後事的安排，促使北府兵成為了一支鐵血部隊，他們可以共進退、同生死，團結力和凝聚力超強。
當然，戰鬥力和戰鬥意誌是一方麵，武器裝備是另一方麵，由於桓溫完全是按照自己的私兵來打造北府兵，自然武器裝備也是最頂級的，盡管由於曆史的局限性桓溫無法發明一些諸如火炮、火槍之類的熱兵器，但好在桓溫還擁有千年的智慧，因此在武器裝備方麵，桓溫不吝重金，全部都是用當時最頂級的材質打造兵器，同時對兵器進行改良，這就讓北府兵擁有了當時最先進的武器裝備。
因此，為了更好的培育這支軍隊，將它打造成一支像戰國時代魏武卒和秦國銳士那樣的精銳部隊，桓溫決定親自來領導和建設這支部隊。
首先，為了徹底掌控這支軍隊，同時也基於洛陽之戰時士族將領不敢迎戰的拙劣表現，桓溫決定將北府兵裏麵的出身於士族的將領全部清理出去，甚至連謝安的侄子謝玄都被清理了出去。
按理來說，謝玄確實是一名優秀的將領，自從軍以來，作戰勇敢，指揮有方，在軍隊當中屢立戰功，是一個不可多得的優秀將領，但是因為謝玄出身於頂級門閥陳郡謝氏，為了排除士族階層的幹擾，建設一支全寒族將領組成的軍隊，桓溫還是忍痛將謝玄清理出了北府兵係統，將他調到了兗州刺史朱序手下擔任建武將軍。
清理出士族階層的將領之後，桓溫又將出身寒族的將領東海郡的何謙﹑琅琊郡的諸葛侃﹑樂安郡的高衡﹑東平郡的劉軌﹑西河郡的田洛﹑晉陵郡的孫無終等人安排進了北府兵軍隊裏麵擔任領兵將領，這些人皆出身寒族，在沒有投靠桓溫之前，又都曾是領兵一方的流民帥，在江北等地率領流民跟胡人作戰多年，隻不過規模都不大，在桓溫北伐之時，攝於桓溫的威名而先後投靠桓溫，雖然作戰勇敢，戰功赫赫，但是因為出身寒族的緣故，所以在軍隊當中遲遲得不到提拔。
桓溫將他們安排進北府兵係統裏麵之後，因為北府兵的兵源就是流民，所以跟他們有一種天然的親近感，更加有利於增強軍隊的凝聚力。
解決了將的問題之後，桓溫又著手解決兵的問題，熟悉現代軍隊建設標準的桓溫很清楚士兵在精而不在多，因為流民的來源比較雜亂，身體素質也參差不齊，為了將北府兵建設成一支精銳部隊，桓溫決定嚴格選拔士兵，限製軍隊人數，將身體素質不行的全部剔除出去。
桓溫選拔士兵的要求不僅僅是身體強壯，還要能夠吃苦，最簡單的要求就是需要攜帶三天吃的軍糧以及各種武器裝備連續急行軍一百裏，因為古代都是步行，所以三天吃的軍糧加上各種武器設備，重量基本上都超過一百斤，背著一百斤的東西在一天之內急行軍一百裏，對任何人來都是一個極大的考驗。
經過嚴格的選拔測試，當時已經入伍的八萬士兵當中僅留下不足一千人，基本上一百個人才能留下一到兩個，選拔標準可是說是相當的嚴格，嚴格到連桓衝都忍不住的抱怨，建議桓溫放寬一下選拔標準，但是桓溫就是要精益求精，因此堅持這樣的選拔標準，最終桓衝拗不住桓溫，為了補充兵源，隻得再次到京口各地繼續招募流民，在又招募了二十多萬流民之後，才勉強湊齊了五千名符合標準的士兵，但是即便這樣，桓溫依然不肯降低標準。
既然在京口招募流民人數已經達到了極限，為了吸引更多的流民來參軍入伍，桓溫決定采取大幅度提高待遇標準的方式來招募全天下的流民，由於北府兵屬於私兵，不在朝廷的軍隊編製裏麵，所以北府兵的所有開支都由桓溫自己的楚公府來支付，楚公府坐擁十郡之地，桓溫所掌控的荊州又是天下最富庶的大州，所以財力自然不成問題。
桓溫給這些士兵的薪水不但是其他部隊裏的十倍，而且桓溫還建立了一整套的獎勵製度：隻要在戰場上斬殺一人首級即為立功，不但可以得到財產的獎勵，而且累功到一定程度還可以獲得提拔；斬殺十人首級就可以獲贈一畝土地，斬殺一百人首級可以獲得相應的爵位。
不但如此，桓溫還規定士兵戰死之後不但可以獲得生前俸祿的一百倍作為撫恤金，而且士兵生前所獲得的所有財產、土地和爵位均可由其子女繼承，同時免除一家人的賦稅，讓一家人都能夠跟著沾光，在知道，在當時人頭稅可是很高的，人隻要一生下來就得交稅，一直交到死為止，一個家庭勞累了一整年所有的收成就是被各種各樣的雜稅給克扣的所剩無幾，所以才會造成不管收成好不好都要忍饑挨餓的現象，所以桓溫這種直接免除一個家庭所有稅負的作法，對當時的人們是相當的有誘惑力。
而桓溫之所以這樣做就是免除了北府兵戰士的後顧之憂，讓他們在戰場上更加賣命，每殺一個敵人，就代表著自己又可以多得到一些財產、田地，甚至獲得爵位了。
正所謂重賞之下必有勇士，北府兵如此優厚的待遇，再加上桓溫的赫赫威名，吸引了眾多的人前來參加北府兵，但是由於桓溫製定的選拔標準實在太高，所以經過了半年多的選拔之後，才勉強湊齊了一萬人的符合標準的士兵。
有了這一萬名標準非常高的士兵後，桓溫又著手進行了編製改革，桓溫將這一萬人統為四個軍，每軍兵力有2500人，軍之下有幢、隊、什、伍等編製，一軍有若幹幢，一幢大致有10隊，一隊有10什，一什2伍，一伍5人，各個級別的長官分別是幢主、隊主、什長、伍長。
部隊編製完成之後，桓溫又比照後世特種兵的訓練標準培訓士卒，再加上北府兵的大小將領皆出身流民，對同為流民的士兵有種天然的親近感，吃住都跟士兵們在一起，甚至訓練的間隙還能跟士兵們一起睡在田埂上，有什麽事情大家也是相互幫助，彼此之間感情深厚，而這些都是出身士族的將領們無論如何都做不到的事情。
超高的待遇、能夠同甘同苦的領導以及可以讓後人蒙陰的身後事的安排，促使北府兵成為了一支鐵血部隊，他們可以共進退、同生死，團結力和凝聚力超強。
當然，戰鬥力和戰鬥意誌是一方麵，武器裝備是另一方麵，由於桓溫完全是按照自己的私兵來打造北府兵，自然武器裝備也是最頂級的，盡管由於曆史的局限性桓溫無法發明一些諸如火炮、火槍之類的熱兵器，但好在桓溫還擁有千年的智慧，因此在武器裝備方麵，桓溫不吝重金，全部都是用當時最頂級的材質打造兵器，同時對兵器進行改良，這就讓北府兵擁有了當時最先進的武器裝備。