益州失守，晋室大惊，孝武帝司马曜召集众臣商议，众臣心中惧怕冉闵，议来议去，却是无一结果。
就在这时，只见吏部尚书谢安出班道：
“陛下，此时冉闵正值强盛，我们若是伺机报复冉闵，说不定冉闵反而会以此为借口，率兵南下。
到了那时，建康（今江苏省南京市）便危矣。”
孝武帝司马曜听罢，心中甚是焦虑，于是问道：“那依爱卿之言，我们应当怎么办？”
谢安道：“冉闵大军这些年南征北战，将领皆为有勇有谋之辈，将士皆为百战之卒。
所以，要想对抗冉闵，我们必须得组建一支精锐之师。”
孝武帝司马曜听罢，心中高兴，问道：“那爱卿计划如何组建呢？”
谢安道：“五胡乱华，中原混战，北方的不少百姓南迁，如今在京口（今江苏省镇江市）和广陵（今江苏省扬州市）聚集了大量为逃避北方战乱而来的流民。
这些流民无地无产，为了填饱肚皮，谋一口饭吃，经常出现打架劫舍，偷盗财产，甚至聚众为寇，袭击州县之事，已经成为扰乱社会秩序的一股不安定力量。
若是我们将这些流民招募起来，答应为他们的妻子儿女分配土地，并为他们发放服装和军饷。
臣想如此一来，不仅社会秩序会得到好转，说不定这些流民百姓会成为一群虎狼之师，保卫京城的安宁。”
孝武帝司马曜听罢，心中大喜，说道：“这真是一个两全其美的方法。”
但是，随即孝武帝司马曜眉头再蹙，说道：“那到底该派谁去指挥这支军队呢？”
这也是孝武帝司马曜的纠结之处，。
如今朝中大臣，都是些夸夸其谈的玄学大师，每日只知聚众清谈，哪会有人治理朝政，带兵打仗呢？
若不然，晋室怎么会被王敦、桓温之辈欺负，整日忍气吞声，苟且偷生呢？
谢安拱手道：“我的侄子谢玄自少便熟读兵书，有经国治军之才略，若是陛下不避贤，可以让他去组建这支军队。”
孝武帝司马曜转头看向下方的众大臣，只见众大臣既没有表示反对的态度，也没有表示支持的态度，一副与己无关，高高挂起的姿态。
也是，招募流民，组建军队，制作军服，打造兵器，还要为将士们发放军饷，为家属分配土地，如此麻烦之事，谁会愿意去接手呢？
而且，还不止这些军中杂事，发放军饷需要朝廷世家出钱，筹措军粮也需要朝廷世家出钱，分配土地更是直接威胁门阀世家的利益，谁会愿意让出土地给这些流民呢？
反正，组建一支军队，不是那么容易的，也不是一纸圣旨就可以轻松办成的。
组建军队是一项复杂的工作，涉及方方面面，如此费心劳神，出力又不讨好的工作，反正众位大臣和世家是不愿意接手的。
孝武帝司马曜扫视一周，见无人答应，也无人反对，这才说道：
“既然如此，就依尚书意见，封谢玄为建武将军、兖州刺史、广陵国相、都督江北诸军事。”
谢安来到家中，找来侄子谢玄，说道：“幼度（谢玄的表字），我已推荐你为建武将军，都督江北诸军事，你现在即刻上任，招募流民，组建军队。”
谢玄听后，心中纳闷，于是请教道：“叔父，那我该如何组建军队呢？”
谢安道：“当时郗鉴在镇守京口（今江苏省镇江市）时，招募了大批的流民，组建了一支军队，名为‘乞活军’。
乞活军皆乃无田无地、无衣无食的流民，他们为了生活，为了赢得军饷与军功，作战英勇，无惧生死，战斗力特别强，战无不胜，先后平叛了钱凤、王敦、苏峻、祖约之乱，名声在外。
只是自郗鉴死后，各门阀士大夫瞧不起这些流民，深以为耻，所以这支军队渐渐涣散，已无战斗力而言。
你到达京口之后，可以以这支军队为核心，再次招募将士，选调一些能征善战，善于指挥打仗的将领。
而后你将他们的姓名上报于我，我再请示朝廷为他们分封官职。
如此一来，这些将士必定会对你感恩戴德，全力拥护于你。
如此，你便可以完全掌握了这支军队。”
谢玄听后，心中大喜，心道：“这真是背靠大树好乘凉，有叔父为我撑腰，还有何事办不成？”
于是，谢玄来到京口，按照谢安的指示，开始召募士兵。
京口本地的流民听说之后踊跃报名，甚至就连徐州、青州、兖州的流民帅听说后，纷纷率领流民大军应募入伍。
彭城的刘牢之、东海何谦、琅琊诸葛侃﹑乐安高衡、东平刘轨、西河田洛﹑晋陵孙无终等流民帅纷纷前来应募。
短短几年时间，便征得8万之众。
这些流民装备并不精良，训练更是谈不上正规。但是因为这些流民皆是半武装性质，长期与北方胡人作战，其战斗力颇为强劲。
谢玄全部照单接受，承诺为其分发银饷和土地。
但是8万将士，这就相当于8万个家庭，至少约30万人口，可是江南之地的良田大部分已被门阀士家占领，哪有什么土地分配给这些流民？
于是，谢玄灵机一动，将江北的土地分配给这些流民。
长江以北，因无天险可依，长期以来一直处于战争状态之中，你争我夺，战斗频繁，千亩良田，却无人耕种。
谢玄将这些土地分配给流民，有两种考虑：
第一，将江北之地分配给流民，就相当于实行了屯田制，千亩良田可以得到开发。
如此一来，不仅可以解决流民的温饱问题，而且还可以收租，解决军队的军粮问题。
第二，这些流民将士的妻小皆在江北，为了保护妻小，将来战斗之时，这些流民将士必定会英勇作战。
如此一来，军队的战斗力也将成倍的提高。
同时，谢玄又在将士之中挑选了一批作战英勇，精通兵法，有一定军营生活经历的将士为将。
诸如刘牢之、何谦、诸葛侃、高衡、刘轨、田洛及孙无终等人都因为勇敢威武而应选。
谢玄为他们各授官职，统领一军，刘牢之等人见后，心中高兴，于是纷纷拥戴谢玄，愿意为谢玄出生入死。
如此，谢玄在很短的时间内便完全掌控了这支军队。
因为这支军队驻守在京口，而东晋之时又称京口为北府，所以这支军队就成了后来大名鼎鼎的“北府兵”。