從以上那些規定看，奕顯然是要培養具有先進科學技術知識的新型知識分子的幹部隊伍，以改變官吏的結構。因為隻有這樣的人充當各級官吏，才能使洋務路線和各項相應的政策便於推行，才有利於洋務事業的發展。這應該說是一個進步的措施。而這，必然遭到頑固官僚們的反對和攻擊。
以山東監察禦史張盛藻打頭陣，大學士倭仁為首的一批高層官僚也赤膊上陣。他們集中攻擊招收正途有功名者入館學習科技知識一項。張盛藻說：“朝廷命官必用科甲正途者，為其讀孔孟之書，學堯舜之道”，“若令正途科甲人員習為機巧之事，又藉升途、銀兩以誘之，是重名利而輕氣節，無氣節安望其有事功哉！”他認為天文算學館“止宜責成欽天監衙門考取少年穎悟之天文生、算學生送館學習”。張盛藻這種頑因守舊觀點，在一片辦洋務的熱潮中，很自然地遭到清廷“著無庸議”的否定上諭。倭仁不甘心失敗，他除申述張盛藻“立國之道，尚禮義不尚權謀；根本之圖，在人心不在技藝”那些陳詞濫調之外，著重渲染“師事夷人”的危害。他說：用“西人教習正途，所損甚大”，它將於“數年以後，不盡驅中國之眾鹹歸於夷不止。”而且“夷人吾仇也”，“師事夷人”即為“事仇”，其罪大矣！如果實在需要天文數學人才，中國如此之大，人口如許之多，“必有精其術者，何必夷人，何必師事夷人？”
奕等總署大臣針鋒相對，指著倭仁的名字駁斥道：臣等之所以招收正途出身的學士大夫入天文算學館學習，其故有二：一是正途出身人員均為“讀書明理之士，存心正大”，學習西學不至於“不加揀擇”，被“洋人引誘誤入歧途”；二是學士大夫對今日局勢均痛心疾首，均有如倭仁所說的“夷為吾仇”的心情，他們“自必亦有臥薪嚐膽之誌”。“然試問所為臥薪嚐膽者，姑為其名乎？抑將求其實乎？如謂當求其實，試問當求之愚賤之人乎？抑當求之士大夫乎？”這種反駁是很有說服力的。倭仁的正途出身人員不能“師事夷人”的論點，正成了奕招收正途人員入館學西學的依據。奕的駁斥並不停止在這個水平上，他在以倭仁攻擊之道還治倭仁之後，轉為進攻說，我們認為當今之局勢，隻有沒館學習西方的科學技術知識以創辦和發展輪船航運、機器製造等工商業，才能自強。如果倭仁“以此舉為窒礙，自必別有良圖；如果實有妙策，可以製外國而不為外國所製，臣等自當追隨該大學士之後，竭其檮昧，悉心商辦。……如別無良策，僅以忠信為甲冑，禮義為幹櫓等詞，謂可折衝樽俎，足以製敵之命，臣等實未敢信。”至於倭仁所說中國亦有此種人才，那很好，“內外臣工先後二十餘年所求而弗獲者，倭仁耳目中竟有其人，不勝欣幸。”“清旨飭下倭仁酌保數員，即請擇地另設一館，由倭仁督飭以觀厥成。”可是，當清廷真的下旨飭倭仁照此辦理時，倭仁隻好認輸，說：“奴才並無精於天文、算學之人，不敢妄保”，前議不過“以理度之”而已。同文館既不能中止，“則奴才前奏，已無足論。”此後雖有通政使於淩辰、左都禦史靈桂、候補知州楊廷熙等人頑固無知的胡言亂語，但都未起什麽作用。楊廷熙且遭到廷旨申斥。
招正途人員入天文、算學館學習之爭，經過兩個迴合，以奕等人告捷，倭仁認輸而告一段落。但這不等於就能付之於行動了。在奕等人與倭仁的論爭過程中，社會上街頭巷議極多。有的人寫聯語雲：“鬼計本多端，使小朝廷設同文之館；軍機無遠略，誘佳弟子拜異類為師。”也有的人粘紙條於同文館門前，以俚語笑罵：“胡鬧，胡鬧，教人都從了天主教”；“未同而言，斯文將喪”；“孔門弟子，鬼穀先生。”一時間竟掀起了反對添設天文、算學館的浪潮。誠如奕所說：“京師各省士大夫聚黨私議，約法阻攔，甚且以無稽謠言煽惑人心”，使添設的天文、算學館“無復有投考者”。奕無可奈何地慨嘆說：“是臣等未有失人心之道，人心之失，倡浮言者失之也！”奕對於“失人心之道”的原因，還是找對了的。
應該看到，這場鬥爭，是革新與守舊之爭，是學習、掌握西方科學技術與堅守落後生產力之爭。奕與倭仁雖都是為了維護清王朝統治，都主張“中學為體”，但從社會發展看，他們之間還是有是非之別的。以倭仁為代表的一派人觀點是要使中國永遠落後下去，以奕為代表的一派人的作法，是要使中國變落後為先進。我們不能因為奕一派人站在維護清王朝反動專製統治的立場，而一概否認其變革的主張。歷史上的人物，為了維護反動統治而採取必要的變革手段，從而促進了社會向前發展者不乏其例。
由於倭仁為代表的頑固派對天文算學館開辦的倡議進行阻撓，正途人員投考者寥寥無幾。奕等經過磋商，不得不放寬投考者的條件，以擴大生源。其原則是“投考之人，正途與監生雜項人員相間”。奕說：“此舉既不能如初念之所期，不敢過於拘執，因頁一律收考。”但第一次招生，投考報名者98人，實到72人，於同治六年五月二十日考試，酌取30名（一說31名）。由於考生質量低劣，次年再行複試，“其中尚堪造就者不過數人”，留館學習者10人而已，最後學成者不過5人。於是不得不令該生等與“舊在同文館年八旗俊秀同在一館，俾資探討。”實際上，所謂天文、算學館是不存在了。於此可見洋務改革阻力重重，每前進一步，那怕是極小一步，都是很艱難的。
</br>
以山東監察禦史張盛藻打頭陣，大學士倭仁為首的一批高層官僚也赤膊上陣。他們集中攻擊招收正途有功名者入館學習科技知識一項。張盛藻說：“朝廷命官必用科甲正途者，為其讀孔孟之書，學堯舜之道”，“若令正途科甲人員習為機巧之事，又藉升途、銀兩以誘之，是重名利而輕氣節，無氣節安望其有事功哉！”他認為天文算學館“止宜責成欽天監衙門考取少年穎悟之天文生、算學生送館學習”。張盛藻這種頑因守舊觀點，在一片辦洋務的熱潮中，很自然地遭到清廷“著無庸議”的否定上諭。倭仁不甘心失敗，他除申述張盛藻“立國之道，尚禮義不尚權謀；根本之圖，在人心不在技藝”那些陳詞濫調之外，著重渲染“師事夷人”的危害。他說：用“西人教習正途，所損甚大”，它將於“數年以後，不盡驅中國之眾鹹歸於夷不止。”而且“夷人吾仇也”，“師事夷人”即為“事仇”，其罪大矣！如果實在需要天文數學人才，中國如此之大，人口如許之多，“必有精其術者，何必夷人，何必師事夷人？”
奕等總署大臣針鋒相對，指著倭仁的名字駁斥道：臣等之所以招收正途出身的學士大夫入天文算學館學習，其故有二：一是正途出身人員均為“讀書明理之士，存心正大”，學習西學不至於“不加揀擇”，被“洋人引誘誤入歧途”；二是學士大夫對今日局勢均痛心疾首，均有如倭仁所說的“夷為吾仇”的心情，他們“自必亦有臥薪嚐膽之誌”。“然試問所為臥薪嚐膽者，姑為其名乎？抑將求其實乎？如謂當求其實，試問當求之愚賤之人乎？抑當求之士大夫乎？”這種反駁是很有說服力的。倭仁的正途出身人員不能“師事夷人”的論點，正成了奕招收正途人員入館學西學的依據。奕的駁斥並不停止在這個水平上，他在以倭仁攻擊之道還治倭仁之後，轉為進攻說，我們認為當今之局勢，隻有沒館學習西方的科學技術知識以創辦和發展輪船航運、機器製造等工商業，才能自強。如果倭仁“以此舉為窒礙，自必別有良圖；如果實有妙策，可以製外國而不為外國所製，臣等自當追隨該大學士之後，竭其檮昧，悉心商辦。……如別無良策，僅以忠信為甲冑，禮義為幹櫓等詞，謂可折衝樽俎，足以製敵之命，臣等實未敢信。”至於倭仁所說中國亦有此種人才，那很好，“內外臣工先後二十餘年所求而弗獲者，倭仁耳目中竟有其人，不勝欣幸。”“清旨飭下倭仁酌保數員，即請擇地另設一館，由倭仁督飭以觀厥成。”可是，當清廷真的下旨飭倭仁照此辦理時，倭仁隻好認輸，說：“奴才並無精於天文、算學之人，不敢妄保”，前議不過“以理度之”而已。同文館既不能中止，“則奴才前奏，已無足論。”此後雖有通政使於淩辰、左都禦史靈桂、候補知州楊廷熙等人頑固無知的胡言亂語，但都未起什麽作用。楊廷熙且遭到廷旨申斥。
招正途人員入天文、算學館學習之爭，經過兩個迴合，以奕等人告捷，倭仁認輸而告一段落。但這不等於就能付之於行動了。在奕等人與倭仁的論爭過程中，社會上街頭巷議極多。有的人寫聯語雲：“鬼計本多端，使小朝廷設同文之館；軍機無遠略，誘佳弟子拜異類為師。”也有的人粘紙條於同文館門前，以俚語笑罵：“胡鬧，胡鬧，教人都從了天主教”；“未同而言，斯文將喪”；“孔門弟子，鬼穀先生。”一時間竟掀起了反對添設天文、算學館的浪潮。誠如奕所說：“京師各省士大夫聚黨私議，約法阻攔，甚且以無稽謠言煽惑人心”，使添設的天文、算學館“無復有投考者”。奕無可奈何地慨嘆說：“是臣等未有失人心之道，人心之失，倡浮言者失之也！”奕對於“失人心之道”的原因，還是找對了的。
應該看到，這場鬥爭，是革新與守舊之爭，是學習、掌握西方科學技術與堅守落後生產力之爭。奕與倭仁雖都是為了維護清王朝統治，都主張“中學為體”，但從社會發展看，他們之間還是有是非之別的。以倭仁為代表的一派人觀點是要使中國永遠落後下去，以奕為代表的一派人的作法，是要使中國變落後為先進。我們不能因為奕一派人站在維護清王朝反動專製統治的立場，而一概否認其變革的主張。歷史上的人物，為了維護反動統治而採取必要的變革手段，從而促進了社會向前發展者不乏其例。
由於倭仁為代表的頑固派對天文算學館開辦的倡議進行阻撓，正途人員投考者寥寥無幾。奕等經過磋商，不得不放寬投考者的條件，以擴大生源。其原則是“投考之人，正途與監生雜項人員相間”。奕說：“此舉既不能如初念之所期，不敢過於拘執，因頁一律收考。”但第一次招生，投考報名者98人，實到72人，於同治六年五月二十日考試，酌取30名（一說31名）。由於考生質量低劣，次年再行複試，“其中尚堪造就者不過數人”，留館學習者10人而已，最後學成者不過5人。於是不得不令該生等與“舊在同文館年八旗俊秀同在一館，俾資探討。”實際上，所謂天文、算學館是不存在了。於此可見洋務改革阻力重重，每前進一步，那怕是極小一步，都是很艱難的。
</br>