从19世纪60年代开始，清朝政府内部一部分当权官僚，面临千古未有的变局，企图探索新的出路，开始着手向外国大量购买坚船利炮，开厂制造新式军火，采用新法操练新式军队，进而办厂矿、铁路、航运、邮电等民用企业，还创办新式学堂，翻译西学书籍，向国外派遣留学生等。统治阶级将这些活动称为 “自强新政”。由于这些活动主要取法于外洋，所以历史上称为洋务运动。
1861年初，恭亲王奕訢、大学士桂良 (1785—1862)、户部左侍郎文祥 (1818—1876) 上奏咸丰皇帝，请求在京师设立总理各国事务衙门。经咸丰皇帝批准，5月11日，总理衙门宣告成立，同时启用关防，由奕訢、桂良、文祥负责管理。应设司员从内阁、部院、军机处挑满、汉人员作为定额。总理衙门的建立，标志着洋务运动的正式开始。
总理衙门建立之初，主要职责是办理对外国的交涉事务。按地理区域和工作性质设立五股，一厅、一房和两个附属机构。五股为英国股、法国股、俄国股、美国股、海防股，分别掌管与各国的交涉事务; 司务厅、清档房负责处理本署内部的行政事务和文书往来; 同文馆和总税务司则是附属于总理衙门的机构。这种分工尽管还比较粗略，但初步具备了近代外交机关的雏型。随着奕訢权力的加强，总理衙门的职权范围逐步扩大，进而管理通商、海防、军务、关税等事务，总揽了全部洋务事业，成了清政府的中枢机构。