张伯苓堪称中国现代教育第一人，他创办了中国第一所正规的私立大学——南开大学，兢兢业业为之奋斗了半个多世纪。
中国兴建现代意义上的大学不过一百余年的历史，1895年中国第一所官办大学北洋大学堂才在天津成立。最初的大学，主要有国立（包括省立）、教会、私立三种形式。大学不是产业，不能以赢利为目的，办大学需要投入大量的资金，以中国当时的经济实力以及对教育的轻视，私立大学靠社会募捐相当困难，南开大学之所以在20世纪20年代能够迅速崛起，创造了中国教育史上的一个奇迹，张伯苓居功至伟。
最初，弃武从教的张伯苓在严修的严氏家馆当教师，应聘后，他与传统的私塾教育不同，不是向学生灌输四书五经，而是讲授英文、数学和自然科学等课程，并开展体育活动，张伯苓的做法得到了教育先驱严修的首肯和信赖。严氏家馆最初只有五名学生，张伯苓在教授这几个孩子的同时也兼任天津巨商王益孙王氏家馆的塾师。1904年他与严修去日本考察教育，对源于西方的教育方法、教学理念领会颇深，回国后决定付诸实践，将严王两家的塾馆合并，成立新式学校。1904年10月在严修家偏院，以三个大房间当教室，一个小房间当办公室，大厅供集会使用，成立了“私立中学堂”。除教育严、王两家子女外，公开向社会招生，第一期共招收了70多名学生，两家每月资助200两银子作为办学经费。年底，私立中学堂改名为“敬业中学堂”，取“肃敬受业”之意。后因当局要求校名必须表明经济来源，遂改为“天津第一私立中学堂”。
1905年，清政府停止科举，废庙兴学，其时，社会上的新式学校极为罕见，南开生逢其时，很快在全国产生一定影响，学生人数骤然增加，陈旧的院落不敷使用，天津富商郑菊如为学校捐出城南“南开洼”（今南开中学一带，当年是天津老城南的一片大开洼，“南开”地名由此而来）十余亩的地皮供建校之用。在张伯苓的主持下，该校于1907年迁入新址，并改名“私立南开中学堂”。
由于声誉越来越高，影响越来越大，南开中学于1915年开设大专班，到1917年学生已满千人，这种规模的中学当时在全国相当少见。为了满足学生升学的要求，张伯苓和严修考察过美国的大学教育以后，决定在南开中学的基础上创办一所私立大学。1919年，在中学南端空地上修建大学教室，当年秋季落成。9月5日、6日，举行大学新生入学考试，25日正式上课。中国第一所正规的私立大学就此诞生。
后来张伯苓在距南开不远的八里台购买土地700余亩，开始筹建大学校园。1923年南开大学迁入八里台校园以后，开始步入正轨，进入新的发展阶段。这一年，张伯苓还创办了南开女子中学，1928年又增设小学部，到1932年南开各系列学校的学生总数达到3000人左右。
