1904年，張伯苓赴日考察教育，同年10月17日，將家館改建為敬業(yè)學堂。1907年，在天津城區(qū)南部的開洼地，即民間所稱“南開”，建成新校舍，遂改稱南開中學堂，從此聲名漸著，天津市南開區(qū)也由此得名。1917年秋赴美國，入哥倫比亞大學研究教育，次年回國，著手籌辦南開大學。南開大學創(chuàng)辦伊始就建立了理科。那時北京、上海開創(chuàng)許多私立大學，都是只辦文、法、史、地、國學等文、法科，教師抱的是線裝書去上課，而張伯苓專請留美多年的凌冰博士為大學部主任，除開設文科，還設理科和商科，后來改稱文、理、商三個學院。這在當時也是十分難得的。

南開大學的興辦和發(fā)展，對張伯苓來說，并不意味著興辦教育的終結。1923年他建立了南開女中。接著在1928年，又興致勃勃地在女生校舍對面建筑小學校舍，設立了小學部。在興建及完善女中和小學之后，張伯苓分別于1927年和1932年創(chuàng)辦了南開經濟研究所和應用化學研究所，從而構成了一個完整的南開教育體系。