京杭大运河的称谓，是元朝以来以北京为首都的裁弯取直改道后形成的运河，其称谓是元朝以后的运河。但在大运河的整个形成期间，仅是一个历史阶段，也即大运河的最后阶段。
开凿
于是元世祖忽必烈在1289年，下令开凿会通河。这条河北始临清，南到东平路（今山东境内）的安山。又从北京到通县间开了一条通惠河，与原有的旧河道沟通。这样一来，由杭州到北京，就可以不绕道洛阳，直接到达。而隋朝开掘的部分河道由于年久淤塞，未加清理，逐渐废弃了。元朝开凿的河道，称之为京杭大运河。这条运河较隋朝大运河大幅度东移，依然是连通北京和杭州，却只有1794公里，比隋大运河缩短近800公里。这就是所看到的大运河。
大运河开凿的初始阶段：为公元前486年的东周春秋末期。当时统治长江下游一带的吴王夫差，为了北上伐齐，争夺中原霸主地位，调集民工，开挖了自今扬州向东北，经射阳到淮安入淮河的运河。引长江水入淮河，沟通了长江、淮河两大河流，全长170公里，成为大运河最早修建的一段。因途经邗城，故得名“邗沟”。
如果说，京杭大运河是一半干涸，一半有水，那么，隋唐大运河则是一半在地上，一半在地下。
形成
开皇四年（公元584年），隋文帝命宇文恺率领水工另开漕渠。自京师大兴城（长安城）西北引渭水，略循汉代漕渠故道而东，至潼关入黄河，长三百馀里，名广通渠。自此漕运通利，关中赖之，故又称富民渠。仁寿四年改名永通渠。开皇七年（公元587年），隋为兴兵伐陈，统一中国，从今淮安至扬州，开山阳渎。后又采取中间不再绕道射阳湖的取直整治。
仁寿四年（公元604年），隋炀帝杨广离开京师长安，到洛阳考察。大业元年（公元605年）即力排众议，下令着手两项重大工程：一是营建东都洛阳；二是征调民工百万，由杰出工程专家宇文恺主持，开凿大运河。主要是开通通济渠和永济渠。
用200多万民工挖通济渠，连接黄河淮河，同年又用十万民工疏通古邗沟，连接淮河长江，构成下半段。三年后，用河北民工百万余，挖永济渠，到北京南，构成上半段。又过两年，重开江南运河，直抵余杭（杭州）。至此，共用五百余万民工，费时六年，大运河全线贯通，全长2700公里，成为世界上最伟大的工程之一。
通济渠公元605年开凿。分东西两段：西段自今洛阳西郊引洛河和谷水入黄河；东段自荥阳汜水，引黄河后，循汴水（原淮河支流），经商丘、宿县、泗县入淮河。
永济渠公元608年开凿。利用沁河、淇水、卫河水源，引水通航至天津，继溯永定河通涿郡（今北京）。
610年，继开江南运河。开通扬州、镇江至杭州段，长400公里。这样，从首都洛阳到江都、到浙江杭州全长1700公里的河道，可以直通船舶，畅行无阻。
大运河河南段主要是指隋唐大运河主干道通济渠和永济渠。隋唐大运河以河南洛阳为中心，以通济渠、永济渠为“人”字状两大撇捺延伸，北通涿郡（今北京），南达余杭（今杭州），是中国古代南北交通的大动脉。
洛阳是隋唐时期的全国政治、经济、文化中心，大运河的修建成为全国物流运输的命脉。洛阳作为中心，其起到的承接、转移物流方面至关重要，这也成为河南省历史上第一条重大交通动脉，奠定了河南全国交通中心的最早印象。
东达洛阳，南抵余杭，北达涿郡，全长2500公里。沟通了海河、黄河、淮河、长江、钱塘江五大水系，并把洛阳、涿郡（今北京）、汴州（今开封）、宋州（今商丘）、楚州（今淮安）、江都（今扬州）、吴郡（今苏州）、余杭（今杭州）等通都大邑联缀在一起，从而加强了各地区间的联系。当时运河上“商船旅往返，船乘不绝”，它对隋唐时期南北经济、文化交流，维护全国统一和中央集权制的加强，都起了促进作用。沟通中国南北和东部、中部的水运大动脉已经形成。
这条运河运营了五百多年，历经唐朝、五代、宋朝，到南宋末年，因部分河道淤塞而衰落。取而代之的是京杭大运河。元朝取代金和南宋之后，在北京建都，将大运河南北取直，不再行经洛阳，缩短了九百多公里，又运行了七百多年，直至今日。
后来的各个朝代，从维护统治阶级切身利益出发，都继续使用和修筑了大运河。
而在这条水运大动脉中位于洛阳盆地的洛河，则有着特别重要的意义，她是这条大动脉的核心，隋都洛阳最重要的交通枢纽和御河。同时也是千年古都洛阳之御河。
唐朝时，对运河作过一些修整。如于公元742年在三门峡以东，人们在岩石中曾开凿一条渠道，为“天宝河”。到了武则天大足元年（公元701年），在洛阳立德坊南营建新潭：“天下舟船所集，常万余艘，填河路，商旅贸易，车马填塞。”那时，“半天下之财赋，悉由此路而进，”在洛河上是“漕船往来，千里不绝”。
由于大运河的通航，促进了中国南北经济的沟通和交流，促进了沿岸经济的繁荣和城市的兴起，运河沿岸逐渐形成了名城苏州和杭州，造船工业基地镇江和无锡，对外贸易港口扬州、江都等重要城市。
北宋时期，首都在开封，洛阳为西京。洛河水运仍很发达，是洛阳、陕西、河东向汴梁运货的交通枢纽。
改道
元代以后，国都变迁到北京。随着国家政治、经济中心的转移，依然使用隋运河。航运的目标也由洛阳转到了北京，然而，隋运河就纵贯南北来说，并不很直，而中洛阳偏西，实际上是拐了一个大弯子。这条航线费时费工，运价也高。忽必烈因而意识到，只要开出一条直通南北的河道，就是一条最快捷、最经济、最有效益的人工长河。元代便对大运河进行了裁弯取直的大改道，缩短航运里程900公里，形成了自元代以来的京杭大运河。
