济州河开通以后，由于漕船经由海路有海涛之险，经由陆路有搬运之费，别开蹊径已成当务之急。至元二十五年（1288）十月，右丞相桑哥提出，开“安山至临 清为渠”，寿张县尹韩仲晖、太史院令史边源亦相继建议于济州河与御河之间开凿运河，“引汶水达于御河，以便公私漕贩”。这些建议得到了元世祖忽必烈的首 肯，中书省立即派遣漕副马之贞与史边源等“按视地势，商度工用，于是图上可开之状”。元世祖“诏出楮币一百五十万缗、米四万石、盐五万斤，以为傭直，备器 用，征旁郡丁夫三万，驿遣断事官忙速儿、礼部尚书张孔孙、兵部尚书李处巽等董其役”，于正月己亥开工，“凡役工二百五十一万四十又八”，至六月辛亥功成。 赐名会通河。

会通河南起今山东梁山县安山西南，接济州河引汶水北流；北抵临清与御河（今卫河）相连，全长二百五十余里。

由于会通河地势中间（济宁至南旺一带）高、南北低，为了蓄水通航，自开凿运河之时开始，下迄至正元年（1341），在北起今山东临清以南、南至江苏徐州的运道上，先后建闸二十九座，此外还有用以抬高水位，控制水量的水工设施多座。

会通河的开凿成功，使得来自济州河的北上漕船，可以通过会通河北转御河直达京畿，而无须远涉渤海风浪，也无须陆路盘驳劳顿。此后遂将安山以北的会通河，安山、鲁桥之间的济州河以及鲁桥、徐州之间的泗水，统称之为会通河。