夏时，境内设任国，也称“仍国”。古时，任、仍通用，境内为“有仍氏”地。因此， 任国是以姓氏而得国名的，这是境内最早的建置。

商时，境内除任国外，还有奄、厥、卞明、有缗等封国。其中，奄曾为商王南庚的都城。盘庚迁都于殷后，奄为商属国。

西周时，境内有任、邿、厥、邾、极、茅、鲁国。其中，鲁乃为周武王灭商后，封其弟周公旦于奄的封国。东周时， 境内的任国，春秋时属鲁，战国时属宋又属齐。鲁国于公元前249年为楚所灭。此时，境内的封国还有茅、极、邹、方与、胡陵等。

秦时，废任国，置任城县、亢父县，属薛郡。境内还设有鲁郡。

西汉时，文帝前元元年(公元前179年)境内置任城郡，景帝中元六年(前144年)改为济东国。武帝元鼎元年(前116年)为大河郡。宣帝甘露二年(前52年)改为东平国。

东汉时，境内仍置东平国。章帝元和元年(公元84年)，析东平国置任城国。此外，还有鲁国。三国时，魏文帝黄初四年(223年) ，任城国改为任城郡。境内还置有山阳郡、鲁郡。

西晋时，境内置南平阳侯国。晋武帝咸宁三年(277年) ，又复为任城国。此外，境内还置有高平国、鲁国。

东晋时，境内先后为后赵、前燕、前秦、后燕所据，曾置有任城郡、鲁郡、高平郡。

南北朝时，境内仍置高平郡。宋永初元年(420年)，任城并入亢父县，属高平郡。

北魏神龟元年(518年)，复置任城郡。

隋时，境内先后置有高平郡、鲁郡。

唐时，境内设鲁郡，后又改为济州、又为济阳郡、泰宁军。

宋时，境内仍置济阳郡、济州。宋徽宗政和八年(1118年)，境内的兖州升袭庆府。

金时，天德二年(1150年)，原以巨野为治所的济州迁往境内的任城。

元时，至元八年(1271年)，境内的济州升济宁府。至元十六年(1279年)境内设济宁路，置总管府，领3州7县(州又领9县)。

明时，洪武元年(1368年) ，改济宁路为府，仍治任城，领3州12县。洪武十八年(1385年)，又改府为州，只领3县。同时，升兖州为府，驻滋阳，领27州县。

清时，雍正二年(1724年) ，济宁州升为直隶州，领3县。雍正八年(1730年)改为散州，不领县。乾隆四十一年(1776年) ，又升为直隶州，仍领3县。境内的兖州府，辖10县；它和济宁直隶州同属于驻济宁的“兖沂曹济道”。

中华民国时， 1912年改济宁直隶州为济宁县。1913年1月，境内设岱南道。1914年6月，改为济宁道，辖25县。1933年，境内改设山东省第一行政督察专员公署，辖11县。 1935年7月，又改为济宁实验区长官公署，辖14县。是年冬，再改为山东省第一区行政督察专员公署， 辖10县。1938年3月，日军侵占济宁，在境内设伪鲁西道，辖32县。 1940年7月，又改为伪兖济道，辖12县。这期间，国民党山东“流亡政府”在境内设第二行政督察区，辖7县，直至1942年。而中国共产党领导的抗日民主政权，则于1941年在境内设山东省第一行政主任公署。1944年，更名为鲁南第一行政专员公署。抗战胜利后，1945年9月，国民党政府在境内设鲁西办事处(即第三办事处) ，辖16县。1946年1月，中国共产党领导的人民军队解放济宁县城，遂更名为济宁市，3月升格为专区级市， 直属冀鲁豫区。同年9月，济宁市被国民党军队短期占领，并设山东省第二行政督察专员公署兼保安司令部，辖7县。1947年3月，又更名为第二行政督察区公署，仍辖7县。1948年7月，济宁市再获解放，改属鲁中南区。

中华人民共和国建立后， 1950年5月，济宁市降为县级市，改属滕县专区。1953年，滕县专署和湖西专署合并为济宁专员公署，并进驻济宁市。1954年10月，济宁市曾改为省辖市，由济宁专署督导。但不久，又改为县级市，仍为专署驻地。1967年，济宁专区改称为济宁地区。 1983年8月30日，经国务院批准，撤销济宁地区，济宁市升格为省辖地级市。