巨野县因古为大野泽而得名。
原始社会时期，伏羲氏族曾在大野泽农耕渔猎。上古部落首领尧、舜、禹,都在此留下了宝贵足迹。
春秋时期，巨野为武城地,鲁国西境。公元前475年,巨野属宋国,至公元前286年,改属齐国。
秦始皇二十七年(公元前220年)，设置昌邑县(治所在今大谢集镇前昌邑村)，属砀郡。
西汉初期,巨野县境内有昌邑县；西汉中期增置巨野县和乘氏县。昌邑县:始建于秦,前汉为昌邑王国、山阳郡,后汉兖州刺史皆治此,治所在今巨野县昌邑集,所辖包括金乡、巨野、成武、单县4个县的边界地区。乘氏县:汉置侯邑。汉景帝中元六年封梁孝王少子刘买,汉和帝封梁商为乘氏侯。治所在今龙固镇西南甘泉寺一带,其辖区包括巨野东南、菏泽东南、定陶东北部。公元前144年(汉景帝中元六年),昌邑、巨野属山阳国。公元前140年(汉武帝建元元年),改山阳国为山阳郡。昌邑、巨野两县属山阳郡,乘氏县属济阴郡。公元前97年(汉武帝天汉四年),改山阳郡为昌邑国,昌邑、巨野为其属县。公元前73年(汉宣帝本始元年),撤销昌邑国,复为山阳郡,昌邑、巨野仍为其属。
公元9年(新朝建兴帝王莽始建国元年),撤销山阳郡,改为巨野郡,以巨野县城为治所。
公元25年(汉光武帝刘秀建武元年),撤销巨野郡,恢复山阳郡,治所在昌邑,巨野、昌邑两县兼属山阳郡和兖州。乘氏县仍属济阴郡。公元192年(初平三年),曹操任兖州牧,以昌邑为治所。
三国时期,巨野和昌邑两县属山阳郡,乘氏县属济阴郡。
公元265年(晋武帝泰始元年),改山阳郡为高平国,治所在昌邑,巨野、昌邑为属县,乘氏县仍属济阴郡。
南北朝时期，巨野县为多方割据势力统辖。南朝刘宋初年改高平国为高平郡。公元420年(南朝刘宋永初年间),撤销昌邑县,并入金乡县。公元488年(北魏太和十二年),乘氏县移置今菏泽市。公元518年(北魏孝明帝神龟元年),分高平郡,置任城郡。在此期间,巨野县先属南朝高平郡,后属北魏任城郡。北齐撤销巨野县。
隋文帝开皇年间,巨野东北部属郓州东平郡，巨野西南部属曹州济阴郡,巨野东南部昌邑一带属金乡县。开皇十六年，恢复巨野县和昌邑县。公元606年(隋炀帝大业二年)撤销乘氏县，并入巨野县；撤销昌邑县，并入金乡县。
公元619年(唐高祖武德二年),巨野县属郓州东平郡。公元621年,在巨野县城置麟州,复置乘氏县为属县。公元622年(唐高祖武德五年),撤销麟州,复置昌邑县,巨野、昌邑两县属戴州(治所金乡)。公元625年,撤销昌邑县,并入金乡县。公元643年,巨野县改属河南道郓州。
后梁、后唐、后晋、后汉四代,巨野县仍属郓州。公元952年(后周太祖广顺二年)，移济州于巨野县城，并辖郓城、任城、金乡为属县。
北宋初年，巨野县属济州。公元997年(宋太祖至道三年),属京东路。公元1074年(宋神宗熙宁七年),改属京东西路。
金朝徙济州治任城县,属山东西路。
公元1147年(南宋绍兴十七年、金朝皇统七年),析任城县以西、巨野县以东地区置县,治所设在山口镇。借春秋时鲁哀公十四年春“西狩获麟”的故事,取其祥瑞之意,定名为嘉祥县,时属山东西路济州。
公元1150年,黄河大决,淹没巨野,撤销巨野县。
公元1269年(蒙古至元六年)恢复巨野县，迁往任城的济州，还治巨野县。
公元1271年(元朝至元八年)，升州为济宁府。
公元1272年(元朝至元九年)，移府治于任城,移州治于巨野，是年末仍以府治于巨野，复以州治于任城。
公元1279年，升府为济宁路,辖兖、济、单三州。
公元1348年，黄河大决,淹没巨野城,迁济宁路于济州(任城)，迁县治于城北邢家务。
公元1368年(明朝洪武元年)，设济宁府于任城,巨野为属县,隶属于山东布政使司。同时,朱元璋把山西大批居民搬迁至巨野,至今巨野人多为山西那批搬迁而来的人的后代。据传,这些后代的一个特征就是小脚趾有两个脚趾盖。巨野新一中附近一村庄仍树立有记录搬迁的石碑。
公元1374年,黄水淹没巨野,至洪武九年消退,县治由邢家务迁入巨野,重建县公署。
公元1385年,兖州升为府,济宁降为州,巨野县属兖州府济宁州。
清朝初年,巨野县属兖沂曹济道、兖州府、济宁州。公元1724年(清朝雍正二年),改济宁州为济宁直隶州,巨野为属县。
公元1730年(雍正八年),改属曹州直隶州。公元1735年,改曹州直隶州为曹州府,巨野仍为属县。
公元1912年(中华民国元年),巨野县属山东省济宁道。国民党政府把巨野县划为9个区:城区、凤鸣区、新城区、顺应区、大义区、忠义区、龙堌区、柳林区、大康区。
1928年废除道制,巨野县直属山东省政府。
1929年,巨野县属山东省第二行政督察专员公署。
抗日战争时期,巨野县主要由国民党和日伪政府管辖。按照巨野县公署建设科在1943年绘制的行政区划图,全县分为8个区、16个镇、41个乡。第一区:驻所在巨野城内,包括东隅镇、西隅镇、南隅镇、北隅镇、获麟乡、麟安乡、彭泽乡、盟台乡、新城乡、大兴乡。第二区:驻所在玉山(今独山),包括玉山镇、六营镇、刘楼乡、王桥乡、蒋寺乡、顺兴乡、金山乡、金安乡、截河乡。第三区:驻所在营里集,包括营里镇、昌邑镇、忠义镇、扬固镇、鼎新乡、金言乡、固边乡。第四区:驻所在大义集,包括大义镇、忠义乡、大成乡、等让乡、德化乡、合药乡、棠林乡。第五区:驻所在龙堌寺,包括张表乡(政府驻地张表集)、柳林乡(政府驻地柳林村)、柳西乡、肖楼乡、丰乐乡。第六区:驻所在龙堌,包括龙堌镇、观音镇、李海乡、临河乡、同治乡、清泉乡。第七区:驻所在新兴集,包括安兴镇、太平镇、五界乡、太康乡、三和乡、新兴乡、三义乡。第八区:驻所在苏集,包括苏集镇、第一乡、第二乡、第三乡、第四乡、第五乡、第六乡。
1938年,巨野县属山东省第二行政督察专员公署第十行署。12月9日,日军侵占巨野城。
1939年春,建立日伪县政府。5月,建立中共郓巨工委和抗日县政府,归中共运西专署领导。11月,建立中共巨野工委和巨野县抗日政府,属运西专署。
1940年11月,属鲁西二专署。
1941年2月,属巨、菏、金、嘉、成5县联合办事处。
1943年,属晋鲁豫17专署。
1944年6月,属冀鲁豫11专署,同时还有巨菏县,于1941年建立,1942年12月撤销。金巨县,于1943年9月建立,1945年3月撤销。郓巨县,1944年12月建立。巨南县,1945年3月建立。
解放战争时期,巨野境内有巨野、郓巨、巨南三个民主县政府,其隶属变革为:(1)巨野县1945年9月至1946年1月,属冀鲁豫11专署(湖西)。1946年1月至1946年3月，属冀鲁豫7专署（鲁西南）。1946年3月至1948年5月,属冀鲁豫2专署(运西)。1948年5月至1949年8月,属冀鲁豫7专署（运西）。(2)郓巨县1945年9月至1946年2月,属冀鲁豫8专署(运西)。1946年2月至1949年8月属冀鲁豫2专署(临河)。(3)巨南县1946年2月建立,至1949年8月,先后属冀鲁豫11专署(湖西)和3专署(湖西)。
1946年,巨野县属第二行署。6月8日,冀鲁豫行署决定将抗日县政府改为民主县政府。
1949年5月,调整行政区划,巨野县辖6个区,427个村。8月20日,平原省人民政府成立。巨野县隶属平原省湖西专区。9月,巨野县辖11个区,巨南、郓巨两县撤销。
1952年12月24日,全县建立乡镇148个,12月撤销平原省,巨野县隶属山东省湖西专区。
1953年7月20日,撤销湖西专区,巨野县改属山东省菏泽专署。
1955年8月13日,全县1～12区分别改称城关区、沙土区、太平区、大义区、龙堌区、柳林区、章缝区、棠林区、营里区、谢集区、独山区、六营区。
1956年4月,县行政区划由148个乡调整为73个乡镇。新中国成立后至1958年撤区并乡前,全县分11区(建国初期一度设立棠林店区,不久撤销)、73乡。
1958年3月,公布撤区并乡方案,撤销11个区,将过去的76个乡镇合并为23个乡镇。7月23日,进行并社工作,将全县原620处、平均每处180户的农业社,合并为每个1000户左右的大社。9月,合并23个乡,成立11处人民公社:城关公社、田庄公社、夏官屯公社、龙堌公社、柳林公社、章缝公社、营里公社、大义公社、独山公社、谢集公社。780个大队,2625个生产队。10月,撤销菏泽专署,巨野县改属济宁专署。11月,撤销嘉祥县建制,西部仲山公社及酒庄、孟姑集一带90个自然村划归巨野县。11月12日,国务院批准撤销菏泽专区建制,所属各县划归济宁专区(一说1959年1月)。
1959年6月(一说7月30日),恢复菏泽专署,巨野县复属菏泽专署。
1962年1月6日,因恢复嘉祥县建制,原嘉祥县的仲山公社及划归巨野县夏官屯、田庄两公社的部分村庄,复归嘉祥县,共69个生产大队,391个生产队、90个自然村。
1967年至1977年,巨野县属菏泽地区“革命委员会”所辖。
1978年,撤销各级“革命委员会”,巨野县改属菏泽地区行政公署。9月13日,中共董官屯工委建立。12月13日,中共吕官屯工委、太平工委、张表工委(驻地张表集)同时成立。同月,新建上述4个人民公社。12月,调整社队体制,划为21处公社,804个大队,3510个生产队,增加10处公社:丁官屯公社、吕官屯公社、太平公社、李集公社、张表公社(驻地张表集,简称张表)、官屯公社、葛店公社、薛扶集公社、万丰公社、陶庙公社。
1983年4月29日,山东省政府批准,巨野由原21处公社改为25个乡、1个镇(城关镇、大义乡、龙堌乡、大谢集乡、章缝乡，田庄乡、丁官屯乡、吕官屯乡、田桥乡、太平乡、大李集乡、张表乡(驻地张表村)、王平坊乡、柳林乡、陈集乡、万丰乡、营里乡、昌邑乡、葛店乡、独山乡、夏官屯乡、薛扶集乡、董官屯乡、新城乡、双庙乡、陶庙乡)。至9月底,原826个生产大队,改建为850个行政村。
1984年1月20日,大义、龙堌、章缝、大谢集4个乡改为镇。至此,巨野辖21乡、5个镇。
1985年10月24日,城关镇更名为巨野镇。
1990年1月1日,嘉祥县的核桃园乡划归巨野县管辖,全县共27个乡镇。
1994年12月29日,撤销核桃园乡、独山乡,设立核桃园镇、独山镇。
1995年10月23日,撤销柳林乡、夏官屯乡,设立柳林镇、夏官屯镇。
1996年9月5日,将夏官屯镇更名为麒麟镇。
2000年3月15日,撤销太平乡,设立太平镇。6月21日,撤销万丰乡、田庄乡,分别设立万丰镇、田庄镇,其行政区域和人民政府驻地不变。6月23日，设立地级菏泽市,巨野县属菏泽市管辖。此时,巨野县辖12个镇、15个乡,总人口839438人。
2001年2月6日,撤销新城乡、吕官屯乡,其行政区域并入巨野镇；撤销葛店乡,其行政区域并入大义镇；撤销大李集乡,其行政区域并入龙堌镇；撤销昌邑乡,其行政区域并入大谢集镇；撤销薛扶集乡,其行政区域并入麒麟镇；撤销双庙乡,其行政区域并入独山镇；撤销张表乡,其行政区域并入柳林镇；撤销丁官屯乡,其行政区域并入田庄镇；撤销田桥乡、营里乡、陶庙乡,分别设立田桥镇、营里镇、陶庙镇；撤乡设镇后,其行政区域和人民政府驻地不变。至此，巨野县辖16镇:。
2002年2月22日，省政府批复同意:巨野县撤销董官屯乡，设立董官屯镇，其行政区域和人民政府驻地不变。8月16日,省政府批复同意:巨野县撤销营里乡,设立营里镇；撤销田桥乡，设立田桥镇；以上2乡撤乡设镇后,其行政区域和人民政府驻地不变。截止12月31日,巨野县辖16个镇。现有开发区,作为和镇相同级别的行政区划。
2010年夏,省政府批复同意:巨野县撤销巨野镇,设立凤凰街道办事处、永丰街道办事处。至8月,巨野县辖2个街道办事处、1个经济技术开发区、15个镇。