山东作为地区名称，历史上出现很早，而且变化很大。春秋时期，晋国居太行山以西，称太行山以东为“山东”。北魏建都平城，五代时晋亦在太行山以西，故沿用古晋称太行山以东为“山东”。战国、秦、汉时期则是指崤函以东地区。因为秦在关中，故称崤函以东六国（楚、齐、韩、魏、赵、燕）为山东六国，或云关东六国。此时山东与关东意义相同。秦汉一统之后，关中与山东（或关东）在政治上的对立沮失，山东的含义也发生了变化，出现广、狭两义。广义的山东是沿袭战国时的旧概念，狭义的山东有专指齐鲁地区的意义。《史记·酷吏列传》载：御史大夫齐地菑川国薛（今山东寿光南）人公孙弘说：“臣居山东为小吏（薛邑狱吏）时，宁成为济南都尉。”又《史记·儒林传》：伏生“教于齐鲁之间，学者由是颇能言《尚书》，诸山东大师，无不涉《尚书》以教矣。”齐鲁之有山东之称，当滥觞于此。至于山东成为行政区划，是又经历了数百年演变过程的。