秦统一中国后，设郡、县。河南分属三川、颍川、南阳、河内、陈郡、东郡和砀郡7郡。西汉承秦制，仍设郡、县两级，并实行分封诸侯王国与中央直辖的郡交错分布。为了加强对郡、国的控制，又将全国分为司隶校尉部及13州刺史部，实际是监察区。河南分属司隶校尉部及豫、兖、荆、冀4州管辖，设有弘农、河内、河南、颍川、汝南、陈留、南阳和魏郡及淮阳和梁国2个诸侯王国。
东汉都雒阳(洛阳)、实行州辖郡、郡统县。河南分属司隶校尉部及豫、兖、荆、冀、扬5州管辖，设有弘农、河内、颍川、南阳、汝南、陈留、东郡、魏郡等郡及陈、梁2国。 三国时河南属魏，先都许昌，后迁洛阳，仍实行州、郡(国)、县3级。设有12郡和梁国1国。西晋都洛阳，河南境内有18郡国。
南北朝时，河南分属于北魏和南齐。北魏在河南设8州26郡；南齐在河南设3州12郡。 隋统一南北后，在河南设20郡(州)。
唐朝先都长安，后迁洛阳。河南分属京畿及河南、河北、淮南、山东南等道，领有21州郡及河南1府。五代时，梁、晋、汉周4朝都汴(今开封)，后唐都洛阳。河南境内多数称州，少数称军、府。 北宋建都汴梁(今开封)。河南境设有京东、京西、河北诸路，路辖有府、州，有些军、监也隶属于路。府、州、军均辖县。南宋南迁后以淮河与金为界，河南大部属金。
元朝将中央辖区直属中书省，其他地区分设行中书省，简称“行省”，行省之制始于此。“行省”之下统路、府，府领州、县，也有府、州不隶路而直属省。时河南境内黄河以北地区属中书省，黄河以南属河南江北行中书省。中书省在河南管辖的有大名、彰德、卫辉、怀庆等路和濮州。河南行省下属河南府路、汴梁路、南阳府、汝宁府、归德府。 明朝改行中书省为承宣布政使司，司(省)下辖府、州，再下为县。明末，河南领有开封、归德、河南、南阳、汝宁、彰德、卫辉、怀庆等府和汝州直隶州及京师之大名府，山东之东昌府的一小部分县。***计府属州31个，县96。
清朝恢复行省，省下为府，再下为州、县。终清之世，河南领有开封、归德、河南、南阳、汝宁、陈州、彰德、卫辉、怀庆等9府，郑、许、汝、陕、光5直隶州和淅川直隶所。府属州5，县96。