公元前年，刘邦攻下淇河北地界，置河内郡，郡辖隆虑县，县名因县邻隆虑山（虑，音庐）。
公元前年，刘邦封周灶为隆虑侯，置隆虑国。三十四年后，国除。
东汉讳帝名刘隆，改隆为林，山名与县名同改。
三国魏时，林虑属朝歌郡。
西晋时属汲郡。
五胡乱华时期，当时出现十六国，林虑县归前赵、后赵、前燕、前秦、后燕，不断易手。
北魏时，太武帝太平真君六年，公元年，并入邺县；孝文帝太和二十一年，公元年，复置林虑县；孝庄帝永安元年，公元年，改置林虑郡，分置临淇县。
后北魏分裂成东魏和西魏，东魏被北齐取代，林虑郡归北齐。文宣帝天保七年，公元年，废林虑郡，复为林虑县。
西魏被北周取代，后北周又灭齐，林虑归北周，复置林虑郡。
隋文帝开皇三年，公元年，废林虑郡，复为林虑县，分置淇阳县。开皇十六年，一说十八年，改林虑县为岩州。隋炀帝大业二年，公元年，废岩州，合并临淇县、淇阳县，复改为林虑县，属魏郡。
唐高祖武德二年，公元年，重置岩州。武德五年，废岩州，重改林虑县，归相州。
宋朝沿袭不变。
金国灭北宋，林虑归金国。金宣宗贞祐三年，公元年，改升为林州，属河北西路彰德府。金宣宗兴定三年，公元年，增设辅岩县（今水冶镇），归林州。
元世祖忽必烈至元二年，公元年，废林州，复为县，撤辅岩县归林虑县。至元六年，复升为林州，划辅岩县地界归安阳县，属中书省彰德路。
明朱元璋洪武三年，公元年，改州为县，改名林县，属河南布*使司彰德府。
清朝沿袭林县不变，属河南省彰德府。