Auf der Gemarkung finden sich auf "Hicastel" Reste einer vorgeschichtlichen keltischen Fliehburg. Aus der Römerzeit stammen Reste eines Wachturms. Die Namensendung "-scheid" deutet auf eine Entstehung des heutigen Ortes in der späten mittelalterlichen Rodungsphase hin. Die erste urkundliche Nennung stammt aus 1282 als "Oelmerscheit". In der Feudalzeit gehörte der Ort zur Meierei Eschfeld-Arzfeld in der Herrschaft Dasburg, Quartier Vianden. Unter preußischer Verwaltung war Olmscheid für einige Jahre Landbürgermeisterei im Kreis Prüm.