Праславянское слово *němьсь «чужестранец» образовано от *němъ «немой, неспособный говорить на понятном языке». В более широком смысле слово обозначало всех иностранцев, говорящих «непонятно», в том числе и другие германские народы: шведов, датчан и другие. Такая трактовка встречается в новгородских летописях, где норвежцы назывались «каинскими немцами». Другое объяснение происхождения такого названия связывает его с германским племенем неметов.

В актах археографической экспедиции за 1588 год этноним «немец» распространяется на англичан, шотландцев, брабантцев, венецианцев, голландцев, пруссов и другие народы Европы. Корень используется во многих славянских языках для обозначения государства немцев, названия их народа и языка: немец/немски — в болгарском, німецька/німець — в украинском, nemecký/nemčina — в словацком, и т. д.

В византийских источниках обозначение жителей Баварии (и, шире, Германии) словом «Νεμίτζοι» [nemid͡zi] фиксируется с X в. (трактат De cerimoniis). По-видимому, это древнейшее упоминание этнонима