En 1878 les éleveurs allemands de chiens à aptitudes bergères réalisent une première tentative de regroupement dans un but d’amélioration de leurs chiens. Ceux-ci sont très variés d’un point de vue phénotypique, notamment selon les régions : par exemple, le type Wurtemberg porte les oreilles droites, alors que celui de Thuringe a les oreilles tombantes.
Il existe également des chiens différents en Bavière ou dans la Hesse. Mais leur principal point commun est leur caractère qui fait d’eux de bons gardiens de troupeaux et de biens : intelligence, obéissance, vigilance, incorruptibilité. On retrouve également chez tous robustesse et rusticité puisque jusqu’alors la sélection empirique qui a été réalisée ne visait qu’à obtenir de bons chiens de travail.
En 1891 les éleveurs, et notamment le comte von Hahn et le capitaine Riechelmann, établissent un premier livre généalogique et tentent d’établir une société, le Phylax, mais le projet n’aboutit pas. C’est le capitaine de cavalerie Max Emil Frédéric von Stephanitz qui fut le véritable père de la race.