Netzwerk wegen Switch manchmal sehr langsam vermutlich wegen Verzweigung

Hallo,

ich habe ein seltsames Netzwerkproblem.
Der Aufbau:

Fritzbox mit 2 Anschlüssen:
Anschluss 1: PC 1
Anschluss 2: Switch
Vom Switch geht es zu einem weiteren PC oder auch mal 2 PCs, deswegen der Anschluss des Switchs. Die Fritzbox arbeitet als DHCP-Server (allerdings sind die PCs alle manuell mit IP konfiguriert).
Das Problem ist jetzt, dass das Netzwerk manchmal extrem langsam ist. Gerade war die Verbindung zwischen PC 1 und dem anderen PC sehr langsam, so langsam, dass man nichtmal ein Video übers Netzwerk sehen konnte. Ich habe dann einfach ein bisschen am Switch herumgesteckt (die Ports gewechselt) und schon wurde wieder eine akzeptable Geschwindigkeit erreicht.
Letztens war es dasselbe Problem, nur dass hier die Verbindung zwischen den beiden PCs am Switch sehr langsam war oder Ping-Pakete einfach verloren gingen.
Die Fritzbox und der Switch kommunizieren mit 100 MBit/s. Die Box und der PC, der an ihr hängt ebenfalls.
Der eine PC, der am Switch hängt kommuniziert mit diesem über 1 GBit/s.

Das Datenblatt gibts hier die Anleitung (leider nur englisch) hier.

Ich hoffe ihr könnt mir helfen, es nervt immer wieder umstecken zu müssen. Danke schonmal.