ich glaube fail2ban funktioniert mit iptables. Unter Windows ist es wirklich sehr begrenzt auf den Sicherheitslevel.
Ich kenne deine Anforderungen nicht, aber wenn du Windows behalten musst, empfehle ich dir eine Virtualbox und Linux/BSD in einer VM zu installieren: Das ist das einfachste.
du kannst viele Demo-Videos bei Youtube finden.
https://www.virtualbox.org/