Solo oferto para comentarte varias cosas. Primero con respecto a los ataques, si deseas algo automatizado necesitas un IPS y/o IDS, con eso previenes ataques y detectas ataques, para luego tomar una acción al respecto, en tu caso es bloquear la dirección IP puntual, este proceso será progresivo. Si aceptas que sea manual, es bastante sencillo de realizar un firewall básico con un archivo de texto donde ingreses las direcciónes a bloquear basta. Con respecto a las conexiones concurrentes, es solo cuestión de tunear los valores de configuración del nginx, sin embargo tiene un limite indiferentemente de que tanto se tunee, y ese limite está dado por la cantidad de RAM de tu servidor. Te recomiendo pfSense (te gustará) o shorewall como segunda opción es bastante sencillo. Tunning de Mysql, Tunning de Kernel del S.O, puedes hacer connection pooling también. Fija un porcentaje de mejora en el servidor para evitar problemas al final del trabajo. Si necesitas cualquier información extra contactame. Espero haberte ayudado.