Centre de Dades
El centre de dades està distribuït entre el Campus del Baix Llobregat i el Campus Nord, connectats mitjançant un sistema DWDM bidireccional. Aquesta arquitectura de centre de dades distribuït permet un entorn multiusuari i de baixa latència, crucial per proporcionar serveis experimentals per a futurs casos d’ús i aplicacions 6G. El projecte inclou clústers de Kubernetes, OpenStack i HPC executant-se sobre servidors d’alta capacitat amb GPU d’alta gamma.
Una xarxa fixa i privada interconnecta tots els elements de la infraestructura, amb el seu nucli al centre de dades.
Les tres tecnologies (Kubernetes, OpenStack i clústers HPC) desplegades als servidors del centre de dades.
Aquest clúster permet el desplegament i la gestió de microserveis a través de diversos pods.
Casos d’ús
- Desplegament de models i inferència. Desplegament de models de ML preentrenats i prestació d’aquests com a API REST o serveis gRPC en un entorn contenidoritzat.
- Entrenament distribuït amb Kubeflow. Ús de Kubeflow, una plataforma de ML construïda per a Kubernetes, per dur a terme entrenament distribuït de models de ML utilitzant frameworks com TensorFlow, PyTorch o MXNet. Kubeflow permet executar grans conjunts de dades i escalar a través de múltiples contenidors.
- Ajust d’hiperparàmetres i pipelines automatitzats de ML. Kubernetes pot gestionar tasques paral·leles d’ajust d’hiperparàmetres, en què múltiples experiments s’executen simultàniament amb diferents configuracions. Es poden utilitzar Optuna o KubeFlow Pipelines per automatitzar aquests processos.
- Pipelines de preprocessament de dades. Desplegament de pipelines de preprocessament de dades (per exemple, per netejar, transformar i normalitzar grans conjunts de dades) que s’executen en paral·lel en múltiples pods de Kubernetes.
- Quaderns interactius Jupyter com a servei. Proporciona accés a Jupyter Notebooks o JupyterHub allotjats a Kubernetes, cosa que permet prototipar, desenvolupar i provar models de ML de manera interactiva.
Dos clústers OpenStack, un a CN i un altre a CBL, connectats mitjançant el sistema DWDM.
Casos d’ús
- Computació al núvol. Virtualització d’elements de xarxa.
Els servidors de computació d’altes prestacions (HPC) són sistemes informàtics potents dissenyats per realitzar tasques complexes i d’ús intensiu de recursos que requereixen una gran capacitat de còmput.
Casos d’ús
- Aprenentatge profund distribuït a gran escala. Entrenament de grans xarxes neuronals.
- Simulacions HPC. Execució de simulacions complexes que requereixen grans quantitats de computació i memòria.
Comparteix: