Compartir:

Centro de Datos

El centro de datos se distribuye entre el Campus del Baix Llobregat y el Campus Nord, conectados mediante un sistema DWDM bidireccional. Esta arquitectura de centro de datos distribuido permite un entorno multiusuario de baja latencia, crucial para ofrecer servicios experimentales para futuros casos de uso y aplicaciones 6G. El proyecto incluye clústeres de Kubernetes, OpenStack y HPC ejecutándose sobre servidores de alta capacidad con GPUs de gama alta.

Una red privada fija interconecta todos los elementos de la infraestructura, con su núcleo en el centro de datos.

Las tres tecnologías (Kubernetes, OpenStack y clústeres HPC) desplegadas en los servidores del centro de datos.

Este clúster permite el despliegue y la gestión de microservicios a través de diversos pods.

Casos de uso

  • Despliegue e inferencia de modelos. Despliegue de modelos de ML preentrenados y exposición como APIs REST o servicios gRPC en un entorno contenerizado.
  • Entrenamiento distribuido con Kubeflow. Uso de Kubeflow, una plataforma de ML diseñada para Kubernetes, para realizar entrenamiento distribuido de modelos de ML utilizando frameworks como TensorFlow, PyTorch o MXNet. Kubeflow permite trabajar con grandes conjuntos de datos y escalar en múltiples contenedores.
  • Ajuste de hiperparámetros y pipelines de ML automatizados. Kubernetes puede gestionar tareas paralelas de ajuste de hiperparámetros, donde múltiples experimentos se ejecutan simultáneamente con diferentes configuraciones. Se pueden utilizar herramientas como Optuna o Kubeflow Pipelines para automatizar estos procesos.
  • Pipelines de preprocesamiento de datos. Despliegue de pipelines de preprocesamiento de datos (por ejemplo, limpieza, transformación y normalización de grandes conjuntos de datos) que se ejecutan en paralelo en múltiples pods de Kubernetes.
  • Jupyter Notebooks interactivos como servicio. Provisión de acceso a Jupyter Notebooks o JupyterHub alojados en Kubernetes, permitiendo prototipar, desarrollar y probar modelos de ML de forma interactiva.

Dos clústeres de OpenStack, uno en CN y otro en CBL, conectados mediante el sistema DWDM.

Casos de uso

  • Computación en la nube. Virtualización de elementos de red.

Los servidores de Computación de Alto Rendimiento (HPC) son sistemas informáticos potentes diseñados para realizar tareas complejas y de alto consumo de recursos que requieren una gran capacidad de cálculo.

Casos de uso

  • Aprendizaje profundo distribuido a gran escala. Entrenamiento de grandes redes neuronales.
  • Simulaciones HPC. Ejecución de simulaciones complejas que requieren grandes cantidades de computación y memoria.