Arguments en faveur des centres de données d'IA sur site
Avantages et inconvénients de l'informatique dématérialisée
De nombreuses organisations transfèrent leurs charges de travail vers une infrastructure de cloud public qui, par définition, est partagée par de nombreux clients. Bien que l'évolutivité d'un nuage public puisse être très importante, très peu de modèles de formation nécessitent des milliers de GPU fonctionnant simultanément. L'un des avantages de l'utilisation d'une infrastructure de cloud public partagée est qu'un grand nombre de serveurs haut de gamme (c'est-à-dire coûteux) peuvent être disponibles. Inversement, un grand nombre de serveurs haut de gamme peuvent ne pas être disponibles au moment voulu. En outre, les coûts associés à l'entrée et à la sortie des données pour les grands modèles d'entraînement peuvent être importants, en particulier si les données d'entraînement doivent être importées d'un autre fournisseur d'informatique en nuage publique et partagée.
Sur site pour la formation à l'IA
Il existe plusieurs raisons d'envisager et de mettre en œuvre l'IA au sein d'un centre de données sur site.
- Coût - Bien que l'acquisition de serveurs équipés de GPU puisse être élevée, le coût à long terme peut être inférieur à celui de l'utilisation d'un nuage public partagé. Les frais de cloud peuvent être relativement élevés au fil du temps, en particulier pour les mouvements de données. En outre, les coûts d'acquisition d'un serveur GPU haut de gamme peuvent être élevés, que tous les CPU ou GPU soient utilisés à 100 % du temps disponible, ce qui est peu probable.
- Performance - Il existe toute une série de combinaisons de CPU et de GPU, tant en termes de quantité que de performance. Si l'on comprend les besoins de l'entreprise en matière d'IA, le nombre et la performance des CPU (1, 2, 4 ou 8) sont essentiels. La dernière génération de CPU comprend de 16 à 128 cœurs, avec une fréquence d'horloge de base proche de 4 GHz. Il existe toute une gamme de GPU, depuis les anciennes générations jusqu'aux dernières versions, avec jusqu'à des milliers de cœurs. Des configurations optimales et multiples peuvent être mises en œuvre dans un centre de données, en fonction des exigences du projet en matière de CPU et de GPU.
- Réentraînement - Bien qu'il existe plusieurs méthodes pour estimer le coût de l'entraînement d'un modèle d'une taille donnée et du nombre de GPU disponibles, de nombreux modèles doivent être continuellement réentraînés avec de nouveaux paramètres. Pour assurer la précision de l'inférence, le modèle doit être réentraîné avec des données actualisées et plus récentes, ce qui peut prendre autant de temps que l'entraînement initial, en fonction de la quantité de nouvelles données à utiliser. Dans un centre de données sur site, les systèmes peuvent être utilisés de manière répétée, alors que dans le nuage public, les dépenses peuvent s'accumuler à chaque itération et réentraînement du modèle.
- Logiciel - Il existe de nombreux choix de logiciels à prendre en compte lors de la création d'une solution de formation à l'IA efficace et efficiente. Un fournisseur de cloud public partagé peut ne pas disposer de tous les composants disponibles, ce qui peut nécessiter une configuration et des tests supplémentaires pour chaque instance acquise dans une infrastructure de cloud public.
- Localisation et souveraineté des données - Pour de nombreuses industries et zones géographiques, il peut y avoir des restrictions et des exigences concernant le lieu de résidence des données utilisées pour la formation à l'IA. Un centre de données sur site permet aux organisations d'adhérer à ces réglementations, alors que l'utilisation d'un centre de données de cloud public distant peut ne pas être autorisée.
- Sécurité - Pour de nombreuses organisations, la sécurité des données et des résultats est essentielle. Dans un centre de données sur site, les équipes de sécurité peuvent mettre en œuvre des politiques de sécurité plus strictes concernant l'accès aux systèmes ou aux dispositifs de stockage. Lors de la création et de l'utilisation de l'IA qui nécessite un accès aux processus et aux données internes, la mise en œuvre de l'IA dans un centre de données sur site est un choix évident.
- Conformité - Lorsque les données sont soumises à diverses réglementations, la création d'un centre de données sur site conforme peut s'avérer idéale, par rapport à l'identification d'un nuage public qui adhère à ces réglementations.
Résumé
La mise en œuvre d'un centre de données sur site efficace et efficient axé sur l'IA nécessite de comprendre les exigences de performance pour les charges de travail qui conviennent le mieux à l'entreprise. Un centre de données sur site, lorsqu'il est correctement conçu, peut réduire le temps nécessaire pour obtenir des résultats pour l'entraînement à l'IA et peut fournir des résultats d'inférence à faible latence et des décisions adaptées au type de modèle. Un centre de données sur site peut être configuré de manière unique et à faible coût pour répondre aux besoins de l'entreprise. La compréhension des charges de travail, de la quantité de données, du réglage fin du flux de travail de l'IA et de l'expertise interne avec les différentes couches logicielles aidera à déterminer la meilleure option pour l'organisation.