L'infrastruttura di machine learning ad alte prestazioni ea basso costo sta accelerando l'innovazione nel cloud

Fornito da Servizi Web Amazon

L'intelligenza artificiale e l'apprendimento automatico (AI e ML) sono tecnologie chiave che aiutano le organizzazioni a sviluppare nuovi modi per aumentare le vendite, ridurre i costi, semplificare i processi aziendali e comprendere meglio i propri clienti. AWS aiuta i clienti ad accelerare l'adozione di AI/ML offrendo potenti opzioni di elaborazione, networking ad alta velocità e storage scalabile ad alte prestazioni su richiesta per qualsiasi progetto di machine learning. Ciò riduce la barriera all'ingresso per le organizzazioni che desiderano adottare il cloud per scalare le proprie applicazioni ML.

Sviluppatori e data scientist stanno spingendo i confini della tecnologia e adottano sempre più il deep learning, che è un tipo di apprendimento automatico basato su algoritmi di rete neurale. Questi modelli di deep learning sono più grandi e più sofisticati, con conseguente aumento dei costi per l'esecuzione dell'infrastruttura sottostante per addestrare e distribuire questi modelli.

Per consentire ai clienti di accelerare la loro trasformazione AI/ML, AWS sta realizzando chip di machine learning a basso costo e ad alte prestazioni. AWS Inferentia è il primo chip di machine learning creato da zero da AWS per l'inferenza di machine learning a basso costo nel cloud. In effetti, le istanze Amazon EC2 Inf1 basate su Inferentia offrono prestazioni 2,3 volte superiori e costi fino al 70% inferiori per l'inferenza di machine learning rispetto alle istanze EC2 basate su GPU dell'attuale generazione. AWS Trainium è il secondo chip di machine learning di AWS creato appositamente per l'addestramento di modelli di deep learning e sarà disponibile alla fine del 2021.

I clienti di tutti i settori hanno implementato le loro applicazioni ML in produzione su Inferentia e hanno riscontrato miglioramenti significativi delle prestazioni e risparmi sui costi. Ad esempio, la piattaforma di assistenza clienti di AirBnB offre esperienze di servizio intelligenti, scalabili ed eccezionali alla sua comunità di milioni di host e ospiti in tutto il mondo. Ha utilizzato istanze EC2 Inf1 basate su Inferentia per distribuire modelli di elaborazione del linguaggio naturale (NLP) che supportavano i suoi chatbot. Ciò ha portato a un miglioramento di 2 volte delle prestazioni immediato rispetto alle istanze basate su GPU.

Con queste innovazioni in silicio, AWS consente ai clienti di addestrare ed eseguire facilmente i propri modelli di deep learning in produzione con prestazioni e throughput elevati a costi notevolmente inferiori.

Le sfide del machine learning accelerano il passaggio all'infrastruttura basata su cloud

L'apprendimento automatico è un processo iterativo che richiede ai team di creare, addestrare e distribuire rapidamente le applicazioni, nonché addestrare, riqualificare e sperimentare frequentemente per aumentare l'accuratezza della previsione dei modelli. Quando implementano modelli addestrati nelle loro applicazioni aziendali, le organizzazioni devono anche ridimensionare le loro applicazioni per servire nuovi utenti in tutto il mondo. Devono essere in grado di soddisfare più richieste che arrivano contemporaneamente con una latenza quasi in tempo reale per garantire un'esperienza utente superiore.

Casi d'uso emergenti come il rilevamento di oggetti, l'elaborazione del linguaggio naturale (NLP), la classificazione delle immagini, l'IA conversazionale e i dati delle serie temporali si basano sulla tecnologia di deep learning. I modelli di deep learning stanno aumentando esponenzialmente in termini di dimensioni e complessità, passando da milioni di parametri a miliardi nel giro di un paio d'anni.

La formazione e l'implementazione di questi modelli complessi e sofisticati si traducono in notevoli costi di infrastruttura. I costi possono rapidamente aumentare fino a diventare proibitivi man mano che le organizzazioni ridimensionano le loro applicazioni per fornire esperienze quasi in tempo reale ai loro utenti e clienti.

È qui che possono aiutare i servizi di infrastruttura di machine learning basati su cloud. Il cloud offre accesso on-demand a elaborazione, networking ad alte prestazioni e storage di dati di grandi dimensioni, in perfetta combinazione con operazioni di machine learning e servizi di intelligenza artificiale di livello superiore, per consentire alle organizzazioni di iniziare immediatamente e scalare le proprie iniziative di AI/ML.

In che modo AWS sta aiutando i clienti ad accelerare la loro trasformazione AI/ML

AWS Inferentia e AWS Trainium mirano a democratizzare l'apprendimento automatico e renderlo accessibile agli sviluppatori indipendentemente dall'esperienza e dalle dimensioni dell'organizzazione. Il design di Inferentia è ottimizzato per prestazioni elevate, throughput e bassa latenza, il che lo rende ideale per la distribuzione dell'inferenza ML su larga scala.

Ogni chip AWS Inferentia contiene quattro NeuronCore che implementano un motore di moltiplicazione della matrice sistolica ad alte prestazioni, che velocizza enormemente le tipiche operazioni di deep learning, come convoluzione e trasformatori. I NeuronCore sono inoltre dotati di un'ampia cache su chip, che aiuta a ridurre gli accessi alla memoria esterna, riducendo la latenza e aumentando il throughput.

AWS Neuron, il kit di sviluppo software per Inferentia, supporta nativamente i principali framework ML, come TensorFlow e PyTorch. Gli sviluppatori possono continuare a utilizzare gli stessi framework e gli stessi strumenti di sviluppo del ciclo di vita che conoscono e amano. Per molti dei loro modelli addestrati, possono compilarli e distribuirli su Inferentia modificando solo una singola riga di codice, senza ulteriori modifiche al codice dell'applicazione.

Il risultato è un'implementazione di inferenza ad alte prestazioni, che può facilmente scalare mantenendo i costi sotto controllo.

Sprinklr, una società di software-as-a-service, dispone di una piattaforma di gestione dell'esperienza cliente unificata basata sull'intelligenza artificiale che consente alle aziende di raccogliere e tradurre il feedback dei clienti in tempo reale su più canali in informazioni fruibili. Ciò si traduce in una risoluzione proattiva dei problemi, un migliore sviluppo del prodotto, un migliore marketing dei contenuti e un migliore servizio clienti. Sprinklr ha utilizzato Inferentia per implementare la sua NLP e alcuni dei suoi modelli di visione artificiale e ha riscontrato miglioramenti significativi delle prestazioni.

Diversi servizi Amazon distribuiscono anche i loro modelli di machine learning su Inferentia.

Amazon Prime Video utilizza modelli ML di visione artificiale per analizzare la qualità video degli eventi dal vivo per garantire un'esperienza di visualizzazione ottimale per i membri Prime Video. Ha implementato i suoi modelli ML di classificazione delle immagini su istanze EC2 Inf1 e ha registrato un miglioramento di 4 volte delle prestazioni e un risparmio sui costi fino al 40% rispetto alle istanze basate su GPU.

Un altro esempio è l'intelligenza artificiale e basata su ML di Amazon Alexa, alimentata da Amazon Web Services, disponibile su oltre 100 milioni di dispositivi oggi. La promessa di Alexa ai clienti è che sta diventando sempre più intelligente, più colloquiale, più proattivo e persino più piacevole. Mantenere tale promessa richiede continui miglioramenti nei tempi di risposta e nei costi dell'infrastruttura di machine learning. Implementando i modelli di sintesi vocale di Alexa sulle istanze Inf1, è stato in grado di ridurre la latenza di inferenza del 25% e il costo per inferenza del 30% per migliorare l'esperienza di servizio per decine di milioni di clienti che utilizzano Alexa ogni mese.

Scatenare nuove funzionalità di machine learning nel cloud

Mentre le aziende corrono per rendere il proprio business a prova di futuro abilitando i migliori prodotti e servizi digitali, nessuna organizzazione può rimanere indietro nell'implementazione di sofisticati modelli di machine learning per aiutare a innovare le esperienze dei clienti. Negli ultimi anni, c'è stato un enorme aumento dell'applicabilità dell'apprendimento automatico per una varietà di casi d'uso, dalla personalizzazione e previsione dell'abbandono al rilevamento delle frodi e alla previsione della catena di approvvigionamento.

Fortunatamente, l'infrastruttura di machine learning nel cloud sta liberando nuove funzionalità che in precedenza non erano possibili, rendendola molto più accessibile ai professionisti non esperti. Ecco perché i clienti AWS stanno già utilizzando le istanze Amazon EC2 Inf1 basate su Inferentia per fornire l'intelligenza dietro i loro motori di raccomandazione e chatbot e per ottenere informazioni utili dal feedback dei clienti.

Con le opzioni dell'infrastruttura di machine learning basata su cloud AWS adatte a vari livelli di competenza, è chiaro che qualsiasi organizzazione può accelerare l'innovazione e abbracciare l'intero ciclo di vita di machine learning su larga scala. Poiché il machine learning continua a diventare sempre più pervasivo, le organizzazioni sono ora in grado di trasformare radicalmente l'esperienza del cliente e il modo in cui fanno affari con un'infrastruttura di machine learning basata su cloud a costi contenuti e ad alte prestazioni.

Scopri di più su come la piattaforma di machine learning di AWS può aiutare la tua azienda a innovare qui .

Questo contenuto è stato prodotto da AWS. Non è stato scritto dalla redazione del MIT Technology Review.

nascondere