W laboratorium chipów Trainium - układy Amazona zdobywają Anthropic, OpenAI i Apple

Po ogłoszeniu przez CEO Amazona Andy'ego Jassy'ego umowy inwestycyjnej AWS z OpenAI na 50 miliardów dolarów firma zaprosiła dziennikarzy do laboratorium chipów Trainium. W ramach porozumienia AWS zobowiązał się dostarczyć OpenAI 2 gigawaty mocy obliczeniowej opartej na tych układach.

Skala wdrożeń jest już znacząca: 1,4 miliona chipów Trainium we wszystkich trzech generacjach, z czego ponad 1 milion układów Trainium2 obsługuje model Claude firmy Anthropic. Trainium2 odpowiada też za większość ruchu inferencyjnego w Amazon Bedrock, platformie do budowania aplikacji AI dla klientów korporacyjnych. Dyrektor laboratorium Kristopher King stwierdził, że baza klientów rośnie tak szybko, jak szybko udaje się dostarczać nowe moce, dodając, że Bedrock może pewnego dnia dorównać EC2.

Umowa ma jednak swoje napięcia - według Financial Times Microsoft może uważać, że porozumienie OpenAI z Amazonem narusza jego własną umowę z OpenAI o dostępie do wszystkich modeli i technologii.

Chipy Trainium, pierwotnie projektowane do szybszego i tańszego trenowania modeli, są obecnie dostrojone także pod inferencję - dziś największe wąskie gardło wydajnościowe w branży AI.