[Kína, Sencsen, 2023. július 14.] A Huawei ma bemutatta a nagyméretű modellek korszakához készült új mesterséges intelligencia-tárolási megoldását, amely optimális tárolási megoldásokat kínál az alapmodell-oktatáshoz, az iparág-specifikus modellképzéshez és a szegmentált forgatókönyvek szerinti következtetésekhez. új AI-képességek felszabadítása.
A nagyméretű modellalkalmazások fejlesztése és megvalósítása során a vállalkozások négy fő kihívással néznek szembe:
Először is, az adatok előkészítésének időigénye hosszú, az adatforrások szétszórtak, az aggregáció lassú, több száz terabájtnyi adat előfeldolgozása körülbelül 10 napot vesz igénybe. Másodszor, a hatalmas szöveg- és képadatkészletekkel rendelkező, multimodális nagy modellek esetében a nagyméretű kis fájlok jelenlegi betöltési sebessége kevesebb, mint 100 MB/s, ami alacsony hatékonyságot eredményez a képzési készletek betöltésében. Harmadszor, a nagy modelleknél a paraméterek gyakori módosítása, valamint az instabil edzőplatformok körülbelül kétnaponta edzésmegszakításokat okoznak, ami szükségessé teszi a Checkpoint mechanizmust az edzés folytatásához, és a felépülés egy napot vesz igénybe. Végül pedig a nagy modellek magas megvalósítási küszöbértékei, a bonyolult rendszerbeállítások, az erőforrás-ütemezési kihívások és a GPU-erőforrás-kihasználás gyakran 40% alatti.
A Huawei a nagyméretű modellek korszakának AI-fejlesztési trendjéhez igazodik, és különböző iparágakhoz és forgatókönyvekhez szabott megoldásokat kínál. Bemutatja az OceanStor A310 Deep Learning Data Lake Storage és a FusionCube A3000 Training/Inference Super-Converged Appliance készüléket. Az OceanStor A310 Deep Learning Data Lake Storage mind az alap-, mind az ipari szintű nagy modelles Data Lake-forgatókönyveket célozza meg, átfogó mesterségesintelligencia-adatkezelést biztosítva az adatok összesítésétől, az előfeldolgozáson át a modellképzésig és következtetési alkalmazásokig. Az egyetlen 5U-s rackben található OceanStor A310 támogatja az iparágvezető 400 GB/s sávszélességet és akár 12 millió IOPS-t, lineáris skálázhatósággal 4096 csomópontig, lehetővé téve a zökkenőmentes, protokollok közötti kommunikációt. A Global File System (GFS) lehetővé teszi az intelligens adatszövést a régiók között, és egyszerűsíti az adatgyűjtési folyamatokat. A tárolóhelyhez közeli számítástechnika közel adat-előfeldolgozást valósít meg, csökkenti az adatmozgást, és 30%-kal javítja az előfeldolgozás hatékonyságát.
A FusionCube A3000 Training/Inference Super-Converged Appliance, amelyet az ipari szintű nagymodell-oktatási/következtetési forgatókönyvekhez terveztek, több milliárd paraméterrel rendelkező modelleket magában foglaló alkalmazásokat szolgál ki. Integrálja az OceanStor A300 nagy teljesítményű tárolócsomópontjait, a betanító/következtető csomópontokat, a kapcsolóberendezéseket, az AI platformszoftvert, valamint a felügyeleti és üzemeltetési szoftvert, így a nagy modellpartnerek számára plug-and-play üzembe helyezési élményt biztosít az egyablakos szállítás érdekében. Használatra kész, 2 órán belül üzembe helyezhető. Mind a betanítási/következtetési, mind a tárolási csomópontok egymástól függetlenül és vízszintesen bővíthetők, hogy megfeleljenek a különböző modellléptékű követelményeknek. Eközben a FusionCube A3000 nagy teljesítményű konténereket használ, hogy több modell betanítási és következtetési feladatot lehessen végezni a GPU-k megosztásához, így az erőforrás-kihasználást 40%-ról 70%-ra növeli. A FusionCube A3000 két rugalmas üzleti modellt támogat: a Huawei Ascend One-Stop Solution-t és a harmadik féltől származó egyablakos megoldást nyílt számítástechnikai, hálózati és mesterséges intelligencia platform szoftverrel.
A Huawei adattárolási termékvonalának elnöke, Zhou Yuefeng kijelentette: „A nagyméretű modellek korában az adatok határozzák meg az AI intelligencia magasságát. Adathordozóként az adattárolás a nagyszabású mesterséges intelligenciamodellek kulcsfontosságú alapinfrastruktúrájává válik. A Huawei Data Storage folytatja az innovációt, diverzifikált megoldásokat és termékeket kínál a nagy mesterségesintelligencia-modellek korszakához, és együttműködik partnereivel, hogy az iparágak széles skálájában elősegítse a mesterséges intelligencia megerősítését.”
Feladás időpontja: 2023-01-01
