Big data революциясы: Huawei деректерді сақтаудың жаңа шешімдерін ұсынды

Баку қаласында өткен «Деректерді белсендіру: жасанды интеллект қолдануға дайын озық деректер инфрақұрылымын құру» тақырыбына арналған Huawei компаниясының «Инновациялық деректер инфрақұрылымы» форумында компания Вице-президенті және Деректерді сақтауға арналған өнімдері сериясының президенті доктор Питер Чжоу, «Деректерді белсендіру дәуірінде деректерді сақтауды қайта қарау» тақырыбында сөз сөйледі. Доктор Чжоу сақтау жүйелерінің болашағы көптеген мүмкіндіктерге, соның ішінде ультра жоғары өнімділікке, деректердің тұрақтылығына, жаңа деректер парадигмасына, масштабтауға, ұзақ мерзімділікке және деректер құрылымына байланысты болатынын болжады.

Генеративті жасанды интеллекттің пайда болуымен деректерді сақтаудың сенімді шешімдеріне деген сұраныс қазіргі технологиялық ортада одан да өзекті бола бастады. Жасанды интеллекттің ірі модельдерінің кластерлік ауқымы кеңейіп, ондаған мың, тіпті жүздеген мың графикалық процессорларды қамтығандықтан, бұл кеңею кластердің жиі істен шығуына және оқу үзілістеріне әкелді. Бақылау нүктелерінің деректерін бірнеше рет жазудың және оқуды қайта бастаудың ұзақ процесі есептеу тақталарының тоқтап қалу уақытының ұлғаюына әкеледі, бұл кластерді пайдаланудың 50%-дан астамға төмендеуіне әкеледі. Сонымен қатар, 2026 жылға қарай жаһандық деректер орталықтарының энергия тұтынуы 2022 жылғы көрсеткіштен 2,3 есе асып, Жапонияның жылдық энергия тұтынуына тең болады деп күтілуде. Деректер орталықтарындағы қуаттың жартысынан көбін жасанды интеллект тұтынады.

Жасанды интеллект деректердің өнімділігіне, сенімділігіне және парадигмасына ғана емес, сонымен қатар масштабтауына, ұзақ мерзімділігіне және деректер матрицасына назар аудара отырып, дәстүрлі деректерді сақтауды өзгертуге тырысады. Деректерді белсендіру дәуірінде Huawei келесі алты салада озық инновацияларды енгізу арқылы деректерді сақтау жүйесін қайта қарайды:

1. Аса жоғары өнімділік: Huawei сақтау жүйелерінің өнімділігін дәстүрлі сақтау әдістерімен салыстырғанда 10 есе арттырады. Сақтау сонымен қатар Пбайт/с өткізу қабілеттілігін және секундына 100 миллион енгізу/шығару операцияларын қолдайды, бұл бүкіл генеративті жасанды интеллект процесінің тиімділігін айтарлықтай арттырады.
2. Деректердің тұрақтылығы: Инновациялық архитектура мен технологиялар 99,9999% деңгейінде жоғары сенімділікті қамтамасыз етеді. Кірістірілген бопсалау бағдарламаларын анықтау механизмі анықтау дәлдігін 99,99% дейін арттырады. Жасанды интеллект жаттығулары кезінде бақылау нүктесін қалпына келтіру уақыты бір минуттан аз уақытқа қысқарады.
3. Жаңа деректер парадигмасы: Көпөлшемді тензорлық деректер интеллектуалды іздеу механизмі арқылы деректерді жылдам іздеуге және іріктеуге мүмкіндік береді. Іздеу нәтижелерімен толықтырылған жауаптарды құру технологиясы (RAG) жасанды интеллекттің үлкен модельдеріндегі жалған ақпаратты жою үшін кіріктірілген білім базасымен жұмыс істейді.
4. Масштабтау: Деректерді сақтаудың бір кластерін EB деңгейіне дейін кеңейтуге болады және деректерді қайталама сақтауды есептеу үшін әр механизмді бірнеше графикалық процессорлармен, деректерді өңдеу құрылғыларымен (DPU) немесе нейрондық (NPU) процессорлармен толықтыруға болады.
5. Ұзақ мерзімділік: Ақпарат тасығыштар мен деректерді сақтау құрылғылары саласындағы инновациялар ерекше энергия тиімділігін (1 Вт/ТБ-дан аз) және деректерді орналастыру тығыздығын (1 ПБ/бірліктен астам) қамтамасыз етті.
6. Деректер матрицасы: Қойманың метадеректерін басқару және іздеу мүмкіндіктері жаһандық көріну мен деректерді басқаруды, сондай-ақ 10 есе тиімдірек деректердің ұтқырлығын қамтамасыз етеді.

Бұл таңқаларлық инновациялар OceanStor А сериялы Huawei деректерді сақтау модельдеріне мықты қосымша болып табылатын жоғары өнімді OceanStor A800 процессорын шығаруға негіз салды. ЖИ-ге бейімделген OceanStor A800 ЖИ кластерін пайдалануды 30%-ға арттыра алады, ал өнімділікке келетін болсақ, ол секундына жоғары өткізу қабілеттілігі мен енгізу-шығару жылдамдығын қамтамасыз етеді, бұл осы сияқты ұқсас жеткізушілерге қарағанда төрт және сегіз есе жоғары. Масштабтауға келетін болсақ, OceanStor A800 512 контроллерді, сондай-ақ ең көбі 4096 есептеу тақтасын пайдалана отырып, EB деңгейіне дейін масштабтауды қолдайды. Кеңістік пен энергияны үнемдеуге келетін болсақ, 1 ПБ/Бірлік деңгейінде деректерді орналастырудың ерекше тығыздығын қамтамасыз етеді, ал энергия тиімділігі 0,7 Вт/ТБ құрайды. Ол сонымен қатар векторлық индексі, тензорлық деректері және RAG бар жаңа деректер парадигмасын ұсынады. Деректердің тұрақтылығына келетін болсақ, бопсалау бағдарламаларын анықтау дәлдігі 99,9%-дан 99,99%-ға дейін көтерілді. Сонымен қатар, деректер матрицасының функциясы ақпараттық активтерді басқаруды жеңілдетеді.

Сонымен қатар, ақпарат тасымалдаушылар саласындағы инновациялар тұрақты дамудың қозғаушы күші болып табылады. Huawei жақында шығарған үлкен сыйымдылықтағы қатты денелі жинақтағыштар дәл сондай диск өлшемімен 10 есе үлкен сыйымдылықты қамтамасыз етеді, бұл деректер орталығының қуат тұтынуын одан әрі төмендетуге мүмкіндік береді. Бір дискіге 128 ТБ сыйымдылығы бар жаңа қатты денелі жинақтағыштар әрбір ПБайт деректерді сақтау кезінде ұқсас жеткізушілердің қатты денелі жинақтағыштарына қарағанда 88%-ға аз сақтау орнын және 92%-ға аз қуатты пайдаланады.

Жасанды интеллектті қолдануға дайын болу үшін кәсіпорындардың деректері дайын болуы керек. DME-ге енгізілген Omni-Dataverse жаһандық файлдық жүйесі корпоративтік ақпараттық ресурстарды әртүрлі аймақтарда көрінетін, басқарылатын және мобильді етеді, осылайша кәсіпорындар үшін жасанды интеллект деректер көлінің сенімді сақтау базасын жасайды.

Қорытындылай келе, доктор Питер Чжоу Huawei-дің деректерді белсендіру дәуіріндегі клиенттердің тапсырмалары мен сұраныстарына назар аудара отырып, деректерді сақтау жүйесін қайта қарауға және клиенттер үшін құндылықты арттыру үшін жасанды интеллект қолдауымен озық деректер инфрақұрылымын құруға деген ұмтылысын атап өтті.