Революция в Big data: Huawei представила новые решения хранения данных - Huawei в Республике Казахстан

Этот сайт использует файлы cookies. Продолжая просматривать сайт, Вы соглашаетесь на использование нами файлов cookies. Ознакомьтесь с нашей политикой конфиденциальности.

Революция в Big data: Huawei представила новые решения хранения данных

2024.05.24

На форуме Huawei «Инновационная инфраструктура данных», прошедшем в городе Баку, посвященном теме «Активация данных: создание передовой инфраструктуры данных, готовой к применению искусственного интеллекта», д-р Питер Чжоу, Вице-президент Huawei и Президент серии продуктов Huawei для хранения данных, выступил с речью на тему «Пересмотр хранения данных в эпоху активации данных». Д-р Чжоу прогнозирует, что будущее систем хранения данных будет зависеть от множества возможностей, включая сверхвысокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, долговечность и структуру данных.

С появлением генеративного искусственного интеллекта спрос на надежные решения для хранения данных стал еще более актуальным в современной технологической среде. Поскольку масштаб кластеров крупных моделей искусственного интеллекта вырос и включает в себя десятки тысяч и даже сотни тысяч графических процессоров, это расширение привело к более частым сбоям в работе кластера и перерывам обучения. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных плат, что приводит к снижению использования кластера более чем на 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных в 2,3 раза превысит показатель 2022 года и будет эквивалентно годовому энергопотреблению Японии. Более половины мощности в центрах обработки данных будет потребляться искусственным интеллектом.

Искусственный интеллект стремится изменить традиционное хранение данных, уделяя особое внимание не только производительности, надежности и парадигме данных, но и масштабируемости, долговечности и матрице данных. В эпоху активации данных Huawei пересмотрит систему хранения данных, внедрив передовые инновации в следующих шести сферах:

  1. Сверхвысокая производительность: Huawei повышает производительность систем хранения данных в 10 раз по сравнению с традиционным методами хранения. Хранение также поддерживает пропускную способность в Пбайт/с и 100 миллионов операций ввода-вывода в секунду, что значительно повышает эффективность всего процесса генеративного искусственного интеллекта.
  2. Устойчивость данных: Инновационная архитектура и технологии обеспечивают высокую надежность на уровне 99,9999%. Встроенный механизм обнаружения программ-вымогателей повышает точность обнаружения до 99,99%. Даже время восстановления контрольной точки во время тренировки искусственного интеллекта сокращается менее чем до минуты.
  3. Новая парадигма данных: Многомерные тензорные данные позволяют поддерживать быстрый поиск и выборку данных с помощью интеллектуального механизма поиска. Технология генерации ответа, дополненная результатами поиска (RAG) работает со встроенной базой знаний для устранения ложной информации в больших моделях искусственного интеллекта.
  4. Масштабируемость: Один кластер хранения данных может быть расширен до уровня EB, а каждый механизм может быть дополнен несколькими графическими процессорами, устройствами обработки данных (DPU) или нейронными (NPU) процессорами для вычислений вторичного хранения данных.
  5. Долговечность: Инновации в области носителей информации и устройств хранения данных обеспечили исключительную энергоэффективность (менее 1 Вт/ТБ) и плотность размещения данных (более 1 ПБ/Ед).
  6. Матрица данных: возможности управления метаданными хранилища и поиска обеспечивают глобальную видимость и управляемость данными, а также мобильность данных, которая в 10 раз эффективнее.

Эти впечатляющие инновации заложили основу для выпуска высокопроизводительного процессора OceanStor A800, который является мощным дополнением к моделям хранения данных Huawei серии OceanStor A. Адаптированный к ИИ, OceanStor A800 может увеличить использование кластера ИИ на 30%, а что касается производительности, то он обеспечивает высокую пропускную способность и скорость ввода-вывода в секунду, которые в четыре и восемь раз выше, чем у аналогичных поставщиков. Что касается масштабируемости, OceanStor A800 поддерживает масштабирование до уровня EB с использованием до 512 контроллеров, а также максимум до 4096 вычислительных плат. Что касается экономии места и энергии, то он обеспечивает исключительную плотность размещения данных – 1 ПБ/Ед., и энергоэффективность – 0,7 Вт/ТБ. Он также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. Что касается устойчивости данных, то точность обнаружения программ-вымогателей повышена с 99,9% до 99,99%. Кроме того, функция матрицы данных облегчает управление информационными активами.

В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei твердотельные накопители большой емкости обеспечивают в 10 раз большую емкость при том же размере диска, что позволяет еще больше снизить энергопотребление центра обработки данных. При емкости 128 ТБ на диск новые твердотельные накопители потребляют на 88% меньше места для хранения и на 92% меньше энергии, чем твердотельные накопители аналогичных поставщиков, при хранении каждого Пбайта данных.

Чтобы быть готовыми к применению искусственного интеллекта, предприятия должны быть в состоянии готовности данных. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные информационные ресурсы видимыми, управляемыми и мобильными в разных регионах, создавая тем самым для предприятий надежную базу хранилища озер данных искусственного интеллекта.

В заключение д-р Питер Чжоу подчеркнул стремление Huawei пересмотреть систему хранения данных, ориентируясь на задачи и запросы клиентов в эпоху активации данных, и создать передовую инфраструктуру данных с поддержкой искусственного интеллекта для повышения ценности для клиентов.