Переосмысление систем хранения данных в эпоху роста данных

14 мая 2024 года в Баку, Азербайджан, на форуме Huawei Innovative Data Infrastructure Forum 2024 на тему «Пробуждение данных: построение лучшей инфраструктуры данных готовой к Искусственному Интеллекту» ("Data Awakening: Building Leading AI-Ready Data Infrastructure"), д-р Питер Чжоу, Вице-президент Huawei и президент линейки продуктов хранения данных, выступил с речью о «Переосмыслении хранения данных в эпоху роста данных». Д-р Чжоу представил будущее хранения данных обусловленное множеством возможностей, включая высокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, энергоэффективность и структуру данных.

Питер Чжоу, вице-президент Huawei и президент линейки продуктов хранения данных Huawei, выступил с речью

С ростом генеративного Искусственного Интеллекта спрос на производительные и надежные решения для хранения данных стал еще более важным в современном технологическом ландшафте. По мере того, как масштаб кластеров крупных моделей искусственного интеллекта вырос и включает десятки тысяч и даже сотни тысяч графических процессоров (GPU), это расширение привело к более частым сбоям кластера и перерывам в обучении. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных карт, что приводит к снижению коэффициента использования кластера ниже 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных увеличится в 2,3 раза по сравнению с показателями 2022 года и будет эквивалентно годовому потреблению электроэнергии в Японии. Более половины электроэнергии в дата-центрах будет потреблять Искусственный Интеллект.

Искусственный Интеллект стремится изменить традиционные подходы  к хранению данных, сосредоточившись не только на производительности, надежности и парадигме данных, но и на масштабируемости, энергоэффективности и структуре данных. В эпоху роста данных Huawei переопределит системы хранения данных с помощью передовых инноваций в следующих шести областях:

1. Высокая производительность: Huawei повышает производительность хранения в 10 раз по сравнению с традиционными системами хранения. Хранилище также поддерживает пропускную способность в PB/s и 100 млн IOPS, что значительно повышает эффективность процессов генеративного Искусственного Интеллекта.
2. Устойчивость данных: инновационная архитектура и технологии обеспечивают высокую надежность на уровне 99,9999%. Встроенный механизм обнаружения программ-вымогателей повышает точность обнаружения до 99,99%. Даже время восстановления контрольной точки во время обучения ИИ сокращается до менее чем минуты.
3. Новая парадигма данных: многомерные тензорные данные позволяют поддерживать быстрый поиск данных с помощью интеллектуальной поисковой системы. Технология генерации с дополненной выборкой (RAG) работает со встроенной базой знаний для устранения галлюцинаций в больших моделях ИИ.
4. Масштабируемость: один кластер хранения может быть масштабирован для емкости уровня экзобайт, а каждый контроллер может быть масштабирован с помощью большего количества GPU, DPU или NPU для архитектуры «вычисления рядом с СХД» (near storage computing).
5. Энергоэффективность: инновации в области носителей и устройств хранения данных обеспечили выдающуюся энергоэффективность (менее 1 Вт/Тбайт) и плотность хранения (больше 1 ПБ/У).
6. Фабрика данных: возможности управления хранения и поиска метаданных обеспечивают глобальную видимость и управляемость данными, а также мобильность данных в 10 раз более эффективна.

Эти впечатляющие инновации заложили основу для выпуска высокопроизводительной СХД OceanStor A800, которая является мощным дополнением к моделям Huawei серии OceanStor A. OceanStor A800, разработанная для Искусственного Интеллекта, может увеличить использование кластера ИИ на 30%, а что касается производительности, она обеспечивает высокую пропускную способность и IOPS в четыре и восемь раз лучше, чем у аналогов. Широкие возможности масштабирования, OceanStor A800 поддерживает расширение до уровня EB с помощью до 512 контроллеров, а также масштабирование до 4,096 вычислительных плат. Что касается экономии пространства и энергии, он достигает выдающейся плотности хранения 1 PB/U и энергоэффективности 0,7 Вт/Тбайт. Она также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. С точки зрения устойчивости данных точность обнаружения программ-вымогателей повышена с 99,9% до 99,99%. Кроме того, возможности фабрики данных упрощают управление активами данных.

В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei SSD обеспечивают в 10 раз больше ёмкости при том же размере диска, что ещё больше снижает энергопотребление центра обработки данных. При ёмкости 128 TB на диск новые SSD занимают на 88% меньше места и потребляют на 92% меньше энергии, чем SSD других производителей при хранении каждого Пбайта данных.

Чтобы быть готовыми к ИИ, предприятия должны быть готовы к данным. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные данные видимыми, управляемыми и мобильными между регионами, тем самым создавая для предприятий надежную основу для хранения данных Искусственного Интеллекта.

Д-р Питер Чжоу завершил свое выступление, подчеркнув стремление Huawei переосмыслить систему хранения данных, сфокусированную на проблемах и требованиях клиентов в эпоху пробуждения данных, и создать ведущую инфраструктуру данных, готовую к ИИ, для создания большей ценностей для клиентов.

Huawei Tech Carnival & Partner Summit 2024 для региона Ближнего Востока и Центральной Азии, прошёл с 13 по 15 мая в г.Баку, Азербайджан. Темой мероприятия в этом году стало «Ускорение интеллектуальности индустрий» (“Accelerate Industrial Intelligence”). Делегации из сферы государственных услуг, финансов, образования и операторского сегмента Узбекистана также приняли участие в мероприятии.