Система хранения данных Huawei OceanStor A800

Новое поколение высокопроизводительных распределённых файловых хранилищ для искусственного интеллекта.

OceanStor A800 — это новое поколение высокопроизводительных распределённых файловых хранилищ для искусственного интеллекта (ИИ). Система хранения данных, которая обеспечивает сквозную (от начала до конца) обработку данных для обучения ИИ и логического вывода.

Благодаря 24 миллионам операций ввода-вывода в секунду (IOPS) и пропускной способности 500 ГБ/с на корпус контроллера OceanStor A800 справляется с требованиями по загрузке обучающих наборов с большим количеством небольших файлов и высокой пропускной способностью, необходимой для возобновления работы с контрольных точек. По сравнению с альтернативными системами, загрузка обучающего набора происходит в 8 раз быстрее, а возобновление обучения с контрольных точек — в 4 раза быстрее.

Встроенное хранилище векторных знаний уменьшает галлюцинации ИИ и обеспечивает отклик при выводе в миллисекундах. Возможности долговременного хранения данных исключают повторные вычисления, значительно снижая нагрузку на вычислительные мощности для логического вывода. Это сокращает время до первого токена (TTFT) на 78%, а также увеличивает пропускную способность логического вывода для одного xPU на 60%.

Очень высокая производительность

• Взаимодействие программного и аппаратного обеспечения: благодаря инновационной архитектуре с разделением плоскости управления данными, архитектуре без тыльной панели и движку ускорения файлов DataTurbo достигается 24 миллиона IOPS и пропускная способность 500 ГБ/с на корпус контроллера, что в 8 раз превосходит производительность ведущих альтернатив.
• В тестах MLPERF™ AI Benchmarks 2024 OceanStor A800 занял первое место по общей производительности, производительности на узел и производительности на стойку.

Сверхбольшой кластер

• Поддерживается масштабирование на уровне эксабайт с возможностью гибкой расширения до 512 контроллеров.
• Вычисления вблизи хранилища и различные возможности масштабирования позволяют добавлять различные функциональные карты по требованию.
• Обеспечивая уровень IOPS в 100 миллионов и пропускную способность в сотни ТБ/с, OceanStor A800 является единственной системой хранения, поддерживающей кластер с 100 000 xPU (поддерживая полное подключение в кластере с 100 000 xPU).

Мощный логический вывод

• Долговременное хранение данных с многоуровневым кэшем «ключ-значение» (KV) повышает пропускную способность одного xPU на 67%.
• Хранилище знаний, содержащее десятки миллиардов векторов с тысячами измерений, обеспечивает поиск на уровне миллисекунд при выводе и обновление знаний в реальном времени.