Кризис хранения данных в ИИ: угроза потока данных
Стремительное развитие искусственного интеллекта (ИИ) приводит к беспрецедентному потоку данных, который доводит глобальные возможности хранения до предела. Жесткие диски становятся дефицитнее, SSD — дороже, а центры обработки данных расширяются в таком темпе, что превышает возможности цепочек поставок. Это развитие приводит к кризису хранения данных, который затрагивает не только гиперскейлеров, но и компании и частных пользователей.
Источник: Пользовательское представление
Введение
Основная динамика ясна: Generative KI und andere datenhungrige Anwendungen treiben eine Daten- und Speicherexplosion voran. Одновременно производство чипов памяти и жестких дисков достигает физических, финансовых и экологических пределов. Это сочетание приводит к кризису хранения данных, который распространяется от центров обработки данных гиперскейлеров до повседневной жизни компаний и частных пользователей. (CineD).
Объемы данных во всем мире растут в направлении 200 Zettabyte gespeicherter Daten bis 2025, , в то время как центры обработки данных с ИИ скупают все большую часть доступного производства памяти и модулей памяти. IDC прогнозирует, что к 2025 году «Global Datasphere» достигнет около 175 Zettabyte anwächst. . Для компаний это означает, что хранение данных больше не является само собой разумеющимся «дешевым и неограниченным», а становится дефицитным производственным фактором с растущими ценами, сроками поставки и экологическими издержками. (Tom’s Hardware).
Потребность в хранении данных из-за ИИ
Объем данных, генерируемых во всем мире, за последние годы взорвался. Данные Statista, проанализированные Rivery, оценивают глобальный объем данных в 2024 году уже в 149 Zettabyte и ожидают к концу 2025 года около 181 эксабайт. Exploding Topics на основе аналогичных данных Statista приходит к выводу, что в 2025 году во всем мире 181 Zettabyte an Daten generiert werden и ежедневно будет создаваться около 402,74 миллиона терабайт.
Важная часть этого роста напрямую или косвенно связана с ИИ. Компании создают озера данных для обучения, хранят контрольные точки моделей с десятками терабайт на версию и сохраняют огромные объемы журналов и телеметрии для оценки и мониторинга. (CIO.com). Отчет IDC/Seagate «Data Age 2025» оценивает, что для обработки этого потока данных с 2018 по 2025 год потребуется более 22 Zettabyte an zusätzlicher Speicherkapazität будет поставлено на всех носителях, из которых почти 59 процентов, как ожидается, будут из индустрии HDD.
Одновременно меняется баланс сил в индустрии хранения данных. Tom’s Hardware описывает, что центры обработки данных с ИИ поглощают значительную часть предложения DRAM, NAND-флэш и HDD-емкостей по всему миру, создавая тем самым основу для „Preiskrise“ über das gesamte Jahrzehnt bereiten. Совет директоров производителя памяти Adata даже говорит о первой ситуации за свою карьеру, когда DRAM, NAND-флэш и жесткие диски одновременно являются дефицитными, потому что облачные провайдеры с фокусом на ИИ скупают большую часть материалов напрямую. Tom’s Hardware).
Центры обработки данных на пределе
IDC и Seagate прогнозируют глобальную «Datasphere» к 2025 году на уровне 175 Zettabyte. Cybersecurity Ventures параллельно предполагает, что к 2025 году в мире будет 200 Zettabyte an Daten speichert.
Это было бы проблемой даже без ИИ. По данным IDC, большая часть этих данных должна храниться, анализироваться и обеспечиваться предприятиями, что приводит к массивным инвестициям в инфраструктуру хранения. (i-scoop.eu). Однако с волной ИИ ситуация значительно усугубляется. Отчет IoT Analytics оценивает расходы на оборудование и инфраструктуру центров обработки данных в 2024 году в 290 Milliarden US-Dollar, , с ожидаемым ростом рыночной доли до 1 триллиона долларов США к 2030 году, во многом за счет ИИ-нагрузок. McKinsey оценивает к 2030 году во всем мире 6,7 Billionen US-Dollar Investitionen in Rechenzentren, , из которых 5,2 триллиона явно предназначены для инфраструктуры с поддержкой ИИ.
В то же время отдельные поставщики планируют чрезвычайные цели расширения. Внутреннее выступление в Google, о котором сообщает PC Gamer, описывает цель удвоения мощности для обслуживания ИИ каждые шесть месяцев и масштабирования в 1000 раз за четыре-пять лет. PC Gamer). Tom’s Hardware цитирует оценки, согласно которым 250 Gigawatt Rechenkapazität bis 2033 будут потреблять столько же электроэнергии, сколько вся Индия. Meta, в свою очередь, планирует, по данным Blocks & Files, «супермассивные» центры обработки данных для ИИ, которые должны привести к гигантским заказам на хранение для выбранных поставщиков. Blocks & Files).
Таким образом, кризис хранения данных из-за ИИ — это не просто расплывчатое чувство, а результат измеримых планов: экспоненциально растущие объемы данных сталкиваются с долгосрочными многомиллиардными программами для центров обработки данных, которые уже сегодня доминируют в цепочках поставок компонентов хранения. (Yahoo Finanzen).
Источник: dinnova.ch
Данные TrendForce, цитируемые TechRadar, показывают, что сроки поставки Nearline-HDD объемом 32 ТБ и более составляют über ein Jahr gestiegen sind, , поскольку объемы данных ИИ перегружают глобальную инфраструктуру хранения. HWBusters в своем анализе говорит о «кризисе хранения ИИ», при котором спрос на HDD большой емкости со стороны приложений ИИ вызывает значительные задержки и рост цен. HWBusters).
Tom’s Hardware описывает, как узкое место распространяется по всей цепочке: в одном из отчетов цитируется председатель Adata, который говорит, что центры обработки данных с ИИ используют жесткие диски, SSD и DRAM „wegfressen“ , а запасы у поставщиков сократились с обычных двух-трех месяцев до двух-трех недель. TechSpot ссылается на отчет, согласно которому центры обработки данных теперь «запасаются» SSD, поскольку цепочки поставок жестких дисков настолько напряжены, что сроки поставки Enterprise-HDD составляют bis zu zwei Jahre ausdehnen können. Network World дополнительно сообщает, что сроки поставки жестких дисков увеличились с нескольких недель до über ein Jahr gestiegen sind , а цены на Enterprise Flash уже значительно растут.
С стороны флэш-памяти производители предупреждают о структурных узких местах: Solidigm ожидает как минимум dreijährigen NAND-Knappheit. Генеральный директор Phison публично подтверждает, что цены на NAND-флэш за шесть месяцев mehr als verdoppelt haben , и узкие места ожидаются как минимум до конца 2027 года. Параллельно Sourceability сообщает о дефиците DRAM, вызванном ИИ, с быстро растущими ценами на модули и прогнозируемым дальнейшим сокращением поставок к 2026 году. Sourceability).
Для специализированных отраслей последствия уже ощутимы: профессиональный журнал CineD предупреждает кинематографистов, что глобальный дефицит хранения данных с 2026 года может значительно повысить цены на носители для камер, SSD и оборудование для постпродакшена, а также частично задержать планы выпуска новых моделей камер. CineD).
Те, кто хочет увидеть, как взаимодействие HDD и SSD в контексте кризиса хранения данных ИИ представлено визуально, найдут в этом видео на YouTube краткое объяснение текущей ситуации в центрах обработки данных:
Источник: YouTube
Последствия кризиса хранения данных
Для крупных облачных провайдеров кризис хранения данных в основном приводит к увеличению CAPEX и OPEX: IoT Analytics показывает, что расходы на инфраструктуру центров обработки данных уже в 2024 году составят 290 Milliarden US-Dollar lagen. Inside Towers описывает, как глобальная волна ИИ так сильно увеличивает спрос на мощности центров обработки данных, что операторы конкурируют за подходящие места, энергию и сетевое подключение. Inside Towers).
Эти расходы отражаются не только в балансах, но и в конечных ценах: сетевые и ИТ-СМИ, такие как Tom’s Hardware и Network World, единодушно сообщают, что производители SSD и HDD уже анонсируют надбавки к ценам на модели Enterprise, которые в среднесрочной перспективе, вероятно, отразятся в тарифах на облачное хранение, резервное копирование и продуктах для потребителей. Tom’s Hardware, Network World).
Для малых предприятий кризис проявляется сильнее в повседневной жизни: CineD отмечает, что кинопроизводства должны пересчитывать свои бюджеты на носители и резервное копирование, поскольку карты памяти, SSD-RAID и архивные системы становятся дороже и их труднее достать. CineD). То же самое относится к агентствам, исследовательским институтам или стартапам, которые обрабатывают большие объемы данных: рост цен на хранение может привести к задержкам проектов или вынудить их хранить меньше данных, что напрямую влияет на качество анализов и моделей ИИ. CIO.com).
Частные пользователи косвенно затронуты: отраслевые СМИ, такие как Tom’s Hardware и Yahoo Finance, указывают на то, что то же производство DRAM и NAND, которое используется в серверах ИИ, также требуется для потребительских устройств, таких как ноутбуки, смартфоны и телевизоры, поэтому дефицит на стороне предприятий приводит к steigenden Endkundenpreisen führen können (Yahoo Finanzen).
Экологические аспекты
Кризис хранения данных из-за ИИ неразрывно связан с вопросом энергии. Goldman Sachs прогнозирует, что мировое потребление электроэнергии центрами обработки данных к концу десятилетия увеличится до 165 Prozent im Vergleich zu 2023 ansteigen könnte. Исследование, цитируемое Reuters, оценивает, что центры обработки данных в США к 2028 году потребуют до 12 Prozent des gesamten nationalen Stromverbrauchs ausmachen könnten. Международное энергетическое агентство ожидает, что к 2030 году центры обработки данных mehr Strom verbrauchen könnten als das heutige Japan.
К этому энергетическому голоду добавляется часто недооцениваемое потребление воды: Brookings описывает, что типичный центр обработки данных потребляет около 300.000 Gallonen Wasser pro Tag für Kühlung benötigt. Недавний обзор водного баланса центров обработки данных ИИ обобщает, что центры обработки данных в США в 2023 году напрямую использовали около 66 Milliarden Liter Wasser verbrauchten.
Эта экологическая перспектива усиливает давление на индустрию хранения данных: чем выше плотность хранения, тем сложнее, как правило, производственный процесс — например, современные 3D-NAND-структуры с более чем 200 слоями — и тем выше потребление ресурсов на заводах. Blocks & Files). В то же время поставщики, такие как Huawei, утверждают, что полностью флэш-ориентированные центры обработки данных могут быть более энергоэффективными в долгосрочной перспективе, чем системы на основе HDD, что могло бы частично смягчить кризис хранения за счет повышения эффективности. Huawei).
Те, кто хочет лучше понять физическую инфраструктуру и экологические последствия центров обработки данных, найдут в этом пояснительном видео на YouTube хороший старт в понимании работы и давления роста центров обработки данных в эпоху ИИ:
Источник: YouTube
Подходы к решению
Кризис хранения данных — это не закон природы, но его нельзя решить одним «техническим трюком». IDC и Seagate уже много лет указывают на то, что большая часть генерируемых данных nie genutzt wird. . Это предполагает, что технический рост емкости должен сочетаться с гораздо более строгой дисциплиной данных.
На техническом уровне производители делают ставку на многоуровневые архитектуры хранения: чрезвычайно быстрые, но дорогие NVMe-SSD служат кэшем для активных ИИ-нагрузок, в то время как более дешевые, емкие HDD и QLC-SSD используются для архивирования и холодных данных. Tom’s Hardware). Поставщики, такие как Seagate, позиционируют такие системы, как Exos 4U100 mit bis zu 3,2 Petabyte явно в качестве ответа на ИИ-нагрузки. Hitachi Vantara утверждает, что последовательный переход на архитектуры All-Flash с развитыми сервисами данных может повысить не только производительность, но и энергоэффективность и отказоустойчивость. Hitachi Vantara).
На организационном уровне речь идет о том, какие данные вообще должны храниться постоянно: исследования, такие как «Data Age 2025», подчеркивают, что компании должны различать данные, соответствующие нормативным требованиям, критически важные для бизнеса и просто «желательные», чтобы не связывать излишне емкость хранения и энергию. Seagate). CIO.com показывает, что многие компании в настоящее время перерабатывают свои архитектуры хранения, чтобы обеспечить ИИ-нагрузки быстрыми, последовательными временами доступа и одновременно эффективно обрабатывать резервное копирование, архивирование и соответствие нормативным требованиям. CIO.com).
Для компаний это означает конкретно: четко определять жизненные циклы данных, применять сроки удаления, целенаправленно курировать данные для обучения вместо хранения «всего навсегда» и проектировать ИИ-нагрузки так, чтобы достигать большего с меньшим количеством данных — например, за счет эффективных архитектур моделей, Retrieval-Augmented Generation или меньших, специализированных моделей. Hitachi).
Те, кто хочет увидеть экономические и инфраструктурные ограничения, стоящие за кризисом хранения данных ИИ, получат хороший обзор центров обработки данных в контексте ИИ, энергии и хранения в этом видео:
Источник: YouTube
Кризис хранения данных из-за ИИ является логическим следствием трех тенденций: взрывной рост объемов данных Cybersecurity Ventures), , агрессивные планы расширения центров обработки данных ИИ и индустрия хранения данных, достигающая физических и финансовых пределов расширения мощностей. Seagate).
В ближайшие годы вероятны более высокие цены, более длительные сроки поставки и более интенсивная конкуренция за ресурсы хранения, как в корпоративном сегменте, так и в потребительском. (Tom’s Hardware, Tom’s Hardware). В то же время экологический аспект — особенно потребление энергии и воды — вынуждает операторов и политиков мыслить стратегии хранения не только с экономической, но и с ресурсной точки зрения. (Goldman Sachs, Brookings).
Хорошая новость: кризис — это не статическое состояние, а давление, которое вынуждает к инновациям и дисциплине. Те, кто последовательно пересматривает свою архитектуру данных, разумно комбинирует уровни хранения и сознательно создает ИИ таким образом, чтобы он работал с меньшим количеством, лучше структурированных данных, может не только снизить затраты и риски, но и внести свой вклад в то, чтобы хранение данных в эпоху ИИ оставалось управляемым, а не чисто дефицитным фактором.