Генеративный искусственный интеллект (ИИ) требует быстрого и непрерывного перемещения больших объемов данных. Все чаще электрические соединения ввода-вывода (I/O) между микросхемами чипсетов становятся узким местом на пути повышения производительности. Ключевые барьеры производительности электрического ввода-вывода включают энергоэффективность, пропускную способность и задержку.
В этом разделе часто задаваемых вопросов рассматриваются ожидаемые преимущества использования внутрикорпусного оптического ввода-вывода (IOI) вместо современного электрического ввода-вывода в чиплетах и завершается обзором новых решений и технологий IOI.
Решения IOI представляют собой последние достижения в длинной череде достижений в области оптических межсоединений, начиная с подключаемых оптических трансиверов, заменяющих или дополняющих электрические устройства ввода-вывода в центрах обработки данных (Рисунок 1). Например, электрический сериализатор/десериализатор (SerDes) является распространенной формой высокоскоростного подключения. Он состоит из пары блоков, которые преобразуют данные между последовательными данными и параллельными интерфейсами в каждом направлении. Однако превысить скорость 112 гигабит в секунду (Гбит/с) чрезвычайно сложно, поскольку большие потери сигнала в медных межсоединениях затрудняют передачу данных на расстояние более нескольких сантиметров. Ожидается, что замена SerDes на OIO в чипсетах устранит узкие места электрического ввода-вывода и значительно увеличит скорость передачи данных. К критическим барьерам на пути повышения производительности ввода-вывода относятся энергоэффективность, задержка, а также плотность и охват полосы пропускания.
Барьеры производительности ввода-вывода
Энергоэффективность имеет решающее значение для высокопроизводительных вычислительных приложений, таких как генеративный искусственный интеллект. Энергоэффективность существующих электрических устройств ввода-вывода на скорости 112 Гбит/с составляет от 6 до 10 пикоджоулей на бит (пДж/б). Достижение от корпуса до края печатной платы с такой скоростью передачи данных возможно, но требует много энергии, выделяет тепло и снижает эффективность системы. Как отмечено на рисунке 1, для выхода за пределы печатной платы требуется сочетание подключаемых оптических приемопередатчиков электрического ввода-вывода и активных оптических кабелей. IOI необходимо улучшить этот уровень производительности.
Задержка — еще один убийца производительности. Встроенный и внешний электрический ввод-вывод со скоростью выше 50 Гбит/с требует использования кодирования с прямой коррекцией ошибок, которое может увеличить задержку до 100 нс. Это слишком много для распределенных вычислительных систем, подобных тем, которые используются для генеративного искусственного интеллекта. В этих приложениях требуются задержки менее 10 нс.
Плотность полосы пропускания является важным фактором. Гетерогенные микросхемы используются там, где требуется высокая плотность системы, включая плотность полосы пропускания. Электрический ввод-вывод может поддерживать плотность полосы пропускания около 100 Гбит/с/мм. Предел для SerDes составляет от 200 до 500 Гбит/с/мм; больший радиус действия влечет за собой потери мощности и тепла, что делает его непрактичным решением в большинстве случаев. С другой стороны, IOI в настоящее время может обеспечить скорость около 200 Гбит/с/мм, а в будущем планируется достичь скорости 1 Тбит/с/мм.
Досягаемость — это сквозное расстояние ввода-вывода. В чиплете необходимый радиус действия обычно составляет менее 10 мм. На печатной плате вылет может составлять до 50 мм, а в дата-центре вылет может превышать 1,000 мм. В то время как электрический ввод-вывод может поддерживать короткие расстояния, большие расстояния требуют использования оптической связи. Переключение между электрическими средствами связи внутри корпуса или на печатной плате на оптические для увеличения дальности неэффективно и дорого. Предпочтительным решением было бы использование IOI как для внутренней связи чиплета, так и для подключения в масштабе всего центра обработки данных.
Несколько поставщиков анонсировали решения IOI. В одном случае была разработана программируемая фотонная межблочная ткань размером с пластину для использования в гетерогенных микросхемах. Конструкция поддерживает 40 переключаемых фотонных линий на том же пространстве, что и обычное оптоволокно. Ожидается, что первоначальные реализации будут поддерживать скорость 1 Тбит/с между массивами на 48 гетерогенных микросхемах на подложках площадью до 8 дюймов с максимальной задержкой 5 нс и более низким энергопотреблением по сравнению с альтернативным электрическим вводом-выводом (Рисунок 2). Ожидается, что архитектура будет масштабироваться до пропускной способности до 100 Тбит/с.
Второй подход использует многоволновой оптический источник, который сочетает в себе кремниевую фотонику со стандартной КМОП-обработкой, чтобы обеспечить до 1000 раз более высокую плотность полосы пропускания при 10% энергопотребления электрического ввода-вывода (Таблица 1). В решении используется крупномасштабный 45-нанометровый процесс GlobalFoundries для интеграции миллионов транзисторов с сотнями фотонных устройств.
Обзор
Требования к вводу-выводу передовых приложений генеративного искусственного интеллекта и других приложений высокопроизводительных вычислений (HPC) превышают возможности электрических решений. В результате разрабатываются технологии IOI, которые могут обеспечить энергоэффективность, задержку, эффективность использования полосы пропускания и удовлетворить потребности приложений HPC.
Рекомендации
Дорожная карта гетерогенной интеграции, издание 2023 г., глава 9: Интегрированная фотоника, IEEE
Lightmatter Passage переносит объединенную оптику и кремниевую фотонику в эпоху чиплетов, ServeTheHome
Оптическое соединение для гипермасштабируемого центра обработки данных с приложениями AI/ML, Amphenol
Оптические межсоединения наконец-то увидели свет в кремниевой фотонике: мимо шумихи, наноматериалы MDPI
Основной доклад по фотонике: переход от электрического к оптическому вводу-выводу, Cadence
Резонаторы из поликристаллического кремния PhC для интеграции КМОП на кристалл, научные отчеты
Переосмысление генеративных архитектур искусственного интеллекта с помощью оптического ввода-вывода, Ayer Labs