иммерсионная жидкость для чего

Сравнение жидкостей Novec и Coolant — почему мы остановились на собственной разработке

В последние годы появились десятки составов, которые позиционируются как жидкости для иммерсионного охлаждения. В основном речь идёт о разновидностях минеральных масел, ПАОМ, кремнийорганических маслах (силоксанах ПМС, ПДМС, ПЭС) или фторкетонах. Почему для нашей установки мы решили провести серию экспериментов и выбрать оптимальный и недорогой состав?

Как появился Novec

Первоначально для охлаждения трансформаторов использовали минеральное масло. В 50-ые гг. компания 3M впервые изготовила фторсодержащий хладагент для военной авионики. Его назвали Fluorinert. В 1996 году появился новый тип жидкости под маркой Novec, в которой не было озоноразрушающих веществ.

Жидкость первого поколения относилась к перфторуглеродам. Её свойства:

без цвета и запаха;

отличные диэлектрические свойства;

совместимость со многими материалами;

высокие точки кипения.

Главным недостатком Fluorinert было то, что испарения жидкости долго оставались в атмосфере и косвенно способствовали глобальному потеплению. Поэтому их использовали в тех установках, где можно было обеспечить герметичность и минимизацию выбросов жидкости в окружающую среду. Особое внимание уделялось тому, чтобы жидкость не попадала на кожу и в глаза. В результате многолетней эксплуатации в суперкомпьютерах Cray-2 выяснилось, что она расщеплялась и выделяла очень токсичный перфторизобутан. В ЦОДах при длительной эксплуатации появлялись проблемы с блоками питания, проводами, конденсаторами и пр.

Большую популярность жидкости Novec имеют на Западе. Во-первых, бренд хорошо известен и зарекомендовал себя как безопасное средство тушения при возгораниях электроники. Во-вторых, 3M позиционировал жидкость как доработанную для майнеров. В-третьих, майнеры США и Западной Европы готовы вкладываться в майнинг с долгосрочным «прицелом». И, что немаловажно, они готовы инвестировать солидные средства в систему охлаждения. На просторах СНГ иммерсионное охлаждение больше связано с экспериментами и реализацией штучных проектов, причём жидкость якобы должна быть дешёвой и столь же безопасной как Novec. Но так не бывает.

С применением Novec появилась возможность создавать двухфазные системы иммерсионного охлаждения (2 PIC) с полуоткрытыми контейнерами.

Система двухфазного охлаждения на базе Novec

В двухфазной системе охлаждения используют ёмкость, в которой размещены платы или другое оборудование. Диэлектрической жидкостью выступает, например, Novec 7100 с температурой кипения 61 градус Цельсия. В процессе работы оборудование выделяет тепло, жидкость нагревается, закипает и начинает испаряться. При этом Novec забирает тепло от наиболее горячих элементов и переносит к конденсаторам, в которых циркулирует охлаждающая жидкость (вода). Она является промежуточным теплоносителем, при помощи которого тепло, выделяемое при конденсации хладагента, отводится в окружающую среду.

Для испарения 1 г Novec необходимо 120 Дж энергии. Видеокарта мощностью 200 Вт за 1 секунду испаряет около 2 г жидкости. За минуту произойдёт испарение 120 г. Таким образом, эффективность теплоотвода при кипении очень высока и позволяет отказаться от радиаторных пластин. Для двухфазного охлаждения обычно применяют Novec 7000, 7100 и 7200.

При испарении происходит переход Novec из жидкого состояния в газообразное. Поэтому процесс называется двухфазным. Если ёмкость оставить открытой, жидкость будет испаряться и её постоянно потребуется доливать. В закрытой ёмкости пар поднимается к крышке, где устанавливают конденсатор (несколько труб или змеевик ) с охлаждающей жидкостью (можно даже с холодной водой), то есть тот же теплообменник. Газ конденсируется, появляются капли и струями стекают обратно в ёмкость. При этом не нужны насосы и постоянный долив жидкости. Так формируется один закрытый рабочий контур.

Разумеется, жидкость в конденсаторе тоже нагревается. И мощность нагрева прямо пропорциональна выделяемой видеокартами мощности, необходимой для кипения жидкости. Поэтому постоянно требуется охлаждение жидкости. Для этого формируют второй закрытый контур. Вода, которая бежит по трубам, попадает в воздушный теплообменник с вентилятором, вынесенными на улицу. Он отводит тепло и вода вновь пригодна для охлаждения.

Для двухфазной системы намеренно используют жидкость-диэлектрик с низкой точкой кипения. Это сделано для того, чтобы точка кипения жидкости не превышала рабочий температурный режим элементов, а теплообмен происходил интенсивнее. При этом на видеокарты, например, часто устанавливают медные пластины. С них снимают теплопроводящие прокладки и удаляют термопасту. Затем устанавливают медную пластину по толщине зазора. Её подбирают по примерной толщине удаленной термопасты или прокладки. Теплопроводность меди, напомним, одна из самых высоких среди других элементов. То есть доработка оборудования перед погружением происходит и при охлаждении в двухфазке.

Преимущества двухфазной системы охлаждения на базе Novec:

безопасная для электроники и негорючая жидкость (используется для тушения пожаров);

экономия на системах охлаждения погружённого оборудования;

Источник

Иммерсионная жидкость. Какую выбрать для майнинга и почему

За последние несколько лет в мире появились десятки составов под маркой «самая лучшая жидкость для иммерсионного охлаждения». Чаще всего за громкими названиями скрываются вариации на тему разного рода масел: ПАОМа (базовое синтетическое полиальфаолефиновое масло), кремнийорганических масел (ПМС, ПДМС, ПЭС), фторкетонов и прочего. Какая жидкость лучше других подойдёт для иммерсионного охлаждения вычислительного оборудования.

Жидкость Novec — может и лучшая, но очень дорогая

Novec — это продукт американской промышленной химической корпорации 3M. Она подарила миру прозрачную ленту-скотч, магнитные аудиокассеты, а заодно и фторсодержащий хладагент Fluorinert. Последний регулярно подвергался критике из-за наличия озоноразрушающих веществ и косвенного влияния на глобальное потепление, поэтому в 1996 г. его сменила жидкость Novec, не обладающая недостатками предшественника.

Fluorinert-Novec действительно уникальная по многим показателям жидкость. Она прозрачная, негорючая (используется для тушения возгораний электроники), не имеет запаха, а также обладает разными точками кипения, отличными диэлектрическими свойствами и совместима с большинством компонентов вычислительного «железа». За последние годы 3M даже сумела создать Novec образ «специально доработанной для майнеров жидкости», что лишь усилило доверие к ней в сочетании со 120-летней историей существования самой компании.

Следует сказать, что в двухфазной и однофазной системах охлаждения майнингового оборудования Novec зарекомендовала себя с лучшей стороны. Чаще всего для двухфазной системы используют составы 7000, 7100 и 7200. Что примечательно, в двухфазной системе охлаждения можно использовать только фторуглеродные жидкости, заливать туда масло бессмысленно. У названных выше составов не самая высокая точка кипения, что коррелирует с рабочим температурным режимом элементов и эффективным теплообменом. За счёт естественного испарения, конденсации и охлаждения жидкости система не нуждается в насосах внутреннего контура, сложном и дорогом теплообменнике и некоторых иных элементах. Более подробно о принципе работы систем иммерсионного охлаждения на базе жидкости Novec вы можете прочитать в статье: Сравнение жидкостей Novec и Coolant — почему мы остановились на собственной разработке.

Однако двухфазная система охлаждения на базе Novec обладает целым рядом недостатков, которые делают её применение в домашнем майнинге практически невозможным, а в промышленном — сопряжённым с несоразмерными затратами на организацию такой системы. Во-первых, жидкость очень дорогая. Цена стартует в среднем от 130 USD/литр! Во-вторых, для использования Novec нужна абсолютно герметичная ёмкость с системой компенсации нарастающего давления. В конце концов погружаемое оборудование тоже нужно дорабатывать, что делает использование «двухфазки» гораздо более дорогостоящим. А стоимость конденсатора иногда превышает стоимость любого теплообменника.

Не лучше ситуация выглядит и при создании однофазной системы охлаждения на базе Novec 7300, 7500 или 7700. В этом случае конструкция фермы, конечно, упрощается, и погрузить в неё можно любое оборудование, но высокая летучесть всё равно требуют делать ёмкость максимально герметичной. При длительном использовании Novec склонна выкипать, а это значит, что её нужно постоянно приобретать дополнительно. К тому же нужно учитывать слишком много переменных, да и не исключено, что состав со временем разъедает некоторые элементы вычислительного оборудования.

ПМС, ПЭС, ПМФС — их создавали не для майнинга

Некоторые российские компании-производители систем иммерсионного охлаждения активно продвигают свою «чудо-жидкость». Иногда её называют разными красивыми именами, но нередко реализуют и под более привычной маркой ПМС-50 или аналогичными наименованиями (может быть и ПМС-5, 10, 20, 100).

Полиметилсилоксан, как основной представитель кремнийорганических (силиконовых) масел, действительно обладает некоторыми особыми свойствами. Например, он не поддерживает горение до определённого момента, очень медленно испаряется, стойкий к окислению, не гигроскопичен (т.е. не поглощает влагу из воздуха), не вступает в реакцию с компонентами погружённого оборудования, биологически безопасен и т.д.

Впрочем, уже по самому первому пункту возникают вопросы. Дело в том, что локальные очаги возгорания жидкости в ёмкости, скажем, объёмом 60 литров не страшны. Но едва она полностью достигнет температуры вспышки (которая здесь тоже есть, пусть и на уровне 200-300°C) как воспламенится по аналогии с любым маслом. Также хотя оно и предназначалось для охлаждения электронного оборудования вроде трансформаторов, изготовители никогда не рекомендовали силиконовое масло для погружного охлаждения печатных плат, чипов и иных многослойных компонентов.

Дело в том, что подобные жидкости обладают малой плотностью и легко проникают в щели и пустое пространство между платами («смачивают»). У фторуглеродов, к примеру, плотность как минимум в 2 раза выше, что не позволяет им так легко деформировать платы. Разумеется, можно говорить о разной степени очистки масел и их высокой инертности, однако проблемы с текстолитом всё равно начнутся рано или поздно. А стоят такие жидкости в среднем 7-10 USD/литр.

Таким образом, ПМС и его аналоги выступают неплохим временным решением для иммерсионного охлаждения небольшого количества майнеров, однако немалая цена позволяют сомневаться в его эффективности для промышленного майнинга.

Синтетические масла ПАОМ, HVI — вопреки физике

Данный тип базовых масел также можно встретить под кучей разных загадочных аббревиатур на сайтах компаний, занимающихся иммерсионным охлаждением. Внешний вид жидкости ПАО, ПАОМ-2 довольно привлекателен — прозрачная, без цвета и запаха, с неплохой температурой вспышки от 170 до 200°C. У неё малая вязкость и низкая температура застывания (-60-70°C), масло химически пассивное, стойкое к окислению (условно стойкое, разумеется, при закрытой большую часть времени ёмкости). Стоимость в обычной рознице не превышает 1 USD/литр, как иммерсионная жидкость может продаваться и по 2 USD/литр и выше.

Впрочем, несмотря на все преимущества, использование синтетических масел, как бы они не назывались, потребует от пользователя внимательности уже на этапе покупки. Синтетика нуждается в присадках, наличие которых «на глаз» определить очень сложно. Также у неё весьма спорные теплофизические свойства. Дельта между температурой верхнего слоя жидкости и чипов может достигать 40-45°C. То есть чипы могут реально «кипеть» на уровне 100°C, при этом поверхностный слой теплоносителя будет показывать вполне рабочие 60°C. Но поскольку в большинстве иммерсионных установок снимается именно верхний слой, использовать жидкость с такой температурой для, скажем, полезной утилизации тепла будет довольно проблематично.

Поэтому ПАОМы чаще рекомендуют для небольших домашних ферм, собранных «на коленке» и без претензий на использование каких-либо иных преимуществ иммерсионного охлаждения, кроме устранения шума и пыли. Схожая ситуация и с маслами типа HVI, которые являются базовыми изопарафиновыми или полусинтетическими маслами. У них, кстати, довольно низкая температура вспышки (135-170°C). Базовое масло обычно выступает основой для изготовления моторных, смазочных, гидравлических масел. Соответственно, их воздействие на электронное оборудование в долгосрочном периоде не изучено и есть большие сомнения, что оно нейтральное.

Также нет достоверных данных и о влиянии такого масла на человека при длительном контакте. Со временем оно мутнеет, быстро окисляется даже с присадками и имеет ограниченный срок службы. Хотя, повторимся, себестоимость его действительно одна из самых низких, а цена ограничивается лишь жадностью продавца.

Трансформаторное и моторное масло — «тихие убийцы»

Тем, кто желает дёшево и быстро войти в майнинг на иммерсионном охлаждении действительно можно порекомендовать трансформаторное масло. Однако используя его вы рискуете не дождаться не только прибыльности, но даже окупаемости проекта. Дело в том, что данные типы масел являются химически активными, то есть они вступают в агрессивную реакцию с компонентами компьютерного «железа».

Также трансформаторное и моторное масло активно поглощает влагу из воздуха, теряя свойства диэлектрика. И, наконец, самое главное. Такое масло не получится красиво выпить с ложечки в ролике для YouTube. Аллергия, отравление и тяжёлые последствия для организма гарантированы. Пары плохо очищенных нефтепродуктов (а трансформаторное масло является как раз таким продуктом) нельзя вдыхать на протяжении длительного времени. Если вы будете долго находится в области масляного тумана, то усталость, головокружение, головная боль и тошнота обеспечены.

При этом, как и любое минеральное масло, трансформаторное и моторное обладает некоторыми преимуществами. Да, оно тоже не проводит ток и стоит неприлично дёшево (1-2 USD/литр), но на этом, пожалуй, все достоинства такого типа масел заканчиваются. Хотя это и не является приговором всей обширной группе минеральных масел, о чём мы и поговорим ниже.

Минеральное масло высокой степени очистки — почти идеал

Значительная часть подготовленных минеральных масел, взять хотя бы вазелиновое, абсолютно безопасна для живых организмов и окружающей среды. Именно поэтому они используются в фармакологии, индустрии красоты и прочих сферах. Хотя основой выступает всё тот же нефтепродукт, только получивший очень высокую степень очистки и, при необходимости, присадки. Оно сравнительно недорогое, обладает оптимально подходящими для охлаждения электроники теплофизическими свойствами.

Фактически, именно белое минеральное масло стало «золотой серединой» среди аналогов. Одним из главных достоинств является то, что оно подходит как для домашних ферм, так и для крупных проектов. По сути, вы можете окунуть три свои асика и в подсолнечное рафинированное дезодорированное масло и гордо заявить, что собрали ферму на иммерсионном охлаждении. Это будет чистой правдой. Но организовать ферму мощностью 1 МВт на подобной базе не получится в силу ряда объективных причин, в том числе и связанных со свойствами теплоносителей-диэлектриков.

Недостатки у минерального масла тоже есть. Да, теоретически с течением времени оно тоже окисляется, напитывается влагой и может воспламениться (но только когда весь объём масла в ванной для иммерсионки, а это 160-180 литров, прогреется до температуры вспышки). Обычно к тому времени расплавятся и замрут сами чипы и устройства, прежде чем произойдёт возгорание. В качественных системах иммерсионного охлаждения это компенсируется использованием дорогих компонентов, проверенных комплектующих, подобранных на основе расчётов, а также грамотным проектированием системы отвода и перераспределения тепла, применением масел высокой степени очистки.

У минеральных масел высокой очистки подходящая температура вспышки (в пределах 220°C), вязкость, минимальный тангенс угла диэлектрических потерь. Перед погружением майнинг оборудование проходит лёгкую обработку, а сами устройства располагаются в частично герметичных ёмкостях без потери свойств. Убедиться в оптимальности характеристик качественной жидкости на основе минеральных масел высокой степени очистки для майнинга можно на примере теплоносителя BiXBiT Coolant. В компании, кстати, подчёркивают, что недостатки данного вида масла компенсируются технически грамотным решением на базе иммерсионного охлаждения, которое включает в себя подбор нужных насосов, теплообменников, иного оборудования.

Минеральные масла являются практически единственным рациональным решением для однофазных систем охлаждения с возможностью полезной утилизации выделяемого тепла. Температуры «на выходе» выше, чем, например, на «двухфазке», что позволяет эффективнее подогревать/догревать воду. А ещё это в несколько раз дешевле, чем построение аналогичной системы на двухфазном охлаждении, которую в компании BiXBiT тоже могут сделать по желанию заказчика. Но вы же помните стоимость одного литра Novec не так ли? А BiXBiT Coolant обойдётся всего в 4 USD/литр. Экономия начинается здесь, как говорится.

Таким образом, вопрос целесообразности применения того или иного теплоносителя зависит от стоящих перед вами задач. Если есть цель погрузить пару асиков в ёмкость-самоделку, это всегда можно сделать дешёво, ненадёжно и ненадолго. Если вы хотите просидеть на одних и тех же устройствах 15 лет и при это вам не нужна утилизация тепла, зато есть вагон денег — смело выбирайте фторуглеродные хладагенты. Но если ваш принцип — это рациональный подход к делу, желание масштабировать мощности и использовать качественные установки за адекватные деньги, то обращайтесь за комплексным решением от компании BiXBiT.

Источник

Иммерсионное масло необходимо для некоторых оптических микроскопов

В световой микроскопии используются объективы двух типов: иммерсионные и «сухие». Для работы с объективами первого типа требуется жидкость.

Иммерсионное масло предназначено для оптических микроскопов с большим коэффициентом увеличения (около 100 крат). Дело в том, что при большом увеличении исследуемый объект должен быть очень хорошо освещен, чтобы можно было рассмотреть все его мельчайшие детали, но между покровным стеклом и линзой объектива остается слой воздуха — отличающейся по своим физическим параметрам от стекла среды. В воздухе свет частично рассеивается, а частично преломляется и отражается так, что выходит за границы изображения, и картинка получается темной, ее трудно рассмотреть подробно. Для того, чтобы нивелировать эти отрицательные явления, между покровным стеклом и линзой помещают жидкость с характеристиками преломления, близкими к характеристикам стекла.

Какие жидкости используются в качестве иммерсионных

В качестве иммерсионной жидкости используются различные высокопрозрачные маслянистые вещества с подходящим коэффициентом преломления, не влияющие на качество внешней линзы объектива. Использоваться могут как натуральные масла, например, кедровое масло, так и синтетические. Применяется жидкость, состоящая из глицерина и воды; минеральные масла с разными коэффициентами преломления, например, вазелиновое масло; йодистый метилен; монобромнафталин. Иногда используется просто вода или физиологический раствор.

Специальные масла и вода используются для работы со световыми микроскопами.

Водные растворы глицерина применяются, когда исследуемый объект способен поглощать УФ часть светового луча.

Синтетические иммерсионные масла бывают двух типов.

Иммерсионные жидкости следует эксплуатировать при температуре, близкой к +20 °С. Запрещается нагревать масла выше +25 °С, замораживать, использовать после того, как закончился срок годности.

При работе с обычными «сухими» объективами иммерсионные жидкости не применяются!

Какая иммерсионная жидкость лучше

При выборе иммерсионной жидкости следует ориентироваться на рекомендации производителя. Многие современные объективы выпускаются с расчетом применения определенной жидкости. Не стоит заменять одну жидкость на другую, с вроде бы аналогичными характеристиками. Такая замена может ухудшить «картинку», привести к появлению бликов, расфокусировке изображения, потере четкости, неравномерной освещенности изучаемого объекта.

Как действует иммерсионная жидкость

В воздухе лучи света преломляются под другим углом, чем в стекле и в жидкой среде. За счет одинакового преломления в среде жидкость-стекло удается «собрать» весь проходящий свет, не происходит рассеивание и отражения проходящих лучей света. Изображение получается более светлым, четким, глубоким и контрастным.

Как работают с иммерсионными объективами

Если используется масло:

Масло применяется для объективов, промаркированных буквами «МИ» или OIL, а также черной полосой.

Если используется вода, на изучаемый объект наносится фосфатный буферный раствор.

Вода применяется для объективов, промаркированных белой полосой и буквами «ВИ» или W.

После работы линзу объектива нужно сразу же, не допуская высыхания масла, тщательно вытереть ватным тампоном или фланелевой салфеткой, сухими или пропитанными растворителем. В качестве растворителя разрешается использовать этиловый или изопропиловый спирт, ортоксилол или другую жидкость, разрешенную к использованию для конкретного объектива.

Источник

Иммерсионное охлаждение высокой мощности

Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь.

На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества.

Перегрев оборудования как бич современной электроники

Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры.

Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник – это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий.

Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно.

Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном.
Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора.

Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора.

Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно.

Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение.

Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение.

Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем.

Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора.

Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров.

При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения.

Традиционные и альтернативные системы охлаждения

Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово.

Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта.

Иммерсионная система охлаждения

Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами.

Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации.

Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость.

Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики.
Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды.

Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник.

Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет.

Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах.

Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом.

Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее.

Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром.

Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов.

Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор.

Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт…

Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела.

Конденсация паров жидкости

Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь.

Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении.

Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом.

Преимущества иммерсионной системы охлаждения

Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга.

Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования.

Преимущества охлаждения жидкостью Novec перед минеральным маслом

На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений.

В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость.

Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200-400 градусов.

Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти.

Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается.

Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими.

Жидкость Novec: слабые места

Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки.

При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования.

Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.

Источник

• ← иммерсионная ванна что это и для чего назначают
• иммерсионная жидкость это что такое →