Igor Obukhov
body { font-size: 84%; }
ITBlogs
Сообщество IT-профессионалов
Welcome to ITBlogs
Sign in | Join
| Help
in
Igor Obukhov
(Entire Site)
Search
Home
Лента
IT TV
IT Радио
Форумы
Wiki
Igor Obukhov
Маленький опрос. Об инструментах управления проектами.
Какими программными инструментами управления проектами пользуются в вашей компании? (а если еще скажете почему... будет вообще здорово)
Posted
25 апреля 2008 г. 11:35
by
Igor Obukhov |
19 Comments
Filed under: Опрос
60 Тфлоп/с. Мы это сделали.
Не буду углубляться в детали, в новостях об этом уже говорят. Поиском можно по "СКИФ МГУ". Красивая получилась штука. Всего полгода "жизни" на объекте :-) Как оптимистичен я был, когда говорил про сроки поставки и монтажа чиллеров ;-)
Надо немного придти в себя и собраться с мыслями. После чего начну делиться.
Но! Есть чем гордиться:
- 8 стоек по 24-26 кВт реального тепловыделения со стойки (расчетное значение было 26-27 кВт), еще 4 стойки с тепловыделением 17 кВт.
- Оно работает и охлаждается.
- Более 10 километров кабеля.
Posted
20 марта 2008 г. 18:53
by
Igor Obukhov |
5 Comments
Filed under: Разное, Суперкомпьютеры
А в вашем ИТ-отделе уже есть штатный сантехник?
Все чаще начал я натыкаться на всяческие изыски на тему водяного охлаждения непосредственно процессоров и чипсетов серверов. Уже несколько достаточно известных компаний предлагают "серийные" решения. Очень интересна аргументация: процессоры выделяют очень много тепла, отводить столько тепла воздухом -- сложно. Очень занятно сочетание текстов и картинок: в тексте рассказы о "пицца-боксах" и блэйдах, которые очень плотно набиваются в стойку. На картинках -- двухюнитовые сервера... Вот и возникает у меня вопрос -- проблема-то в чем? На данный момент основная проблема не столько в том, чтобы снять тепло с корпуса процессора, сколько в передаче тепла от кристалла на корпус... Но эта проблема вполне успешно решается производителями процессоров. В двухюнитовом корпусе совершенно спокойно размещаются радиаторы почти любого размера и "проблема" с охлаждением вообще даже и не встает. Опять же, все новые серверные процессоры выпускаются в вариантах с тепловыделением до 100 Вт на процессор. В результате, типичный полностью набитый одиночный двухпроцессорный сервер выделяет в тепло 350-400 Вт при работе с полной загрузкой. 17 кВт на стойку. Ладно, блэйдами можно набить 30 кВт на стойку. Но предлагаемые решения неприменимы для блэйдов!
Что еще говорят? Говорят, что экономично. Что для охлаждения процессора можно использовать воду с температурой до 60 градусов, и, значит, достаточно просто насоса и теплообменника на улице. Но не все так просто. Сами же авторы этих систем говорят, что до 50% тепловыделения сервера приходится на блоки питания, регуляторы напряжения процессоров, жесткие диски и прочие детали, на которые водяной радиатор прикрутить проблематично. Т.е. в любом случае, понадобится нормальная система охлаждения воздуха в помещении. Кроме того, в каждый сервер нужно подать воду. Как вам идея 84 водяных кранов на стойку? Да-да! Мы же говорим о системах с высокой плотностью мощности! На каждый сервер два крана -- вход и выход. Любое обслуживание сервера потребует отключить его от "водопровода". Это значит, что как-то нужно будет избежать протечек. Значит либо очень недешевые гидравлические разъемы, позволяющие подключать/отключать трубы без проливания жидкости, либо штатный сантехник в серверной. Это же все тоже затраты. О надежности таких систем -- страшно думать. На каждый двухпроцессорный сервер должно быть как минимум 10(!) соединений водяных труб и трубок! 420 соединений на стойку!!!
Но... Тенденция есть! Если такими темпами пойдет дальше, в каждом ИТ-отделе будет штатный сантехник.
Posted
12 сентября 2007 г. 12:35
by
Igor Obukhov |
7 Comments
Да простят меня уважаемые рекламодатели, но не могу сдержаться.
"Оптимизируйте свою ИТ-инфраструктуру для увеличения производительности инновационного потенциала"
Где эти люди были во время школьных уроков физики??? Потенциальная энергия не может иметь производительности! На то она и потенциальная. Для получения производительности от потенциала нужно этот потенциал сначала во что-то преобразовать!
"... или внедрять инновации?".
Из Википедии:
---Понятие "инновация" имеет множество классических определений, которые включают:
процесс улучшения путем внесения каких-либо новшеств
акт введения чего-либо нового: что-то вновь введенное
введение чего-либо нового
новая идея, метод или устройство
успешное использование новых идей
изменение, которое создает новые аспекты в деятельности
целенаправленное изменение экономического или социального потенциала предприятия
творческая идея, которая была осуществлена
нововведение, преобразование в экономической, технической, социальной и иных областях, связанное с новыми идеями, изобретениями, открытиями------------
Из девяти определений, восемь наиболее распространенных подразумевают, что речь идет о чем-то уже внедренном или внедряемом...
Или меня одного коробит от _такого_ обращения с языком? Это же вроде как рекламный баннер! Как можно доверять в инновациях людям, которые не знают что такое потенциал? И ведь этот баннер прошел не менее пяти согласований в разных инстанциях! Неужели ни у кого такая вольность в обращении с терминами не вызвала ужаса?
Posted
4 сентября 2007 г. 17:24
by
Igor Obukhov |
4 Comments
Интересное наблюдение об инженерах и менеджерах.
Типичный инженер, поставленный в условия абсолютной свободы для выполнения поставленной задачи, способен как максимум сказать, что задача невыполнима и привести очень хороший набор доказательств своего утверждения. Требуется менеджер, который разобьет задачу на простые небольшие куски, невыполнимость которых инженер доказать не сможет.
И вот тут начинается интересное -- человек, который делит задачу на удобоваримые для инженера куски, как правило, либо ничего не понимает в предмете, либо совсем ничего не понимает в предмете. Если очень повезет, то когда-то, лет десять назад, этот человек сам пытался быть инженером и еще чего-то помнит.
Таким образом, в больших проектах получается то, что мы обычно имеем: софт не стыкуется с железом, железо не лезет в стойки, стойки не проходят в двери и т.д.
Есть ли выход? Вопрос пока открытый...
Posted
2 августа 2007 г. 14:30
by
Igor Obukhov |
13 Comments
Filed under: Мысли вслух, Общая теория, Разное, Юмор
Взгляд на черный ящик снаружи и изнутри. (О Sun Blackbox).
Черный ящик - это такая математическая и иногда физическая концепция некой сущности, внутреннее устройство которой нас не интересует и мы с ним никаких дел не имеем. А интересует нас исключительно вход и выход этой сущности.
В этом смысле, Blackbox не совсем удовлетворяет научному определению и внутренний его мир нужно тоже понимать и осознавать.
(маленький дисклэймер: все мои нижеприведенные мысли вызваны недостатком технической информации и относятся к предельному случаю с нагрузкой в 25 кВт на стойку, ибо только эти случаи меня в данный момент и занимают по жизни).
Но сначала рассмотрим черный ящик снаружи. Что мы увидим?
Нужен внешний источник энергии... Не просто источник, а фидер (а лучше два фидера) по 200 кВт. Не так мало... Проектные работы, согласование и утверждение проекта во всех инстанциях, монтаж оборудования в ГРЩ здания или на подстанции требуют времени. Если у вас нет такой выделенной мощности, согласование может занять годы (но это уже совсем другая история).
Внешний источник энергии должен быть с ИБП. Контейнер с ИБП, который можно поставить рядом, это тоже весьма занятная песня, обеспечение обогрева зимой, кондиционирования летом.
ДГУ тоже полезно было бы иметь. А это еще один круг согласований, разрешений, срок поставки 3-6 месяцев для таких агрегатов.
Необходим внешний источник воды. Не просто воды, а холодной воды. Если вдруг у вас нет свободного чиллера, который можно было бы настроить на температуру 14 градусов (неочевидно, сможет ли решение по охлаждению работать на более холодной воде), то вам нужно подобрать, спроектировать, заказать, дождаться, смонтировать, запустить чиллер. Не просто чиллер, а систему чиллеров с резервированием. Это, конечно, несколько быстрее, чем построить обычный датацентр, но не сильно. Срок поставки среднестатистического чиллера на 200 кВт - два с половиной - четыре месяца, еще минимум две недели на монтаж и запуск. Я даже не говорю про подбор и проектирование. По личному опыту на выбор модели и конфигурации чиллера и поставщика, который его повезет, может уйти месяц, особенно если этим приходится заниматься летом. Ах да, цена. Два простеньких 200-т киловаттных моноблока, работающих в параллель, обойдутся вам очень приблизительно, без учета многих затрат, в пару сотен тысяч евро. (простите за такие подробности, как раз сейчас этим в одном из проектов занимаюсь).
(кстати, о красивой картинке, где Blackbox'ы стоят в каком-то ангаре в несколько ярусов... Представляю себе процесс расчета параметров насосов в чиллерах для обеспечения подъема раствора гликоля, и магистральные трубы от чиллера к контейнерам, по которым ездят погрузчики... сисадмины бегающие по ангару с лестницами и лифты для подъема оборудования на верхние ярусы... должно быть занятно...)
ИТ... Ну здесь все достаточно просто -- кидаем оптоволокно и все хорошо. Хотя, наверное, тоже есть свои засады.
Гораздо интереснее заглянуть во внутренности черного ящика.
Любое обслуживание, кажется, только с полной остановкой всего содержимого, т.к. для доступа к отдельному шкафу нужно открыть переднюю и заднюю двери контейнера, а это значит, что нарушится кольцевой поток воздуха.
Необходимость обеспечивать абсолютную однородность содержимого каждого шкафа. Все шкафы должны не только содержать абсолютно одинаковый набор серверов и коммуникационных устройств, но и абсолютно одинаковую загрузку процессоров, да еще и абсолютно одинаковую скорость работы вентиляторов. В противном случае -- у нас просто возникнет воздушная пробка и оборудование в остальных стойках слегка расплавится.
Непредсказуемые последствия отказов оборудования в стойках.
Срабатывание автомата из-за выхода из строя, напрмер, блока питания в сервере, приведет к необходимости мгновенно отключать все оборудование, не дожидаясь корректного шатдауна: если у нас отключается, например, одна стойка целиком, в ней останавливаются все вентиляторы, практически полностью блокируется поток воздуха, каждой из стоек негде взять почти полтора кубометра охлажденного воздуха в секунду (при 25 кВт на стойку и 70 литров в секунду на киловатт), перегрев случится буквально через несколько секунд.
Требуется очень аккуратный и тщательный подбор серверов -- в большинстве моделей вентиляторы способны протащить необходимое количество воздуха через сервер. Но нужно же не только прокачать этот воздух через сервер, но еще и через радиатор системы охлаждения и фильтр (ну где-то же в кольцевом пути воздуха должен быть фильтр?). Даже установка вентиляторов в торцах может не решить проблему.
Отсюда два вывода:
1. Blackbox вполне применим для высокопроизводительных вычислений, где мы имеем дело с кластерами, состоящими из сотен одинаковых серверов. Но вот адекватность такой системы для решения современных бизнес задач, где пять минут простоя в год становится недопустимой роскошью, требует очень серьезного и внимательного изучения.
2. Сверхвысокая скорость внедрения может иметь место только если уже установлены ИБП, ДГУ, чиллеры. В противном случае и это преимущество теряется на фоне сроков поставки и внедрения остального оборудования.
PS: Очень жаль, что не попал на презентацию. Очень удачно для Sun, что не попал на презентацию, а то бы не удержался и все бы им испортил ;-)
Posted
30 июля 2007 г. 18:32
by
Igor Obukhov |
14 Comments
Filed under: Мысли вслух, Общая теория, Blackbox
Россия, влажность, вентиляция. Или "все что нужно знать о влажности в серверной".
Как вы наверное помните, в одном анекдоте немцы выпустили десятитомное академическое издание "Кое что о слонах", а русские -- брошюру на десяти страницах "Все о слонах". Вот и я хочу изложить кратко "Все о влажности" :-)
На данный момент именно влажность является самым недооцененным по важности параметром жизнеобеспечения серверной.
Несколько простых фактов:
- При влажности ниже 30% поток воздуха, проходящего сквозь сервер, вызывает накопление статического электричества на микросхемах и платах внутри сервера. Иногда накапливается достаточно большое напряжение для возникновения пробоев, например, между ножками соседних микросхем. Это приводит к сбоям, которые традиционно списываются на ту или иную софтверную компанию...
- При влажности ниже 30% также начинает накапливаться статическое электричество на людях и их одежде. Даже если одежда "антистатическая". При влажности ниже 20% на человеке может набраться несколько десятков тысяч вольт (в зависимости от того, как далеко и по какому покрытию он ходил), а может быть и сотен тысяч. Я не занимался расчетом точного значения напряжения для пробоя 15-ти сантиметрового слоя воздуха... Но это было в 1996 году. Искра длиной более 15 см от моей руки к серверу... Это не фантастика, хотя, если бы источником этой искры не был я сам, мог бы и не поверить. Кстати, та моя искра выжгла половину системной платы...
- Если мы берем воздух с температурой -7.5 градусов Цельсия и относительной влажностью 100% и нагреваем этот воздух до +25 градусов без добавления влаги, то относительная влажность этого воздуха станет... 10%!
Какие можно сделать выводы?
1. В серверной необходимо как минимум постоянно контролировать влажность. Если влажность ниже 35% (т.к. большинство датчиков влажности имеют погрешность +/-5% rH), обязательно использование в серверной заземляющих браслетов. А в идеале нужно поддерживать влажность в серверной на уровне 40-55%.
2. Ни в коем случае нельзя делать в серверной какую-либо приточную вентиляцию. Вытяжная вентиляция должна обеспечивать минимально допустимый по СНИП и СанПиН для серверных уровень воздухообмена.
3. Кто-то здесь (к сожалению не удалось найти этот комментарий) говорил об обязательности приточной вентиляции в серверной для обеспечения охлаждения в случае остановки кондиционеров. Так вот, этого делать нельзя. В любом случае нужно понимать, если на улице температура ниже 0, то при попадании в серверную и нагревании до 20 градусов этот воздух будет заведомо иметь относительную влажность ниже 20%. А это уже очень опасный уровень -- на человеке накапливается напряжение более 15000 В просто пока он идет от входа в серверную к стойке с оборудованием... Нужно не изобретать велосипед, а делать систему кондиционирования с автоперезапуском при проблемах с электроснабжением и с резервированием на случай отказов кондиционеров.
Posted
20 февраля 2007 г. 22:48
by
Igor Obukhov |
9 Comments
Filed under: Удивительное рядом, Мысли вслух, Общая теория
Ура! Я ошибался! Поносова не посадили.
Дело закрыто за "малозначительностью преступления".
http://top.rbc.ru/index.shtml?/news/society/2007/02/15/15143329_bod.shtml
Posted
15 февраля 2007 г. 18:02
by
Igor Obukhov |
10 Comments
Filed under: Разное
Разоблачен заговор пиратов вселенского масштаба!
Оказывается, 100% жителей планеты Земля так или иначе вовлечены в преступную деятельность по нелицензионному использованию и копированию чужой интеллектуальной собственности.
Дело в том, что у всех живых существ на планете Земля установлены нелицензионные копии операционной системы "Душа" и прикладного ПО "Сознание". Кроме того, большая часть живых существ на планете Земля регулярно занимаются созданием копий себя с предустановленными версиями операционной системы и прикладного ПО.
Достоверно известно, что ни одно живое существо не оплатило лицензию на вышеозначенную интеллектуальную собственность. Особенно прискорбен тот факт, что несколько организованных групп заявляют, что являются полномочными представителями Создателя и требуют с поверивших им лицензионных отчислений за использование ОС и ПО. Однако, ни одна из этих групп не выдает никаких свидетельств подлинности ПО. Нет ни голографических наклеек, ни лицензий с серийным номером, ни локализованных версий руководства пользователя.
Posted
15 февраля 2007 г. 12:23
by
Igor Obukhov |
2 Comments
Filed under: Удивительное рядом, Мысли вслух, Юмор
Непрерывность в ИТ. Взгляд сбоку.
Веруете ли вы в ИБП? В кластеры? В блэйды? А в резервные площадки? По большому счету, это не важно. Важно то, что еще в начале 20-го века с появлением авиации, где любая поломка означала быструю, но мучительную, смерть, человечество начало всерьез заниматься вопросами обеспечения непрерывности функционирования всяческого железа. С появлением софта, вопросы появились и к нему.
Но, что интересно, до сих пор в большинстве случаев людей, близких к ИТ, хватает на одно из двух: или мы ставим хороший ИБП, или мы делаем кластер из компьютеров... А дальше... Дальше любимый наш и родной "Авось".
Сейчас я скажу крамольную вещь: ни ИБП, ни кластер, не могут реально помочь в обеспечении непрерывности функционирования современной ИТ-системы. (Хотя, без них, иногда, совсем беда) Более того, многие из существующих на сегодня "резервных вычислительных центров" или "резервных ЦОД" ... бесполезны по большому счету. Т.е. они смогут работать и обеспечивать деятельность фирмы. Но, во многих случаях, на то, чтобы вся ИТ-система снова заработала нужно потратить дни... Это при сегодняшнем стремлении к сведению простоев к секундам в год...
Тема большая, но для затравки хочу задать вопрос:
А что вы (ваша компания) используете для обеспечения непрерывности функционирования ИТ-систем?
Posted
14 февраля 2007 г. 0:51
by
Igor Obukhov |
6 Comments
Filed under: Мысли вслух, Общая теория, Разное
Интервью Ольги Дергуновой, "судебная система" и "Дело Поносова".
Почитал свежее интервью Ольги Дергуновой на http://www.cnews.ru/reviews/index.shtml?2007/02/08/234740_1
"Много думал" (с)
С одной стороны, во всем этом деле должен разобраться суд. "...Самый справедливый суд в мире!..."
С другой стороны, вызывает это дело странные ощущения о некоторых перенедогибах нашей "судебной системы". Почему, если жертва изнасилования забирает заявление из милиции, дело может быть прекращено, а вот если большая корпорация не имеет претензий к директору школы, который использовал нелицензионное ПО, то это вовсе не повод для прекращения уголовного дела? Т.е. получается, что нарушение авторских прав в России приравнивается к убийству... Тут мы оказались однозначно впереди планеты всей.
Официальная позиция MS в этом деле понятна и единственно верна для американской корпорации. Ну не имеет права и не может себе позволить представительство американской корпорации вмешиваться в работу судебных органов страны аккредитации. Влиять на законодателей и уговаривать президентов подкорректировать законы -- может. И здесь возникает еще одна мысль: в любой стране, если уж ты начинаешь влиять на законодателей и правоохранительные органы для продвижения своих интересов, нужно очень внимательно и тщательно просчитывать все возможные последствия с учетом национальных особенностей. И не надо обижаться, когда потом применение этих законов вдруг начинает негативно сказываться на твоем бизнесе... (Хотя, наверное, это дело в краткосрочной перспективе скажется на бизнесе положительно -- сколько, наверное, народа рвануло легализовываться...)
Ну и еще, в данной ситуации, наверное, было бы правильно хотябы выяснить, какое конкретно ПО было "украдено" Поносовым и направить в суд официальное письмо с указанием официальных цен на это ПО для общеобразовательных учреждений, чтобы хотябы когда его посадят (а я не верю, что его могут не посадить, и что кто-то станет реально разбираться откуда и почему на компьютерах нелицензионный софт), он пошел за хищение не 260 тысяч, а 26. Вроде там в сроках разница есть... Да и штраф, если что, поменьше, наверное, будет...
Posted
9 февраля 2007 г. 18:14
by
Igor Obukhov |
3 Comments
Filed under: Microsoft, Мысли вслух
О "высокой плотности", блэйдах и кластерах...
Как-то это прошло без большого шума и помпы... но... Компания APC объявила новый кондиционер... Теперь есть способ отвести от обычной 42-х юнитовой 19" стойки до 70 кВт мощности (тепла). Еще раз. Семьдесят. Не чего-нибудь там, а киловатт. Видимо, осталось придумать способ запихать в одну стойку серверов (а что еще может выделять тепло в таких количествах?) на эти самые 70 кВт.
Само по себе это событие вроде бы не слишком значительное, но... Это ведь первая крупная победа в борьбе брони и снаряда тепловыделения и кондиционирования, когда технология отвода тепла опередила способности производителей серверов на столько. Раньше практический предел достигался с использованием блэйдов. Семь блэйд-центров в стойку, по 5-6 кВт тепловыделения из полностью набитого блэйдцентра, итого до 42 кВт со стойки... Предыдущий вариант был протестирован для отвода "всего" 40 кВт на стойку... Т.е. на 2 кВт меньше, чем потенциальная возможность серверов. А теперь -- на 28 кВт больше...
С одной стороны, такие плотности мощности позволяют делать большие кластеры намного более компактными. С другой стороны, резко возрастают требования к бесперебойности работы кондиционеров... Ведь при 70 кВт тепловыделения на стойку, от отключения кондиционера до достижения в помещении температуры в 70-80 градусов пройдет даже не минута. Скорее три-пять секунд... С третьей стороны, в объем шести стоек (два ряда по три стойки) можно теперь запихать очень серьезный суперкомпьютер...
Posted
6 февраля 2007 г. 21:28
by
Igor Obukhov |
4 Comments
Filed under: Удивительное рядом
This Blog
Home
Links
Syndication
RSS 2.0
Atom 1.0
Recent Posts
Маленький опрос. Об инструментах управления проектами.
60 Тфлоп/с. Мы это сделали.
А в вашем ИТ-отделе уже есть штатный сантехник?
Да простят меня уважаемые рекламодатели, но не могу сдержаться.
Интересное наблюдение об инженерах и менеджерах.
Tags
Blackbox
Microsoft
Мысли вслух
Общая теория
Опрос
Разное
Суперкомпьютеры
Удивительное рядом
Юмор
Archives
Апрель 2008 (1)
Март 2008 (1)
Сентябрь 2007 (2)
Август 2007 (1)
Июль 2007 (1)
Февраль 2007 (6)
mobil pegasus
cata