Блог bitmanager

Никогда не соглашайся на компромисс, делай все правильно!

Заблуждаются все: клиенты, сотрудники, коллеги, и, главное, ты сам. Да-да, не доверяй никому и, прежде всего, себе. Все, что должно пойти неправильно, обязательно пойдет неправильно. Неважно, какова вероятность этого, законы Мерфи проверяются статистикой, а не теорией вероятности. Задумайся об этом, когда 17:00 пятницы ты решишь «накатить обновление».

В моей практике имеется случай с сервером, где был ZFS и очень немного памяти. Время от времени он рандомно перезагружался, когда считал, что памяти осталось слишком мало. И вот, перед выходными зачем-то решил накатить на него обновление. Вот эти все стандартные apt-get update, apt-get upgrade… Время было к 6 вечера, скоро домой, впереди выходные, жизнь прекрасна. Вот и я тогда так считал. И надо же было такому случиться, что при выполнении dist-upgrade, когда новое ядро уже в системе и идет сборка нового initrd, сервак уходит в ребут и все, амба, пульс нитевидный. Сервак удаленный, гипервизор, там боевые машины, клиент имеет все шансы на выходные остаться без почты и терминала. Чувствуете приход пушистого беленького полярного песца? Вот и я почувствовал.

В итоге, зацепился туда на удаленную консоль (отдельный привет IBM, в котором удаленную консоль надо покупать отдельно от IPMI), подцепил LiveCD с линем, собрал прямо на системе, загруженной в оперативку дрова для ZFS, смонтировал пул, chroot-нулся в него, дособрал initrd, обновил его, отцепился, ребутнулся, взлетели. Вот оно — одно предложение, в котором уютно разместились 5 часов моей с коллегой жизни. Уехал с работы в итоге в 11 вечера. И зарекся обновлять нестабильные машины.

А вот прямо свежий случай. Коллега поехал устанавливать клиенту свитч, который забрал у нас для тестов. Приехал, переткнул патчкорды и… ничего. Не работает, инета нет, сотрудники клиента пытаются взять дверь серверной штурмом. Какие настройки внутри свитча, рабочий ли он вообще… А фиг его знает. В итоге, свитч сбросили к дефолтным настройкам и все заработало. Но нервы и потраченное время это же не вернет. А достаточно было перед выездом просто проверить его, работает ли. Не доверяйте себе, не доверяйте утверждениям других людей, если можете их проверить. Это поможет уберечься от очень большого количества мелких и крупных ошибок.
Записки сисадмина