VMmanager 6 - подготовка узла на AstraLinux 1.8.1

Настройка RAID-10

Используемый тип дисков: SAS SSD, контроллер 12GBit/s.

Установка AstraLinux

Начало

1. Уровень защищенности – Базовый «Орёл»

2. Принять условия лицензионного соглашения

Региональные настройки

1. Регион - Европа

2. Зона - UTC +3

3. Язык ввода – Russian

4. Язык операционной системы - Русский

Компоненты установки

1. Профиль разметки диска – Использовать EXT4 с LVM и отдельным разделом /home.

2. Раздел для установки системы. Внимательно проверяем куда устанавливается ОС!

3. Ядро Linux – linux-6.6-generic.

4. Компоненты операционной системы – Консольные утилиты, Средства удаленного подключения SSH, Средства Виртуализации.

Пользователи

1. Задать «Полное имя администратора»

2. Задать «Имя компьютера»

3. Задать «Имя для входа в систему»

Сводка

1. Проверяем настройки

2. Ставим галку – Перезагрузить после установки

3. Запускаем установку

Настройка

Настройка root пользователя

Для подключения узлов (Node) к кластеру нам понадобится пользователь root.

passwd root

Разрешаем пользователю root подключаться по ssh. Мы будем использовать авторизацию по паролю.

nano /etc/ssh/sshd_config

Добавить в файл конфигурации строку в блок # Authentication: и сохранить.

PermitRootLogin yes

Перезапустить службу sshd

systemctl restart sshd

Настройка репозитория

Необходимо настроить репозиторий, чтобы не происходило мажорного обновления дистрибутива.

Редактируем файл sources.list

nano /etc/apt/sources.list

Необходимо закомментировать все указанные по умолчанию репозитории и добавить замороженные репозитории 1.8.1

deb https://dl.astralinux.ru/astra/frozen/1.8_x86-64/1.8.1/uu/1/repository-main/ 1.8_x86-64 main contrib non-free
deb https://dl.astralinux.ru/astra/frozen/1.8_x86-64/1.8.1/uu/1/repository-extended/ 1.8_x86-64 main contrib non-free

Установка дополнительных пакетов

apt -y install chrony ifenslave htop mc

Настройка сети

Настройка сети узлов кластера, объединение интерфейсов, создание бриджей.

Установить пакет для работы с Bond интерфейсом (если планируется агрегация сетевых интерфейсов).

apt -y install ifenslave

Открыть файл конфига для настройки интерфейсов.

nano /etc/network/interfaces

В файл конфигурации добавить следующие параметры, пример конфигурации:

# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback


# LAN interfaces
auto ens1f0
allow-hotplug ens1f0
iface ens1f0 inet manual

auto ens1f1
allow-hotplug ens1f1
iface ens1f1 inet manual

# Bond interface
auto bond0
iface bond0 inet manual
bond-slaves ens1f0 ens1f1

bond-mode balance-alb
bond-miimon 100
bond-downdelay 200
bond-updelay 200

# Bridge interfaces
auto vmbr0
iface vmbr0 inet static

address 192.168.10.11
netmask 255.255.254.0
gateway 192.168.10.1
dns-nameservers 192.168.10.1 192.168.10.2

bridge_ports bond0
bridge_stp off
bridge_fd 0
bridge_maxwait 0

Удаление сетевых интерфейсов из NetworkManager

Перед подключением узла убедитесь, что команда nmcli con show на узле выдает единственный интерфейс "lo".

Все остальные интерфейсы должны быть удалены с помощью команды nmcli con del "имя_соединения". Пример:

nmcli con del "Проводное соединение 1"

DNS

Проверить /etc/resolvf.conf

nano /etc/resolv.conf

на наличие записей dns:

nameserver 192.168.10.1
nameserver 192.168.10.2

Переразметка LVM разделов

В дефолтной разметке под корневой каталог "/" выделяется 40 Гб, всё остальное место отдается под "/home". Увеличение корневого раздела root “/”, необходимо так как в нём находиться каталог /vm, для хранения и работы виртуальных машин.

Действия необходимо выполнять из под сессии root, если подключиться под другим пользователем точка монтирования /home будет постоянно занята и переразметить не получиться.

Проверка точки монтирования на активные процессы/занятость.

lsof /home

Обрезка места на разделе /home.

lvreduce --resizefs -L-6T /dev/VG621/lv_home
lvreduce --resizefs -L-410,3G /dev/VG621/lv_home

Увеличение корневого раздела root “/”.

lvresize --resizefs -L+5,96T /dev/VG621/lv_root

При работе с разделами в командах необходимо заменить VG621, на номер своего раздела!

Проверяем результат разметки.

lsblk

Настройка межсетевого экрана UFW

Установка пакета ufw.

apt -y install ufw

Добавляем в автозапуск и включаем ufw.

systemctl enable ufw

Добавляем правила по умолчанию для фильтрации исходящих/входящих пакетов.

ufw default allow outgoing
ufw default deny incoming

Добавляем правила для открытия портов.

ufw allow ssh
ufw allow https
ufw allow 179/tcp
ufw allow 4789/tcp
ufw allow 16514/tcp
ufw allow 5900:6900/tcp
ufw allow 49152:49215/tcp

Включаем ufw.

ufw enable

Перезапускаем для применения правил.

ufw reload

Проверяем статус и добавленные правила.

ufw status

Подключение СХД по Fibre Channel

Для подключения СХД по FC требуется пакет lvm2, если на СХД 2 и более контроллера HBA и подключение происходит по нескольким линиям, то нужно будет настроить мультипасинг, для этого потребуется пакет multipath-tools.

Пакет lvm2 уже может быть установлен, для проверки:

apt list --installed | grep lvm2

Если пакет отсутствует необходимо его установить.

apt -y install lvm2

После установки пакета lvm2, проверяем видится ли наш диск на СХД.

lsblk

Так же для просмотра SCSI устройств можно установить пакет lsscsi и использовать команду.

apt -y install lsscsi
lsscsi -s

В результатах команды будет виднен диск на СХД, в какой раздел оно подмапилось и объём диска.

Использование Multipath

Установка пакета multipath.

apt -y install multipath-tools

Файл конфигурации для настройки multipath находится здесь /etc/multipath.conf.

nano /etc/multipath.conf

В файл конфигурации необходимо добавить следующий блок.

defaults {
    user_friendly_names yes
}

Назначение раздела для multipath.

multipath /dev/sdx

Поиск ID для multipath на узле кластера (ноде).

multipath -ll

Настройка в веб-интерфейсе VMmanager

Подключение сетевого LVM диска в кластере VMmanager.

Если в конфигурации multipath присутствует user_friendly_names yes

/dev/mapper/mpatha

Если user_friendly_names yes в конфигурации нет, тогда

/dev/mapper/id_из_вывода_multipath -ll

Возможные проблемы

Ошибка при добавлении узла в кластер

apt -y update
apt -y purge libvirt0
apt -y autoremove

Увеличение объема LVM диска

После увеличение объема на LVM диске СХД подключенного к узлам (нодам) кластера, необходимо на каждом узле выполнить команды, для обновления информации о диске:

partprobe /dev/sdb

Проверить, что команда выполнена успешно можно увидев новый объем диска в результате команды.

lsblk

Для расширения логического раздела необходимо выполнить команду.

pvresize /dev/sdb

Проверить результат можно командой.

vgdisplay -v

Подключить USB-устройство к ВМ

Чтобы виртуальная машина (ВМ) могла работать с внешними USB-устройствами, настройте перенаправление портов на узле (node) кластера:

1. Подключите USB-устройство к узлу кластера, на котором находится ВМ.

2. Подключитесь к узлу кластера по SSH.

3. Получите список подключённых USB-устройств:

4. lsusb -v

Формат вывода команды:

idVendor <ID_компании_производителя> <название_компании>
idProduct <ID_устройства> <название_устройства>

Создайте файл /root/usb_device.xml

nano /root/usb_device.xml

со следующим содержанием:

<hostdev mode='subsystem' type='usb' managed='yes'>
<source>
<vendor id='<ID_компании_производителя>'/>
<product id='<ID_устройства>'/>
</source>
</hostdev>

Включите перенаправление портов:

virsh attach-device <vm_id>_<vm_name> --file /root/usb_device.xml --config --persistent

Получить ID и название VM можно следующей командой:

virsh list

Пример:

XML-файл

<hostdev mode='subsystem' type='usb' managed='yes'>
<source>
<vendor id='0x0529'/>
<product id='0x0001'/>
</source>
</hostdev>

Включение перенаправления порта на VM:

virsh attach-device <vm_id>_<vm_name> --file /root/usb_device.xml --config --persistent

Миграция ВМ с других гипервизоров на VMmanager 6

Hyper-V ВМ на Windows

Скачать ISO virtio-win-0.1.240.iso

Установить из ISO-образа драйвера для qemu-kvm

Завершить работу ОС и остановить ВМ

Скопировать виртуальный диск VHD / VHDX ВМ на узел (ноду) на которую планируется мигрировать ВМ в каталог /vm

Сконвертировать ВМ в формат .qcow2, выполнив команду на узле

cd /vm
qemu-img convert -f <input_format> -O qcow2 <input_file> <qcow_file>

Создать в VMM 6 на узле ВМ с такими же или большими ресурсами, особенно касается размера диска.

Остановить созданную ВМ.

В параметрах – тонкая настройка изменить тип загрузки на требуемый Legacy / UEFI.

Посмотреть название файла диска нашей созданной виртуальной машины на узле.

ls /dev/mapper/

Например:

Network_lvm_dev_mapper_mpatha-ID_имя--виртуальной--машины

Запустить миграцию (замену) сконвертированного диска.

qemu-img convert -f qcow2 -O raw <qcow_file> /dev/mapper/<vm_file>

Развёртывание локального бекапа

Подключаемся к узлу по SSH

Смотрим список ВМ на узле

virsh list --all

Останавливаем нужную ВМ, диск которой требуется восстановить из бекапа:

virsh shutdown имя_вм

Диски ВМ которые работают локально хранятся в каталоге /vm:
Находим диск нужной нам ВМ и перемещаем его в любое место, на случай неудачного восстановления ВМ.

mv /vm/имя_диска /root/

Бекапы локально хранятся в каталоге /image на узле, если нет сетевого хранилища. Просмотреть бекапы в каталоге /image

ls /image/

Восстановить диск из резервной копии необходимо в каталог /vm на место старого.

zstd -d /image/название_файла_бекапа -o /vm/имя_диска_вм

Запустить виртуальную машину

virsh start имя_вм