Table of Contents
Chaosknoten
- hostname:
- chaosknoten
- location:
- IRZ42
- maintainer:
- Infra-Team
- netbox:
- https://netbox.hamburg.ccc.de/dcim/devices/40/
Hardware
- Dell PowerEdge R730
- 2x Xeon E5-2640 v4 (10c 20t)
- 512GB RAM (32x 16GB)
Zweck
Gast-VMs
Die VMs sind in Netbox dokumentiert: Virtual Machines Cluster=chaosknoten
Firewall-Freischaltung
Der Zugriff auf das Proxmox-Webinterface ist nur von ausgewählten IP-Adressen aus möglich:
- CCCHH-Z9: 185.161.129.132 und 2a07:c480:103:2::2
- stb: 213.240.180.39 und 2a01:170:118b::1
- haegar: 136.243.3.21, 136.243.3.60, 2a01:4f8:211:1c94::2, 82.66.166.90
Netzwerkanbindung
Chaosknoten hat vier physikalische Interfaces (plus IPMI):
eno1
: SFP+-Slot, dz. nicht benutzteno2
: SFP+-Slot, dz. nicht benutzteno3
:- 1G Kupfer
- verbunden mit IRZ42-Netz VLAN 48 (aber bei uns ungetaggt)
- von hinten gesehen linker Port
- grünes Patchkabel zu Switchport 15
eno4
:- 1G Kupfer
- verbunden mit IRZ42-Netz VLAN 512 (aber bei uns ungetaggt)
- von hinten gesehen rechter Port
- rotes Patchkabel zu Switchport 18
- IPMI-iDRAC-Interface:
- 1G Kupfer
- verbunden mit IRZ42-Netz VLAN 512 (aber bei uns ungetaggt)
- Switchport 17, aber kein Patchkabel gesteckt, weil (noch) keine Firewall
eno3
und eno4
sind jeweils auf vmbr3
und vmbr4
gebridged.
vmbr4
hat die Adresse 212.12.48.126/24
für SSH und Management-Webinterface von Proxmox.
DIe VMs haben Adressen aus verschiedenen Netzen. Siehe Netbox Prefixes IRZ42
IPv4
Public IPv4s
We have the following public IPv4 subnets/ranges available:
212.12.50.208/29
(NetBox-Link)212.12.51.128/28
(NetBox-Link)
Private IPv4s
We use the following private IPv4 ranges:
172.31.17.128/25
(NetBox-Link)172.31.17.0/25
(NetBox-Link)
IPv6
We have 2 IPv6-64-Prefixes, which map to corresponding IPv4-Prefixes/-Ranges.
2a00:14b0:4200:3000::/64
2a00:14b0:4200:3000::/64
(NetBox-Link)
This subnet corresponds to the following IPv4-Subnets:
212.12.48.0/24
(NetBox-Link)
To generate an IPv6 corresponding to an IPv4, we use the following convention: Take the last octet of the IPv4-address in decimal and use it for the first two bytes of the localpart, but with the digits as hex.
So e.g.: 212.12.48.125
→ 2a00:14b0:4200:3000:125::1
2a00:14b0:f000:23::/64
2a00:14b0:f000:23::/64
(NetBox-Link)
This subnet corresponds to the following IPv4-Subnets:
212.12.50.208/29
(NetBox-Link)212.12.51.128/28
(NetBox-Link)
To generate an IPv6 corresponding to an IPv4 from either 212.12.50.208/29
or 212.12.51.128/28
, we use the following convention: Take the 3rd octet of the IPv4-address in decimal and use it for the first two bytes of the localpart, but with the digits in hex. Then take the last octet of the IPv4-address in decimal and use it for the third and fourth bytes of the localpart, but with the digits as hex.
So e.g.:
212.12.50.212
→2a00:14b0:f000:23:50:212:0:1
212.12.51.133
→2a00:14b0:f000:23:51:133:0:1
To generate an IPv6 corresponding to an IPv4 from 172.31.17.0/25
, we use the following convention: Take the last octet of the IPv4-address in decimal and use it for the last two bytes of the localpart, but with the digits in hex.
So e.g.:
172.31.17.53
→2a00:14b0:f000:23::53
Konfiguration
Zugriff auf VMs
SSH auf allen VMs läuft auf nicht-Standard-Ports, normalerweise 42666.
Alle VMs, die eine RFC1918-Adresse haben, können über turing-router oder turing-main als Jumphost erreicht werden. Als Beispiel hier ein Snippet für .ssh/config
.
Host turing HostName turing.hamburg.ccc.de Port 4222 User chaos Host turing-main HostName turing.hamburg.ccc.de Port 42666 User chaos Host ns-intern HostName ns-intern.hamburg.ccc.de User chaos ProxyJump turing Host rproxy-intern HostName rproxy-intern.hamburg.ccc.de User chaos ProxyJump turing
HOWTO Chaosknoten-Reboot
Vor dem Reboot
VMs hibernaten
Eine Reihe von VMs brauchen beim Booten ein Secret über die Konsole, z. B. für LUKS. Wenn man das nicht machen will, kann mann die betreffenden VMs in den Winterschlaf schicken. Wir haben alle VMs, für die das notwendig ist, mit dem Tag “luks” markiert.
# ./suspend-luks-vms.sh
Nach dem Reboot
Was nach einem reboot alles passieren muss, damit alle services wieder hochkommen.
ZFS encrypted Dataset entsperren
Key liegt im pass unter noc/server/chaosknoten/zfs/rust0-encrypted-passphrase
zfs load-key rust0/encrypted