Differences

This shows you the differences between two versions of the page.

--- infrastructure:servers:chaosknoten [2023-07-22 17:09 UTC] – [Gast-VMs] stb
+++ infrastructure:servers:chaosknoten [2024-05-26 15:53 UTC] (current) – add zfs unlock instructions dario
@@ Line 2: / Line 2: @@
 ---- dataentry server ----
-hostname:     chaosknoten
+hostname    : chaosknoten
-location:     IRZ42
+location    : IRZ42
-maintainers:  @@Maintainers@@
+maintainers : Infra-Team
-netbox_url:   https://netbox.ccchh.net/dcim/devices/40/
+netbox_url  : https://netbox.hamburg.ccc.de/dcim/devices/40/
 ----
 <WRAP column half>
@@ Line 33: / Line 34: @@
 ===== Gast-VMs =====
-Die VMs sind in Netbox dokumentiert.
+Die VMs sind in Netbox dokumentiert: [[https://netbox.ccchh.net/virtualization/virtual-machines/?cluster_id=2|Virtual Machines Cluster=chaosknoten]]
 ===== Firewall-Freischaltung =====
@@ Line 40: / Line 41: @@
   * CCCHH-Z9: 185.161.129.132 und 2a07:c480:103:2::2
   * stb: 213.240.180.39 und 2a01:170:118b::1
-  * haegar: 136.243.3.60
+  * haegar: 136.243.3.21, 136.243.3.60, 2a01:4f8:211:1c94::2, 82.66.166.90
 ===== Netzwerkanbindung =====
-  * Ethernet 1 - Untagged (auf IRZ-Seite VLAN 48)
+Chaosknoten hat vier physikalische Interfaces (plus IPMI):
-    * 212.12.48.0/24, gw 212.12.48.55
+  * ''eno1'': SFP+-Slot, dz. nicht benutzt
-      * 212.12.48.122: VM turing-router: turing.hamburg.ccc.de * Route zu 212.12.50.208/29 * Intern: 172.31.17.128/25
+  * ''eno2'': SFP+-Slot, dz. nicht benutzt
-        * 2a00:14b0:4200:3000:122::1
+  * ''eno3'':
-          * Route zu /64 2a00:14b0:f000:23::/64
+    * 1G Kupfer
-        * Einige Subnetze werden hierrüber geroutet
+    * verbunden mit IRZ42-Netz VLAN 48 (aber bei uns ungetaggt)
-      * 212.12.48.123: worker
+    * von hinten gesehen linker Port
-      * 212.12.48.124: “worker NFS” für Storage-Zugriff Wieske, aber nicht mehr in Benutzung
+    * grünes Patchkabel zu Switchport 15
-      * 212.12.48.125: ESXi10.ccchh-temp.vm.irz42.net.
+  * ''eno4'':
-      * 212.12.48.126: chaosknoten
+    * 1G Kupfer
-  * Ethernet 2 - Untagged (auf IRZ-Seite 512)
+    * verbunden mit IRZ42-Netz VLAN 512 (aber bei uns ungetaggt)
-    * Alle VMs
+    * von hinten gesehen rechter Port
-    * Geroutet sowohl von Wieske (212.12.51.128/28, 212.12.50.208/29) als auch von turing (172.31.17.128/25)
+    * rotes Patchkabel zu Switchport 18
-    * 212.12.50.208/29 (geroutet von turing)
+  * IPMI-iDRAC-Interface:
-      * 212.12.50.209: ???
+    * 1G Kupfer
-      * 212.12.50.210: lokal.ccc.de
+    * verbunden mit IRZ42-Netz VLAN 512 (aber bei uns ungetaggt)
-      * 212.12.50.211: ip211.hamburg.ccc.de
+    * Switchport 17, aber kein Patchkabel gesteckt, weil (noch) keine Firewall
-      * 212.12.50.212: eh20.easterhegg.eu
-      * 212.12.50.213: ip213.hamburg.ccc.de
-      * 212.12.50.214: fwhh-v6.hamburg.ccc.de
-    * 172.31.17.128/25 (geroutet von turin)
-      * 172.31.17.53 + 172.31.17.153 2a00:14b0:f000:23::53 ns.hamburg.ccc.de
-      * 172.31.17.135 2a00:14b0:f000:23::54 turing-db.hamburg.ccc.de (dns)
-      * 172.31.0.5 + 172.31.17.136 + 172.31.255.53 cvpn-dns.hamburg.ccc.de (chaosvpn)
-      * 172.31.17.122 + 172.31.17.142 2a00:14b0:f000:23::122 oldturing.hamburg.ccc.de (main web, mail, etc)
-      * 172.31.17.14 + 172.31.17.137 2a00:14b0:f000:23:48::14 2a00:14b0:f000:23:48:14:: attraktor.hamburg.ccc.de
-      * 172.31.17.134 2a00:14b0:f000:23::26 jabber.hamburg.ccc.de
-      * 172.31.17.17 172.31.17.133 2a00:14b0:f000:23::17 2a00:14b0:f000:23::133 gitlab.hamburg.ccc.de
-      * 172.31.17.138 2a00:14b0:f000:23::138 gitlab-test.hamburg.ccc.de ???
-      * 172.31.17.138 2a00:14b0:f000:23::139 gitlab-runner.hamburg.ccc.de
-      * 172.31.17.180 2a00:14b0:f000:23::80 rproxy.hamburg.ccc.de
-      * 172.31.17.124 172.31.17.131 2a00:14b0:f000:23::131 officemail.hh.ccc.de (ccc e.v.)
-      * 172.31.17.199 2a00:14b0:f000:23::199 template.hamburg.ccc.de
-      * 212.12.50.210 172.31.17.210 2a00:14b0:f000:23:50:210::/112 erfafoo.hamburg.ccc.de
-      * 212.12.50.212 172.31.17.212 2a00:14b0:f000:23:50:212::/112 eh20.easterhegg.eu
-      * 212.12.50.213 172.31.17.213 2a00:14b0:f000:23:50:213::/112 cryptoparty.hamburg.ccc.de
-      * 212.12.51.140 2a00:14b0:f000:23:51:140::/112 shellhost.hamburg.ccc.de (only ipv6 routed through here)
-    * 212.12.51.128/28, gw 212.12.51.129 (geroutet von Wieske)
-      * 212.12.51.129: gate crew router
-      * 212.12.51.130: orga.Hamburg.ccc.de.
-      * 212.12.51.131: CmS.Hamburg.ccc.de.
-      * 212.12.51.132: gw01.hamburg.freifunk.net. (tot?)
-      * 212.12.51.133: teflon.chaos.hamburg. (tot?)
-      * 212.12.51.134: srv01.hamburg.freifunk.net (dns01.hamburg.freifunk.net, und weiter FFHH sachen)
-      * 212.12.51.135: chaos-angel.at. (tot?) – Test für Inbetriebnahme chaosknoten
-      * 212.12.51.136: worker IPMI
-      * 212.12.51.137: chaosknoten IPMI
-      * 212.12.51.138: webfoo.ccchh.org. (?)
-      * 212.12.51.139: hvt.ccc.de. (tot?)
-      * 212.12.51.140: shells.hamburg.ccc.de.
-      * 212.12.51.141: AP-Router.hamburg.ccc.de. (tot?)
-      * 212.12.51.142: many.haecksen.org.
-      * 212.12.51.143: END-212-12-51-143.hh.ccc.de.
-{{:infrastructure:worker-alte-vms-1.png?400|}}{{:infrastructure:worker-alte-vms-2.png?400|}}
+''eno3'' und ''eno4'' sind jeweils auf ''vmbr3'' und ''vmbr4'' gebridged.
+''vmbr4'' hat die Adresse ''212.12.48.126/24'' für SSH und Management-Webinterface von Proxmox.
+DIe VMs haben Adressen aus verschiedenen Netzen. Siehe [[https://netbox.ccchh.net/ipam/prefixes/?site_id=2|Netbox Prefixes IRZ42]]
+==== IPv4 ====
+=== Public IPv4s ===
+We have the following public IPv4 subnets/ranges available:
+  * ''212.12.50.208/29'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/13/|NetBox-Link]])
+  * ''212.12.51.128/28'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/15/|NetBox-Link]])
+  * ''212.12.48.122-126/24'' ([[https://netbox.hamburg.ccc.de/ipam/ip-ranges/7/|NetBox-Link]]), part of ''212.12.48.0/24'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/12/|NetBox-Link]])
+=== Private IPv4s ===
+We use the following private IPv4 ranges:
+  * ''172.31.17.128/25'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/37/|NetBox-Link]])
+  * ''172.31.17.0/25'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/16/|NetBox-Link]])
+==== IPv6 ====
+We have 2 IPv6-64-Prefixes, which map to corresponding IPv4-Prefixes/-Ranges.
+=== 2a00:14b0:4200:3000::/64 ===
+''2a00:14b0:4200:3000::/64'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/36/|NetBox-Link]])\\
+This subnet corresponds to the following IPv4-Subnets:
+  * ''212.12.48.0/24'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/12/|NetBox-Link]])
+To generate an IPv6 corresponding to an IPv4, we use the following convention: Take the last octet of the IPv4-address in decimal and use it for the first two bytes of the localpart, but with the digits as hex.\\
+So e.g.: ''212.12.48.125'' -> ''2a00:14b0:4200:3000:125::1''
+=== 2a00:14b0:f000:23::/64 ===
+''2a00:14b0:f000:23::/64'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/35/|NetBox-Link]])\\
+This subnet corresponds to the following IPv4-Subnets:
+  * ''212.12.50.208/29'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/13/|NetBox-Link]])
+  * ''212.12.51.128/28'' ([[https://netbox.hamburg.ccc.de/ipam/prefixes/15/|NetBox-Link]])
+To generate an IPv6 corresponding to an IPv4 from either ''212.12.50.208/29'' or ''212.12.51.128/28'', we use the following convention: Take the 3rd octet of the IPv4-address in decimal and use it for the first two bytes of the localpart, but with the digits in hex. Then take the last octet of the IPv4-address in decimal and use it for the third and fourth bytes of the localpart, but with the digits as hex.\\
+So e.g.:
+  * ''212.12.50.212'' -> ''2a00:14b0:f000:23:50:212:0:1''
+  * ''212.12.51.133'' -> ''2a00:14b0:f000:23:51:133:0:1''
+To generate an IPv6 corresponding to an IPv4 from ''172.31.17.0/25'', we use the following convention: Take the last octet of the IPv4-address in decimal and use it for the last two bytes of the localpart, but with the digits in hex.\\
+So e.g.:
+  * ''172.31.17.53'' -> ''2a00:14b0:f000:23::53''
-Patchkanel
-  * 15 512 VMs, rechts rot
-  * 17 512 IPMI (nicht angeschlossen weil keine Firewall)
-  * 18 48 Proxmox, links grün
 ===== Konfiguration =====
-TODO
+===== Zugriff auf VMs =====
+SSH auf allen VMs läuft auf nicht-Standard-Ports, normalerweise 42666.
+Alle VMs, die eine RFC1918-Adresse haben, können über turing-router oder turing-main als Jumphost erreicht werden. Als Beispiel hier ein Snippet für ''.ssh/config''.
+<code>
+Host turing
+    HostName turing.hamburg.ccc.de
+    Port 4222
+    User chaos
+Host turing-main
+    HostName turing.hamburg.ccc.de
+    Port 42666
+    User chaos
+Host ns-intern
+    HostName ns-intern.hamburg.ccc.de
+    User chaos
+    ProxyJump turing
+Host rproxy-intern
+    HostName rproxy-intern.hamburg.ccc.de
+    User chaos
+    ProxyJump turing
+</code>
+===== HOWTO Chaosknoten-Reboot =====
+==== Vor dem Reboot ====
+=== VMs hibernaten ===
+Eine Reihe von VMs brauchen beim Booten ein Secret über die Konsole, z. B. für LUKS. Wenn man das nicht machen will, kann mann die betreffenden VMs in den Winterschlaf schicken. Wir haben alle VMs, für die das notwendig ist, mit dem Tag "luks" markiert.
+  # ./suspend-luks-vms.sh
+==== Nach dem Reboot ====
+Was nach einem reboot alles passieren muss, damit alle services wieder hochkommen.
+=== ZFS encrypted Dataset entsperren ===
+Key liegt im pass unter ''noc/server/chaosknoten/zfs/rust0-encrypted-passphrase''
+  zfs load-key rust0/encrypted
+===== Assigned Services =====
+---- datatable ----
+headers : Service, Service-URLs, Host-FQDN
+cols    : %pageid%, service-urls_urls, host-fqdn
+filter  : %class%=service
+and     : %pageid%!=infrastructure:services:template
+and     : server_page==infrastructure:servers:chaosknoten
+----