stadtulm/a13-ansible

No longer maintained - Ansible playbook for a bigbluebutton cluster for multiple schools. A13 because internal codename was Apollo 13 ;)

a13-ansible

This repository is no longer maintained. Currently (12/2021) maintained ansible roles for BBB can be found here:

• https://gitlab.com/infra.run
• https://github.com/ebbba-org/ansible-role-bigbluebutton
• https://codeberg.org/DigitalSouveraeneSchule/bbb.git

Prepare

Install modules

ansible-galaxy install -r requirements.yml

Note: cloudalchemy.node-exporter requires the gnu variant of tar on macOS. (brew install gnu-tar)
Note: cloudalchemy.prometheus requires the jmespath python module on your (deployer) machine

Passwords

You need to create the file vault_password and put the ansible vault password in there.

SSH Host Keys

Get all SSH host keys and store in local .ssh/known_hosts file by executing following skript

ansible-playbook helper/store_known_hosts.yml

Run

ansible-playbook main.yml

HowTo

Add new machine

• Update DNS zonefile in files/coredns/zones/
• add A and AAAA records
• update serial (yyyymmddvv with vv being the version increment. E.g., 2020040101)
• Update DNS by ansible-playbook main.yml --tags dns
• Enter Hostname twice in inventory, below [all] and below the other role the machine should have, eg. [bbb]
• Confirm that you can ssh into the machine by its newly aquired dns name (this also adds the host key to your ~/.ssh/known_hosts)
• run ansible-playbook main.yml -l your.fresh.hostname.example (you may need --user root if you don't have an user yet, the base role creates one for you)
• ...?
• register your new bbb instance:
  • at the monitoring by running ansible-playbook main.yml --tags monitoring
  • at the loadbalancer by running ansible-playbook main.yml --tags config
• enable it manually in the loadbalancer

Things to tell your Network Admin

• Proxy exeptions for IPv4 adress of turnserver

a13-ansible's Issues

greenlight: email Verifikation / pw Reset muss mehrmals ausgelöst werden

soweit wir das aus dem "Supportraum" sehen können haben die meisten Nutzer haben keine Probleme mit Nutzerverifikation / E-Mail Reset. Allerdings hatten ca. 20 - 30 Nutzer (grobe Schätzung) was ungefähr 10% der Nutzer entspricht das Problem, dass der erste Link für E-Mail Verifikation / PW-Reset auf eine 404 Seite führt. Meist reicht die Anweisung die Verifikation / PW Reset noch mal auszulösen.

Allerdings gabs auch solche Fälle. Chat Verlauf aus Rocket Chat 01. Mai ~18 Uhr:

A: Guten Tag, ich hab seit mehreren Tagen das Problem, dass der Verifizierungslink auf die Fehlerseite führt. Habe auch schon nachgelesen und befolgt, was auf der Seite steht: Seite wieder verlassen, neu einloggen, etc. Es will nicht funktionieren.
B: Hai, ging es auch nicht mit zuschicken-lassen eines neuen Verifizierungslinks? Bzw war das das „neu einloggen etc.“?
A: Nein, habe mittlerweile schon vier oder fünf neue Links schicken lassen. kamen alle an aber gingen immer auf die Fehlerseite
B: huch spannend. Ich schau mal, was ich machen kann, moment
A: Danke
B: ich hab nochmal einen haendischen Reset gemacht, es muesste nun eine Mail mit Aufforderung zum neu setzen des Passworts gekommen sein
A: so, habe das neue passwort gesetzt. Jetzt einloggen und wieder einen Link anfordern?
b: genau
A: tab schließen? oder egal?
B: hmm sollt eigentlich keinen unterschied machen
A: perfekt. hat funktioniert. vielen Dank!!! Auch dass so schnell reagiert wird. top!

branding (logo fonts etc.)

continious branding (logo, fonts)

• logo greenlight (consti, nancy)
• willkommens-text im bbb-chat, in GL anpassen?

alert when coturn not running after 4 am

coturn is restarted @4am each night.
Need alert when coturn is not running after 4 am

rundown privacy checklist

check https://github.com/ichdasich/bbb-privacy point by point

going upstream / grafana

going upstream

bbb-exporter grafanavorlage mit node_exporter
bbb-exporter disable recording metrics

Turnserver turn01 not working

BBB Hosts with additional turnserver turn01 have had problems (no audio, video, media).

current solution: switch all bbb hosts to turn02

Both (turn01/turn02) hosts should be configured same, but apparantly not.

only difference so far:

ufw status turn02:

OpenSSH                    LIMIT       Anywhere
node-exporter              ALLOW       Anywhere
letsencrypt                ALLOW       Anywhere
turnserver                 ALLOW       Anywhere
OpenSSH (v6)               LIMIT       Anywhere (v6)
node-exporter (v6)         ALLOW       Anywhere (v6)
letsencrypt (v6)           ALLOW       Anywhere (v6)
turnserver (v6)            ALLOW       Anywhere (v6)

Ausgabe ufw status turn01:

OpenSSH                    LIMIT       Anywhere
node-exporter              ALLOW       Anywhere
letsencrypt                ALLOW       Anywhere
turn443                    ALLOW       Anywhere
turnserver                 ALLOW       Anywhere
OpenSSH (v6)               LIMIT       Anywhere (v6)
node-exporter (v6)         ALLOW       Anywhere (v6)
letsencrypt (v6)           ALLOW       Anywhere (v6)
turn443 (v6)               ALLOW       Anywhere (v6)
turnserver (v6)            ALLOW       Anywhere (v6)

bbb: dial-in in to conference

implementation of dial-in in to conference
example with sipgate: https://groups.google.com/forum/#!searchin/bigbluebutton-setup/sipgate%7Csort:date/bigbluebutton-setup/-9kRZQE8lLw/6geKiQHuCgAJ

bbb/scalelite: multiple secrets

• Anbindung mehrerer Moodles möglich
• scalelite mehrere secrets ermöglichen

https://www.ulmlernt.de/ -> SSL_ERROR_BAD_CERT_DOMAIN

Nginx config missing entry for www.ulmlernt.de. Should redirect to https://ulmlernt.de

restic: backup rotation / auto-generated connection pw / ...

Was geht

• Restic Rest-Server inkl. TLS und Auth läuft. Backup Clients können nur auf ihr repository zugreifen und auch nur backups hinzufügen
• Client backup für greenlight und dokuwiki läuft stündlich 8-22 Uhr
• Vorlagen für backup tasks "directory" und "postgres DB" siehe roles/restic-client/templates

Todo:

• Backup rocketchat + was sonst noch gebackupt werden sollte
• Backup Cleanup nach 14 Tagen ist noch nicht eingerichtet. Muss auf Server geschehen, weil Backup - clients nur read-only auf alte Backups zugreifen können. Ist gewollt so
• Doku

nicht so schön gelöst/keine bessere Möglichkeit gefunden

• automatisch generierte Passwörter für AUTH von restic rest-server. Hab das gerade hardcoded mit vault encrypt_string in vars.yml hinterlegt
• Passwörter sind in den Backupskripten unter /srv/restic/{{ backup_name}} `hinterlegt (nur root hat Zugriff).
• der Task Ensure backup repository for {{ backup_name }} in roles/restic-client/tasks/main.yml sollte eigentlich nur einmal laufen und sich nicht ständig ändern....
• alle Backups laufen unter root..

Implement Firewall Rules for Hetzner

aus Matrix / Slack Channel:
Wenn ihr BBBs bei Hetzner habt, nutzt bitte die Router ACLs damit die Switche den Traffic von euren Servern weg halten, das stört sonst auch einige andere Hetzner Kunden. Inbound alles droppen außer tcp 22, tcp 443 und udp alles ab Port 16384. https://docs.hetzner.com/robot/dedicated-server/firewall/

bbb: set default resolution to low

set default video resolution to low 100

add documentation for teachers how to set high quality for their own webcam

see https://docs.bigbluebutton.org/2.2/customize.html#reduce-bandwidth-from-webcams

Check if docker running slows down echo test

according to bbb matrix channel: if docker runs it slows down echo process: multiple network interfaces -> multiple WebRTC Candidates

BBB exchange english voice etc.

replace "You are the only on in this conference" and other english messages with german counterparts

License missing

A open-source license for this repo would be nice.