Esta guía de instalación está basada en el artículo de Linux Hint.

Aquí la versión condensada solo con los comandos:

# Actualizar paquetes.
sudo apt update && sudo apt upgrade
# Agregar llave GPG.
curl https://downloads.plex.tv/plex-keys/PlexSign.key | sudo apt-key add -
# Importar repositorio.
echo deb https://downloads.plex.tv/repo/deb public main | sudo tee /etc/apt/sources.list.d/plexmediaserver.list
# Actualizar tras agregar repositorio.
sudo apt update && sudo apt upgrade
# Instalar Plex.
sudo apt install plexmediaserver -y
# Ejecutar en caso de que no haya iniciado tras instalación.
sudo systemctl start plexmediaserver
sudo systemctl enable plexmediaserver
sudo systemctl restart plexmediaserver
# Instalar SSH.
sudo apt install openssh-server -y
# Actualizar tras instalar SSH.
sudo apt update && sudo apt upgrade
# Habilitar SSH.
sudo systemctl enable ssh
sudo systemctl status ssh

Tras eso puedes optener tu IP local de la computadore e ir al puerto 32400, con un formato como el siguiente:

http://192.168.64.128:32400/web

Y listo, podrás empezar a configurar tu servidor Plex.