So verwenden Sie Podman innerhalb von Kubernetes

Podman in Kubernetes/OpenShift

Im ersten Teil lag der Fokus auf Podman in Podman-Szenarien. Wir haben einige der verschiedenen Podman-Kombinationen mit und ohne Wurzeln gesehen. Wir haben auch die Auswirkungen von --privileged besprochen Flagge.

Aber was ist mit Podman und Kubernetes? Es gibt auch viele Möglichkeiten, diese beiden Dienste in Beziehung zu setzen.

Für Teil zwei der Serie verwende ich einen Kubernetes-Cluster, der mit CRI-O als Laufzeit läuft.

[Kostenloser Spickzettel:Kubernetes-Glossar]

Rootful Podman mit gesetztem Privileged Flag

Hier führen wir einen privilegierten Container mit dem Root-Benutzer aus, sodass Podman als Root innerhalb des Containers ausgeführt wird.

Hier ist die YAML-Datei:rootful-priv.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: podman-priv
spec:
 containers:
   - name: priv
     image: quay.io/podman/stable
     args:
       - sleep
       - "1000000"
     securityContext:
       privileged: true

➜ kubectl exec -it podman-priv -- sh
sh-5.0# id
uid=0(root) gid=0(root) groups=0(root)
sh-5.0# podman run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob fdb393d8227c done
Copying blob 6b536614e8f8 done
Copying config 4199acc83c done
Writing manifest to image destination
Storing signatures
hello

Mit rootful Podman können wir auch erfolgreich Images innerhalb des privilegierten Containers erstellen. Lassen Sie uns ein Image erstellen, in dem wir BusyBox auf Fedora installieren.

sh-5.0# cat Containerfile
FROM fedora
RUN dnf install -y busybox
ENV foo=bar
 
sh-5.0# podman build -t myimage -f Containerfile .                                                                                     
STEP 1: FROM fedora                                                                                                                    
STEP 2: RUN dnf install -y busybox                                                                                                     
Fedora 33 openh264 (From Cisco) - x86_64        3.0 kB/s | 2.5 kB     00:00                                                            
Fedora Modular 33 - x86_64                      1.4 MB/s | 3.3 MB     00:02                                                            
Fedora Modular 33 - x86_64 - Updates            1.3 MB/s | 3.1 MB     00:02                                                            
Fedora 33 - x86_64 - Updates                    1.6 MB/s |  27 MB     00:16                                                            
Fedora 33 - x86_64                              3.6 MB/s |  72 MB     00:19                                                            
Dependencies resolved.                                                         
...
Running transaction
 Preparing        :                                                        1/1
 Installing       : busybox-1:1.32.1-1.fc33.x86_64                         1/1
 Running scriptlet: busybox-1:1.32.1-1.fc33.x86_64                         1/1
 Verifying        : busybox-1:1.32.1-1.fc33.x86_64                         1/1
 
Installed:
 busybox-1:1.32.1-1.fc33.x86_64                                                
 
Complete!
--> 734a45854d1
STEP 3: ENV foo=bar
STEP 4: COMMIT myimage
--> 2326e34ac82
2326e34ac82173c849e0282b6644de5326f6b5bfba8431cf1c1115d846e440e9
 
sh-5.0# podman images                                                                                                                  
REPOSITORY                         TAG     IMAGE ID      CREATED         SIZE                                                          
localhost/myimage                  latest  2326e34ac821  48 seconds ago  427 MB                                                        
registry.fedoraproject.org/fedora  latest  9f2a56037643  3 months ago    182 MB    
 
sh-5.0# podman run myimage busybox                                                                                                     
BusyBox v1.32.1 (2021-03-22 18:56:41 UTC) multi-call binary.                                                                           
BusyBox is copyrighted by many authors between 1998-2015.                                                                              
Licensed under GPLv2. See source distribution for detailed                                                                             
copyright notices.                                                                                                                     
                                                                                                                                      
Usage: busybox [function [arguments]...]                                                                                               
  or: busybox --list[-full]                                                                                                           
  or: busybox --show SCRIPT                                                                                                           
  or: busybox --install [-s] [DIR]                                                                                                    
  or: function [arguments]...
...

Rootless Podman mit gesetztem Privileged Flag

Hier führen wir einen privilegierten Container mit dem podman(1000) aus Benutzer, sodass Podman als Benutzer 1000 im Container ausgeführt wird.

Hier ist die YAML-Datei:rootless-priv.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: podman-rootless
spec:
 containers:
   - name: rootless
     image: quay.io/podman/stable
     args:
       - sleep
       - "1000000"
     securityContext:
       privileged: true
       runAsUser: 1000

➜ kubectl exec -it podman-rootless -- sh

sh-5.0$ id
uid=1000(podman) gid=1000(podman) groups=1000(podman)

sh-5.0$ podman run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob 6b536614e8f8 done
Copying blob fdb393d8227c done
Copying config 4199acc83c done
Writing manifest to image destination
Storing signatures
hello

Wir können auch erfolgreich Images innerhalb des privilegierten Containers mit rootless Podman erstellen. Lassen Sie uns ein Image erstellen, in dem wir BusyBox auf Fedora installieren.

sh-5.0$ cat Containerfile
FROM fedora
RUN dnf install -y busybox
ENV foo=bar
 
sh-5.0$ podman build -t myimage -f Containerfile .                                                                                                                                                                                                
STEP 1: FROM fedora                                                                                                                    
Resolved "fedora" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)                                                  
Getting image source signatures                                                                                                        
Copying blob 157ab8011454 done                                                                                                         
Copying config 9f2a560376 done                                                                                                         
Writing manifest to image destination                                                                                                  
Storing signatures                                                                                                                     
STEP 2: RUN dnf install -y busybox                                                                                                     
Fedora 33 openh264 (From Cisco) - x86_64        4.8 kB/s | 2.5 kB     00:00                                                            
Fedora Modular 33 - x86_64                      462 kB/s | 3.3 MB     00:07                                                            
Fedora Modular 33 - x86_64 - Updates            520 kB/s | 3.1 MB     00:06                                                            
Fedora 33 - x86_64 - Updates                    7.5 MB/s |  27 MB     00:03                                                            
Fedora 33 - x86_64                              522 kB/s |  72 MB     02:20                                                            
Dependencies resolved.
...
Installed:
 busybox-1:1.32.1-1.fc33.x86_64                                                
 
Complete!
--> 92087429448
STEP 3: ENV foo=bar
STEP 4: COMMIT myimage
--> 16dd65e3f57
16dd65e3f57a5808035b713a6ba3267146caf2a03dd4205097a5727f9d326de9
 
sh-5.0$ podman images
REPOSITORY                         TAG     IMAGE ID      CREATED             SIZE
localhost/myimage                  latest  16dd65e3f57a  About a minute ago  427 MB
registry.fedoraproject.org/fedora  latest  9f2a56037643  3 months ago        182 MB
 
sh-5.0$ podman run myimage busybox                                                                                                                                                                                                               
BusyBox v1.32.1 (2021-03-22 18:56:41 UTC) multi-call binary.                                                                           
BusyBox is copyrighted by many authors between 1998-2015.                                                                              
Licensed under GPLv2. See source distribution for detailed                                                                             
copyright notices.                                                                                                                     
                                                                                                                                      
Usage: busybox [function [arguments]...]                                                                                               
  or: busybox --list[-full]                                                                                                           
  or: busybox --show SCRIPT                                                                                                           
  or: busybox --install [-s] [DIR]                                                                                                    
  or: function [arguments]...
...

[ Erste Schritte mit Containern? Schauen Sie sich diesen kostenlosen Kurs an. Containerisierte Anwendungen bereitstellen:Eine technische Übersicht. ]

Rootless Podman ohne das privilegierte Flag

Um das Privileged-Flag zu entfernen, müssen wir Folgendes tun:

• Geräte:/dev/fuse erforderlich ist, um fuse-overlayfs innerhalb des Containers zu verwenden, weist diese Option Podman auf dem Host an, /dev/fuse hinzuzufügen in den Container, damit der containerisierte Podman ihn verwenden kann.
• SELinux deaktivieren:SELinux erlaubt es nicht, dass containerisierte Prozesse alle Dateisysteme einhängen, die für die Ausführung in einem Container erforderlich sind. Daher müssen wir SELinux auf dem Host deaktivieren, auf dem der Kubernetes-Cluster ausgeführt wird.

Um ein Gerät in Kubernetes mounten zu können, müssen Sie zuerst ein Geräte-Plugin erstellen und dieses dann in der Pod-Spezifikation verwenden.

Hier ist ein Beispiel für ein Geräte-Plugin für /dev/fuse :https://github.com/kuberenetes-learning-group/fuse-device-plugin/blob/main/fuse-device-plugin-k8s-1.16.yml.

apiVersion: apps/v1
kind: DaemonSet
metadata:
 name: fuse-device-plugin-daemonset
 namespace: kube-system
spec:
 selector:
   matchLabels:
     name: fuse-device-plugin-ds
 template:
   metadata:
     labels:
       name: fuse-device-plugin-ds
   spec:
     hostNetwork: true
     containers:
     - image: soolaugust/fuse-device-plugin:v1.0
       name: fuse-device-plugin-ctr
       securityContext:
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
       volumeMounts:
         - name: device-plugin
           mountPath: /var/lib/kubelet/device-plugins
     volumes:
       - name: device-plugin
         hostPath:
           path: /var/lib/kubelet/device-plugins
     imagePullSecrets:
       - name: registry-secret

Hier ist die YAML-Datei:rootless-no-priv.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: no-priv
spec:
 containers:
   - name: no-priv
     image: quay.io/podman/stable
     args:
       - sleep
       - "1000000"
     securityContext:
       runAsUser: 1000
     resources:
       limits:
         github.com/fuse: 1
     volumeMounts:
       - mountPath: /home/podman/.local/share/containers
         name: podman-local
 volumes:
   - name: podman-local
     hostPath:
       path: /home/umohnani/.local/share/containers

✗ kubectl exec -it no-priv -- sh          
sh-5.0$ id
uid=1000(podman) gid=1000(podman) groups=1000(podman)

sh-5.0$ podman run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob 55eda7743468 done 
Copying blob 4b21dcdd136d done 
Copying config 613e5da7a9 done 
Writing manifest to image destination
Storing signatures
hello
 
sh-5.1$ cat containerfile
FROM ubi8
RUN echo "hello"
ENV foo=bar
 
sh-5.1$ podman build --isolation chroot -t myimage -f containerfile .                                                               
STEP 1: FROM ubi8                                                                                                                 
STEP 2: RUN echo "hello"                                                                                                            
hello                                                                                                                              
--> 096250be78f                                                                                                                   
STEP 3: ENV foo=bar                                                                                                                
STEP 4: COMMIT myimage                                                                                                             
--> ea849ac9875                                                                                                                    
Ea849ac9875eb926d743362bce2e32e90d34fda7a88f28ebd6a1a546db99338f
 
sh-5.1$ podman images
REPOSITORY                   	TAG 	IMAGE ID  	CREATED     	SIZE
localhost/myimage            	latest  ea849ac9875e  41 seconds ago  245 MB
registry.access.redhat.com/ubi8  latest  0724f7c987a7  3 weeks ago 	245 MB

Rootful Podman ohne das privilegierte Flag

Erstellen Sie Ihr Geräte-Plugin wie oben gezeigt.

Dazu müssen Sie die folgenden Funktionen hinzufügen:

• CAP_SYS_ADMIN wird benötigt, damit der Podman als root innerhalb des Containers läuft, um die erforderlichen Dateisysteme zu mounten.
• CAP_MKNOD ist erforderlich, damit Podman als Root innerhalb des Containers ausgeführt wird, um die Geräte in /dev. zu erstellen (Beachten Sie, dass Docker dies standardmäßig zulässt).
• CAP_SYS_CHROOT und CAP_SETFCAP sind erforderlich, da sie Teil der Standardliste der Funktionen in Podman sind, und wenn Sie einen Podman-Befehl ausführen, fügt er die erforderlichen Funktionen hinzu, wenn Sie also Ihren k8s pod ausführen Ohne diese Fähigkeit schlägt Podman fehl.

Hier ist die YAML-Datei:rootful-no-priv.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: no-priv-rootful
spec:
 containers:
   - name: no-priv-rootful
     image: quay.io/podman/stable
     args:
       - sleep
       - "1000000"
     securityContext:
       capabilities:
         add:
           - "SYS_ADMIN"
           - "MKNOD"
           - "SYS_CHROOT"
           - "SETFCAP"
     resources:
       limits:
         github.com/fuse: 1

✗ kubectl exec -it no-priv-rootful -- sh
sh-5.0# id
uid=0(root) gid=0(root) groups=0(root)

sh-5.0# podman run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob 55eda7743468 done
Copying blob 4b21dcdd136d done
Copying config 613e5da7a9 done
Writing manifest to image destination
Storing signatures
hello

Podman-remote in einem Kubernetes-Pod, wobei der Podman-Socket auf dem Host ausgeführt wird

Sie müssen Folgendes tun, um diesen Anwendungsfall einzurichten:

• Deaktivieren Sie SELinux auf dem Host.
• Folgen Sie diesem Artikel, um den Podman-Socket auf Ihrem Host zu aktivieren.

Hier ist die YAML-Datei:remote.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: podman-remote
spec:
 containers:
   - name: remote
     image: quay.io/podman/stable
     args:
       - sleep
       - "1000000"
     volumeMounts:
         - mountPath: /var/run/podman
           name: podman-sock
 volumes:
   - name: podman-sock
     hostPath:
         path: /var/run/podman

Wir lecken den Podman-Socket, der auf dem Host läuft, in den Pod, indem wir ein Volume-Mount dafür erstellen.

✗ kubectl exec -it podman-remote -- sh
sh-5.0# id
uid=0(root) gid=0(root) groups=0(root

sh-5.0# podman --remote run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob sha256:55eda774346862e410811e3fa91cefe805bc11ff46fad425dd1b712709c05bbc
Copying blob sha256:4b21dcdd136d133a4df0840e656af2f488c226dd384a98b89ced79064a4081b4
Copying config sha256:613e5da7a934e1963e37ed935917e8be6b8dfd90cac73a724ddc224fbf16da20
Writing manifest to image destination
Storing signatures
hello

Builds mit dem Podman-Socket, der in den Container gelangt ist:

sh-5.0# cat /home/podman/Containerfile
FROM fedora
RUN dnf install -y busybox
ENV foo=bar

sh-5.0# podman --remote build -t myimage -f Containerfile .                                                                           
STEP 1: FROM fedora                                                                                                                   
STEP 2: RUN dnf install -y busybox                                                                                                  
Fedora 33 openh264 (From Cisco) - x86_64 4.7 kB/s | 2.5 kB 00:00                                                           
Fedora Modular 33 - x86_64 1.8 MB/s | 3.3 MB 00:01                                                            
Fedora Modular 33 - x86_64 - Updates 5.2 MB/s | 3.1 MB 00:00                                                           
Fedora 33 - x86_64 - Updates 4.3 MB/s | 27 MB    
00:06                                                            
Fedora 33 - x86_64 1.0 MB/s | 72 MB    
01:13                                                           
Dependencies resolved.
...
Installed:
 busybox-1:1.32.1-1.fc33.x86_64                                               

Complete!
--> 6ef78b975e1
STEP 3: ENV foo=bar
STEP 4: COMMIT myimage
--> 481c5a0e453
481c5a0e4534573a3872f7cc1ff6806a3ce143edce2ed39568d23efe6f65a292

sh-5.0# podman --remote images
REPOSITORY TAG IMAGE ID CREATED SIZE
localhost/myimage latest 481c5a0e4534 
2 minutes ago 427 MB
registry.fedoraproject.org/fedora latest 
9f2a56037643 3 months ago 182 MB

sh-5.0# podman --remote run myimage busybox                                                                                           
BusyBox v1.32.1 (2021-03-22 18:56:41 UTC) multi-call binary.                                                   

BusyBox is copyrighted by many authors between 1998-2015.                                                                             
Licensed under GPLv2. See source distribution for detailed                                                                             
copyright notices.                                                                                                                    

Usage: busybox [function [arguments]...]                                                                                              
  or: busybox --list[-full]                                                                                                           
  or: busybox --show SCRIPT                                                                                                          
  or: busybox --install [-s] [DIR]                
  or: function [arguments]...  

...

[ Lernen Sie die Grundlagen der Verwendung von Kubernetes in diesem kostenlosen Spickzettel. ]

Podman in einem gesperrten Container mit Benutzernamensräumen in Kubernetes

Dies funktioniert nur, wenn Sie CRI-O als Laufzeit-Engine für Ihren Kubernetes-Cluster verwenden.

Wir müssen die Benutzer hinzufügen Anmerkung zur Laufzeit (z. B. runc , crun , kata , usw.), die Sie mit CRI-O verwenden werden.

[crio.runtime.runtimes.runc]
runtime_path = ""
runtime_type = "oci"
runtime_root = "/run/runc"
allowed_annotations = [
       "io.containers.trace-syscall",
       "io.kubernetes.cri-o.userns-mode",
]

Fügen Sie die Podman-UID/GID-Bereiche zu subuid hinzu und subgid Dateien auf dem Host.

✗ cat /etc/subuid
umohnani:100000:65536
containers:200000:268435456

✗ cat /etc/subgid
umohnani:100000:65536
containers:200000:268435456

Starten Sie CRI-O danach neu und starten Sie dann Ihren Kubernetes-Cluster:

✗ sudo systemctl restart cri-o

✗ ./local-cluster-up.sh

Da wir dies ohne ausführen das Privileged-Flag, müssen wir /dev/fuse einhängen , wie in den obigen Beispielen gezeigt. Erstellen Sie also Ihr /dev/fuse Geräte-Plugin, das in der Pod-Spezifikation verwendet werden soll.

Hier ist die YAML-Datei:userns.yaml :

apiVersion: v1
kind: Pod
metadata:
 name: podman-userns
 annotations:
   io.kubernetes.cri-o.userns-mode: "auto:size=65536;keep-id=true"
spec:
 containers:
   - name: userns
     image: quay.io/podman/stable
     command: ["sleep", "10000"]
     securityContext:
       capabilities:
         add:
           - "SYS_ADMIN"
           - "MKNOD"
           - "SYS_CHROOT"
           - "SETFCAP"
     resources:
       limits:
         github.com/fuse: 1

Wir haben die Benutzer hinzugefügt Anmerkung zur Podspec, die den Bereich der zu verwendenden UIDs/GIDs angibt und welche ID im Container festgelegt werden soll – in diesem Fall wird sie auf den Root-Benutzer festgelegt.

✗ kubectl exec -it podman-userns -- sh
sh-5.0# id
uid=0(root) gid=0(root) groups=0(root)

sh-5.0# cat /proc/self/uid_map
        0     265536      65536

sh-5.0# cat /proc/self/gid_map
        0     265536      65536

sh-5.0# podman run ubi8 echo hello
Resolved "ubi8" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)
Trying to pull registry.access.redhat.com/ubi8:latest...
Getting image source signatures
Copying blob 4b21dcdd136d done 
Copying blob 55eda7743468 done 
Copying config 613e5da7a9 done 
Writing manifest to image destination
Storing signatures
hello

Baut mit rootful Podman in einem gesperrten Container mit Benutzernamensräumen

sh-5.0# cat Containerfile
FROM fedora
RUN dnf install -y busybox
ENV foo=bar
 
sh-5.0# podman build -t myimage -f Containerfile .                                                                                     
STEP 1: FROM fedora                                                                                                                    
Resolved "fedora" as an alias (/etc/containers/registries.conf.d/000-shortnames.conf)                                                  
Getting image source signatures                                                                                                        
Copying blob 157ab8011454 done                                                                                                         
Copying config 9f2a560376 done                                                                                                         
Writing manifest to image destination                                                                                                  
Storing signatures                                                                                                                     

STEP 2: RUN dnf install -y busybox                                                                                                     
Fedora 33 openh264 (From Cisco) - x86_64        764  B/s | 2.5 kB     00:03                                                            
Fedora Modular 33 - x86_64                      348 kB/s | 3.3 MB     00:09                                                            
Fedora Modular 33 - x86_64 - Updates            2.2 MB/s | 3.1 MB     00:01                                                            
Fedora 33 - x86_64 - Updates                     11 MB/s |  27 MB     00:02                                                            
Fedora 33 - x86_64                              2.1 MB/s |  72 MB     00:34                                                            
Dependencies resolved.       
...
Installed:
 busybox-1:1.32.1-1.fc33.x86_64                                                
 
Complete!
--> 1b0633e5309

STEP 3: ENV foo=bar

STEP 4: COMMIT myimage
--> 2212a101136
2212a1011369ee7e6a4a5d4c15a56fc531a5d43ac24f49d432730c620cec4378
 
sh-5.0# podman images                                                                                                                  
REPOSITORY                         TAG     IMAGE ID      CREATED             SIZE                                                      
localhost/myimage                  latest  2212a1011369  About a minute ago  427 MB                                                    
registry.fedoraproject.org/fedora  latest  9f2a56037643  3 months ago        182 MB
 
sh-5.0# podman run myimage busybox                                                                                                     
BusyBox v1.32.1 (2021-03-22 18:56:41 UTC) multi-call binary.                                                                           
BusyBox is copyrighted by many authors between 1998-2015.                                                                              
Licensed under GPLv2. See source distribution for detailed                                                                             
copyright notices.                                                                                                                     
                                                                                                                                      
Usage: busybox [function [arguments]...]                                                                                               
  or: busybox --list[-full]                                                                                                           
  or: busybox --show SCRIPT                                                                                                           
  or: busybox --install [-s] [DIR]                                                                                                    
  or: function [arguments]...
... 

Abschließende Gedanken

Hier, in Teil zwei der Artikelserie, habe ich verschiedene Anwendungsfälle im Zusammenhang mit Podman- und Kubernetes-Interaktionen demonstriert. Viele der Auswahlmöglichkeiten ähneln denen, die wir im ersten Artikel mit Podman in Podman gesehen haben.

[ Holen Sie sich dieses kostenlose Buch von Red Hat und O'Reilly – Kubernetes Operators:Automating the Container Orchestration Platform. ]

Serienabschluss

Es ist üblich, dass das Podman-Team Fragen zur Ausführung von Podman in Containern beantwortet. Es gibt viele mögliche Ansätze dafür, mit verschiedenen damit verbundenen Sicherheitsbedenken.

Eines der größten Unterscheidungsmerkmale ist Podman auf Podman oder Podman innerhalb von Kubernetes, zusammen mit der Art und Weise, wie Docker in die Diskussion eingreift.

Wenn Sie mit der Implementierung von Podman in diesen Szenarien beginnen, vergessen Sie nicht die am Anfang von Artikel 1 besprochenen Informationen zu Berechtigungen, und wägen Sie unbedingt die Überlegungen zu --privileged ab Flagge. Wenden Sie sich für weitere Informationen an das Podman-Team.

Vergessen Sie nicht, dass Enable Sysadmin viele Podman-Inhalte enthält.