kubernetes/dcaegen2-services/common/dcaegen2-services-common/templates/_deployment.tpl

   1 {{/*
   2 #============LICENSE_START========================================================
   3 # ================================================================================
   4 # Copyright (c) 2021-2022 J. F. Lucas. All rights reserved.
   5 # Copyright (c) 2021 AT&T Intellectual Property. All rights reserved.
   6 # Copyright (c) 2021 Nokia. All rights reserved.
   7 # Copyright (c) 2021 Nordix Foundation.
   8 # ================================================================================
   9 # Licensed under the Apache License, Version 2.0 (the "License");
  10 # you may not use this file except in compliance with the License.
  11 # You may obtain a copy of the License at
  12 #
  13 #     http://www.apache.org/licenses/LICENSE-2.0
  14 #
  15 # Unless required by applicable law or agreed to in writing, software
  16 # distributed under the License is distributed on an "AS IS" BASIS,
  17 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  18 # See the License for the specific language governing permissions and
  19 # limitations under the License.
  20 # ============LICENSE_END=========================================================
  21 */}}
  22 {{/*
  23 For internal use only!
  24
  25 dcaegen2-services-common._ms-specific-env-vars:
  26 This template generates a list of microservice-specific environment variables
  27 as specified in .Values.applicationEnv.  The
  28 dcaegen2-services-common.microServiceDeployment uses this template
  29 to add the microservice-specific environment variables to the microservice's container.
  30 These environment variables are in addition to a standard set of environment variables
  31 provided to all microservices.
  32
  33 The template expects a single argument, pointing to the caller's global context.
  34
  35 Microservice-specific environment variables can be specified in two ways:
  36   1. As literal string values. (The values can also be Helm template fragments.)
  37   2. As values that are sourced from a secret, identified by the secret's
  38      uid and the key within the secret that provides the value.
  39
  40 The following example shows an example of each type.  The example assumes
  41 that a secret has been created using the OOM common secret mechanism, with
  42 a secret uid "example-secret" and a key called "password".
  43
  44 applicationEnv:
  45   APPLICATION_PASSWORD:
  46     secretUid: example-secret
  47     key: password
  48   APPLICATION_EXAMPLE: "An example value"
  49
  50 The example would set two environment variables on the microservice's container,
  51 one called "APPLICATION_PASSWORD" with the value set from the "password" key in
  52 the secret with uid "example-secret", and one called "APPLICATION_EXAMPLE" set to
  53 the the literal string "An example value".
  54 */}}
  55 {{- define "dcaegen2-services-common._ms-specific-env-vars" -}}
  56   {{- $global := . }}
  57   {{- if .Values.applicationEnv }}
  58     {{- range $envName, $envValue := .Values.applicationEnv }}
  59       {{- if kindIs "string" $envValue }}
  60 - name: {{ $envName }}
  61   value: {{ tpl $envValue $global | quote }}
  62       {{- else }}
  63         {{ if or (not $envValue.secretUid) (not $envValue.key) }}
  64           {{ fail (printf "Env %s definition is not a string and does not contain secretUid or key fields" $envName) }}
  65         {{- end }}
  66 - name: {{ $envName }}
  67   {{- include "common.secret.envFromSecretFast" (dict "global" $global "uid" $envValue.secretUid "key" $envValue.key) | indent 2 }}
  68       {{- end -}}
  69     {{- end }}
  70   {{- end }}
  71 {{- end -}}
  72 {{/*
  73 For internal use only!
  74
  75 dcaegen2-services-common._externalVolumes:
  76 This template generates a list of volumes associated with the pod,
  77 based on information provided in .Values.externalVolumes.  This
  78 template works in conjunction with dcaegen2-services-common._externalVolumeMounts
  79 to give the microservice access to data in volumes created else.
  80 This initial implementation supports ConfigMaps only, as this is the only
  81 external volume mounting required by current microservices.
  82
  83 .Values.externalVolumes is a list of objects.  Each object has 3 required fields and 2 optional fields:
  84    - name: the name of the resource (in the current implementation, it must be a ConfigMap)
  85      that is to be set up as a volume.  The value is a case sensitive string.  Because the
  86      names of resources are sometimes set at deployment time (for instance, to prefix the Helm
  87      release to the name), the string can be a Helm template fragment that will be expanded at
  88      deployment time.
  89    - type: the type of the resource (in the current implementation, only "ConfigMap" is supported).
  90      The value is a case-INsensitive string.
  91    - mountPoint: the path to the mount point for the volume in the container file system.  The
  92      value is a case-sensitive string.
  93    - readOnly: (Optional) Boolean flag.  Set to true to mount the volume as read-only.
  94      Defaults to false.
  95    - optional: (Optional) Boolean flag.  Set to true to make the configMap optional (i.e., to allow the
  96      microservice's pod to start even if the configMap doesn't exist).  If set to false, the configMap must
  97      be present in order for the microservice's pod to start. Defaults to true.  (Note that this
  98      default is the opposite of the Kubernetes default.  We've done this to be consistent with the behavior
  99      of the DCAE Cloudify plugin for Kubernetes [k8splugin], which always set "optional" to true.)
 100
 101 Here is an example fragment from a values.yaml file for a microservice:
 102
 103 externalVolumes:
 104   - name: my-example-configmap
 105     type: configmap
 106     mountPath: /opt/app/config
 107   - name: '{{ include "common.release" . }}-another-example'
 108     type: configmap
 109     mountPath: /opt/app/otherconfig
 110     optional: false
 111 */}}
 112 {{- define "dcaegen2-services-common._externalVolumes" -}}
 113   {{- $global := . -}}
 114   {{- if .Values.externalVolumes }}
 115     {{- range $vol := .Values.externalVolumes }}
 116       {{- if eq (lower $vol.type) "configmap" }}
 117         {{- $vname := (tpl $vol.name $global) -}}
 118         {{- $opt := hasKey $vol "optional" | ternary $vol.optional true }}
 119 - configMap:
 120     defaultMode: 420
 121     name: {{ $vname }}
 122     optional: {{ $opt }}
 123   name: {{ $vname }}
 124       {{- end }}
 125     {{- end }}
 126   {{- end }}
 127 {{- end }}
 128 {{/*
 129 For internal use only!
 130
 131 dcaegen2-services-common._externalVolumeMounts:
 132 This template generates a list of volume mounts for the microservice container,
 133 based on information provided in .Values.externalVolumes.  This
 134 template works in conjunction with dcaegen2-services-common._externalVolumes
 135 to give the microservice access to data in volumes created else.
 136 This initial implementation supports ConfigMaps only, as this is the only
 137 external volume mounting required by current microservices.
 138
 139 See the documentation for dcaegen2-services-common._externalVolumes for
 140 details on how external volumes are specified in the values.yaml file for
 141 the microservice.
 142 */}}
 143 {{- define "dcaegen2-services-common._externalVolumeMounts" -}}
 144   {{- $global := . -}}
 145   {{- if .Values.externalVolumes }}
 146     {{- range $vol := .Values.externalVolumes }}
 147       {{- if eq (lower $vol.type) "configmap" }}
 148         {{- $vname := (tpl $vol.name $global) -}}
 149         {{- $readOnly := $vol.readOnly | default false }}
 150 - mountPath: {{ $vol.mountPath }}
 151   name: {{ $vname }}
 152   readOnly: {{ $readOnly }}
 153       {{- end }}
 154     {{- end }}
 155   {{- end }}
 156 {{- end }}
 157 {{/*
 158 dcaegen2-services-common.microserviceDeployment:
 159 This template produces a Kubernetes Deployment for a DCAE microservice.
 160
 161 All DCAE microservices currently use very similar Deployments.  Having a
 162 common template eliminates a lot of repetition in the individual charts
 163 for each microservice.
 164
 165 The template expects the full chart context as input.  A chart for a
 166 DCAE microservice references this template using:
 167 {{ include "dcaegen2-services-common.microserviceDeployment" . }}
 168 The template directly references data in .Values, and indirectly (through its
 169 use of templates from the ONAP "common" collection) references data in
 170 .Release.
 171
 172 The exact content of the Deployment generated from this template
 173 depends on the content of .Values.
 174
 175 The Deployment always includes a single Pod, with a container that uses
 176 the DCAE microservice image.  The image name and tag are specified by
 177 .Values.image.  By default, the image comes from the ONAP repository
 178 (registry) set up by the common repositoryGenerator template.  A different
 179 repository for the microservice image can be set using
 180 .Values.imageRepositoryOverride.   Note that this repository must not
 181 require authentication, because there is no way to specify credentials for
 182 the override repository.  imageRepositoryOverride is intended primarily
 183 for testing purposes.
 184
 185 The Deployment Pod may also include a logging sidecar container.
 186 The sidecar is included if .Values.log.path is set.  The
 187 logging sidecar and the DCAE microservice container share a
 188 volume where the microservice logs are written.
 189
 190 Deployed POD may also include a Policy-sync sidecar container.
 191 The sidecar is included if .Values.policies is set.  The
 192 Policy-sync sidecar polls PolicyEngine (PDP) periodically based
 193 on .Values.policies.duration and configuration retrieved is shared with
 194 DCAE Microservice container by common volume. Policy can be retrieved based on
 195 list of policyID or filter. An optional policyRelease parameter can be specified
 196 to override the default policy helm release (used for retreiving the secret containing
 197 pdp username and password)
 198
 199 Following is example policy config override
 200
 201 dcaePolicySyncImage: onap/org.onap.dcaegen2.deployments.dcae-services-policy-sync:1.0.1
 202 policies:
 203   duration: 300
 204   policyRelease: "onap"
 205   policyID: |
 206     '["onap.vfirewall.tca","onap.vdns.tca"]'
 207
 208 The Deployment includes an initContainer that checks for the
 209 readiness of other components that the microservice relies on.
 210 This container is generated by the "common.readinessCheck.waitfor"
 211 template. See the documentation for this template
 212 (oom/kubernetes/common/readinessCheck/templates/_readinessCheck.tpl).
 213
 214 If the microservice uses a DMaaP Data Router (DR) feed, the Deployment
 215 includes an initContainer that makes provisioning requests to the DMaaP
 216 bus controller (dmaap-bc) to create the feed and to set up a publisher
 217 and/or subscriber to the feed.  The Deployment also includes a second
 218 initContainer that merges the information returned by the provisioning
 219 process into the microservice's configuration.  See the documentation for
 220 the common DMaaP provisioning template
 221 (oom/kubernetes/common/common/templates/_dmaapProvisioning.tpl).
 222
 223 If the microservice acts as a TLS client or server, the Deployment will
 224 include an initContainer that retrieves certificate information from
 225 the AAF certificate manager.  The information is mounted at the
 226 mount point specified in .Values.certDirectory.  If the microservice is
 227 a TLS server (indicated by setting .Values.tlsServer to true), the
 228 certificate information will include a server cert and key, in various
 229 formats.  It will also include the AAF CA cert.   If the microservice is
 230 a TLS client only (indicated by setting .Values.tlsServer to false), the
 231 certificate information includes only the AAF CA cert.
 232
 233 If the microservice uses certificates from an external CMPv2 provider,
 234 the Deployment will include an initContainer that performs certificate
 235 post-processing.
 236 */}}
 237
 238 {{- define "dcaegen2-services-common.microserviceDeployment" -}}
 239 {{- $log := default dict .Values.log -}}
 240 {{- $logDir :=  default "" $log.path -}}
 241 {{- $certDir := (eq "true" (include "common.needTLS" .)) | ternary (default "" .Values.certDirectory . ) "" -}}
 242 {{- $tlsServer := default "" .Values.tlsServer -}}
 243 {{- $commonRelease :=  print (include "common.release" .) -}}
 244 {{- $policy := default dict .Values.policies -}}
 245 {{- $policyRls := default $commonRelease $policy.policyRelease -}}
 246 {{- $drFeedConfig := default "" .Values.drFeedConfig -}}
 247 {{- $dcaeName := print (include "common.fullname" .) }}
 248 {{- $dcaeLabel := (dict "dcaeMicroserviceName" $dcaeName) -}}
 249 {{- $dot := . -}}
 250 apiVersion: apps/v1
 251 kind: Deployment
 252 metadata: {{- include "common.resourceMetadata" (dict "dot" $dot "labels" $dcaeLabel) | nindent 2 }}
 253 spec:
 254   replicas: 1
 255   selector: {{- include "common.selectors" . | nindent 4 }}
 256   template:
 257     metadata: {{- include "common.templateMetadata" . | nindent 6 }}
 258     spec:
 259       initContainers:
 260       {{- if .Values.readinessCheck }}
 261       {{ include "common.readinessCheck.waitFor" . | indent 6 | trim }}
 262       {{- end }}
 263       {{- include "common.dmaap.provisioning.initContainer" . | nindent 6 }}
 264       {{- if $certDir }}
 265       - name: {{ include "common.name" . }}-aaf-init-readiness
 266         image: {{ include "repositoryGenerator.image.readiness" . }}
 267         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
 268         command:
 269         - /app/ready.py
 270         args:
 271         - --container-name
 272         - aaf-cm
 273         env:
 274         - name: NAMESPACE
 275           valueFrom:
 276             fieldRef:
 277               apiVersion: v1
 278               fieldPath: metadata.namespace
 279         resources:
 280           limits:
 281             cpu: 100m
 282             memory: 100Mi
 283           requests:
 284             cpu: 3m
 285             memory: 20Mi
 286       - name: init-tls
 287         image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.tlsImage }}
 288         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
 289         env:
 290         - name: TLS_SERVER
 291           value: {{ $tlsServer | quote }}
 292         - name: POD_IP
 293           valueFrom:
 294             fieldRef:
 295               apiVersion: v1
 296               fieldPath: status.podIP
 297         resources: {{ include "common.resources" . | nindent 2 }}
 298         volumeMounts:
 299         - mountPath: /opt/app/osaaf
 300           name: tls-info
 301       {{- end }}
 302       {{ include "dcaegen2-services-common._certPostProcessor" .  | nindent 4 }}
 303       containers:
 304       - image: {{ default ( include "repositoryGenerator.repository" . ) .Values.imageRepositoryOverride }}/{{ .Values.image }}
 305         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
 306         name: {{ include "common.name" . }}
 307         env:
 308         {{- range $cred := .Values.credentials }}
 309         - name: {{ $cred.name }}
 310           {{- include "common.secret.envFromSecretFast" (dict "global" $ "uid" $cred.uid "key" $cred.key) | indent 10 }}
 311         {{- end }}
 312         {{- if $certDir }}
 313         - name: DCAE_CA_CERTPATH
 314           value: {{ $certDir }}/cacert.pem
 315         {{- end }}
 316         - name: CONSUL_HOST
 317           value: consul-server.onap
 318         - name: CONFIG_BINDING_SERVICE
 319           value: config-binding-service
 320         - name: CBS_CONFIG_URL
 321           value: https://config-binding-service:10443/service_component_all/{{ include "common.name" . }}
 322         - name: POD_IP
 323           valueFrom:
 324             fieldRef:
 325               apiVersion: v1
 326               fieldPath: status.podIP
 327         {{- include "dcaegen2-services-common._ms-specific-env-vars" . | nindent 8 }}
 328         {{- if .Values.service }}
 329         ports: {{ include "common.containerPorts" . | nindent 10 }}
 330         {{- end }}
 331         {{- if .Values.readiness }}
 332         readinessProbe:
 333           initialDelaySeconds: {{ .Values.readiness.initialDelaySeconds | default 5 }}
 334           periodSeconds: {{ .Values.readiness.periodSeconds | default 15 }}
 335           timeoutSeconds: {{ .Values.readiness.timeoutSeconds | default 1 }}
 336           {{- $probeType := .Values.readiness.type | default "httpGet" -}}
 337           {{- if eq $probeType "httpGet" }}
 338           httpGet:
 339             scheme: {{ .Values.readiness.scheme }}
 340             path: {{ .Values.readiness.path }}
 341             port: {{ .Values.readiness.port }}
 342           {{- end }}
 343           {{- if eq $probeType "exec" }}
 344           exec:
 345             command:
 346             {{- range $cmd := .Values.readiness.command }}
 347             - {{ $cmd }}
 348             {{- end }}
 349           {{- end }}
 350         {{- end }}
 351         resources: {{ include "common.resources" . | nindent 2 }}
 352         volumeMounts:
 353         - mountPath: /app-config
 354           name: {{ ternary "app-config-input" "app-config" (not $drFeedConfig) }}
 355         - mountPath: /app-config-input
 356           name: app-config-input
 357         {{- if $logDir }}
 358         - mountPath: {{ $logDir}}
 359           name: logs
 360         {{- end }}
 361         {{- if $certDir }}
 362         - mountPath: {{ $certDir }}
 363           name: tls-info
 364           {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
 365           {{- include "common.certManager.volumeMountsReadOnly" . | nindent 8 -}}
 366           {{- end -}}
 367         {{- end }}
 368         {{- if $policy }}
 369         - name: policy-shared
 370           mountPath: /etc/policies
 371         {{- end }}
 372         {{- include "dcaegen2-services-common._externalVolumeMounts" . | nindent 8 }}
 373       {{- if $logDir }}
 374       {{ include "common.log.sidecar" . | nindent 6 }}
 375       {{- end }}
 376       {{- if $policy }}
 377       - image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.dcaePolicySyncImage }}
 378         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
 379         name: policy-sync
 380         env:
 381         - name: POD_IP
 382           valueFrom:
 383             fieldRef:
 384               apiVersion: v1
 385               fieldPath: status.podIP
 386         - name: POLICY_SYNC_PDP_USER
 387           valueFrom:
 388             secretKeyRef:
 389               name: {{ $policyRls }}-policy-xacml-pdp-restserver-creds
 390               key: login
 391         - name: POLICY_SYNC_PDP_PASS
 392           valueFrom:
 393             secretKeyRef:
 394               name: {{ $policyRls }}-policy-xacml-pdp-restserver-creds
 395               key: password
 396         - name: POLICY_SYNC_PDP_URL
 397           value : http{{ if (include "common.needTLS" .) }}s{{ end }}://policy-xacml-pdp:6969
 398         - name: POLICY_SYNC_OUTFILE
 399           value : "/etc/policies/policies.json"
 400         - name: POLICY_SYNC_V1_DECISION_ENDPOINT
 401           value : "policy/pdpx/v1/decision"
 402         {{- if $policy.filter }}
 403         - name: POLICY_SYNC_FILTER
 404           value: {{ $policy.filter }}
 405         {{- end -}}
 406         {{- if $policy.policyID }}
 407         - name: POLICY_SYNC_ID
 408           value: {{ $policy.policyID }}
 409         {{- end -}}
 410         {{- if $policy.duration }}
 411         - name: POLICY_SYNC_DURATION
 412           value: "{{ $policy.duration }}"
 413         {{- end }}
 414         resources: {{ include "common.resources" . | nindent 2 }}
 415         volumeMounts:
 416         - mountPath: /etc/policies
 417           name: policy-shared
 418         {{- if $certDir }}
 419         - mountPath: /opt/ca-certificates/
 420           name: tls-info
 421         {{- end }}
 422       {{- end }}
 423       hostname: {{ include "common.name" . }}
 424       serviceAccountName: {{ include "common.fullname" (dict "suffix" "read" "dot" . )}}
 425       volumes:
 426       - configMap:
 427           defaultMode: 420
 428           name: {{ include "common.fullname" . }}-application-config-configmap
 429         name: app-config-input
 430       - emptyDir:
 431           medium: Memory
 432         name: app-config
 433       {{- if $logDir }}
 434       - emptyDir: {}
 435         name: logs
 436       {{ include "common.log.volumes" (dict "dot" . "configMapNamePrefix" (tpl .Values.logConfigMapNamePrefix . )) | nindent 6 }}
 437       {{- end }}
 438       {{- if $certDir }}
 439       - emptyDir: {}
 440         name: tls-info
 441         {{ if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
 442         {{ include "common.certManager.volumesReadOnly" . | nindent 6 }}
 443         {{- end }}
 444       {{- end }}
 445       {{- if $policy }}
 446       - name: policy-shared
 447         emptyDir: {}
 448       {{- end }}
 449       {{- include "common.dmaap.provisioning._volumes" . | nindent 6 -}}
 450       {{- include "dcaegen2-services-common._externalVolumes" . | nindent 6 }}
 451       imagePullSecrets:
 452       - name: "{{ include "common.namespace" . }}-docker-registry-key"
 453 {{ end -}}
 454
 455 {{/*
 456   For internal use
 457
 458   Template to attach CertPostProcessor which merges CMPv2 truststore with AAF truststore
 459   and swaps keystore files.
 460 */}}
 461 {{- define "dcaegen2-services-common._certPostProcessor" -}}
 462   {{- $certDir := default "" .Values.certDirectory . -}}
 463   {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
 464     {{- $cmpv2Certificate := (index .Values.certificates 0) -}}
 465     {{- $cmpv2CertificateDir := $cmpv2Certificate.mountPath -}}
 466     {{- $certType := "pem" -}}
 467     {{- if $cmpv2Certificate.keystore -}}
 468       {{- $certType = (index $cmpv2Certificate.keystore.outputType 0) -}}
 469     {{- end -}}
 470     {{- $truststoresPaths := printf "%s/%s:%s/%s" $certDir "cacert.pem" $cmpv2CertificateDir "cacert.pem" -}}
 471     {{- $truststoresPasswordPaths := ":" -}}
 472     {{- $keystoreSourcePaths := printf "%s/%s:%s/%s" $cmpv2CertificateDir "cert.pem" $cmpv2CertificateDir "key.pem" -}}
 473     {{- $keystoreDestinationPaths := printf "%s/%s:%s/%s" $certDir "cert.pem" $certDir "key.pem" -}}
 474     {{- if not (eq $certType "pem") -}}
 475       {{- $truststoresPaths = printf "%s/%s:%s/%s.%s" $certDir "trust.jks" $cmpv2CertificateDir "truststore" $certType -}}
 476       {{- $truststoresPasswordPaths = printf "%s/%s:%s/%s" $certDir "trust.pass" $cmpv2CertificateDir "truststore.pass" -}}
 477       {{- $keystoreSourcePaths = printf "%s/%s.%s:%s/%s" $cmpv2CertificateDir "keystore" $certType $cmpv2CertificateDir "keystore.pass" -}}
 478       {{- $keystoreDestinationPaths = printf "%s/%s.%s:%s/%s.pass" $certDir "cert" $certType $certDir $certType -}}
 479     {{- end }}
 480   - name: cert-post-processor
 481     image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.certPostProcessorImage }}
 482     imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
 483     resources:
 484       {{- include "common.resources" . | nindent 4 }}
 485     volumeMounts:
 486     - mountPath: {{ $certDir }}
 487       name: tls-info
 488       {{- include "common.certManager.volumeMountsReadOnly" . | nindent 4 }}
 489     env:
 490     - name: TRUSTSTORES_PATHS
 491       value: {{ $truststoresPaths | quote}}
 492     - name: TRUSTSTORES_PASSWORDS_PATHS
 493       value: {{ $truststoresPasswordPaths | quote }}
 494     - name: KEYSTORE_SOURCE_PATHS
 495       value: {{ $keystoreSourcePaths | quote }}
 496     - name: KEYSTORE_DESTINATION_PATHS
 497       value: {{ $keystoreDestinationPaths | quote }}
 498   {{- end }}
 499 {{- end -}}
 500
 501 {{/*
 502   Template returns string "true" if CMPv2 certificates should be used and nothing (so it can be used in with statements)
 503   when they shouldn't. Example use:
 504     {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
 505
 506 */}}
 507 {{- define "dcaegen2-services-common.shouldUseCmpv2Certificates" -}}
 508   {{- $certDir := default "" .Values.certDirectory . -}}
 509   {{- if (and $certDir .Values.certificates .Values.global.cmpv2Enabled .Values.useCmpv2Certificates) -}}
 510   true
 511   {{- end -}}
 512 {{- end -}}