[DCAE-HV-VES] Move to use strimzi kafka tpl
[oom.git] / kubernetes / dcaegen2-services / common / dcaegen2-services-common / templates / _deployment.tpl
1 {{/*
2 #============LICENSE_START========================================================
3 # ================================================================================
4 # Copyright (c) 2021-2022 J. F. Lucas. All rights reserved.
5 # Copyright (c) 2021 AT&T Intellectual Property. All rights reserved.
6 # Copyright (c) 2021 Nokia. All rights reserved.
7 # Copyright (c) 2021 Nordix Foundation.
8 # ================================================================================
9 # Licensed under the Apache License, Version 2.0 (the "License");
10 # you may not use this file except in compliance with the License.
11 # You may obtain a copy of the License at
12 #
13 #     http://www.apache.org/licenses/LICENSE-2.0
14 #
15 # Unless required by applicable law or agreed to in writing, software
16 # distributed under the License is distributed on an "AS IS" BASIS,
17 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
18 # See the License for the specific language governing permissions and
19 # limitations under the License.
20 # ============LICENSE_END=========================================================
21 */}}
22 {{/*
23 For internal use only!
24
25 dcaegen2-services-common._ms-specific-env-vars:
26 This template generates a list of microservice-specific environment variables
27 as specified in .Values.applicationEnv.  The
28 dcaegen2-services-common.microServiceDeployment uses this template
29 to add the microservice-specific environment variables to the microservice's container.
30 These environment variables are in addition to a standard set of environment variables
31 provided to all microservices.
32
33 The template expects a single argument, pointing to the caller's global context.
34
35 Microservice-specific environment variables can be specified in two ways:
36   1. As literal string values. (The values can also be Helm template fragments.)
37   2. As values that are sourced from a secret, identified by the secret's
38      uid and the key within the secret that provides the value.
39
40 The following example shows an example of each type.  The example assumes
41 that a secret has been created using the OOM common secret mechanism, with
42 a secret uid "example-secret" and a key called "password".
43
44 applicationEnv:
45   APPLICATION_PASSWORD:
46     secretUid: example-secret
47     key: password
48   APPLICATION_EXAMPLE: "An example value"
49
50 The example would set two environment variables on the microservice's container,
51 one called "APPLICATION_PASSWORD" with the value set from the "password" key in
52 the secret with uid "example-secret", and one called "APPLICATION_EXAMPLE" set to
53 the the literal string "An example value".
54 */}}
55 {{- define "dcaegen2-services-common._ms-specific-env-vars" -}}
56   {{- $global := . }}
57   {{- if .Values.applicationEnv }}
58     {{- range $envName, $envValue := .Values.applicationEnv }}
59       {{- if kindIs "string" $envValue }}
60 - name: {{ $envName }}
61   value: {{ tpl $envValue $global | quote }}
62       {{- else }}
63         {{- if and (hasKey $envValue "externalSecret") ($envValue.externalSecret) }}
64 - name: {{ $envName }}
65   valueFrom:
66     secretKeyRef:
67       name: {{ tpl $envValue.externalSecretUid $global | quote }}
68       key: {{ tpl $envValue.key $global | quote }}
69         {{- else }}
70           {{ if or (not $envValue.secretUid) (not $envValue.key) }}
71             {{ fail (printf "Env %s definition is not a string and does not contain secretUid or key fields" $envName) }}
72           {{- end }}
73 - name: {{ $envName }}
74   {{- include "common.secret.envFromSecretFast" (dict "global" $global "uid" $envValue.secretUid "key" $envValue.key) | indent 2 }}
75         {{- end }}
76       {{- end -}}
77     {{- end }}
78   {{- end }}
79 {{- end -}}
80 {{/*
81 For internal use only!
82
83 dcaegen2-services-common._externalVolumes:
84 This template generates a list of volumes associated with the pod,
85 based on information provided in .Values.externalVolumes.  This
86 template works in conjunction with dcaegen2-services-common._externalVolumeMounts
87 to give the microservice access to data in volumes created else.
88 This initial implementation supports ConfigMaps only, as this is the only
89 external volume mounting required by current microservices.
90
91 .Values.externalVolumes is a list of objects.  Each object has 3 required fields and 2 optional fields:
92    - name: the name of the resource (in the current implementation, it must be a ConfigMap)
93      that is to be set up as a volume.  The value is a case sensitive string.  Because the
94      names of resources are sometimes set at deployment time (for instance, to prefix the Helm
95      release to the name), the string can be a Helm template fragment that will be expanded at
96      deployment time.
97    - type: the type of the resource (in the current implementation, only "ConfigMap" is supported).
98      The value is a case-INsensitive string.
99    - mountPoint: the path to the mount point for the volume in the container file system.  The
100      value is a case-sensitive string.
101    - readOnly: (Optional) Boolean flag.  Set to true to mount the volume as read-only.
102      Defaults to false.
103    - optional: (Optional) Boolean flag.  Set to true to make the configMap optional (i.e., to allow the
104      microservice's pod to start even if the configMap doesn't exist).  If set to false, the configMap must
105      be present in order for the microservice's pod to start. Defaults to true.  (Note that this
106      default is the opposite of the Kubernetes default.  We've done this to be consistent with the behavior
107      of the DCAE Cloudify plugin for Kubernetes [k8splugin], which always set "optional" to true.)
108
109 Here is an example fragment from a values.yaml file for a microservice:
110
111 externalVolumes:
112   - name: my-example-configmap
113     type: configmap
114     mountPath: /opt/app/config
115   - name: '{{ include "common.release" . }}-another-example'
116     type: configmap
117     mountPath: /opt/app/otherconfig
118     optional: false
119 */}}
120 {{- define "dcaegen2-services-common._externalVolumes" -}}
121   {{- $global := . -}}
122   {{- if .Values.externalVolumes }}
123     {{- range $vol := .Values.externalVolumes }}
124       {{- if eq (lower $vol.type) "configmap" }}
125         {{- $vname := (tpl $vol.name $global) -}}
126         {{- $opt := hasKey $vol "optional" | ternary $vol.optional true }}
127 - configMap:
128     defaultMode: 420
129     name: {{ $vname }}
130     optional: {{ $opt }}
131   name: {{ $vname }}
132       {{- end }}
133     {{- end }}
134   {{- end }}
135 {{- end }}
136 {{/*
137 For internal use only!
138
139 dcaegen2-services-common._externalVolumeMounts:
140 This template generates a list of volume mounts for the microservice container,
141 based on information provided in .Values.externalVolumes.  This
142 template works in conjunction with dcaegen2-services-common._externalVolumes
143 to give the microservice access to data in volumes created else.
144 This initial implementation supports ConfigMaps only, as this is the only
145 external volume mounting required by current microservices.
146
147 See the documentation for dcaegen2-services-common._externalVolumes for
148 details on how external volumes are specified in the values.yaml file for
149 the microservice.
150 */}}
151 {{- define "dcaegen2-services-common._externalVolumeMounts" -}}
152   {{- $global := . -}}
153   {{- if .Values.externalVolumes }}
154     {{- range $vol := .Values.externalVolumes }}
155       {{- if eq (lower $vol.type) "configmap" }}
156         {{- $vname := (tpl $vol.name $global) -}}
157         {{- $readOnly := $vol.readOnly | default false }}
158 - mountPath: {{ $vol.mountPath }}
159   name: {{ $vname }}
160   readOnly: {{ $readOnly }}
161       {{- end }}
162     {{- end }}
163   {{- end }}
164 {{- end }}
165 {{/*
166 dcaegen2-services-common.microserviceDeployment:
167 This template produces a Kubernetes Deployment for a DCAE microservice.
168
169 All DCAE microservices currently use very similar Deployments.  Having a
170 common template eliminates a lot of repetition in the individual charts
171 for each microservice.
172
173 The template expects the full chart context as input.  A chart for a
174 DCAE microservice references this template using:
175 {{ include "dcaegen2-services-common.microserviceDeployment" . }}
176 The template directly references data in .Values, and indirectly (through its
177 use of templates from the ONAP "common" collection) references data in
178 .Release.
179
180 The exact content of the Deployment generated from this template
181 depends on the content of .Values.
182
183 The Deployment always includes a single Pod, with a container that uses
184 the DCAE microservice image.  The image name and tag are specified by
185 .Values.image.  By default, the image comes from the ONAP repository
186 (registry) set up by the common repositoryGenerator template.  A different
187 repository for the microservice image can be set using
188 .Values.imageRepositoryOverride.   Note that this repository must not
189 require authentication, because there is no way to specify credentials for
190 the override repository.  imageRepositoryOverride is intended primarily
191 for testing purposes.
192
193 The Deployment Pod may also include a logging sidecar container.
194 The sidecar is included if .Values.log.path is set.  The
195 logging sidecar and the DCAE microservice container share a
196 volume where the microservice logs are written.
197
198 Deployed POD may also include a Policy-sync sidecar container.
199 The sidecar is included if .Values.policies is set.  The
200 Policy-sync sidecar polls PolicyEngine (PDP) periodically based
201 on .Values.policies.duration and configuration retrieved is shared with
202 DCAE Microservice container by common volume. Policy can be retrieved based on
203 list of policyID or filter. An optional policyRelease parameter can be specified
204 to override the default policy helm release (used for retreiving the secret containing
205 pdp username and password)
206
207 Following is example policy config override
208
209 dcaePolicySyncImage: onap/org.onap.dcaegen2.deployments.dcae-services-policy-sync:1.0.1
210 policies:
211   duration: 300
212   policyRelease: "onap"
213   policyID: |
214     '["onap.vfirewall.tca","onap.vdns.tca"]'
215
216 The Deployment includes an initContainer that checks for the
217 readiness of other components that the microservice relies on.
218 This container is generated by the "common.readinessCheck.waitfor"
219 template. See the documentation for this template
220 (oom/kubernetes/common/readinessCheck/templates/_readinessCheck.tpl).
221
222 If the microservice uses a DMaaP Data Router (DR) feed, the Deployment
223 includes an initContainer that makes provisioning requests to the DMaaP
224 bus controller (dmaap-bc) to create the feed and to set up a publisher
225 and/or subscriber to the feed.  The Deployment also includes a second
226 initContainer that merges the information returned by the provisioning
227 process into the microservice's configuration.  See the documentation for
228 the common DMaaP provisioning template
229 (oom/kubernetes/common/common/templates/_dmaapProvisioning.tpl).
230
231 If the microservice acts as a TLS client or server, the Deployment will
232 include an initContainer that retrieves certificate information from
233 the AAF certificate manager.  The information is mounted at the
234 mount point specified in .Values.certDirectory.  If the microservice is
235 a TLS server (indicated by setting .Values.tlsServer to true), the
236 certificate information will include a server cert and key, in various
237 formats.  It will also include the AAF CA cert.   If the microservice is
238 a TLS client only (indicated by setting .Values.tlsServer to false), the
239 certificate information includes only the AAF CA cert.
240
241 If the microservice uses certificates from an external CMPv2 provider,
242 the Deployment will include an initContainer that performs certificate
243 post-processing.
244 */}}
245
246 {{- define "dcaegen2-services-common.microserviceDeployment" -}}
247 {{- $log := default dict .Values.log -}}
248 {{- $logDir :=  default "" $log.path -}}
249 {{- $certDir := (eq "true" (include "common.needTLS" .)) | ternary (default "" .Values.certDirectory . ) "" -}}
250 {{- $tlsServer := default "" .Values.tlsServer -}}
251 {{- $commonRelease :=  print (include "common.release" .) -}}
252 {{- $policy := default dict .Values.policies -}}
253 {{- $policyRls := default $commonRelease $policy.policyRelease -}}
254 {{- $drFeedConfig := default "" .Values.drFeedConfig -}}
255 {{- $dcaeName := print (include "common.fullname" .) }}
256 {{- $dcaeLabel := (dict "dcaeMicroserviceName" $dcaeName) -}}
257 {{- $dot := . -}}
258 apiVersion: apps/v1
259 kind: Deployment
260 metadata: {{- include "common.resourceMetadata" (dict "dot" $dot "labels" $dcaeLabel) | nindent 2 }}
261 spec:
262   replicas: 1
263   selector: {{- include "common.selectors" . | nindent 4 }}
264   template:
265     metadata: {{- include "common.templateMetadata" . | nindent 6 }}
266     spec:
267       initContainers:
268       {{- if .Values.readinessCheck }}
269       {{ include "common.readinessCheck.waitFor" . | indent 6 | trim }}
270       {{- end }}
271       {{- include "common.dmaap.provisioning.initContainer" . | nindent 6 }}
272       {{- if $certDir }}
273       - name: {{ include "common.name" . }}-aaf-init-readiness
274         image: {{ include "repositoryGenerator.image.readiness" . }}
275         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
276         command:
277         - /app/ready.py
278         args:
279         - --container-name
280         - aaf-cm
281         env:
282         - name: NAMESPACE
283           valueFrom:
284             fieldRef:
285               apiVersion: v1
286               fieldPath: metadata.namespace
287         resources:
288           limits:
289             cpu: 100m
290             memory: 100Mi
291           requests:
292             cpu: 3m
293             memory: 20Mi
294       - name: init-tls
295         image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.tlsImage }}
296         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
297         env:
298         - name: TLS_SERVER
299           value: {{ $tlsServer | quote }}
300         - name: POD_IP
301           valueFrom:
302             fieldRef:
303               apiVersion: v1
304               fieldPath: status.podIP
305         resources: {{ include "common.resources" . | nindent 10 }}
306         volumeMounts:
307         - mountPath: /opt/app/osaaf
308           name: tls-info
309       {{- end }}
310       {{ include "dcaegen2-services-common._certPostProcessor" .  | nindent 4 }}
311       containers:
312       - image: {{ default ( include "repositoryGenerator.repository" . ) .Values.imageRepositoryOverride }}/{{ .Values.image }}
313         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
314         name: {{ include "common.name" . }}
315         env:
316         {{- range $cred := .Values.credentials }}
317         - name: {{ $cred.name }}
318           {{- include "common.secret.envFromSecretFast" (dict "global" $ "uid" $cred.uid "key" $cred.key) | indent 10 }}
319         {{- end }}
320         {{- if $certDir }}
321         - name: DCAE_CA_CERTPATH
322           value: {{ $certDir }}/cacert.pem
323         {{- end }}
324         - name: CONSUL_HOST
325           value: consul-server.onap
326         - name: CONFIG_BINDING_SERVICE
327           value: config-binding-service
328         - name: CBS_CONFIG_URL
329           value: https://config-binding-service:10443/service_component_all/{{ include "common.name" . }}
330         - name: POD_IP
331           valueFrom:
332             fieldRef:
333               apiVersion: v1
334               fieldPath: status.podIP
335         {{- include "dcaegen2-services-common._ms-specific-env-vars" . | nindent 8 }}
336         {{- if .Values.service }}
337         ports: {{ include "common.containerPorts" . | nindent 10 }}
338         {{- end }}
339         {{- if .Values.readiness }}
340         readinessProbe:
341           initialDelaySeconds: {{ .Values.readiness.initialDelaySeconds | default 5 }}
342           periodSeconds: {{ .Values.readiness.periodSeconds | default 15 }}
343           timeoutSeconds: {{ .Values.readiness.timeoutSeconds | default 1 }}
344           {{- $probeType := .Values.readiness.type | default "httpGet" -}}
345           {{- if eq $probeType "httpGet" }}
346           httpGet:
347             scheme: {{ .Values.readiness.scheme }}
348             path: {{ .Values.readiness.path }}
349             port: {{ .Values.readiness.port }}
350           {{- end }}
351           {{- if eq $probeType "exec" }}
352           exec:
353             command:
354             {{- range $cmd := .Values.readiness.command }}
355             - {{ $cmd }}
356             {{- end }}
357           {{- end }}
358         {{- end }}
359         resources: {{ include "common.resources" . | nindent 10 }}
360         volumeMounts:
361         - mountPath: /app-config
362           name: {{ ternary "app-config-input" "app-config" (not $drFeedConfig) }}
363         - mountPath: /app-config-input
364           name: app-config-input
365         {{- if $logDir }}
366         - mountPath: {{ $logDir}}
367           name: logs
368         {{- end }}
369         {{- if $certDir }}
370         - mountPath: {{ $certDir }}
371           name: tls-info
372           {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
373           {{- include "common.certManager.volumeMountsReadOnly" . | nindent 8 -}}
374           {{- end -}}
375         {{- end }}
376         {{- if $policy }}
377         - name: policy-shared
378           mountPath: /etc/policies
379         {{- end }}
380         {{- include "dcaegen2-services-common._externalVolumeMounts" . | nindent 8 }}
381       {{- if $logDir }}
382       {{ include "common.log.sidecar" . | nindent 6 }}
383       {{- end }}
384       {{- if $policy }}
385       - image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.dcaePolicySyncImage }}
386         imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
387         name: policy-sync
388         env:
389         - name: POD_IP
390           valueFrom:
391             fieldRef:
392               apiVersion: v1
393               fieldPath: status.podIP
394         - name: POLICY_SYNC_PDP_USER
395           valueFrom:
396             secretKeyRef:
397               name: {{ $policyRls }}-policy-xacml-pdp-restserver-creds
398               key: login
399         - name: POLICY_SYNC_PDP_PASS
400           valueFrom:
401             secretKeyRef:
402               name: {{ $policyRls }}-policy-xacml-pdp-restserver-creds
403               key: password
404         - name: POLICY_SYNC_PDP_URL
405           value : http{{ if (include "common.needTLS" .) }}s{{ end }}://policy-xacml-pdp:6969
406         - name: POLICY_SYNC_OUTFILE
407           value : "/etc/policies/policies.json"
408         - name: POLICY_SYNC_V1_DECISION_ENDPOINT
409           value : "policy/pdpx/v1/decision"
410         {{- if $policy.filter }}
411         - name: POLICY_SYNC_FILTER
412           value: {{ $policy.filter }}
413         {{- end -}}
414         {{- if $policy.policyID }}
415         - name: POLICY_SYNC_ID
416           value: {{ $policy.policyID }}
417         {{- end -}}
418         {{- if $policy.duration }}
419         - name: POLICY_SYNC_DURATION
420           value: "{{ $policy.duration }}"
421         {{- end }}
422         resources: {{ include "common.resources" . | nindent 10 }}
423         volumeMounts:
424         - mountPath: /etc/policies
425           name: policy-shared
426         {{- if $certDir }}
427         - mountPath: /opt/ca-certificates/
428           name: tls-info
429         {{- end }}
430       {{- end }}
431       hostname: {{ include "common.name" . }}
432       serviceAccountName: {{ include "common.fullname" (dict "suffix" "read" "dot" . )}}
433       volumes:
434       - configMap:
435           defaultMode: 420
436           name: {{ include "common.fullname" . }}-application-config-configmap
437         name: app-config-input
438       - emptyDir:
439           medium: Memory
440         name: app-config
441       {{- if $logDir }}
442       - emptyDir: {}
443         name: logs
444       {{ include "common.log.volumes" (dict "dot" . "configMapNamePrefix" (tpl .Values.logConfigMapNamePrefix . )) | nindent 6 }}
445       {{- end }}
446       {{- if $certDir }}
447       - emptyDir: {}
448         name: tls-info
449         {{ if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
450         {{ include "common.certManager.volumesReadOnly" . | nindent 6 }}
451         {{- end }}
452       {{- end }}
453       {{- if $policy }}
454       - name: policy-shared
455         emptyDir: {}
456       {{- end }}
457       {{- include "common.dmaap.provisioning._volumes" . | nindent 6 -}}
458       {{- include "dcaegen2-services-common._externalVolumes" . | nindent 6 }}
459       imagePullSecrets:
460       - name: "{{ include "common.namespace" . }}-docker-registry-key"
461 {{ end -}}
462
463 {{/*
464   For internal use
465
466   Template to attach CertPostProcessor which merges CMPv2 truststore with AAF truststore
467   and swaps keystore files.
468 */}}
469 {{- define "dcaegen2-services-common._certPostProcessor" -}}
470   {{- $certDir := default "" .Values.certDirectory . -}}
471   {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
472     {{- $cmpv2Certificate := (index .Values.certificates 0) -}}
473     {{- $cmpv2CertificateDir := $cmpv2Certificate.mountPath -}}
474     {{- $certType := "pem" -}}
475     {{- if $cmpv2Certificate.keystore -}}
476       {{- $certType = (index $cmpv2Certificate.keystore.outputType 0) -}}
477     {{- end -}}
478     {{- $truststoresPaths := printf "%s/%s:%s/%s" $certDir "cacert.pem" $cmpv2CertificateDir "cacert.pem" -}}
479     {{- $truststoresPasswordPaths := ":" -}}
480     {{- $keystoreSourcePaths := printf "%s/%s:%s/%s" $cmpv2CertificateDir "cert.pem" $cmpv2CertificateDir "key.pem" -}}
481     {{- $keystoreDestinationPaths := printf "%s/%s:%s/%s" $certDir "cert.pem" $certDir "key.pem" -}}
482     {{- if not (eq $certType "pem") -}}
483       {{- $truststoresPaths = printf "%s/%s:%s/%s.%s" $certDir "trust.jks" $cmpv2CertificateDir "truststore" $certType -}}
484       {{- $truststoresPasswordPaths = printf "%s/%s:%s/%s" $certDir "trust.pass" $cmpv2CertificateDir "truststore.pass" -}}
485       {{- $keystoreSourcePaths = printf "%s/%s.%s:%s/%s" $cmpv2CertificateDir "keystore" $certType $cmpv2CertificateDir "keystore.pass" -}}
486       {{- $keystoreDestinationPaths = printf "%s/%s.%s:%s/%s.pass" $certDir "cert" $certType $certDir $certType -}}
487     {{- end }}
488   - name: cert-post-processor
489     image: {{ include "repositoryGenerator.repository" . }}/{{ .Values.certPostProcessorImage }}
490     imagePullPolicy: {{ .Values.global.pullPolicy | default .Values.pullPolicy }}
491     resources:
492       {{- include "common.resources" . | nindent 4 }}
493     volumeMounts:
494     - mountPath: {{ $certDir }}
495       name: tls-info
496       {{- include "common.certManager.volumeMountsReadOnly" . | nindent 4 }}
497     env:
498     - name: TRUSTSTORES_PATHS
499       value: {{ $truststoresPaths | quote}}
500     - name: TRUSTSTORES_PASSWORDS_PATHS
501       value: {{ $truststoresPasswordPaths | quote }}
502     - name: KEYSTORE_SOURCE_PATHS
503       value: {{ $keystoreSourcePaths | quote }}
504     - name: KEYSTORE_DESTINATION_PATHS
505       value: {{ $keystoreDestinationPaths | quote }}
506   {{- end }}
507 {{- end -}}
508
509 {{/*
510   Template returns string "true" if CMPv2 certificates should be used and nothing (so it can be used in with statements)
511   when they shouldn't. Example use:
512     {{- if (include "dcaegen2-services-common.shouldUseCmpv2Certificates" .) -}}
513
514 */}}
515 {{- define "dcaegen2-services-common.shouldUseCmpv2Certificates" -}}
516   {{- $certDir := default "" .Values.certDirectory . -}}
517   {{- if (and $certDir .Values.certificates .Values.global.cmpv2Enabled .Values.useCmpv2Certificates) -}}
518   true
519   {{- end -}}
520 {{- end -}}