Remove unused deployments/helm/v2/emco

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I42eed23905c848e5ea1ea829a129215817394448

Replace emco with openness-21.03 release

This change also installs emcoctl in the artifacts directory, similar
to what is done for kubectl by kubespray.

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I8447210487578ceeef61afc7c3e4d97905303c8a

Merge "Remove unused cmk kud vars"

Merge "Add nfd addon helm chart"

Merge "Add multus addon helm chart"

Merge "Add Makefile for addon helm charts"

Merge "Upgrade vagrant version from 2.4 to 2.2.14"

Merge "Use group libvirt instead of libvirtd"

Remove unused cmk kud vars

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I0c1d43de8506233eb62bde52641bb7fc95b422fc

Merge "Add X710 to iavf driver NICs"

Merge "Set helm stable repo URL value to updated URL"

Add X710 to iavf driver NICs

Issue-ID: MULTICLOUD-1336
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I7a0ee4302c020e6b7ec785d6a85af636b6a85ecc

Merge "Migrate to use Helm v3 libraries"

Update k8splugin snapshot image

Updated image tag to 0.9.0-SNAPSHOT

Issue-ID: MULTICLOUD-1294
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I052726df7d7fd7c58e39e157adb104db7d68a048

Merge "Add k8splugin releases file for 0.8.1"

Add k8splugin releases file for 0.8.1

Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Issue-ID: MULTICLOUD-1307
Issue-ID: MULTICLOUD-1308
Issue-ID: MULTICLOUD-1311
Change-Id: I4645cc1dd9c8e6dfcf2a5c27dddf09e4c8de5e5c

Migrate to use Helm v3 libraries

Moving to Helm v3. Updated unit tests.
Reworked Healthcheck Execution to align
with v3 design.
Helm v3 requires newer version for K8s
libraries. Moved to use version 0.19.4.

Issue-ID: MULTICLOUD-1295
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I091b75d69841dde56ad2c294cca2d5a0291ffa8f

Add multus addon helm chart

- Support for calico configuration is present but currently disabled.

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I2d2161564c4da2e165e5cf13cea92fae4935f8b2

Update k8splugin snapshot image

Update image version of k8splugin to 0.8.1-SNAPSHOT

Issue-ID: MULTICLOUD-1294
Signed-off-by: Lukasz Rajewski <lukasz.rajewski@orange.com>
Change-Id: I009da40eec82ad7fddb22018935928a62451c768

Add Makefile for addon helm charts

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I90a9cf23a8fb01cbc579d2b6670b476494c2a7bb

Merge "Fix Healthcheck API"

Fix Healthcheck API

Fix several issues related to Healthcheck creation.
Updated GET/DELETE methods to work properly.
This commit leaves few FIXME/TODOs that will be handled within Helm3
Rebase commit

Issue-ID: MULTICLOUD-1308
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I5da50363bb240fdc85d3624f43cb0526786da542

Add nfd addon helm chart

This change adds iavf, qat, and pci device labels to the node feature
discovery config.

Issue-ID: MULTICLOUD-1324
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ie6296caf898983149483ac581428f2c80405bca8

Set helm stable repo URL value to updated URL

Issue-ID: MULTICLOUD-1323
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Iac2046b6df4f76efc7f7745567740fffb9b8e72a

Use group libvirt instead of libvirtd

This fixes the following error when running ./setup.sh -p libvirt:

  usermod: group 'libvirtd' does not exist

Newer versions of Ubuntu appear to have renamed the libvirtd group to
libvirt.

Issue-ID: MULTICLOUD-1322
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I54ffc4558cb8945e8c9f9ca751518b20a6de64d0

Upgrade vagrant version from 2.4 to 2.2.14

This fixes the following error when running ./setup.sh -p libvirt:

  Installing the 'vagrant-libvirt' plugin. This can take a few minutes...
  Bundler, the underlying system Vagrant uses to install plugins,
  reported an error. The error is shown below. These errors are usually
  caused by misconfigured plugin installations or transient network
  issues. The error from Bundler is:

  nokogiri requires Ruby version < 3.1.dev, >= 2.5.

Issue-ID: MULTICLOUD-1321
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ia867df9df3ec1cc27e2f17df4a72ffc88f6bdf44

Merge "Correct Day2 Config Template creation response"

Correct Day2 Config Template creation response

Modified day2 config template handler to return metadata of created
configuration template on its creation.

Issue-ID: MULTICLOUD-1311
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I139486a41c7dbd67d414a07776e9a5d711d9887b

Remove Hooks field from InstanceResponse http resp json

Addition of hooks in instantiation response needs to be handled by other
parties or else it may break connectivity. Because currently Hooks
field doesn't provide any relevant public data, this change makes it
hidden.

Issue-ID: MULTICLOUD-1311
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I4ca522cf8c6409ddf71fe06de0b905cfdf219a2f

Merge "Correct Query API endpoint registration"

Merge "Enable plugin_fw.sh to preserve CNF after tests"

Correct get-pip.py url for python2.7

It turned out prior url has been further changed and pip is unavailable
by it.

Issue-ID: MULTICLOUD-1255
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Id5c9285f74bda17c28ac56de8a847ab74005beba

Enable plugin_fw.sh to preserve CNF after tests

Issue-ID: MULTICLOUD-1306
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Iea0c2e2a36adadc81860f622f04e85a389f53e0c

Correct Query API endpoint registration

Apart from corrections, corrected handling of name-only query requests
as well as provided bunch of UTs.

Issue-ID: MULTICLOUD-1307
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Ida3d3e434525f323bd8c40ddc7ffd58df9c5e831

Merge "Add k8splugin releases file for 0.8.0"

Add k8splugin releases file for 0.8.0

Add k8splugin releases file for 0.8.0

Issue-ID: MULTICLOUD-1294
Signed-off-by: Lukasz Rajewski <lukasz.rajewski@orange.com>
Change-Id: I30991d735fc96054b0fd726a42b3b1f7d69c7201

Provide Healthcheck API MVP

Implements basic functionality of running starting Healthcheck.
Results can be inspected so-far without dedicated API, by using, for
example, Query API.

Issue-ID: MULTICLOUD-1233
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Ia4d96d936d573173d7d8f41e6c39d059bf5f8b1f

Merge "Update k8splugin for H release"

Merge "Provide Query API for CNF Instances"

Provide Query API for CNF Instances

Query API doesn't directly use Status API code, in order to allow for
querying derived resources that might not be typically returned by
Status API like replicasets for deployment.

Issue-ID: MULTICLOUD-1305
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: If15adce23845880f3e6771cc8eab78a78ab13517

Update k8splugin for H release

Update image version of k8splugin to 0.8.0-SNAPSHOT
This will be then be used to create the release image

Issue-ID: MULTICLOUD-1294
Signed-off-by: Lukasz Rajewski <lukasz.rajewski@orange.com>
Change-Id: I0216c83ad9ffaa2cd11236b4462d01eed84b0764

Merge "Move Day2 Config Values API to new endpoint"

Correct pip url due to using python2.7

Issue-ID: MULTICLOUD-1255
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I800c4bdbe1fecc61f196ac3098910ae4278bf0cf

Move Day2 Config Values API to new endpoint

Issue-ID: MULTICLOUD-1280
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Ibeb0920b4ce083f4294b83c887fc7c793a2c3df5

get-pip.py error on Python 2.7

invalid syntax error when KUD is deployed
sys.stderr.write(f"ERROR: {exc}") SyntaxError: invalid syntax

Issue-ID: MULTICLOUD-1255
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Change-Id: Ia4ecbad5735617a5606cbce2ed93a58cb7322cb5

Merge "Fix the nodeSelector indent and define name"

Provide simple v3 chart mock test

Issue-ID: MULTICLOUD-1267
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Ib05167a6e0e2c69268bcd85c0ae3fa30fdd78e39

Rollback helm library to version not failing v3 charts

This change reverts fef2f1a959341d2abaea6dadaecccc4952c284c9 commit that
updated helm library to a version, that no longer allowed helm v3 charts
by explicitly failing when parsing them. Proper support of helm v3 is
still not implemented in k8splugin, but at least it shouldn't fail on v3
packages that don't implement v3-specific features.
Also apart from revert, go.mod/sum have been also tidied.

Issue-ID: MULTICLOUD-1267
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I992004d30802134039f0a6aca2d07a42db9c2459

Merge "MULTICLOUD-1257 updated gui flow"

Merge "Containerized base installation directory change"

Run all addon tests even when one fails

Previously the installer would exit immediately after a failure by one
of the addon tests.  Now, record the failure and run subsequent tests,
then exit if any fail.

Issue-ID: MULTICLOUD-1258
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I4fcad9b51b58277344de4fed0e40e87493dc3663

Merge "Fix broken virtlet image URL"

Merge "Fix sriov test in baremetal deploy"

Merge "Remove duplicate dict key"

Merge "Enable pod security policies"

Remove duplicate dict key

Issue-ID: MULTICLOUD-1262
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ie83fad2ad8146b3b33d3a3f0438ff7fe1ac4e475

Enable pod security policies

The intention with this change is to disable CAP_NET_RAW (which can be
a security vulnerability) for created Pods.

kubespray provides the podsecuritypolicy_enabled variable for enabling
privileged (for kube-system) and restricted (for everyone else)
policies.  Enabling this requires binding the KUD_ADDONs to the
privileged policy and specifying the security context correctly for
Pods running in the default namespace.

As of this change, the only difference between the privileged and
restricted security policies is the dropping of CAP_NET_RAW in the
restricted policy.  To use the default restricted policy provided with
kubespray, additional changes must be made to the Pods that are run in
the default namespace (such as runing as a non-root user, not
requesting privileged mode, etc.).

Issue-ID: MULTICLOUD-1256
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I7d6add122ad4046f9116ef03a249f5c9da1d7eec

Fix QAT addon deploy and test

Note that as mentioned in install_qat.sh, the kernel command line must
include "intel_iommu=on iommu=pt" for the deploy and test to succeed.

The underlying issue is that the playbook was expecting to be run on
the same host it executed on and was looking for files in the wrong
places.

Issue-ID: MULTICLOUD-1261
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I5f59b9147f34f077fcdc63d7fc5f80b56977054c

Fix sriov test in baremetal deploy

The test incorrectly checked the node running the test for sriov
feature support.  This fix now checks the cluster for it.

Issue-ID: MULTICLOUD-1260
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I869823cc062968c8ac7b9fa037d425244a03799c

Fix broken virtlet image URL

Issue-ID: MULTICLOUD-1259
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I92cc722818b9023b4aa29d191cf92e2c319f957b

MULTICLOUD-1257 updated gui flow

Issue-ID: MULTICLOUD-1257
Change-Id: I5c1432c037952abeed6066cb067192076031f9cd
Signed-off-by: vikaskumar <vkumar@aarnanetworks.com>

Fix the nodeSelector indent and define name

Deploy the sdewan controller on master node
Change sdewan-contoller-manager to sdewan-crd-controller

Issue-ID: MULTICLOUD-1253
Signed-off-by: Le Yao <le.yao@intel.com>
Change-Id: Ic55744914266278f1c344c10af587d41f4426918

Fix CrashLoopBackoff in emco-fluentd Pod

The emco-fluentd pod is stuck in CrashLoopBackOff due to a failure to
resolve the "cluster.local" name.  Explicitly set the
fluentd.clusterDomain value to the actual cluster name during helm
install.

Issue-ID: MULTICLOUD-1244
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ia6424e7ce8d4544511ad88c478e65fa8c4df0c52

Merge "Build and deploy sriov module only on supported hosts."

Merge "Update multus-daemonset.yml to that of multus-cni v3.6 release"

Merge "Upgrade kubespray from 2.12.6 to 2.14.1"

Merge "Update images used in onap4k8s and emco helm charts"

Merge "Use same host in both copy and run of deploy_optane.sh"

Merge "Ignore 404 when deleting non-existent project in emco.sh"

Merge "Wait for service to be listening before running tests"

Merge "Properly escape query string to jq"

Merge "Move test inside if block to prevent premature exit"

Merge "Fix typo in deployments/helm/v2/emco/Chart.yaml"

Improve early-detection of empty template

Previous empty template detection pattern matched only against templates
resolved to empty-or-whitespace-only files. This change makes it handle
other case of empty yaml correctly, namely, yaml containing comments
only.

Issue-ID: MULTICLOUD-1252
Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I9132e167ec607c8a4a4ca5584141ed043c6ddd4f

Update multus-daemonset.yml to that of multus-cni v3.6 release

The only change to the upstream yml is the removal of the
kube-multus-ds-ppc64le DaemonSet and the replacement of
"default-cni-network" with "cni0".

Note also that the v3.6 yml actually uses the v3.4.1 image tag.  The
yml now points to a v3.4.1 image with the addition of code to merge
the results from all delegates to support Virtlet.

Issue-ID: MULTICLOUD-1230
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I0e18644a567facfac1fd7dc1c053002b2d906288

Upgrade kubespray from 2.12.6 to 2.14.1

- Replace move of ansible.cfg from kubespray distribution to
  /etc/ansible with ANSIBLE_CONFIG environment variable.  Ansible
  modifies ansible.cfg during installation, and the paths in it are
  relative.

- kubespray 2.14.1 requires a kubernetes version > 1.16.  Use the
  default versions of kubernetes and helm provided by kubespray
  2.14.1.

- kubespray 2.14.1 replaces helm 2 with helm 3.  This removes support
  for helm init and helm serve.  It is no longer necessary to call
  helm init, and the helm serve repository is replaced with file
  relative URLs.  This also triggered a subsequent update of the
  kubernetes-helm ansible module to include the newer helm versions.

- Add "storageType: hostPath" to etcd/values.yaml.  Helm deploy of
  etcd will fail without this due to nil
  PersistentVolume.metadata.labels.type.

- The mitogen module used by kubespray/ansible requires python2 on the
  hosts.  Use the linear strategy to bypass mitogen and install
  python2 on the cluster hosts.

Issue-ID: MULTICLOUD-1230
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I9f50bb4e123fdcacab6b6a97e79cd09fb5c96634

Use same host in both copy and run of deploy_optane.sh

NOTE: This is not a complete fix, it is only a workaround so that
installer.sh can succeed when Optane hardware is not present.

Without this, "No such file or directory" is reported during the
"Apply Optane PMEM CSI Daemonset" task of the configure-optane
playbook.  This error was observed with kubespray 2.14.1 and not with
2.12.6.

Issue-ID: MULTICLOUD-1234
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I1e23741d704ab117a84b4ed11e2f7ac02f0f2ec2

Update images used in onap4k8s and emco helm charts

This was triggered by the failure of plugin_fw.sh when run via the
containerized installer.

The full list of changes is:
- etcd-amd64: 3.2.24 => 3.3.17.  Note that 3.4.9 is the latest as of
  this commit, but 3.4.9 removed the coreutils necessary to run the
  k8s Command (i.e. hostname, seq, ...).
- readiness-check: 2.0.0 => 2.2.2
- mongo: 4.0.8 => 4.4.1
- nfs-provisioner: 1.0.8 => 2.3.0
- filebeat: 5.5.0 => 7.9.3
- multicloud-k8s: 0.5.0 => 0.7.0
- fluentd: 1.10.2-debian-10-r11 => 1.11.4-debian-10-r7

Issue-ID: MULTICLOUD-1245
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ic0454086c390f6b24a77fcf2ea0e5d24507fa153

Ignore 404 when deleting non-existent project in emco.sh

The delete is run at the start of the test, it is expected that the
resource does not exist.

Issue-ID: MULTICLOUD-1243
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I1b060ec8f17fd4b9b76ed03d8dc3bd7c21756690

Wait for service to be listening before running tests

Issue-ID: MULTICLOUD-1242
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I5aa45daf92ebfbee32d154dc17f7d2afd72bf255

Properly escape query string to jq

Without this change, the '.request.release-name' query causes jq to
get confused by the '-' and fail the test script:

    jq: error: name/0 is not defined at <top-level>, line 1:
    .request.release-name
    jq: 1 compile error

Issue-ID: MULTICLOUD-1241
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I386cd46db8e44c92bc24d8eb8a9e3964d9b87d39

Move test inside if block to prevent premature exit

grep returns a non-zero error code if the pattern is not found.  This
would cause the topology-manager.sh test to exit prematurely instead
of capturing and logging the error and returning zero as intended.

Issue-ID: MULTICLOUD-1240
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: I29c4d30630c0f803325c2ed024d4c0b9e8a0e911

Fix typo in deployments/helm/v2/emco/Chart.yaml

Issue-ID: MULTICLOUD-1239
Signed-off-by: Todd Malsbary <todd.malsbary@intel.com>
Change-Id: Ibf7c7d2a64889b72cdc67a587548fb6a0dac6ba0

Merge "Update EMCO OpenAPI spec with DCM APIs"

Merge "Restore commented unit test TestDeleteLogicalCloud"

Merge "delete should return 404 error for invalid name"

Restore commented unit test TestDeleteLogicalCloud

Restore the previously commented-out unit test TestDeleteLogicalCloud.
That test was disabled due to a failure introduced by interacting with
AppContext for the first time in module/logicalcloud.go and it not
being ready to do so.

This commit restores it and modifies code so dependent mocks can plug
in correctly. This was done in order to keep testing the code that was
previously being tested, not so much to add additional coverage.

Although it would be a significant undertaking, the different types and
interfaces in pkg/module should be redesigned to achieve better
decoupling and thus make unit testing more straightforward.

Issue-ID: MULTICLOUD-1143
Change-Id: I1e6b7bb9111fc6883f0c9cee887329a9e0b27fbd
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Update EMCO OpenAPI spec with DCM APIs

Update emco_apis.yaml with all new API paths provided by DCM and
its /logical-clouds URL prefix. Update schemas and parameters too.

Issue-ID: MULTICLOUD-1143
Change-Id: I9d94cb2954c2f0131ffb8c3061a87a6b6a235cba
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Fix mispelled key name in kubeconfig

Fixes the mispelled "currentcontext" with the right key name
"current-context" which was introduced as a regression with or
before the latest version of the kubeconfig code (probably a bad
search/replace).

This 1-character long bug was preventing the generated kubeconfigs
from being correctly interpreted by kubectl. Thus, kubectl couldn't
set any context of the kubeconfig as the current context.

Observable output before this fix:
$ kubectl get pods
The connection to the server localhost:8080 was refused - did you
specify the right host or port?

Issue-ID: MULTICLOUD-1143
Change-Id: I617d1e20b7be2567729b84d3746b22e4ceaf8b9d
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Updating the API definition

API definition updated to add
generic placemnent intent under
deployment group

Issue-ID: MULTICLOUD-1096
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Change-Id: Ida830de0f17038925651bc604440b11547b7320d

Merge "Add k8splugin releases file for 0.7.0"

Add k8splugin releases file for 0.7.0

Add k8splugin file for 0.7.0

Issue-ID: MULTICLOUD-1213
Signed-off-by: Eric Multanen <eric.w.multanen@intel.com>
Change-Id: I54d7610f39be4d05e176ff7e2f67bd7594e50677

Merge "Reduce duplication around DeleteCompositeApp calls"

Update k8splugin for G release

Update image version of k8splugin to 0.7.0-SNAPSHOT
This will be then be used to create the release image

Issue-ID: MULTICLOUD-1213
Signed-off-by: Eric Multanen <eric.w.multanen@intel.com>
Change-Id: Ice57a61bc98397a2bbb5c313452459b02ec86139

Reduce duplication around DeleteCompositeApp calls

DCM's apply function had a lot of error handling code that cleans up
the AppContext if something goes wrong while adding to AppContext.

Most of that handling was using multiline duplicate code with the only
change being in the log/error strings. This commit attempts to reuse
all that error handling code and make it easier to follow main code.

Issue-ID: MULTICLOUD-1143
Change-Id: I3a35387b1ed46279c1b973dbd852352276ff5cc8
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Merge "Apply corrections to EMCO v2 helm README"

Apply corrections to EMCO v2 helm README

Mostly just make the identifiers consistent with each other
so copy-paste works without surprises. No more rel- prefix, just emco-.

Additionally suggest a 2nd workaround to the persistentvolumes issue.

Issue-ID: MULTICLOUD-1143
Change-Id: I7ad1d3a4b20f7563226a9d487c388275e56429b5
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Add DCM to Helm deployment folder

Also add DCM to cleanup-emco.sh.

Issue-ID: MULTICLOUD-1143
Change-Id: I2496c1fef2e2588c1c8e750105568afc210d54c3
Signed-off-by: Igor D.C <igor.duarte.cardoso@intel.com>

Merge "Remove unused mongo db methods from emco code"

Merge "Ovnaction and vfw updates for deploy api change"