Minor improvement to log statements

Removing some log statements that are cluttering the output.
Added a log statement to print errors during instantiation.

Issue-ID: MULTICLOUD-666
Change-Id: I76ad59c9cb36b5cb999573afec18e6f1adbed4ad
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Remove kubeconfigdir. Use a tempfile instead"

Remove kubeconfigdir. Use a tempfile instead

Kubeconfigdir does not need to be a configurable
parameter. We just create a local file and use that
to create the config after which it is not needed.

Issue-ID: MULTICLOUD-614
Change-Id: I2df561d50b620e24c5ae5266b7200210e0c11caf
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

vFw Demo Helm chart issue

Fixing a typo in vFw Helm chart

Change-Id: I5e7657dba037e48539ac32a98f1731ec1ff942a8
Issue-ID: MULTICLOUD-708
Signed-off-by: Ritu Sood <ritu.sood@intel.com>

Merge "Move connectionhandler.go into api package"

Merge changes Id235f454,I0c6dd5e4

* changes:
  Correct plugin_edgex testcase
  Provide wrapper functions for issuing k8splugin API calls

Merge "Add getconnectivityrecordbyname function"

Correct plugin_edgex testcase

Plugin_edgex.sh script hasn't been updated to few changes
that happened in k8splugin API and CSAR definitions. This
commit rewrites previous test scenario to be up to date with
current plugin state.

Issue-ID: MULTICLOUD-686

Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: Id235f4549e10f57451bf2b6195df8c95230e1c7e

Provide wrapper functions for issuing k8splugin API calls

In plugin.sh and plugin_edgex.sh test scenarios, there are
executed many curl calls to API endpoint. As curl's default
behavior for handling 4xx and 5xx status code is not perfect,
wrapper functions have been created to easily ensure correctness
of issued API call.

Issue-ID: MULTICLOUD-686

Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I0c6dd5e4f896972245a6fa6c8c2a10d8df8ec406

Create dir before extracting archive

Some archives don't include a directory entry.
Eg: tgz archives generated by helm package.
This bug fix checks that a directory exists before
an extracted file is created there.

Issue-ID: MULTICLOUD-705
Change-Id: If6720948d470b83786901574f5d8d3227835a047
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Reduce process count in test

CI seems to be failing with out of memory issues
This reduces the multiprocess to 2 for the go test
command.

Issue-ID: MULTICLOUD-666
Change-Id: I3f70ecad51cc16f8972346882d5d98fc803427ef
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Fix helm installation conflict

Kubespray installs helm client on kubernetes master. The same client
has to be installed on host running installation playbooks. In single
node scenario, local host already has helm client installed by
kubespray, thus leading to conflict due to way of provisioning.
This helm installation has been moved to global configure playbook, as
well as corrected, not to fail on single host deployments.

Issue-ID: MULTICLOUD-690

Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I1ef779ed0f2fde82758ce9e229c3f5bb015b2aeb

Move connectionhandler.go into api package

Move connectionhandler.go into api package
This brings it inline with the other API handlers

Issue-ID: MULTICLOUD-666
Change-Id: Ia3b832159f537c6d8d8ecc93b56bc9b085649f7e
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Add getconnectivityrecordbyname function

Plugins need this connectivity information
Adding code to retrieve it

Issue-ID: MULTICLOUD-688
Change-Id: I5fa1b69cdad754a432316edc4188c19b7fe10f84
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Change the import paths for go get access"

Change the import paths for go get access

This allows other projects to do a go get and use this repo.
go get github.com/multicloud-k8s/src/k8splugin
will do the job.
import github.com/multicloud-k8s/src/k8splugin
will import the root package

Issue-ID: MULTICLOUD-666
Change-Id: I2f41c88c5a7fb3305b78cce8a83a0e102baa444c
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Correct installer.sh to enable testing during deployment

Issue-ID: MULTICLOUD-686

Signed-off-by: Konrad Bańka <k.banka@samsung.com>
Change-Id: I02724ca72a217cbb5be8cfee5edf136f4bf8ce2c

Make aio.sh preserve host's ssh keys if possible

aio.sh script creates rsa key that is also added to host's authorized_keys.
Currently, existing id_rsa keys are removed in order to generate fresh key each time.

This change makes setup script reuse existing key when possible.

Issue-ID: MULTICLOUD-676

Change-Id: I3b6b837f64dabd3cb6a14aa5ea65e67c6b8db6a8
Signed-off-by: Konrad Bańka <k.banka@samsung.com>

Unify resolving current directory in KUD scripts

Issue-ID: MULTICLOUD-685

Change-Id: I62199f64da360627a13c467139a39430ae389167
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Adding ci-kud-installer wrapper

this wrapper is new entry point for CI job triggering aio.sh
execution.

Change-Id: I650675c9cfff396010bf3a1d36e9840dedf9d403
Issue-ID: MULTICLOUD-635
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Multus error when the namesapace is not default"

Merge "Add ovn-networkobj for Multus"

Merge "Plugin code refactoring"

Merge "Make ovn-central network interface configurable"

Merge "Enable mitogen to speed up Ansible execution"

Multus error when the namesapace is not default

Multus has a limitation that namespace
in which network is defined has to be
explicitly provided. As we are defining
network in "default" namespace, that needs
to be provided in all deployment files

Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-663
Change-Id: Iefc17691fa909843f12fa35693900a063a6d20ae

Add ovn-networkobj for Multus

Add ovn custom resource for Multus as part
of installation

Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Change-Id: I4e01a06ba76515fa271790b461f473045eb174a2
Issue-ID: MULTICLOUD-670

Make ovn-central network interface configurable

installer.sh script is configuring ovn-central address <ip>:<port>
to environment variable.
Ip address is detected from the ovn-central host through ansible
by grepping ifconfig output, but in this step detected network
interface is hard-coded in the code to be "eth1".

This commit makes network interface configurable in aio/vagrant
deployment.

Issue-ID: MULTICLOUD-621

Change-Id: Icbe22ffdcb45c5f16067ea609eec76fb70c0ea78
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge changes I798b9dd9,I36b65dd2

* changes:
  Remove the requirement to run aio.sh as root
  Documentation update for aio.sh CI change

Merge "Make aio.sh suitable for CI"

Merge "Starting of k8splugin with docker-compose is broken"

Enable mitogen to speed up Ansible execution

Signed-off-by: Victor Morales <victor.morales@intel.com>
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>
Issue-ID: MULTICLOUD-301
Change-Id: I427145e26eabc92ab19b0a143b759113dbfbeeea

Plugin code refactoring

The plugin code has been refactored to
implement a common interface.
This will allow us to do plugin validation
at loadtime of the plugin instead of at runtime.
This also makes the code calling the plugins cleaner
and easier to read.

Issue-ID: MULTICLOUD-557
Change-Id: Ice2bcc9b850d7c0e1707dcc42132c63dd77472a7
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Remove the requirement to run aio.sh as root

However user needs to be in sudoers without password
needed to able to run needed steps with sudo.

Issue-ID: MULTICLOUD-672

Change-Id: I798b9dd9dad4175c2b43700bfe801d34b578fe97
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Documentation update for aio.sh CI change

Update documentation accordingly.

Issue-ID: MULTICLOUD-629

Change-Id: I36b65dd270a25d63884d161163cfa8e7a813d241
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Make aio.sh suitable for CI

aio.sh script currently clones multicloud/k8s repo itself.
That is unnessary and makes it impossible to hook k8s repository
to CI system where commit changeset is used to define repository
files to be tested.

This commit will remove cloning of multicloud/k8s repository
and also move aio.sh to baremetal folder which seems to be
the intended place for it.

Issue-ID: MULTICLOUD-629

Change-Id: Ifc54bbc1ec06bc4c3fbbecca7e676d5ffa392d78
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Fixing kubectl conflict on KUD addons

Removing kubectl (andrewrothstein.kubectl) dependency
that conflicts with kubectl installed by Kupespray.

Copy kubectl installed by Kubespray also to host
running Ansible.
That needs kubectl_localhost: true in Kubespray configuration
to make it copy binary to localhost.

Issue-ID: MULTICLOUD-667

Change-Id: I8c5f56488a9f559c4358cea5ad56fa23b26ec6aa
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Remove andrewrothstein.kubectl role

Removing andrewrothstein.kubectl role
which was causing issues in aio
baremetal scenario

Change-Id: If3c8c71319c4b14dedfa5997881307e5424fd453
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-301

Starting of k8splugin with docker-compose is broken

docker-compose.yml and start.sh script cannot be used
in installer.sh to start k8splugin and mongo.

This commit modifies start.sh script to be usable in
installer.sh to start plugin before tests.

Also fixed kud_tests variable in installer.sh.

Issue-ID: MULTICLOUD-640

Change-Id: I60cc850d6f5b58df574f79ad3c65b801c59b3a14
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Fix IP address for sink pod

IP address was incorrect for
sink

Change-Id: I28962cedeecd25b136eecf39786b4daed6ae9c26
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-653

Merge "Remove env variable"

Merge "Update vFW Helm chart"

Merge "Install jq as an dependency for yq"

Remove env variable

Remove ENV variable. Somehow I missed
removing this variable when we moved to configuration
files.

Issue-ID: MULTICLOUD-653
Change-Id: Ibf2238791dfcb1e66c7b9cca7b6d25e3d30bb0e4
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Update vFW Helm chart

Fixed sink containers
to use the right containers and also
fixed IP addresses. Some cleanup

Change-Id: Id7ed7fe48c9e37f5d3c52c02c0585af7511c5efe
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-653

Merge changes from topics "broker_response", "develop"

* changes:
  Update broker responses to match spec and SO
  Minor change to instance response

Update broker responses to match spec and SO

The broker responses need to match the spec and
what SO expects as responses.
CREATE_COMPLETE instead of CREATED in both POST and GET
DELETE now returns a response body
GET by name is now supported
Name is an alias for vf_module_id which is expected to be provided
as an attribute in sdnc_directives in the original POST request

Issue-ID: MULTICLOUD-645
Change-Id: Ifeca755a07298d0a858cbe9e80f9ce654d6d21b8
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Install jq as an dependency for yq

Before using yq binary we need to install also its
dependency jq.

This commit is fixing jq installation in case it was
required as dependency for yq.
Also refactored a bit dependency installations of tests.

Issue-ID: MULTICLOUD-617

Change-Id: I0ea1143befa1cff809c231422b5cfb14fba1de4e
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Minor change to instance response

Minor change to instance response. Now it includes
the full request parameters in the response.

Issue-ID: MULTICLOUD-649
Change-Id: Ia4a7e479f842dd580bcfb13aa91dc0b0a456cf25
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Adding helm charts for vFirewall."

vFW usecase update

Update vFw Uses case to use 1.5.0
artifacts. 1.3.1 artifacts were
removed from nexus this week.
Changed sink container to remove IP
addresses that are built in the image and
can't be changed or parametrized. Added
a configmap for sink container

Change-Id: Ib1aae1816de866889e93d61a77832680764acef6
Issue-ID: MULTICLOUD-623
Signed-off-by: Ritu Sood <ritu.sood@intel.com>

Adding helm charts for vFirewall.

The charts are complete with templating and basic constructs.
They need to be modified in terms of chart dependency and also address
network configuration. Addressed comments, changed network config
values and included subcharts. Removed redundent vars. Removed
shell vars and updated sink. Updated vars. Removed escape
chars from password which and removed comment in pod annotations.
Removed comments from network files. Changed the deployment file
lables for all 3 charts. Extricated some of the values addressed by comments.
Set global vars. Updated sink-service labels.

Change-Id: Id6fc2e066c8a6c5b33b65caae3a49637521c3133
Issue-ID: MULTICLOUD-628
Signed-off-by: Akhila Kishore <akhila.kishore@intel.com>

Merge "Print error message for etcd connection failure"

Merge "Fixing ansible version"

Fixing ansible version

It would be safer to fix ansible version to prevent issues
coming with newer ansible releases which might not be
compatible with current playbooks within this repo.
E.g. 2.8.0 is not compatible.

Change-Id: Ia1b54c7644bcaf6c453ff6586682ca35ced9acec
Issue-ID: MULTICLOUD-634
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Print error message for etcd connection failure

Error message during client creation needs to be
printed.

Issue-ID: MULTICLOUD-637
Change-Id: Ic3929ae774235133673032e35a2388d2e0b98d36
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Support user_directives that are attributes lists"

Merge "Preventing installer.sh execution to hang"

Merge "vFW usecase install unzip package"

Support user_directives that are attributes lists

Support the attributes in user_directives
attributes are lists of the following form:
"attributes": [
  {
  "attribute_value": "foo",
  "attribute_name": "bar"
  },
  {
  "attribute_value": "value2",
  "attribute_name": "name2"
  }
  ]

Issue-ID: ONAPARC-349
Change-Id: I576bc251d1566dc26696f12f826a09bacb7417a0
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Preventing installer.sh execution to hang

This newgrp command used is not suitable for shell scripting,
it looks like misuse as it created new shell under right group
but prevents further script execution as it has to be exited
first.

Change-Id: I974da3a4b8d1e0827c846150079d453789d89554
Issue-ID: MULTICLOUD-632
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Move config to app and connect to instance"

Merge "Add find method in instance"

Merge "Variable used before intialization"

Merge "Change format of the network file"

Move config to app and connect to instance

Move config instantiation to app and connect it
to the instance to allow updates and so on.

Issue-ID: MULTICLOUD-464
Change-Id: Ic994ef78a6e0d2db5e695e33b7b8a302c74c10da
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Add find method in instance

Add a find method to get instances
based on rbname, version and profile.
If only rbname is provided, all instances based on
that resource bundle are returned.
If only rbname and version are provided, all instances
based on that combination are returned.
When all three parameters are provided, a single instance
that matches them is returned.

Issue-ID: MULTICLOUD-613
Change-Id: If63e844c77829211b807ce6cd7c11dad247751fc
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

vFW usecase install unzip package

Unzip package required for vFw
scripts to be unzipped before using

Change-Id: I5472678e207742370987da045df078cf2f6b5ee3
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-623

Remove extra v1 from broker path

Remove extra v1 from path as it is added
in the MSB api anyway.

Issue-ID: MULTICLOUD-630
Change-Id: Ib7adbf2315e0a3b1fe8170096d877df8f1b64683
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Add missing jq package installation"

vFW packages and scripts version mismatch

vFW pakages are being picked from
nexus staging version 1.3.1 but
the scripts are from master.
Change to get all packages from nexus

Change-Id: I51829b8ceaf96b4634d58a34c48f8e953ec0a684
Issue-ID: MULTICLOUD-623
Signed-off-by: Ritu Sood <ritu.sood@intel.com>

Variable used before intialization

Initialize variable before using

Change-Id: Id908b27d6e17692de4ad3a60e84cd00b496133b9
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-304

Change format of the network file

Format of network file is different
between KUD and Plugin. Change the
format to match the format in KUD

Change-Id: I360741b23e91e60d790a50a7eeb213576b0508b3
Signed-off-by: Ritu Sood <ritu.sood@intel.com>
Issue-ID: MULTICLOUD-304

Merge "Make aio.sh rerunnable"

Add missing jq package installation

KUD installer.sh is missing jq package installation.
Jq is used in tests/plugin.sh, tests/plugin_edgex.sh and tests/nfd.sh
functional tests.

Issue-ID: MULTICLOUD-617

Change-Id: Ib53bf3e47e42f98b0d38a2507f4664bbaaaceea0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>
Signed-off-by: Victor Morales <victor.morales@intel.com>

Make aio.sh rerunnable

aio.sh script can be run only ones.
Cloning of k8s on top of existing dir does not work
and ssh key generation on top of existing key does not work.

Issue-ID: MULTICLOUD-620

Change-Id: Ic60dfd6b96ab78f6edcdc3655c18f90c4427c856
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

vFW test case wrong urls and version

In vFw test case some urls are incorrect
and the vFW scripts release version
doesn't exist anymore

Change-Id: I296a6ac0a3779f3d63f5dfa4e411d4663fd98651
Issue-ID: MULTICLOUD-623
Signed-off-by: Ritu Sood <ritu.sood@intel.com>

Merge "Move OVN to the latest version"

Merge "Disable building of K8s plugin in KUD deployment"

Source /etc/environment for tests

After KUD deployment (at least aio.sh),
if running related tests immediately in the same shell session,
system wide environment variables (/etc/environment) are not effective.

This commit sources /etc/environment in commonly used _functions.sh.

Issue-ID: MULTICLOUD-619

Change-Id: I75cccdd8bdc8a67b92239704160331c58ad69d08
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Disable building of K8s plugin in KUD deployment

K8S plugin is part of ONAP and should not be instantiated by KUD.
It only needs to be instantiated by OOM of ONAP.
Changing the default value.

Change-Id: I4e8f180981794b380bf05662243972ad03c23c90
Issue-ID: Issue-ID: MULTICLOUD-502
Signed-off-by: Akhila Kishore <akhila.kishore@intel.com>

Check always returns true for install_plugin

The [[ test for KUD_PLUGIN_ENABLED always returns true.
Removed [[ to use the boolean operation instead.

Issue-ID: MULTICLOUD-616
Change-Id: I6bbd0c462ab7bb66447dec8dd16d786062a9c586
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Update Readme to reflect the new golang version

golang version used is 1.12.4. This patch updates
the README.md to reflect that.

Issue-ID: MULTICLOUD-615
Change-Id: I2ab4e0f12bf0a3ac1c807f39c5a9a05ee71c720f
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "update golang version for kud"

Merge "Fix pip install/upgrade logic"

update golang version for kud

Use the 1.12.4 version of golang for kud instead of
the older 1.11 version.

Issue-ID: MULTICLOUD-610
Change-Id: I5dab57da539fef78b3097aa73e6628980d534dde
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Make service port configurable

Service port should be configurable.
This patch removes the hardcoded value.
The default value is 9015

Issue-ID: MULTICLOUD-609
Change-Id: Iae05f42bd06ecd061ec68a3a7c4a4a87f33b22fa
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Fix pip install/upgrade logic

installer.sh has reverse logic for install/upgrade pip
after checking if pip is installed.

Issue-ID: MULTICLOUD-607

Change-Id: Ifc512e80d8da7a37acc771f40e9edd7596388fcb
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Create kubeconfig files in kubeconfig dir

The connectivity api should allow the creation
of kubeconfig files in the kubeconfig dir.

Issue-ID: MULTICLOUD-292
Change-Id: I5ecc92622648c6c90b71ffad433a132e191cf4b3
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge cloudregionid and connectionname

Merge cloudregionid and connectionname to form cloudregion

Issue-ID: MULTICLOUD-292
Change-Id: If775ec5841636de37e1c10bc6d093c16a36c28dc
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Merge "Fix multus and ovn tests"

Merge "Use the unstructured type for decode"

Merge "Adding healthcheck for OOM testing"

Merge "Update info.yaml to add new committer"

Adding healthcheck for OOM testing

Add a heathcheck endpoint for OOM testing

Issue-ID: ONAPARC-363
Change-Id: Id5f77478d331fedb19ac162389d95852e10c5022
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Use the unstructured type for decode

Use the unstructured type in the into field.
This allows us to remove the convert part of the
code and also allows decoding for CRDs.

Issue-ID: MULTICLOUD-585
Change-Id: I27ecdba7127ce63137dfbcd1c0a6938343b4e759
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Updated go.sum created from 1.12.4

Updated go.sum generated from build based on 1.12.4

Issue-ID: MULTICLOUD-587
Change-Id: I92474c20cc58f2b3e7d0085ed57548c19aa896d8
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>

Update info.yaml to add new committer

Change-Id: I10dafd4a780d79a5696a39e5f68c1636cf0898c6
Issue-ID: MULTICLOUD-580
Signed-off-by: Bin Yang <bin.yang@windriver.com>

Merge "Remove deployment plugin"

Remove unused variables dockerfile

Remove unused environment variables from
dockerfile

Issue-ID: MULTICLOUD-575
Change-Id: I078d0e176e939a939cb141dcef1b52828cdb2b3a
Signed-off-by: Kiran Kamineni <kiran.k.kamineni@intel.com>