Use external_ip to populate the node address

Use the new external_ip inventory variable to populate node address.
Note that cluster_ip is still used if external_ip has not been set.
This makes it possible to connect to kubernetes apiserver using the external_ip
without disabling ssl cert verification.
As an added bonus, the inventory hostname is now used as the node name to make
node names more predictable.

Change-Id: I3cc25c488d68f2f858a5eb3438d96285fa7517ca
Issue-ID: OOM-2112
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add external_ip variable

Adds the external_ip variable that can be used to set ip different
from cluster_ip, like public/floating/elastic ip, that can be used to externally
communicate with kubernetes nodes. Mainly useful
for the control plane and communication with
api server.

Change-Id: Ie840bff4b8479081b7397a42935c9db53db1bf4f
Issue-ID: OOM-2112
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Removing unused debian datalist

Formely used by appc-ansible-server in Casablanca

Change-Id: I8043f8338f84c09212386c7924770d6df27024ed
Issue-ID: OOM-2098
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Add ability to put dockerdata-nfs on root disk

Modify the heat template so that it becomes possible to
skip volume creation for dockerdata-nfs.
This feature can be toggled at will. It is useful for the cases
where /dockerdata-nfs needs to be fast, but there are no ssd volumes available.
Of course, large enough ephemeral disks are needed, around
60 gb.

Change-Id: I37e29e7cf7273d1d4a6e896ec017d9ef8177b1d0
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Make kubernetes nodes to be placed on different computes

Modify the heat template so that kubernetes node
instances are not placed on the same compute nodes, but each on a different node.
This is called anti-affinity.

Change-Id: I16cad7cc2f503130bae80be3820c477890214594
Issue-ID: OOM-2042
Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Change the way how volume map is constructed

This commit modifies volume handling in heat template in cicdansible.
Namely, it simplifies the generation of node to volume list mapping and makes it
more readable and understandable, and also
more flexible, because now parts of it could be
conditionalized. This is required for a followup commit.

Change-Id: I204aefd819f40050a2cb9e6a031dfb2c62da1f48
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge changes from topic "OOM-2042"

* changes:
  Add ansible configuration file
  Add cicdansible playbook
  Add onap installation role
  Add onap instance configuration role
  Add ansible role to deploy onap infrastructure on openstack
  Add floating ip fact retrieval module
  Add inventory for cicdansible playbook
  Add heat template to deploy onap infrastructure
  Add the .gitignore for cicdansible

Merge "Add configurable etcd storage feature"

Merge "Move help script to tools"

Merge "package.py - Enable adding AUX images in to packages"

Merge "Skip annoying message if config.json not exists"

Merge "Adding proper npm logout"

Change the way of providing docker login password

As --password is insecure way, changing to recommended way using
--password-stdin instead

Issue-ID: OOM-2087

Change-Id: Ibe1799e9de63476540288b84726260f712d12616
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add ansible configuration file

This commit adds the ansible configuration file, that configures
pretty logging and, handling of connections and inventory, etc to
make the playbook nicer to use.

Change-Id: Ibf9eded62f87d338b4b215e8b0b37d80ec86b219
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add cicdansible playbook

This playbook runs the cicdansible roles on hosts defined, statically
or dynamically, in the inventory.
It deploys onap infrastructure on openstack, then installs onap.

Change-Id: Idf618ff137c1adbad8f9b2f1bf878eaa9f20465d
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add onap installation role

This role generates offline installer parameters and inventory, downloads
offline installer sw package, and initiates onap installation, waiting
for it to finish.

Change-Id: I5c79d9732b8d77f57278f5009f4e5089377fc2cf
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add onap instance configuration role

This change adds a role that configures
deployed onap infrastructure instances. This role is generic
and not openstack dependent.
This role configures instances to reach each other by name, to mutually
authenticate with the given ssh keys, etc. This
mainly makes it easier for developers to do troubleshooting, and
allows offline installer to work smoothly.

Change-Id: I26750b0a8a69f56297f0a5f7ff491463ed2e9e32
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add ansible role to deploy onap infrastructure on openstack

This role deploys the onap infrastructure on open stack
using the heat template, passing it needed
parameters from inventory. It also formats and mounts
all cinder volumes attached to the instances, so that they can be utilized.

Change-Id: I0cb13a5b55bd31445acaa2f7c1db80a925daa5cb
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add floating ip fact retrieval module

This change adds the ansible module that retrieves facts about floating ips,
that is missing from the ansible core modules.
This module is used to translate floating ips into their resource
identifiers before using heat template.

Change-Id: I7a8756eff30b33f82dade2f35227ff241a8c5972
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add inventory for cicdansible playbook

This change adds the basic inventory file and group_vars used when running
cicdansible playbook to deploy onap on openstack.
This inventory contains only instances that must be present, other inventory
entries are dynamically registered during install.
Also, it delegates to group_vars for things like floating ip
addresses.
group_vars contains default settings for the playbook, and especially the
all.yml must be modified for the environment to be deployed.

Change-Id: Ia93e6b98841d7edc45699b44b2479af6daff6c4f
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add heat template to deploy onap infrastructure

This change adds a heat template that
deploys empty onap infrastructure on open stack.
Infrastructure consists of an installer instance + infra instance +
specified number of kubernetes nodes.
All instances are empty after creation, and live in the internal network with
cidr 10.1.0.0/24.
They are isolated by security groups in order not to have
external network access except possibly the intranet, but
it is possible to enable internet access if required.

Change-Id: I70024e1e2344ed75f443f03b2239b460a71d0151
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Adding proper npm logout

Adding npm logout to prevent authentification issues with newer versions
of npm at repeated execution

Issue-ID: OOM-2086

Change-Id: Icb7d70ef1b7c2037dd9e392693b2c51cf8c60f25
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

package.py - Enable adding AUX images in to packages

Make possible to add custom images in to aux package + add versioning to package info and file names. Issue-ID: OOM-2078

Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Change-Id: Ibe141f386b2534aa59c6a3a31052e454b3a79e6b

Skip annoying message if config.json not exists

Preventing messages showing in case of non existing config.json file

Issue-ID: OOM-2077

Change-Id: Ifb38495d93934b2015893d2c1fc62ec4d480171b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add configurable etcd storage feature

Plus the option to have etcd on tmpfs (volatile storage) for little
bigger (maybe) speed (NOT FOR PRODUCTION DEPLOYMENT!).

Issue-ID: OOM-2058

Change-Id: I0bbfc4fbae7f6b46e2fae49656437cd6748efd49
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Add the .gitignore for cicdansible

Adds the .gitignore file for the ansible playbook.

Change-Id: If6e52f55e045ccccd164992108d1977c2a46a413
Issue-ID: OOM-2042
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add helm redeploy tool"

Move help script to tools

Change-Id: I03d1c65d05df534aecff5c6d08cfbdf97705dbdf
Issue-ID: OOM-1984
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Add helm redeploy tool

Simple script to try to redeploy failed charts or explicitly desired
chart(s).

It supports override files for helm - but please, beware that helm or
more specifically the onap helm plugin (deploy.sh) is not capable of
handling whitespace in filenames so I don't support that in the script
either (I made a version which does but it is no use if helm will break
anyway).

Change-Id: I69bf0672a64c45e30d4e4239da561647d00637a7
Issue-ID: OOM-1984
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Removing deprecated packaging script"

Add support for multiple lists in nexus blob build

Because of separated lists for onap, rke or rancher adding possibility
to pass multiple lists to build_nexus_blob.sh as parameters

Issue-ID: OOM-1890

Change-Id: Ib5aa8489b612dfd6099116695b4ccc3be49a82bd
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Rewrite build_nexus_blob script to use functions"

Add .gitreview

It eases configuring remote via git-review -s

Issue-ID: DOC-505

Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I2f82f8797669d1bf9e0bbefcbb345ce4e463a60a

Merge "Remove kubectl install from prepare-rke"

Merge "Fix build guide/script regarding python versioning"

Merge "Update INFO.yaml file"

Remove kubectl install from prepare-rke

This is needed because prepare-kubectl role can do just the same.
Also fixed rke tests to match.

Change-Id: I808df650a5f755e09c26d13db62ecfc1504a317c
Issue-ID: OOM-1907
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Removing deprecated packaging script

Removing packaging script written in BASH and its configuration as
it's function was replaced by new python script build/package.py

Issue-ID: OOM-1932

Change-Id: Id48c2ef69d64012c456661358106703eab7d85c3
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Update INFO.yaml file

Update missing information blocks and
indentation to pass verify job.

Change-Id: I41c96af4109df516fea771d1b0681bc2bff156d6
Issue-ID: CIMAN-134
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Removing deprecated OOM patching script

Logic of that script was included into redesigned packaging.

Issue-ID: OOM-1932

Change-Id: I7fe6e69ae3abb52213d0ebd192e0df882aab49ed
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix build guide/script regarding python versioning

Specify minimal docker release in build/requirements.txt
and build/download/requirements.txt, not a fixed one.

Change interpreter for build/package.py as it's Python 3
compliant.

Change-Id: I4352aa957371ce85bdea021101ed2f5994f9eedb
Issue-ID: OOM-1979
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Rewrite build_nexus_blob script to use functions

Rewrite build_nexus_blob.sh script to functions for better future
maintenance and better possibility to add new features

Issue-ID: OOM-1977

Change-Id: I697462efbbeddbe3d89aec47ae7fcfff9f4147b7
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix docker user settings backup"

Merge "Adding generating of docker images list"

Merge "Final doc tuning for Dublin branch"

Merge "Removing duplicates from onap list"

Final doc tuning for Dublin branch

This commit is doing just some small polishing of documentation
before creating Dublin branch for the offline installer.

Issue-ID: OOM-1870

Change-Id: I969b15400eb8064d6d097caa0f712fbf7ec5277a
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Verify dependencies for build_nexus_blob.sh are installed"

Merge changes Iee382756,I473f022c

* changes:
  Allow overriding docker version in prepare-docker-dind
  Specify source ip for rancher agent

Merge "Use cluster_ip for rancher server url"

Fix docker user settings backup

Fixing docker user settings backup and restore in build_nexus_blob.sh

Issue-ID: OOM-1968

Change-Id: I3f97cb7d0c16cce083388a87aef443ab805ca0e5
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Adding generating of docker images list

Adding a note to BuildGuide with the possibility to generate docker
images list based on actual OOM repository

Issue-ID: OOM-1965

Change-Id: I93c9f754f6bd135396eedefeba22c8be6f77388d
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Changing doc section related to packaging"

Fix wrong shebang in download scripts

Download does not support python2 so shebang
could cause problem.
This commit fixes that or removes shebang where
not necessary.

Issue-ID: OOM-1964

Change-Id: I443f5ef61b9bddfddba66d858d8f65c5ceacd90a
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Modify the way override works"

Changing doc section related to packaging

Updating build documentation with description how to use new packaging script, removing obsolete steps

Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Issue-ID: OOM-1932
Change-Id: I2a51c1f836dec5942229b88379b46151f041b560

Modify the way override works

Now the generated app_helm_override_file and the list of
helm overrides is separate.
The former is to contain things like user provided overrides,
the latter is the list of absolute paths to preexisting helm value files.
The playbook joins all that into a final list of override files that is then
passed to helm.

Change-Id: I8b8ded38b39aa9a75e55fc63fa0e11b986556cb8
Issue-ID: OOM-1951
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add docker local registry cleaning script"

Merge "Adding notes from vFWCL in Dublin"

Allow overriding docker version in prepare-docker-dind

This change allows overriding of docker version to be installed
when calling prepare-docker-dind role.
It also enables downgrading, allowing the
given version to be taken into account. Previously
the specified version was completely ignored.

Change-Id: Iee3827564f130498e9fad69ddea55278346b7cfe
Issue-ID: OOM-1906
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Specify source ip for rancher agent

This change explicitly sets cluster_ip as rancher agent source ip.
This avoids eventual problems with ip autodetection, especially that
we know the correct ip.

Change-Id: I473f022c56301cefeb98ccb5bb94d78e7ac491a7
Issue-ID: OOM-1906
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Verify dependencies for build_nexus_blob.sh are installed

Script now checks if utilized tools are installed on the
system. Without that it would fail in the middle of the flow.
Now it will fail fast at the beginning if a particular dependency
is missing. It will also list those missing dependencies.

Change-Id: I39bb6f5d1b9d3eec4a76e77a6af9470f3a3d5244
Issue-ID: OOM-1945
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adding notes from vFWCL in Dublin

This is just to share notes from the vFWCL exercise in Dublin.

Issue-ID: OOM-1900

Change-Id: I76cc577342a8e25a900b119462ff6c7768189382
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Make loading docker images from tars optional"

Merge "New packaging script"

Add docker local registry cleaning script

Since with changing data lists there are unused images
left in local registry on build server this
commit adds script that handles that.

Issue-ID: OOM-1952

Change-Id: Ied7a8b09aacd33ef17f0676cfab333d1df8a1a81
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Removing duplicates from onap list

Removing from onap list duplicatated images which belongs to RKE

Issue-ID: OOM-1847

Change-Id: I5d8b2960c5225726401eefb95d1fe40e2c14f412
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

New packaging script

Introducing new packaging script, converted to python with slightly modified logic

Issue-ID: OOM-1932
Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Change-Id: I9eba27d9b6f48e825416c6729adad02aaade9685

Removing common functions library

library of common functions is not used anywhere since the download
process was rewritten to python

Issue-ID: OOM-1803

Change-Id: Id648ea738c87e1630963d85184d475f940599f82
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic "data-download-refactor"

* changes:
  Refactor download.py and remove not used files
  Refactor of rpm downloading
  Refactor pypi packages download
  Refactor and improve git repository cloning
  Refactor and improve docker image downloading
  Refactor npm packages download
  Refactor http files download

Updating docker images list for onap

Issue-ID: OOM-1847

Change-Id: I9ea6e9ae1c0b3d7fb24556c31c883ab509585598
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Make loading docker images from tars optional

As build server for building Nexus blob can be the same machine as for
previous download, there's not necessary to load all docker images if
they are already in local registry - therefore this patch makes the
loading of the images from tarballs as an option and by default will use
images directly from local registry

Issue-ID: OOM-1889

Change-Id: Id8f850afdab1009d026aef97ac1b0eb3d742f38b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Removing http data list

New policy framework in Dublin is offline friendly and does
not require collecting maven artifacts in runtime from
internet. We can exclude this step from our offline platform
and it was verified using vFWCL demo.

Change-Id: I284b114d70fa73362eb603286bcb98ce1e2367c0
Issue-ID: OOM-1900
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Streamline nexus role tests by using smaller test images"

Merge "Remove artifacts left by 'dns' role tests"

Merge changes from topic "bin_utils"

* changes:
  Fix tests for binaries preparation in installation steps
  Add binaries preparation to installation steps

Fix tests for binaries preparation in installation steps

Change-Id: Ib28bda24b711111c13bbaf9bd2628abd2001a1a9
Issue-ID: OOM-1925
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Updated inventory template in install guide"

Updated inventory template in install guide

Updated the inventory file template in install guide to cover
new group structure.
Just copy-paste of current inventory/hosts.yml
same as before.

Change-Id: Iade5f8120b06bccebf8f156b2637998722ecfa07
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Streamline nexus role tests by using smaller test images

A 140mb haproxy image was substituted with tiny alpine
image to make CI tests faster.

Change-Id: Ic1a234df8f293e12a6e864817a19bf5445f10fe9
Issue-ID: OOM-1942
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Remove artifacts left by 'dns' role tests

'dnsmasq.tar' docker image file will be removed
after test invocation.

Change-Id: I29668ece8c745794ad9462e527ca144bea6f4fc2
Issue-ID: OOM-1943
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add cleanup stage to 'nexus' role test"

Merge changes from topic "kubernetes-inventory-groups"

* changes:
  Add etcd group support to rke role
  Add kubernetes-etcd group
  Make rke to use new group structure
  Add kubernetes-node group for workers

Add cleanup stage to 'nexus' role test

List of docker images to download/cleanup by the
prepare and cleanup stages is now defined in one
place (prepare-nexus role defaults) for clarity and
ease of management.

Change-Id: I4c18912fd8c5eadc4d68e1bc10f5c2251d58634e
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add tests for custom ntp authority mode in 'chrony' role"

Merge "Add role level tests for 'vncserver' role"

Refactor download.py and remove not used files

Final commit in download refactoring series.

Issue-ID: OOM-1803

Change-Id: I5b71908903ef131b8c16d08225c4d2e2de655130
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor of rpm downloading

Issue-ID: OOM-1803

Change-Id: Ic1efb371409daddd5910e067ad1f0a85cc7db4ab
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor pypi packages download

Issue-ID: OOM-1803

Change-Id: I65056208ed3e89777c3511650f8a5aab7396043b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve git repository cloning

Issue-ID: OOM-1803

Change-Id: Ia8e222c2b70b58ed1f7dbc4254ea2f5cb5a9ef7b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve docker image downloading

Issue-ID: OOM-1803

Change-Id: I4e648d49835faa60165725d1ca4ec22ba1e3e12b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor npm packages download

Series of commits to improve python download
scripts.

Issue-ID: OOM-1803

Change-Id: I199660ab121038780c34065f78538bb4e7b07eb5
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor http files download

Original download scripts got out of hand.
This series of commits improves style of code
(code duplicates, etc.)

Issue-ID: OOM-1803

Change-Id: I7b82c1711d27fe450430fbe6d962a450301b0be0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add binaries preparation to installation steps

Adding binaries preparation into installation steps as rke binary need
to be renamed and helm binary need to be unarchived. Removing those
previously manual steps from BuilGuide

Issue-ID: OOM-1925

Change-Id: I504320fb82e1c8f6db2f99c5dfd4518192eae895
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix missing import in helm_deployment_status.py"

Merge changes from topic "OOM-1810"

* changes:
  Add verification tests for 'chrony' role
  Setup 'cluster_ip' fact for infra host in 'chrony' role tests

Merge changes from topic "OOM-1910"

* changes:
  Clean application role mocked artifacts directories
  Add custom patch role scenario to 'application' role

Merge changes from topic "OOM-1915"

* changes:
  Update 'busybox' and 'haproxy' docker images path in tests
  Add role level tests for 'nexus' role
  Improve 'nexus' role testability

Merge "Fix issue with yaml.load in docker collector"

Merge "Add directory remove on failed cloning"