Fix docker user settings backup

Fixing docker user settings backup and restore in build_nexus_blob.sh

Issue-ID: OOM-1968

Change-Id: I3f97cb7d0c16cce083388a87aef443ab805ca0e5
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Changing doc section related to packaging"

Fix wrong shebang in download scripts

Download does not support python2 so shebang
could cause problem.
This commit fixes that or removes shebang where
not necessary.

Issue-ID: OOM-1964

Change-Id: I443f5ef61b9bddfddba66d858d8f65c5ceacd90a
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Modify the way override works"

Changing doc section related to packaging

Updating build documentation with description how to use new packaging script, removing obsolete steps

Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Issue-ID: OOM-1932
Change-Id: I2a51c1f836dec5942229b88379b46151f041b560

Modify the way override works

Now the generated app_helm_override_file and the list of
helm overrides is separate.
The former is to contain things like user provided overrides,
the latter is the list of absolute paths to preexisting helm value files.
The playbook joins all that into a final list of override files that is then
passed to helm.

Change-Id: I8b8ded38b39aa9a75e55fc63fa0e11b986556cb8
Issue-ID: OOM-1951
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add docker local registry cleaning script"

Merge "Adding notes from vFWCL in Dublin"

Adding notes from vFWCL in Dublin

This is just to share notes from the vFWCL exercise in Dublin.

Issue-ID: OOM-1900

Change-Id: I76cc577342a8e25a900b119462ff6c7768189382
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Make loading docker images from tars optional"

Merge "New packaging script"

Add docker local registry cleaning script

Since with changing data lists there are unused images
left in local registry on build server this
commit adds script that handles that.

Issue-ID: OOM-1952

Change-Id: Ied7a8b09aacd33ef17f0676cfab333d1df8a1a81
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

New packaging script

Introducing new packaging script, converted to python with slightly modified logic

Issue-ID: OOM-1932
Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Change-Id: I9eba27d9b6f48e825416c6729adad02aaade9685

Removing common functions library

library of common functions is not used anywhere since the download
process was rewritten to python

Issue-ID: OOM-1803

Change-Id: Id648ea738c87e1630963d85184d475f940599f82
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic "data-download-refactor"

* changes:
  Refactor download.py and remove not used files
  Refactor of rpm downloading
  Refactor pypi packages download
  Refactor and improve git repository cloning
  Refactor and improve docker image downloading
  Refactor npm packages download
  Refactor http files download

Updating docker images list for onap

Issue-ID: OOM-1847

Change-Id: I9ea6e9ae1c0b3d7fb24556c31c883ab509585598
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Make loading docker images from tars optional

As build server for building Nexus blob can be the same machine as for
previous download, there's not necessary to load all docker images if
they are already in local registry - therefore this patch makes the
loading of the images from tarballs as an option and by default will use
images directly from local registry

Issue-ID: OOM-1889

Change-Id: Id8f850afdab1009d026aef97ac1b0eb3d742f38b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Removing http data list

New policy framework in Dublin is offline friendly and does
not require collecting maven artifacts in runtime from
internet. We can exclude this step from our offline platform
and it was verified using vFWCL demo.

Change-Id: I284b114d70fa73362eb603286bcb98ce1e2367c0
Issue-ID: OOM-1900
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Streamline nexus role tests by using smaller test images"

Merge "Remove artifacts left by 'dns' role tests"

Merge changes from topic "bin_utils"

* changes:
  Fix tests for binaries preparation in installation steps
  Add binaries preparation to installation steps

Fix tests for binaries preparation in installation steps

Change-Id: Ib28bda24b711111c13bbaf9bd2628abd2001a1a9
Issue-ID: OOM-1925
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Updated inventory template in install guide"

Updated inventory template in install guide

Updated the inventory file template in install guide to cover
new group structure.
Just copy-paste of current inventory/hosts.yml
same as before.

Change-Id: Iade5f8120b06bccebf8f156b2637998722ecfa07
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Streamline nexus role tests by using smaller test images

A 140mb haproxy image was substituted with tiny alpine
image to make CI tests faster.

Change-Id: Ic1a234df8f293e12a6e864817a19bf5445f10fe9
Issue-ID: OOM-1942
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Remove artifacts left by 'dns' role tests

'dnsmasq.tar' docker image file will be removed
after test invocation.

Change-Id: I29668ece8c745794ad9462e527ca144bea6f4fc2
Issue-ID: OOM-1943
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add cleanup stage to 'nexus' role test"

Merge changes from topic "kubernetes-inventory-groups"

* changes:
  Add etcd group support to rke role
  Add kubernetes-etcd group
  Make rke to use new group structure
  Add kubernetes-node group for workers

Add cleanup stage to 'nexus' role test

List of docker images to download/cleanup by the
prepare and cleanup stages is now defined in one
place (prepare-nexus role defaults) for clarity and
ease of management.

Change-Id: I4c18912fd8c5eadc4d68e1bc10f5c2251d58634e
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add tests for custom ntp authority mode in 'chrony' role"

Merge "Add role level tests for 'vncserver' role"

Refactor download.py and remove not used files

Final commit in download refactoring series.

Issue-ID: OOM-1803

Change-Id: I5b71908903ef131b8c16d08225c4d2e2de655130
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor of rpm downloading

Issue-ID: OOM-1803

Change-Id: Ic1efb371409daddd5910e067ad1f0a85cc7db4ab
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor pypi packages download

Issue-ID: OOM-1803

Change-Id: I65056208ed3e89777c3511650f8a5aab7396043b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve git repository cloning

Issue-ID: OOM-1803

Change-Id: Ia8e222c2b70b58ed1f7dbc4254ea2f5cb5a9ef7b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve docker image downloading

Issue-ID: OOM-1803

Change-Id: I4e648d49835faa60165725d1ca4ec22ba1e3e12b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor npm packages download

Series of commits to improve python download
scripts.

Issue-ID: OOM-1803

Change-Id: I199660ab121038780c34065f78538bb4e7b07eb5
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor http files download

Original download scripts got out of hand.
This series of commits improves style of code
(code duplicates, etc.)

Issue-ID: OOM-1803

Change-Id: I7b82c1711d27fe450430fbe6d962a450301b0be0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add binaries preparation to installation steps

Adding binaries preparation into installation steps as rke binary need
to be renamed and helm binary need to be unarchived. Removing those
previously manual steps from BuilGuide

Issue-ID: OOM-1925

Change-Id: I504320fb82e1c8f6db2f99c5dfd4518192eae895
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix missing import in helm_deployment_status.py"

Merge changes from topic "OOM-1810"

* changes:
  Add verification tests for 'chrony' role
  Setup 'cluster_ip' fact for infra host in 'chrony' role tests

Merge changes from topic "OOM-1910"

* changes:
  Clean application role mocked artifacts directories
  Add custom patch role scenario to 'application' role

Merge changes from topic "OOM-1915"

* changes:
  Update 'busybox' and 'haproxy' docker images path in tests
  Add role level tests for 'nexus' role
  Improve 'nexus' role testability

Merge "Fix issue with yaml.load in docker collector"

Merge "Add directory remove on failed cloning"

Add data list for bin utils

Since bin utils can be downloaded as simple http file
this script remove previous shell script and changes
documentation to add necessary steps.

Issue-ID: OOM-1803

Change-Id: I4ced011ce47302349f9e7db74d0ef7f0fe9c4fa0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix missing import in helm_deployment_status.py

After recent changes a regression emerged due to
not properly imported 'subprocess' module 'check_output'
function.

Predefined list of available healthcheck modes is also
removed to allow passing any mode that will be supported
in future by healthcheck script.

Change-Id: I2dc681da079f75449f9f2456249d51b3c859f434
Issue-ID: OOM-1806
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Update 'busybox' and 'haproxy' docker images path in tests

At some point names of busybox and haproxy images
have changed in nexus3.onap.org registry. This patch
updates those names in testing framework.

Change-Id: Iaad4976118bfcd708f2b8fccb8df61f6059ac1f4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'vncserver' role

A cleanup stage is also added to clean testing
artifacts.

Change-Id: I2255a0e90a0f609bd927d3d44dd05b5847fbdfb0
Issue-ID: OOM-1926
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add pypi packages downloading python script

Issue-ID: OOM-1803

Change-Id: I5470bad5ad862362976b56350c931929ee4b69d6
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fixing mso-simulator patching"

Add verification tests for 'chrony' role

Testinfra tests are added for Molecule verifier.

Change-Id: Id044cdc5535af97ce3ac48da034a9a6a1ca8cbd3
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add tests for custom ntp authority mode in 'chrony' role

By default 'infra' node is set up as a time authority
for nodes. This patch adds tests for alternative supported
scenario where external time authority service is given.

Change-Id: I114418e79fa90b3af1c62a148ca91af3acf2bb2b
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Set version for MarkupSafe to 0.23

As MarkupSafe>=1.0 is not found in Nexus, fixing version to 0.23
which is the last version possible to use with Jinja 2.10.1

Jinja 2.10.1 is required by flask 1.0.3 installed in mso-simulator
container in oof-oof-cmso-service

Relates to OOM-1869

Issue-ID: OOM-1920

Change-Id: I02d5fb01db12aa2a3a55df4be65817e22b589c32
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Setup 'cluster_ip' fact for infra host in 'chrony' role tests

This patch sets up a missing 'cluster_ip' fact for
infrastructure host without which 'server' directive was
set up improperly in chrony.conf on 'node' host.

Change-Id: I3d98788b7eb54bf984d165a50072f51fd85c08fb
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Fixing mso-simulator patching

Original patch did not work as /etc/hosts file is administrated
by kubernetes. That msosimulator.sh is also sourced into configMap
and wrongly transferred back to shell script. This patch is
providing smarter way for patching /etc/hosts file which is
still needed.

Change-Id: I52595f7bd5231893621e08a2fd355bdb57057222
Issue-ID: OOM-1869
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Replace 'with_items' loop statements with 'loop' keyword"

Merge "Add cleanup stage to 'nginx' role test"

Merge "Add role level tests for 'nginx' role"

Merge "Use the original playbook in play-resources tests"

Add role level tests for 'nexus' role

Change-Id: If8decc241614e4fe802352cc783b59f8d7ec70b4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve 'nexus' role testability

A change needed by related commit to allow building
a custom nexus url.

Change-Id: Iaa7e1d10d9621871e71863c77722cd635b7e1e4d
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Fix docker search"

Fixing dns not working for other containers issue

If host networking is not used for dns container,
dns wont work for other infra containers. This is
unintentionally removed in
https://gerrit.onap.org/r/#/c/oom/offline-installer/+/87422/

Change-Id: I07ce6874e7baedadbdbbcf0913f1d683e19f93cd
Issue-ID: OOM-1866
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge changes I6421b55d,Icdb55918

* changes:
  Wrapping-up download refactorisation
  Adding rpm data list

Merge "Add molecule tests for kubectl role"

Merge "Add prepare-kubectl role"

Merge "Add tests for helm role"

Merge "Add prepare-helm role"

Merge "Remove the prepare-docker test role"

Use the original playbook in play-resources tests

This commit includes the original resources.yml playbook
by using import_playbook.
Some modifications were needed mostly because of the way
import_playbook works.
Also moved the setup role call to prepare.

Change-Id: I8745d5e43fd2050d47970c7d19bbbc4db8a5847f
Issue-ID: OOM-1912
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add directory remove on failed cloning

While downloading git repositories there was no removing
of created destination directory which could led to false
detection of downloaded repository.

This script adds directory remove in such case plus fixes
some minor typos in logging and help strings.

Issue-ID: OOM-1803

Change-Id: Iec672bc8248e7b2daee06717985e11f7e05aa5be
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add cleanup stage to 'nginx' role test

Change-Id: Idddc421d33698c08b19cc63f4e203d0964341462
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'nginx' role

Introduce full role level test coverage for
'nginx' role.

Change-Id: I7c634775433a2336e43cdfc73d4698d5e2933f0e
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Wrapping-up download refactorisation

This commit is making required adaptations mainly in BuildGuide
and removing deprecated old version of download scripts.

Change-Id: I6421b55d116831dc3b47c7630e91d361d56414c8
Issue-ID: OOM-1803
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix issue with yaml.load in docker collector

docker-images-collector.sh script uses yaml.load python function in
deprecated way and it is a potential security risk

https://github.com/yaml/pyyaml/wiki/PyYAML-yaml.load(input)-Deprecation

Issue-ID: OOM-1897

Change-Id: Ie30e60b4ede2c87a02b7bbe76e0695f91dc207c6
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add molecule tests for kubectl role

This commit adds molecule tests for kubectl role.
That includes verification for kubectl to be installed and runnable.

Change-Id: I4cb0679ed6826555a6d1f6cff4542ae52869f404
Issue-ID: OOM-1908
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add tests for helm role

This adds molecule tests for the helm role.

Change-Id: I5be27992062ca9039c141318bc54ce85ce35526b
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add prepare-helm role

This role downloads helm and places it in resources dir.
It is needed for testing helm role.

Change-Id: Ic7357f96d654a51592c332e4b61b0fe46a39270a
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add base download script"

Merge "Remove cleanup-rancher test role"

Merge "Remove cleanup-containers test role"

Merge "Removing rancher simulations from nginx"

Merge "Adapting to Dublin realase"

Clean application role mocked artifacts directories

Directories created by Molecule tests were left in
files tree and not cleaned up. This patch adds a task
to shred them after test invocation.

Change-Id: If745cfc45de2f73db5be1696a16a185ff2a625bf
Issue-ID: OOM-1910
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add custom patch role scenario to 'application' role

This adds test case for when application_pre_install_role
and application_post_install_role are set to custom role;
by default they are empty.

Code condition coverage is increased.

Change-Id: I14e59e15cf3ead0459374b5777f8ee03fe75d7bd
Issue-ID: OOM-1910
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add prepare-kubectl role

This role is used to prepare for kubectl role tests.
It may also be used when any other test needs installed
kubectl, for example when verifying kubernetes cluster
setup.
Both cases are a bit different.

Change-Id: Ie7a065c571d94f40cfd64c3eba78af3e84b3f08a
Issue-ID: OOM-1908
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Adding rpm data list

This list contains full record of all needed rpms. We decided to
enlist full list including versions to have full control over what
will be installed and what was verified.
Goal is to avoid issues about different dependencies coming later.
It is expected that major change will cause download to fail
which will work as early detection of problems.

Change-Id: Icdb55918dc20660c2c835d0e759b3eb5bad1f2fd
Issue-ID: OOM-1803
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Remove the cleanup-directories test role

This role is no longer needed after
removing it's usage from the nfs role.

Issue-ID: OOM-1902
Change-Id: I3f4d27e769c9edc3caef1b0d85a61f071e3a3b2f
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Removing rancher simulations from nginx

For Dublin/RKE we don't need to simulate those 2 domains,
they were needed in Casablanca for rancher git repos.

Change-Id: I66a2615284150c4b466994b0906bbe3e215793d5
Issue-ID: OOM-1800
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Add base download script

This script is supposed to be used for convenience when
downloading data from multiple lists at once.

Issue-ID: OOM-1803

Change-Id: I4031ed3650f7880883e299b43c79e6bfd08c886c
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Remove cleanup from play-resources

When play-resources does not use
bindmounting, there is no need to manually clean up resource files.
That makes it possible to remove cleanup.yml all together.
This is in preparation to remove the othervise unneeded
cleanup-directories role.

Change-Id: Id6c05700e8cd2e9c8f91a3cfdf46022b170e1e1e
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Do not use bindmounts for nfs tests

This commit removes bindmounting
of host directories to containers in play-resources tests.
It seems that it is unneeded, and it is enough to just create anonymous volumes
instead of cluttering host filesystem.
This is one part of a preparation for removing the cleanup-directories
role that won't be needed anymore.
Note: similar changes were made to the nfs
role tests, for the same reasons, but
cleanup-directories is not used there

Change-Id: Ib33543427d72b4bc7ede532e5eb9a5023931f1fe
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove cleanup-rancher test role

This role is not used by rancher tests anymore.

Issue-ID: OOM-1902
Change-Id: I989c41dfbf6dec8054befad87ac367bbf1afbc02
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove the prepare-docker test role

This removed the unused prepare-docker role.
The dind version is now the only one used.

Change-Id: Ic7c1c46ae06d931de7abac1f225675c8d6bf7dbd
Issue-ID: OOM-1902
Issue-ID: OOM-1862
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove cleanup-containers test role

This removes cleanup-containers test role,
that is not used by any tests after dind changes.

Change-Id: I2244257de1faa2b268e9d2f74d286c19de99fab0
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add molecule tests for rke role"

Replace 'with_items' loop statements with 'loop' keyword

As of Ansible 2.5 'loop' keyword is a recommended way
for looping statements instead of 'with_dict'.

Change-Id: I19e00cc27e13955e2056840fd4ce99841bc824ad
Issue-ID: OOM-1887
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adapting to Dublin realase

In Dublin:
First project has taken ownership of own helm charts, oom repository must be obtained with subrepositories.
By default no applications are enabled, introducing a way to submit more override files in to installer

Issue-ID: OOM-1861
Signed-off-by: root <m.pilat@partner.samsung.com>
Change-Id: I1724de6b87bd0e9d17df4d0f55615a3f1c439d40

Merge changes from topic "tags"

* changes:
  Remove tag support from nexus blob build script
  Fixing some typos in usage in build_nexus_blob.sh