Removing duplicates from onap list

Removing from onap list duplicatated images which belongs to RKE

Issue-ID: OOM-1847

Change-Id: I5d8b2960c5225726401eefb95d1fe40e2c14f412
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Removing common functions library

library of common functions is not used anywhere since the download
process was rewritten to python

Issue-ID: OOM-1803

Change-Id: Id648ea738c87e1630963d85184d475f940599f82
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic "data-download-refactor"

* changes:
  Refactor download.py and remove not used files
  Refactor of rpm downloading
  Refactor pypi packages download
  Refactor and improve git repository cloning
  Refactor and improve docker image downloading
  Refactor npm packages download
  Refactor http files download

Updating docker images list for onap

Issue-ID: OOM-1847

Change-Id: I9ea6e9ae1c0b3d7fb24556c31c883ab509585598
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Removing http data list

New policy framework in Dublin is offline friendly and does
not require collecting maven artifacts in runtime from
internet. We can exclude this step from our offline platform
and it was verified using vFWCL demo.

Change-Id: I284b114d70fa73362eb603286bcb98ce1e2367c0
Issue-ID: OOM-1900
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Streamline nexus role tests by using smaller test images"

Merge "Remove artifacts left by 'dns' role tests"

Merge changes from topic "bin_utils"

* changes:
  Fix tests for binaries preparation in installation steps
  Add binaries preparation to installation steps

Fix tests for binaries preparation in installation steps

Change-Id: Ib28bda24b711111c13bbaf9bd2628abd2001a1a9
Issue-ID: OOM-1925
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Updated inventory template in install guide"

Updated inventory template in install guide

Updated the inventory file template in install guide to cover
new group structure.
Just copy-paste of current inventory/hosts.yml
same as before.

Change-Id: Iade5f8120b06bccebf8f156b2637998722ecfa07
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Streamline nexus role tests by using smaller test images

A 140mb haproxy image was substituted with tiny alpine
image to make CI tests faster.

Change-Id: Ic1a234df8f293e12a6e864817a19bf5445f10fe9
Issue-ID: OOM-1942
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Remove artifacts left by 'dns' role tests

'dnsmasq.tar' docker image file will be removed
after test invocation.

Change-Id: I29668ece8c745794ad9462e527ca144bea6f4fc2
Issue-ID: OOM-1943
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add cleanup stage to 'nexus' role test"

Merge changes from topic "kubernetes-inventory-groups"

* changes:
  Add etcd group support to rke role
  Add kubernetes-etcd group
  Make rke to use new group structure
  Add kubernetes-node group for workers

Add cleanup stage to 'nexus' role test

List of docker images to download/cleanup by the
prepare and cleanup stages is now defined in one
place (prepare-nexus role defaults) for clarity and
ease of management.

Change-Id: I4c18912fd8c5eadc4d68e1bc10f5c2251d58634e
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add tests for custom ntp authority mode in 'chrony' role"

Merge "Add role level tests for 'vncserver' role"

Refactor download.py and remove not used files

Final commit in download refactoring series.

Issue-ID: OOM-1803

Change-Id: I5b71908903ef131b8c16d08225c4d2e2de655130
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor of rpm downloading

Issue-ID: OOM-1803

Change-Id: Ic1efb371409daddd5910e067ad1f0a85cc7db4ab
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor pypi packages download

Issue-ID: OOM-1803

Change-Id: I65056208ed3e89777c3511650f8a5aab7396043b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve git repository cloning

Issue-ID: OOM-1803

Change-Id: Ia8e222c2b70b58ed1f7dbc4254ea2f5cb5a9ef7b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve docker image downloading

Issue-ID: OOM-1803

Change-Id: I4e648d49835faa60165725d1ca4ec22ba1e3e12b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor npm packages download

Series of commits to improve python download
scripts.

Issue-ID: OOM-1803

Change-Id: I199660ab121038780c34065f78538bb4e7b07eb5
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor http files download

Original download scripts got out of hand.
This series of commits improves style of code
(code duplicates, etc.)

Issue-ID: OOM-1803

Change-Id: I7b82c1711d27fe450430fbe6d962a450301b0be0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add binaries preparation to installation steps

Adding binaries preparation into installation steps as rke binary need
to be renamed and helm binary need to be unarchived. Removing those
previously manual steps from BuilGuide

Issue-ID: OOM-1925

Change-Id: I504320fb82e1c8f6db2f99c5dfd4518192eae895
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix missing import in helm_deployment_status.py"

Merge changes from topic "OOM-1810"

* changes:
  Add verification tests for 'chrony' role
  Setup 'cluster_ip' fact for infra host in 'chrony' role tests

Merge changes from topic "OOM-1910"

* changes:
  Clean application role mocked artifacts directories
  Add custom patch role scenario to 'application' role

Merge changes from topic "OOM-1915"

* changes:
  Update 'busybox' and 'haproxy' docker images path in tests
  Add role level tests for 'nexus' role
  Improve 'nexus' role testability

Merge "Fix issue with yaml.load in docker collector"

Merge "Add directory remove on failed cloning"

Add data list for bin utils

Since bin utils can be downloaded as simple http file
this script remove previous shell script and changes
documentation to add necessary steps.

Issue-ID: OOM-1803

Change-Id: I4ced011ce47302349f9e7db74d0ef7f0fe9c4fa0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix missing import in helm_deployment_status.py

After recent changes a regression emerged due to
not properly imported 'subprocess' module 'check_output'
function.

Predefined list of available healthcheck modes is also
removed to allow passing any mode that will be supported
in future by healthcheck script.

Change-Id: I2dc681da079f75449f9f2456249d51b3c859f434
Issue-ID: OOM-1806
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Update 'busybox' and 'haproxy' docker images path in tests

At some point names of busybox and haproxy images
have changed in nexus3.onap.org registry. This patch
updates those names in testing framework.

Change-Id: Iaad4976118bfcd708f2b8fccb8df61f6059ac1f4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'vncserver' role

A cleanup stage is also added to clean testing
artifacts.

Change-Id: I2255a0e90a0f609bd927d3d44dd05b5847fbdfb0
Issue-ID: OOM-1926
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add pypi packages downloading python script

Issue-ID: OOM-1803

Change-Id: I5470bad5ad862362976b56350c931929ee4b69d6
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fixing mso-simulator patching"

Add verification tests for 'chrony' role

Testinfra tests are added for Molecule verifier.

Change-Id: Id044cdc5535af97ce3ac48da034a9a6a1ca8cbd3
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add tests for custom ntp authority mode in 'chrony' role

By default 'infra' node is set up as a time authority
for nodes. This patch adds tests for alternative supported
scenario where external time authority service is given.

Change-Id: I114418e79fa90b3af1c62a148ca91af3acf2bb2b
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Set version for MarkupSafe to 0.23

As MarkupSafe>=1.0 is not found in Nexus, fixing version to 0.23
which is the last version possible to use with Jinja 2.10.1

Jinja 2.10.1 is required by flask 1.0.3 installed in mso-simulator
container in oof-oof-cmso-service

Relates to OOM-1869

Issue-ID: OOM-1920

Change-Id: I02d5fb01db12aa2a3a55df4be65817e22b589c32
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Setup 'cluster_ip' fact for infra host in 'chrony' role tests

This patch sets up a missing 'cluster_ip' fact for
infrastructure host without which 'server' directive was
set up improperly in chrony.conf on 'node' host.

Change-Id: I3d98788b7eb54bf984d165a50072f51fd85c08fb
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Fixing mso-simulator patching

Original patch did not work as /etc/hosts file is administrated
by kubernetes. That msosimulator.sh is also sourced into configMap
and wrongly transferred back to shell script. This patch is
providing smarter way for patching /etc/hosts file which is
still needed.

Change-Id: I52595f7bd5231893621e08a2fd355bdb57057222
Issue-ID: OOM-1869
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Replace 'with_items' loop statements with 'loop' keyword"

Merge "Add cleanup stage to 'nginx' role test"

Merge "Add role level tests for 'nginx' role"

Merge "Use the original playbook in play-resources tests"

Add role level tests for 'nexus' role

Change-Id: If8decc241614e4fe802352cc783b59f8d7ec70b4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve 'nexus' role testability

A change needed by related commit to allow building
a custom nexus url.

Change-Id: Iaa7e1d10d9621871e71863c77722cd635b7e1e4d
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Fix docker search"

Fixing dns not working for other containers issue

If host networking is not used for dns container,
dns wont work for other infra containers. This is
unintentionally removed in
https://gerrit.onap.org/r/#/c/oom/offline-installer/+/87422/

Change-Id: I07ce6874e7baedadbdbbcf0913f1d683e19f93cd
Issue-ID: OOM-1866
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge changes I6421b55d,Icdb55918

* changes:
  Wrapping-up download refactorisation
  Adding rpm data list

Merge "Add molecule tests for kubectl role"

Merge "Add prepare-kubectl role"

Merge "Add tests for helm role"

Merge "Add prepare-helm role"

Merge "Remove the prepare-docker test role"

Use the original playbook in play-resources tests

This commit includes the original resources.yml playbook
by using import_playbook.
Some modifications were needed mostly because of the way
import_playbook works.
Also moved the setup role call to prepare.

Change-Id: I8745d5e43fd2050d47970c7d19bbbc4db8a5847f
Issue-ID: OOM-1912
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add directory remove on failed cloning

While downloading git repositories there was no removing
of created destination directory which could led to false
detection of downloaded repository.

This script adds directory remove in such case plus fixes
some minor typos in logging and help strings.

Issue-ID: OOM-1803

Change-Id: Iec672bc8248e7b2daee06717985e11f7e05aa5be
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add cleanup stage to 'nginx' role test

Change-Id: Idddc421d33698c08b19cc63f4e203d0964341462
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'nginx' role

Introduce full role level test coverage for
'nginx' role.

Change-Id: I7c634775433a2336e43cdfc73d4698d5e2933f0e
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Wrapping-up download refactorisation

This commit is making required adaptations mainly in BuildGuide
and removing deprecated old version of download scripts.

Change-Id: I6421b55d116831dc3b47c7630e91d361d56414c8
Issue-ID: OOM-1803
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix issue with yaml.load in docker collector

docker-images-collector.sh script uses yaml.load python function in
deprecated way and it is a potential security risk

https://github.com/yaml/pyyaml/wiki/PyYAML-yaml.load(input)-Deprecation

Issue-ID: OOM-1897

Change-Id: Ie30e60b4ede2c87a02b7bbe76e0695f91dc207c6
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add molecule tests for kubectl role

This commit adds molecule tests for kubectl role.
That includes verification for kubectl to be installed and runnable.

Change-Id: I4cb0679ed6826555a6d1f6cff4542ae52869f404
Issue-ID: OOM-1908
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add tests for helm role

This adds molecule tests for the helm role.

Change-Id: I5be27992062ca9039c141318bc54ce85ce35526b
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add prepare-helm role

This role downloads helm and places it in resources dir.
It is needed for testing helm role.

Change-Id: Ic7357f96d654a51592c332e4b61b0fe46a39270a
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add base download script"

Merge "Remove cleanup-rancher test role"

Merge "Remove cleanup-containers test role"

Merge "Removing rancher simulations from nginx"

Merge "Adapting to Dublin realase"

Clean application role mocked artifacts directories

Directories created by Molecule tests were left in
files tree and not cleaned up. This patch adds a task
to shred them after test invocation.

Change-Id: If745cfc45de2f73db5be1696a16a185ff2a625bf
Issue-ID: OOM-1910
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add custom patch role scenario to 'application' role

This adds test case for when application_pre_install_role
and application_post_install_role are set to custom role;
by default they are empty.

Code condition coverage is increased.

Change-Id: I14e59e15cf3ead0459374b5777f8ee03fe75d7bd
Issue-ID: OOM-1910
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add prepare-kubectl role

This role is used to prepare for kubectl role tests.
It may also be used when any other test needs installed
kubectl, for example when verifying kubernetes cluster
setup.
Both cases are a bit different.

Change-Id: Ie7a065c571d94f40cfd64c3eba78af3e84b3f08a
Issue-ID: OOM-1908
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Adding rpm data list

This list contains full record of all needed rpms. We decided to
enlist full list including versions to have full control over what
will be installed and what was verified.
Goal is to avoid issues about different dependencies coming later.
It is expected that major change will cause download to fail
which will work as early detection of problems.

Change-Id: Icdb55918dc20660c2c835d0e759b3eb5bad1f2fd
Issue-ID: OOM-1803
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Remove the cleanup-directories test role

This role is no longer needed after
removing it's usage from the nfs role.

Issue-ID: OOM-1902
Change-Id: I3f4d27e769c9edc3caef1b0d85a61f071e3a3b2f
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Removing rancher simulations from nginx

For Dublin/RKE we don't need to simulate those 2 domains,
they were needed in Casablanca for rancher git repos.

Change-Id: I66a2615284150c4b466994b0906bbe3e215793d5
Issue-ID: OOM-1800
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Add base download script

This script is supposed to be used for convenience when
downloading data from multiple lists at once.

Issue-ID: OOM-1803

Change-Id: I4031ed3650f7880883e299b43c79e6bfd08c886c
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Remove cleanup from play-resources

When play-resources does not use
bindmounting, there is no need to manually clean up resource files.
That makes it possible to remove cleanup.yml all together.
This is in preparation to remove the othervise unneeded
cleanup-directories role.

Change-Id: Id6c05700e8cd2e9c8f91a3cfdf46022b170e1e1e
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Do not use bindmounts for nfs tests

This commit removes bindmounting
of host directories to containers in play-resources tests.
It seems that it is unneeded, and it is enough to just create anonymous volumes
instead of cluttering host filesystem.
This is one part of a preparation for removing the cleanup-directories
role that won't be needed anymore.
Note: similar changes were made to the nfs
role tests, for the same reasons, but
cleanup-directories is not used there

Change-Id: Ib33543427d72b4bc7ede532e5eb9a5023931f1fe
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove cleanup-rancher test role

This role is not used by rancher tests anymore.

Issue-ID: OOM-1902
Change-Id: I989c41dfbf6dec8054befad87ac367bbf1afbc02
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove the prepare-docker test role

This removed the unused prepare-docker role.
The dind version is now the only one used.

Change-Id: Ic7c1c46ae06d931de7abac1f225675c8d6bf7dbd
Issue-ID: OOM-1902
Issue-ID: OOM-1862
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Remove cleanup-containers test role

This removes cleanup-containers test role,
that is not used by any tests after dind changes.

Change-Id: I2244257de1faa2b268e9d2f74d286c19de99fab0
Issue-ID: OOM-1902
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add molecule tests for rke role"

Replace 'with_items' loop statements with 'loop' keyword

As of Ansible 2.5 'loop' keyword is a recommended way
for looping statements instead of 'with_dict'.

Change-Id: I19e00cc27e13955e2056840fd4ce99841bc824ad
Issue-ID: OOM-1887
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adapting to Dublin realase

In Dublin:
First project has taken ownership of own helm charts, oom repository must be obtained with subrepositories.
By default no applications are enabled, introducing a way to submit more override files in to installer

Issue-ID: OOM-1861
Signed-off-by: root <m.pilat@partner.samsung.com>
Change-Id: I1724de6b87bd0e9d17df4d0f55615a3f1c439d40

Merge changes from topic "tags"

* changes:
  Remove tag support from nexus blob build script
  Fixing some typos in usage in build_nexus_blob.sh

Merge "Updating list of docker images for ONAP"

Add etcd group support to rke role

Etcd cluster is now placed in members of kubernetes-etcd group instead
of kubernetes-node.
Due to defaults, it means infra is the only etcd
by default.

Change-Id: Iae05a42442849e4a248d73c2d78f5e2b0eae7255
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Updating PIP packages list for Dublin"

Merge changes from topic "collector"

* changes:
  Fixing bug in docker-images-collector.sh
  Add comment to automatically generated docker list
  Remove tag parameter from docker-image-collector.sh

Add kubernetes-etcd group

This group will contain kubernetes etcd cluster.
It is separated from kubernetes control plane and, especially, nodes.
There are of course no restrictions as to which
machines can be etcd.
Default is infrastructure-server.

Change-Id: I8d3ab9b9e4680f57ea8f595d7be3ed6e2d32764c
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add molecule tests for rke role

This change adds molecule tests for the rke role, and
modifies the rke role itself to be more idempotent/to
pass linter.
Note that this molecule test case uses a separate
role to install docker in containers, that runs
docker daemon inside of them instead of using host docker.

Issue-ID: OOM-1778
Change-Id: I875f3ff2ab961e5428acee5a02287a8d2d6e9969
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Make rke to use new group structure

Rke playbook/role is modified to take advantage of the new group structure.
Namely, all members of kubernetes group are treated as cluster members
independent of their role.
The role itself is selected in cluster.yml.j2 template
based on actual membership in either kubernetes-node
or kubernetes-control-plane group.

Change-Id: I9a5bbfd090aff17018a610a01d6f88d848fc26c4
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add kubernetes-node group for workers

Moved all kubernetes nodes from the kubernetes to kubernetes-node group,
and made the kubernetes group a parent of both kubernetes-node and
kubernetes-control-plane.
The reason is that we still need to have separate groups for
control planes and for nodes, but some
operations are performed equally on any kind of kubernetes
cluster member, and currently one would need to separately include all
related groups one by one. Example of
such common operation is installation of docker, that was not
performed for kubernetes-control-plane group, so that
docker was not installed on control planes that were neither infra nor nodes.
The side effect of this change is that if infrastructure
server is also a cluster member, it lands in a kubernetes group by default,
and node specific setup would be performed on it.
For that reason, playbook is modified to perform this setup on all
kubernetes cluster members except the infra server.

Change-Id: Ic827002d28e535334dbab7e5ad4aed8aa95c97a9
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Fix docker search

Change-Id: I4dec01c0a2369b22c50cc9198f2355cbd5f87f82
Issue-ID: OOM-1905
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge changes from topic "OOM-1806"

* changes:
  Add doc for new healthcheck feature in helm_deployment_status.py
  Make healthcheck script output unbuffered
  Support running healthcheck in any mode supported
  Always show healthcheck output if it was run
  Support SSL certificate based authentication to kube API
  Add Kubernetes class to track API connection settings

Fixing bug in docker-images-collector.sh

Some images from oom/kubernetes/common/ were not correctly collected
by creating_data/docker-images-collector.sh script

Issue-ID: OOM-1886

Change-Id: I044ca8a26353da44cd6f8e94fcb822570c954b49
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add comment to automatically generated docker list

Add comment to docker image list generated by docker-images-collector.sh
to reffer to commit id in case of ONAP or to project in other cases

Issue-ID: OOM-1884

Change-Id: I7ff32fae84db3476495eb2e560c3bf61e41e2ddb
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Remove tag parameter from docker-image-collector.sh

Removing tag parameter from docker-image-collector.sh as it's not
necessary as described in OOM-1881

Issue-ID: OOM-1885

Change-Id: Id83b396c4b994cfa659c518e3f03e704a84d65f0
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>