Fixing branch in docs

Issue-ID: OOM-2091

Change-Id: I732066cbe36f4c23e741e47427f81c86f78dd6f4
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

package.py - Enable adding AUX images in to packages

Make possible to add custom images in to aux package + add versioning to package info and file names. Issue-ID: OOM-2078

Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Change-Id: Ibe141f386b2534aa59c6a3a31052e454b3a79e6b
(cherry picked from commit f7d2f5706eb1cc10388eb3677022c02f939bfff2)

Adding public network config capability to oom

This change was implemented in El-Alto, I see no chance
in getting into OOM dublin branch therefore suggesting
adding it into our patch file. Its required for
automatic vFWCL test execution.

Issue-ID: TEST-166

Change-Id: I19678ae6df3f4ec0fae541c33187db256efea66b
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Add .gitreview

It eases configuring remote via git-review -s

Issue-ID: DOC-505

Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I2f82f8797669d1bf9e0bbefcbb345ce4e463a60a
(cherry picked from commit 5160acf7baf7fdb6364dee4cea8c9198e067aaee)

Merge "Fix docker user settings backup"

Merge "Adding generating of docker images list"

Merge "Final doc tuning for Dublin branch"

Merge "Removing duplicates from onap list"

Final doc tuning for Dublin branch

This commit is doing just some small polishing of documentation
before creating Dublin branch for the offline installer.

Issue-ID: OOM-1870

Change-Id: I969b15400eb8064d6d097caa0f712fbf7ec5277a
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Verify dependencies for build_nexus_blob.sh are installed"

Merge changes Iee382756,I473f022c

* changes:
  Allow overriding docker version in prepare-docker-dind
  Specify source ip for rancher agent

Merge "Use cluster_ip for rancher server url"

Fix docker user settings backup

Fixing docker user settings backup and restore in build_nexus_blob.sh

Issue-ID: OOM-1968

Change-Id: I3f97cb7d0c16cce083388a87aef443ab805ca0e5
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Adding generating of docker images list

Adding a note to BuildGuide with the possibility to generate docker
images list based on actual OOM repository

Issue-ID: OOM-1965

Change-Id: I93c9f754f6bd135396eedefeba22c8be6f77388d
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Changing doc section related to packaging"

Fix wrong shebang in download scripts

Download does not support python2 so shebang
could cause problem.
This commit fixes that or removes shebang where
not necessary.

Issue-ID: OOM-1964

Change-Id: I443f5ef61b9bddfddba66d858d8f65c5ceacd90a
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Modify the way override works"

Changing doc section related to packaging

Updating build documentation with description how to use new packaging script, removing obsolete steps

Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Issue-ID: OOM-1932
Change-Id: I2a51c1f836dec5942229b88379b46151f041b560

Modify the way override works

Now the generated app_helm_override_file and the list of
helm overrides is separate.
The former is to contain things like user provided overrides,
the latter is the list of absolute paths to preexisting helm value files.
The playbook joins all that into a final list of override files that is then
passed to helm.

Change-Id: I8b8ded38b39aa9a75e55fc63fa0e11b986556cb8
Issue-ID: OOM-1951
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add docker local registry cleaning script"

Merge "Adding notes from vFWCL in Dublin"

Allow overriding docker version in prepare-docker-dind

This change allows overriding of docker version to be installed
when calling prepare-docker-dind role.
It also enables downgrading, allowing the
given version to be taken into account. Previously
the specified version was completely ignored.

Change-Id: Iee3827564f130498e9fad69ddea55278346b7cfe
Issue-ID: OOM-1906
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Specify source ip for rancher agent

This change explicitly sets cluster_ip as rancher agent source ip.
This avoids eventual problems with ip autodetection, especially that
we know the correct ip.

Change-Id: I473f022c56301cefeb98ccb5bb94d78e7ac491a7
Issue-ID: OOM-1906
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Verify dependencies for build_nexus_blob.sh are installed

Script now checks if utilized tools are installed on the
system. Without that it would fail in the middle of the flow.
Now it will fail fast at the beginning if a particular dependency
is missing. It will also list those missing dependencies.

Change-Id: I39bb6f5d1b9d3eec4a76e77a6af9470f3a3d5244
Issue-ID: OOM-1945
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adding notes from vFWCL in Dublin

This is just to share notes from the vFWCL exercise in Dublin.

Issue-ID: OOM-1900

Change-Id: I76cc577342a8e25a900b119462ff6c7768189382
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Make loading docker images from tars optional"

Merge "New packaging script"

Add docker local registry cleaning script

Since with changing data lists there are unused images
left in local registry on build server this
commit adds script that handles that.

Issue-ID: OOM-1952

Change-Id: Ied7a8b09aacd33ef17f0676cfab333d1df8a1a81
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Removing duplicates from onap list

Removing from onap list duplicatated images which belongs to RKE

Issue-ID: OOM-1847

Change-Id: I5d8b2960c5225726401eefb95d1fe40e2c14f412
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

New packaging script

Introducing new packaging script, converted to python with slightly modified logic

Issue-ID: OOM-1932
Signed-off-by: Mateusz Pilat <m.pilat@partner.samsung.com>
Change-Id: I9eba27d9b6f48e825416c6729adad02aaade9685

Removing common functions library

library of common functions is not used anywhere since the download
process was rewritten to python

Issue-ID: OOM-1803

Change-Id: Id648ea738c87e1630963d85184d475f940599f82
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic "data-download-refactor"

* changes:
  Refactor download.py and remove not used files
  Refactor of rpm downloading
  Refactor pypi packages download
  Refactor and improve git repository cloning
  Refactor and improve docker image downloading
  Refactor npm packages download
  Refactor http files download

Updating docker images list for onap

Issue-ID: OOM-1847

Change-Id: I9ea6e9ae1c0b3d7fb24556c31c883ab509585598
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Make loading docker images from tars optional

As build server for building Nexus blob can be the same machine as for
previous download, there's not necessary to load all docker images if
they are already in local registry - therefore this patch makes the
loading of the images from tarballs as an option and by default will use
images directly from local registry

Issue-ID: OOM-1889

Change-Id: Id8f850afdab1009d026aef97ac1b0eb3d742f38b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Removing http data list

New policy framework in Dublin is offline friendly and does
not require collecting maven artifacts in runtime from
internet. We can exclude this step from our offline platform
and it was verified using vFWCL demo.

Change-Id: I284b114d70fa73362eb603286bcb98ce1e2367c0
Issue-ID: OOM-1900
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Streamline nexus role tests by using smaller test images"

Merge "Remove artifacts left by 'dns' role tests"

Merge changes from topic "bin_utils"

* changes:
  Fix tests for binaries preparation in installation steps
  Add binaries preparation to installation steps

Fix tests for binaries preparation in installation steps

Change-Id: Ib28bda24b711111c13bbaf9bd2628abd2001a1a9
Issue-ID: OOM-1925
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Updated inventory template in install guide"

Updated inventory template in install guide

Updated the inventory file template in install guide to cover
new group structure.
Just copy-paste of current inventory/hosts.yml
same as before.

Change-Id: Iade5f8120b06bccebf8f156b2637998722ecfa07
Issue-ID: OOM-1778
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Streamline nexus role tests by using smaller test images

A 140mb haproxy image was substituted with tiny alpine
image to make CI tests faster.

Change-Id: Ic1a234df8f293e12a6e864817a19bf5445f10fe9
Issue-ID: OOM-1942
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Remove artifacts left by 'dns' role tests

'dnsmasq.tar' docker image file will be removed
after test invocation.

Change-Id: I29668ece8c745794ad9462e527ca144bea6f4fc2
Issue-ID: OOM-1943
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add cleanup stage to 'nexus' role test"

Merge changes from topic "kubernetes-inventory-groups"

* changes:
  Add etcd group support to rke role
  Add kubernetes-etcd group
  Make rke to use new group structure
  Add kubernetes-node group for workers

Add cleanup stage to 'nexus' role test

List of docker images to download/cleanup by the
prepare and cleanup stages is now defined in one
place (prepare-nexus role defaults) for clarity and
ease of management.

Change-Id: I4c18912fd8c5eadc4d68e1bc10f5c2251d58634e
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Add tests for custom ntp authority mode in 'chrony' role"

Merge "Add role level tests for 'vncserver' role"

Refactor download.py and remove not used files

Final commit in download refactoring series.

Issue-ID: OOM-1803

Change-Id: I5b71908903ef131b8c16d08225c4d2e2de655130
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor of rpm downloading

Issue-ID: OOM-1803

Change-Id: Ic1efb371409daddd5910e067ad1f0a85cc7db4ab
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor pypi packages download

Issue-ID: OOM-1803

Change-Id: I65056208ed3e89777c3511650f8a5aab7396043b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve git repository cloning

Issue-ID: OOM-1803

Change-Id: Ia8e222c2b70b58ed1f7dbc4254ea2f5cb5a9ef7b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor and improve docker image downloading

Issue-ID: OOM-1803

Change-Id: I4e648d49835faa60165725d1ca4ec22ba1e3e12b
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor npm packages download

Series of commits to improve python download
scripts.

Issue-ID: OOM-1803

Change-Id: I199660ab121038780c34065f78538bb4e7b07eb5
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Refactor http files download

Original download scripts got out of hand.
This series of commits improves style of code
(code duplicates, etc.)

Issue-ID: OOM-1803

Change-Id: I7b82c1711d27fe450430fbe6d962a450301b0be0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add binaries preparation to installation steps

Adding binaries preparation into installation steps as rke binary need
to be renamed and helm binary need to be unarchived. Removing those
previously manual steps from BuilGuide

Issue-ID: OOM-1925

Change-Id: I504320fb82e1c8f6db2f99c5dfd4518192eae895
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix missing import in helm_deployment_status.py"

Merge changes from topic "OOM-1810"

* changes:
  Add verification tests for 'chrony' role
  Setup 'cluster_ip' fact for infra host in 'chrony' role tests

Merge changes from topic "OOM-1910"

* changes:
  Clean application role mocked artifacts directories
  Add custom patch role scenario to 'application' role

Merge changes from topic "OOM-1915"

* changes:
  Update 'busybox' and 'haproxy' docker images path in tests
  Add role level tests for 'nexus' role
  Improve 'nexus' role testability

Merge "Fix issue with yaml.load in docker collector"

Merge "Add directory remove on failed cloning"

Add data list for bin utils

Since bin utils can be downloaded as simple http file
this script remove previous shell script and changes
documentation to add necessary steps.

Issue-ID: OOM-1803

Change-Id: I4ced011ce47302349f9e7db74d0ef7f0fe9c4fa0
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix missing import in helm_deployment_status.py

After recent changes a regression emerged due to
not properly imported 'subprocess' module 'check_output'
function.

Predefined list of available healthcheck modes is also
removed to allow passing any mode that will be supported
in future by healthcheck script.

Change-Id: I2dc681da079f75449f9f2456249d51b3c859f434
Issue-ID: OOM-1806
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Update 'busybox' and 'haproxy' docker images path in tests

At some point names of busybox and haproxy images
have changed in nexus3.onap.org registry. This patch
updates those names in testing framework.

Change-Id: Iaad4976118bfcd708f2b8fccb8df61f6059ac1f4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'vncserver' role

A cleanup stage is also added to clean testing
artifacts.

Change-Id: I2255a0e90a0f609bd927d3d44dd05b5847fbdfb0
Issue-ID: OOM-1926
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add pypi packages downloading python script

Issue-ID: OOM-1803

Change-Id: I5470bad5ad862362976b56350c931929ee4b69d6
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fixing mso-simulator patching"

Add verification tests for 'chrony' role

Testinfra tests are added for Molecule verifier.

Change-Id: Id044cdc5535af97ce3ac48da034a9a6a1ca8cbd3
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add tests for custom ntp authority mode in 'chrony' role

By default 'infra' node is set up as a time authority
for nodes. This patch adds tests for alternative supported
scenario where external time authority service is given.

Change-Id: I114418e79fa90b3af1c62a148ca91af3acf2bb2b
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Set version for MarkupSafe to 0.23

As MarkupSafe>=1.0 is not found in Nexus, fixing version to 0.23
which is the last version possible to use with Jinja 2.10.1

Jinja 2.10.1 is required by flask 1.0.3 installed in mso-simulator
container in oof-oof-cmso-service

Relates to OOM-1869

Issue-ID: OOM-1920

Change-Id: I02d5fb01db12aa2a3a55df4be65817e22b589c32
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Setup 'cluster_ip' fact for infra host in 'chrony' role tests

This patch sets up a missing 'cluster_ip' fact for
infrastructure host without which 'server' directive was
set up improperly in chrony.conf on 'node' host.

Change-Id: I3d98788b7eb54bf984d165a50072f51fd85c08fb
Issue-ID: OOM-1810
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Fixing mso-simulator patching

Original patch did not work as /etc/hosts file is administrated
by kubernetes. That msosimulator.sh is also sourced into configMap
and wrongly transferred back to shell script. This patch is
providing smarter way for patching /etc/hosts file which is
still needed.

Change-Id: I52595f7bd5231893621e08a2fd355bdb57057222
Issue-ID: OOM-1869
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Replace 'with_items' loop statements with 'loop' keyword"

Merge "Add cleanup stage to 'nginx' role test"

Merge "Add role level tests for 'nginx' role"

Merge "Use the original playbook in play-resources tests"

Add role level tests for 'nexus' role

Change-Id: If8decc241614e4fe802352cc783b59f8d7ec70b4
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve 'nexus' role testability

A change needed by related commit to allow building
a custom nexus url.

Change-Id: Iaa7e1d10d9621871e71863c77722cd635b7e1e4d
Issue-ID: OOM-1915
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Fix docker search"

Use cluster_ip for rancher server url

This commit changes rancher role to
use the cluster_ip when constructing rancher
server url.
This is a prerequisite to playbook level
rancher tests.

Change-Id: Id3eff260fe9d158aa8ab39494446ff7d6ad7ec6c
Issue-ID: OOM-1906
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Fixing dns not working for other containers issue

If host networking is not used for dns container,
dns wont work for other infra containers. This is
unintentionally removed in
https://gerrit.onap.org/r/#/c/oom/offline-installer/+/87422/

Change-Id: I07ce6874e7baedadbdbbcf0913f1d683e19f93cd
Issue-ID: OOM-1866
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge changes I6421b55d,Icdb55918

* changes:
  Wrapping-up download refactorisation
  Adding rpm data list

Merge "Add molecule tests for kubectl role"

Merge "Add prepare-kubectl role"

Merge "Add tests for helm role"

Merge "Add prepare-helm role"

Merge "Remove the prepare-docker test role"

Use the original playbook in play-resources tests

This commit includes the original resources.yml playbook
by using import_playbook.
Some modifications were needed mostly because of the way
import_playbook works.
Also moved the setup role call to prepare.

Change-Id: I8745d5e43fd2050d47970c7d19bbbc4db8a5847f
Issue-ID: OOM-1912
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add directory remove on failed cloning

While downloading git repositories there was no removing
of created destination directory which could led to false
detection of downloaded repository.

This script adds directory remove in such case plus fixes
some minor typos in logging and help strings.

Issue-ID: OOM-1803

Change-Id: Iec672bc8248e7b2daee06717985e11f7e05aa5be
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Add cleanup stage to 'nginx' role test

Change-Id: Idddc421d33698c08b19cc63f4e203d0964341462
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Add role level tests for 'nginx' role

Introduce full role level test coverage for
'nginx' role.

Change-Id: I7c634775433a2336e43cdfc73d4698d5e2933f0e
Issue-ID: OOM-1913
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Wrapping-up download refactorisation

This commit is making required adaptations mainly in BuildGuide
and removing deprecated old version of download scripts.

Change-Id: I6421b55d116831dc3b47c7630e91d361d56414c8
Issue-ID: OOM-1803
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix issue with yaml.load in docker collector

docker-images-collector.sh script uses yaml.load python function in
deprecated way and it is a potential security risk

https://github.com/yaml/pyyaml/wiki/PyYAML-yaml.load(input)-Deprecation

Issue-ID: OOM-1897

Change-Id: Ie30e60b4ede2c87a02b7bbe76e0695f91dc207c6
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add molecule tests for kubectl role

This commit adds molecule tests for kubectl role.
That includes verification for kubectl to be installed and runnable.

Change-Id: I4cb0679ed6826555a6d1f6cff4542ae52869f404
Issue-ID: OOM-1908
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add tests for helm role

This adds molecule tests for the helm role.

Change-Id: I5be27992062ca9039c141318bc54ce85ce35526b
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add prepare-helm role

This role downloads helm and places it in resources dir.
It is needed for testing helm role.

Change-Id: Ic7357f96d654a51592c332e4b61b0fe46a39270a
Issue-ID: OOM-1909
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add base download script"

Merge "Remove cleanup-rancher test role"

Merge "Remove cleanup-containers test role"