Adding docker image list for 3.0.2

New docker image list based on Casablanca MR 3.0.2-ONAP

Issue-ID: OOM-1802

Change-Id: Ic521cae2003299e1431c71750de9c603f07f9675
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Molecule tests for chrony role"

Improve nfs role

This commit improves the nfs role by
using cluster_ip variable instead of ansible_host for getting
nfs client/server address, and
using /etc/exports.d instead of /etc/exports for
exporting nfs filesystem.
Also, this commit fixes other
issues in molecule found along the way.

Change-Id: Ibd4ea5d4fd937116e2dc9e1b6f85c3e019f62e17
Issue-ID: OOM-1770
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Molecule tests for rancher role

Issue-ID: OOM-1775

Change-Id: I6ea11db932cd77e03909e4c72acc4b92a544eb4b
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for chrony role

Change-Id: I2cfee4ef44b1aa0ddff0b5d93712390988846c90
Issue-ID: OOM-1710
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Molecule test run wrappers against CI

Add ci-molecule.sh script to work as an interface
towards CI pipe for running Molecule tests.

Issue-ID: OOM-1749

Change-Id: Ib6e74d9b03b569a172a606f4db41b707602bf279
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Fix for running Molecule on Centos host

On Centos7.6 /dev/loop* device nodes are
created dynamically upon alocation (by default
there is no /dev/loop<N> device nodes) - this
has effect of failing to allocate those in
Docker container, even when run in privileged
mode.

Change-Id: If2c852de3a74ea7fe1df9f5c863f184b9bc13acb
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Molecule container for running Molecule

Add own Dockerfile and build script for creating
customized molecule runner image from Molecule image
provided by https://quay.io/repository/ansible/molecule.

Customization enables running of molecule container with
current host's user to avoid root owned files bloating
to developer's machine.

Add wrapper script molecule.sh to utilize custom image
and suitable for testing offline-installer roles.

Issue-ID: OOM-1768

Change-Id: I14ed75decb8fa637c044675543de56f1c0796271
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for certificates role

Issue-ID: OOM-1762

Change-Id: Ic13d7ec775a52ad95fc0388e8b84ea8ab7367666
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for docker role

Issue-ID: OOM-1759

Change-Id: I9e1ee7f248147b3f7229625c7a20fa84e8e67aac
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Molecule tests for resource-data role"

Merge "Molecule tests for firewall role"

Merge "Molecule role tests for setup role"

Merge "Molecule tests for package-repository role"

Merge "Add monitoring script for deployment progress"

Molecule role tests for setup role

Issue-ID: OOM-1742

Change-Id: I3087952f3d4e5de20af83e714c0d5444999a5ee2
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for firewall role

Issue-ID: OOM-1757

Change-Id: I48639bd0fb67383a58f736aa1c12c38e3ddc9ab0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for package-repository role

Issue-ID: OOM-1755

Change-Id: Iac20072200f24a3102c9ed2edf5c5aa8054dd9c2
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Molecule tests for resource-data role

Initial molecule tests. Tests now ssh transfer but
test files fully supports also testing nfs transfer.
Creating nfs transfer as separate scenario later when
find out better ways to share common code.

Issue-ID: OOM-1754

Change-Id: Ia728ecfed4378c01f7e305d5a4446b0172fe42d9
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add monitoring script for deployment progress

Issue-ID: OOM-1724

Change-Id: Ie634a441641abd3afd4093661c5d4f57245946ee
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Dockerfile and build script for Ubuntu"

Merge "Update Testing Guide"

Merge "Improve dockerfile for Centos7"

Merge "Fix patching registry in NPM"

Merge "Fixing minor inaccuracies in BuildGuide"

Update Testing Guide

Covers aspects related to multi scenario testing.

Clarifies build scripts and pre-build images
usage scenarios.

Change-Id: Ib30a80a8c695387b51c9014d046cabff33229244
Issue-ID: OOM-1710
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Update image name for Molecule

Sanitizing image name for Molecule testing with
new updated naming pattern.

Change-Id: I1565242f0ddd88b0df758ebb3519f2e059f22c02
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve dockerfile for Centos7

All packages are upgraded and '/run' volume is
being created.

Change-Id: I9a7056cf4615932b322c1c5b073ab60787ac54e0
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Fixing minor inaccuracies in BuildGuide

Repos are configured differently on RHEL/Centos platforms

Issue-ID: OOM-1761

Change-Id: Ic91b7c91f0c0fb47170709d6628f210b65a56425
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix patching registry in NPM

Fix URL in patching of registry in NPM package tsscmp-1.0.5.tgz

Issue-ID: OOM-1787

Change-Id: I937b851edf0b09a1f43b309310ce21bf66a09b8b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Changing version control for rancher

Changing the way of version control for rancher in accordance with
patchset #83634

Issue-ID: OOM-1767

Change-Id: I67f08dcf47f469c35da9a62ff435e187fae07724
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Adding versions for infra related docker images"

Merge "Simplify Centos Dockerfile for Molecule"

Adding versions for infra related docker images

1. latest tag replaced by version number for vnc server
2. added specific version for own_nginx image
3. version control improved in ansible roles accordingly

Solves OOM-1766

Issue-ID: OOM-1767

Change-Id: I147c56b46a419188099d8ed3e78fed68810893e2
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Our bare repos need to have casablanca branch"

Our bare repos need to have casablanca branch

This is required to align with OOM charts, otherwise
some components like DMAAP might be not initialized
properly. Furthmore removing duplicated files, most
of our data_lists are same for Casablanca MR and
Casablanca base releases.

Change-Id: I376410c7915d8f2682287c31392e2f3796adc990
Issue-ID: OOM-1771
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Simplify Centos Dockerfile for Molecule

Base the Centos image for molecule on official
CentOS systemd docker container.

Align the tagging policy with Centos images
on docker hub.

Change-Id: Ia2743ab78faed858dc5a7f3611cffb779b23d463
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge changes I2e1aef32,Ib93e9d2a

* changes:
  Molecule test for nfs role
  Fix nfs role issues based on molecule testing

Fix wrapper shell script in chroot

Change-Id: I4f88d47c633096a82ef113dca2d58e584c43d1ae
Issue-ID: OOM-1744
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Building and Dockerfile for centos7"

Dockerfile and build script for Ubuntu

Dockerfile that allows building a Systemd
compliant Ubuntu image (for Ubuntu releases
that support it).

A build script for building the image.

Change-Id: I3456e40e7ac96e611e957b2912405f9030dc0f04
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Rewrite the run_chroot.sh script"

Merge "Document molecule testing"

Document molecule testing

Documentation for Molecule testing used in offline installer.

Issue-ID: OOM-1703

Change-Id: I00fb74dbfcd39ce22107c981df14cb42da73808a
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Improving docker restart handler"

Verify offline app repo is working

A patch for failing fast if configured offline
application repository is not working properly.
Just adding repo to repolist doesn't guarantee
it's really operational.

Change-Id: I65372b9b1ea5f5dcb797548b14e3ae1295668592
Issue-ID: OOM-1689
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Support time synchronization on hosts"

Merge "Improve kubectl role testability."

Merge "Improve rancher role testability"

Building and Dockerfile for centos7

Add initial Dockerfile for centos7 for molecule testing.

Issue-ID: OOM-1750

Change-Id: Ie4da3d80c713d1da56465c598774b370b4c01b36
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add helm override instructions to install guide

This commit adds instruction about using the new
helm chart overrides feature.

Change-Id: I6a5d973ee91562ae618d357fd3fdecc1cf4f03bf
Issue-ID: OOM-1752
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Support time synchronization on hosts

This change introduces functionality to synchronize
infra/kube nodes' clock with external NTP authority.

Configuring external time source is optional, however
default behaviour will be to setup NTP time source on
infra-node and sync kube-nodes clock with it.

It's also possible to setup custom time zone.

Change-Id: I725ce9a306da1977628b6c03d5ff10fca77fb3b0
Issue-ID: OOM-1710
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Wrong filename does not fail transfer"

Molecule test for nfs role

Issue-ID: OOM-1756

Change-Id: I2e1aef3296689c284a4b530e6a2022302c7b86f7
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Fix nfs role issues based on molecule testing

Based on Molecule testing fix following issues on
nfs role.

 - enable nfs services (previously only started)
 - create handler for exportfs to deal idempotency
 - add all kubernetes nodes to exports as it was dependent on ansible inventory order wheather correct hosts was on the list
 - add inventory_hostname as default host incase ansible_host variable not defined.

Issue-ID: OOM-1756

Change-Id: Ib93e9d2a9cf49003d04dd5f890294eda1eb966ff
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "nginx update for long server names"

Allow passing any values to override.yaml

This change allows passing any values that will then
be stored to override.yaml.
These values are passed from the "overrides" key, that
may be set either as an extra variable or in inventory/group_vars.
The root certificate is merged with the overrides dictionary before
saving the file.

Change-Id: I772c342b3c9eafe1849d1678b810319afaaf75bf
Issue-ID: OOM-1752
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Improve application role testability

Remove different phases for application role as
those are supposed to run after each other anyway
from playbook and pre/post steps can be disabled
by other means.

Enable Helm override file generation customization by
delegating it to separate role.

Separate Helm file transfer to own module.

NOTE: install.yml with all Helm commands (shell/command)
is not idempotent and should be fixed with separate
commit.

Issue-ID: OOM-1655

Change-Id: Ib29773c4d64a0529c71c3f93c2af7265ae94059f
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Fix idempotence for firewall role"

Merge "Update Maven artifact dependency list again"

Fix helm install command not showing error

Issue-ID: OOM-1737

Change-Id: I240415793ea2a078ab6c6d9c0727852dc2d9ada3
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Update Maven artifact dependency list again

 Updated additional Maven artifact dependencies for offline Nexus

Issue-ID: OOM-1706
Signed-off-by: kaihlavi <l.kaihlavirt@partner.samsung.com>
Change-Id: I3c744be33447fc5816bc547c0ae3cce6428dc57c

nginx update for long server names

This issue addresses the following
error when starting nginx container:
  nginx: [emerg] could not build the \
  server_names_hash, you should increase \
  server_names_hash_bucket_size: 64

Change-Id: I369075edd16801aca6b09c6727370060225c428c
Issue-ID: OOM-1765
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Improving docker restart handler

There is a bug in docker which leads to not properly
shutdown service preventing subsequent startup.
https://github.com/moby/moby/issues/30348
This commit is preventing this problem to appear.

Change-Id: I29505610bd9954af01d73264e5414fdb2b9ac99d
Issue-ID: OOM-1735
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Wrong filename does not fail transfer

User typo on resource package filename or dir does not cause install to fail
but just skips that resource package.

Change resource paths handling to skip resource only if
variable is not defined or empty, but if a value is given
resource must exist or transfer fails otherwise.

Issue-ID: OOM-1736

Change-Id: I765c5dc8eb5e58875f032e056f9a8360aee702c0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add python-jsonpointer as a new dependency

Our custom ansible module requires python-jsonpointer module
to deal with jsons.

Change-Id: Idd7bfcf8fcf75e4397fba51d8219b73c57df5f0e
Issue-ID: OOM-1758
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Sanitize input arguments validation"

Rewrite the run_chroot.sh script

This change heavily changes run_chroot.sh script.
Major change is that most of the real script logic is now run in a namespace,
so that all mounts are done in namespace.
Also, all the cleanup code and some checks are removed, also the
shell wrapper is removed.
This change is for simplifying the run_chroot.sh. It will function the same as before
from the user's point of view, except that now the script does not have to explicitly
unmount filesystems that it mounted before, so
no cleanup code isneeded. Also,
all processes run from inside a chroot should be killed immediately
when the chroot command finishes.

Change-Id: I45a3dc7c6583cb9693746cc04f42b7af325724dd
Signed-off-by: Michal Zegan <m.zegan@samsung.com>
Issue-ID: OOM-1744

Merge "Fixing some yaml-lint warnings"

Fixing some yaml-lint warnings

Scope of this commit is to fix warnings reported by
offline-installer-master-yaml-lint jenkins job

Change-Id: Id858a37ce35d53ad1ffd5e5797607faae484ed15
Issue-ID: OOM-1753
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge ".gitignore for Molecule testing"

Merge "Fix issue with proxy for deb download behind proxy"

Merge "Fix git repos not using tag 3.0.1-ONAP"

Fix idempotence for firewall role

Based on Molecule testing, fix idempotence.

Issue-ID: OOM-1757

Change-Id: Ie2c4cdcf65aeac664d4b76daa7e979f4f23b6bdf
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

.gitignore for Molecule testing

Issue-ID: OOM-1748

Change-Id: Ie1558112d6d2af2c77f9f9d0a142d417b3269589
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve kubectl role testability.

Move kubectl related functionality from rancher role to kubectl role
and change order of execution in playbook to satisfy kubectl role
dependency to rancher role regarding server value inserted into
kubeconfig file.

Introduced defaults and moved technical variables from group_vars
into role defaults.

Issue-ID: OOM-1730

Change-Id: I6339664ba52928566487edcdca8a3b42db86eeed
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve rancher role testability

Move functionality from playbook to rancher role.
Introduce defaults for holding default values in rancher role.
Other small changes noticed while testing rancher role with molecule.

Issue-ID: OOM-1729

Change-Id: I83befa9f0964c67e209d3def76bafd2a61c1ef33
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

update for missing nginx tarfile

This update adds an entry to the docker_images lists file to ensure
it is saved as a tar file and available for processing in the
"Prepare infra related images to infra folder" section.

Change-Id: I293144daa96b3c579443a2e76a407ea04821dce7
Issue-ID: OOM-1738
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Fix issue with proxy for deb download behind proxy

As curl tries to use ftp transfer for some of the packages in the
list, what causes an issue behind some corporate proxies, this commit
unifies the sources to prevent ftp

Issue-ID: OOM-1746

Change-Id: Ia7cac5a1c3d508749c3bea830c3df1137128e709
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix git repos not using tag 3.0.1-ONAP

Tag 3.0.1-ONAP is not created for projects not included in the
Casablanca Maintenance release, so casablanca branch is used instead

Issue-ID: OOM-1745

Change-Id: I652ab0a87ddcdda0d72088609fdd1ce678159ff0
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Update Maven artifact dependency list"

Merge "Add default logging settings for docker"

Merge "Changing keystore to trustore in policy"

Update Maven artifact dependency list

 Update required Maven artifact dependencies for offline Nexus
 to Casablanca level

Change-Id: I2c0eb230e05bb691911497eff4439b121b2a01d5
Issue-ID: OOM-1706
Signed-off-by: kaihlavi <l.kaihlavirt@partner.samsung.com>

Merge "Change cert signing from command to module"

Add default logging settings for docker

- Default configuration of logging for docker daemon.
- New ansible module for generic handling of JSON files.
- New setting in ansible.cfg: jinja2_native = True
  To preserve double-quotes in json values (OOM-1698).

Issue-ID: OOM-1681
Change-Id: I8f8e19ebc290fd48a63146e96f418b98344e4433
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Sanitize input arguments validation

This patch ensures non-positional parameters
are given past positional args. So far mixing
them led to malicious script behaviour.

Change-Id: Idf2b6a57d0cd8561e74e467f68ddc5d086e7a0c0
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Don't remove target dir by default"

Changing keystore to trustore in policy

Casablanca policy is using different file as its keystore.
We need to adjust our patch accordingly

Issue-ID: OOM-1727

Change-Id: I67cb3f098a8e56467594832050dbc2c66dbe124c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Don't remove target dir by default

If target dir given as an argument is not empty
script exits and gives verbose reasoning.

Introduced '--force' flag to allow overwriting
non empty target dir.

Improved usage synopsis.

Change-Id: Ic03c926011a41e9620c941f28dbc580b5b9933ac
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Change cert signing from command to module

With newer Ansible we are now able to sign nexus certificate
with own CA using openssl_certificate module.

Issue-ID: OOM-1700

Change-Id: Idc54955160caef4a57bd50fc86678923511b5bce
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix repo checkout cmd in build guide

As there is no 'casablanca' branch 'master' should
be checked out.

Change-Id: I9fba8ef0b10d3de3891d0e7612571789dfdc9449
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve certificates role testability

Move certs source path to defaults and make other small re-factoring.

Issue-ID: OOM-1694

Change-Id: Ie0a4b543b40314dc5a7772dd4667b1ad218d3543
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Refine application_pre_install_role variable usage"

Modify ansible version in docker/chroot

Updating to ansible version: 2.7.8
Current ansible version: 2.6.3

The current version breaks json values in playbooks.

Change-Id: I9858339a08711ad921122b2e7b6ccf04d62454a3
Issue-ID: OOM-1698
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Adding postinstall section in InstallGuide"

Ignore checksum from existence check of resources

To speed up resource packages existency check, ignore
checsum.
This change was accidentally left out from previous commit
as merging was not communicated.

Issue-ID: OOM-1654

Change-Id: I567eaba49e6a5244d51187d42af719bf360b41f0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Refine application_pre_install_role variable usage

As 'application_pre_install_role' variable set in
config/application_configuration.yml must stay in
sync with patch role directory name defined in
package.conf under APP_CONFIGURATION variable, it's
name shall stay under complete user control without
any variable as part of it's name.

App_helm_build_targets list and app_helm_chart_name
should default to 'onap' in application_configuration.yml
as customizing them isn't supported at the moment.

Also fixed some wording in comments/docs in relevant
files.

Change-Id: I82b6dd519fbc3426739a11fac1e02eb495a668c0
Issue-ID: OOM-1697
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adding postinstall section in InstallGuide

Describing common issues with onap deployments into InstallGuide.

Change-Id: I7b039fbc357901c8bfa1d57db69f9344eea07077
Issue-ID: OOM-1701
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix wrong detection of uploaded resources

Issue-ID: OOM-1596

Change-Id: I091cd558f7574f49dddf4380df24e11141a4b78d
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>