Changing version control for rancher

Changing the way of version control for rancher in accordance with
patchset #83634

Issue-ID: OOM-1767

Change-Id: I67f08dcf47f469c35da9a62ff435e187fae07724
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Adding versions for infra related docker images"

Merge "Simplify Centos Dockerfile for Molecule"

Adding versions for infra related docker images

1. latest tag replaced by version number for vnc server
2. added specific version for own_nginx image
3. version control improved in ansible roles accordingly

Solves OOM-1766

Issue-ID: OOM-1767

Change-Id: I147c56b46a419188099d8ed3e78fed68810893e2
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Our bare repos need to have casablanca branch"

Our bare repos need to have casablanca branch

This is required to align with OOM charts, otherwise
some components like DMAAP might be not initialized
properly. Furthmore removing duplicated files, most
of our data_lists are same for Casablanca MR and
Casablanca base releases.

Change-Id: I376410c7915d8f2682287c31392e2f3796adc990
Issue-ID: OOM-1771
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Simplify Centos Dockerfile for Molecule

Base the Centos image for molecule on official
CentOS systemd docker container.

Align the tagging policy with Centos images
on docker hub.

Change-Id: Ia2743ab78faed858dc5a7f3611cffb779b23d463
Issue-ID: OOM-1774
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge changes I2e1aef32,Ib93e9d2a

* changes:
  Molecule test for nfs role
  Fix nfs role issues based on molecule testing

Fix wrapper shell script in chroot

Change-Id: I4f88d47c633096a82ef113dca2d58e584c43d1ae
Issue-ID: OOM-1744
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Building and Dockerfile for centos7"

Merge "Rewrite the run_chroot.sh script"

Merge "Document molecule testing"

Document molecule testing

Documentation for Molecule testing used in offline installer.

Issue-ID: OOM-1703

Change-Id: I00fb74dbfcd39ce22107c981df14cb42da73808a
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Improving docker restart handler"

Verify offline app repo is working

A patch for failing fast if configured offline
application repository is not working properly.
Just adding repo to repolist doesn't guarantee
it's really operational.

Change-Id: I65372b9b1ea5f5dcb797548b14e3ae1295668592
Issue-ID: OOM-1689
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Support time synchronization on hosts"

Merge "Improve kubectl role testability."

Merge "Improve rancher role testability"

Building and Dockerfile for centos7

Add initial Dockerfile for centos7 for molecule testing.

Issue-ID: OOM-1750

Change-Id: Ie4da3d80c713d1da56465c598774b370b4c01b36
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add helm override instructions to install guide

This commit adds instruction about using the new
helm chart overrides feature.

Change-Id: I6a5d973ee91562ae618d357fd3fdecc1cf4f03bf
Issue-ID: OOM-1752
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Support time synchronization on hosts

This change introduces functionality to synchronize
infra/kube nodes' clock with external NTP authority.

Configuring external time source is optional, however
default behaviour will be to setup NTP time source on
infra-node and sync kube-nodes clock with it.

It's also possible to setup custom time zone.

Change-Id: I725ce9a306da1977628b6c03d5ff10fca77fb3b0
Issue-ID: OOM-1710
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Wrong filename does not fail transfer"

Molecule test for nfs role

Issue-ID: OOM-1756

Change-Id: I2e1aef3296689c284a4b530e6a2022302c7b86f7
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Fix nfs role issues based on molecule testing

Based on Molecule testing fix following issues on
nfs role.

 - enable nfs services (previously only started)
 - create handler for exportfs to deal idempotency
 - add all kubernetes nodes to exports as it was dependent on ansible inventory order wheather correct hosts was on the list
 - add inventory_hostname as default host incase ansible_host variable not defined.

Issue-ID: OOM-1756

Change-Id: Ib93e9d2a9cf49003d04dd5f890294eda1eb966ff
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "nginx update for long server names"

Allow passing any values to override.yaml

This change allows passing any values that will then
be stored to override.yaml.
These values are passed from the "overrides" key, that
may be set either as an extra variable or in inventory/group_vars.
The root certificate is merged with the overrides dictionary before
saving the file.

Change-Id: I772c342b3c9eafe1849d1678b810319afaaf75bf
Issue-ID: OOM-1752
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Improve application role testability

Remove different phases for application role as
those are supposed to run after each other anyway
from playbook and pre/post steps can be disabled
by other means.

Enable Helm override file generation customization by
delegating it to separate role.

Separate Helm file transfer to own module.

NOTE: install.yml with all Helm commands (shell/command)
is not idempotent and should be fixed with separate
commit.

Issue-ID: OOM-1655

Change-Id: Ib29773c4d64a0529c71c3f93c2af7265ae94059f
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Fix idempotence for firewall role"

Merge "Update Maven artifact dependency list again"

Fix helm install command not showing error

Issue-ID: OOM-1737

Change-Id: I240415793ea2a078ab6c6d9c0727852dc2d9ada3
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Update Maven artifact dependency list again

 Updated additional Maven artifact dependencies for offline Nexus

Issue-ID: OOM-1706
Signed-off-by: kaihlavi <l.kaihlavirt@partner.samsung.com>
Change-Id: I3c744be33447fc5816bc547c0ae3cce6428dc57c

nginx update for long server names

This issue addresses the following
error when starting nginx container:
  nginx: [emerg] could not build the \
  server_names_hash, you should increase \
  server_names_hash_bucket_size: 64

Change-Id: I369075edd16801aca6b09c6727370060225c428c
Issue-ID: OOM-1765
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Improving docker restart handler

There is a bug in docker which leads to not properly
shutdown service preventing subsequent startup.
https://github.com/moby/moby/issues/30348
This commit is preventing this problem to appear.

Change-Id: I29505610bd9954af01d73264e5414fdb2b9ac99d
Issue-ID: OOM-1735
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Wrong filename does not fail transfer

User typo on resource package filename or dir does not cause install to fail
but just skips that resource package.

Change resource paths handling to skip resource only if
variable is not defined or empty, but if a value is given
resource must exist or transfer fails otherwise.

Issue-ID: OOM-1736

Change-Id: I765c5dc8eb5e58875f032e056f9a8360aee702c0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add python-jsonpointer as a new dependency

Our custom ansible module requires python-jsonpointer module
to deal with jsons.

Change-Id: Idd7bfcf8fcf75e4397fba51d8219b73c57df5f0e
Issue-ID: OOM-1758
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Sanitize input arguments validation"

Rewrite the run_chroot.sh script

This change heavily changes run_chroot.sh script.
Major change is that most of the real script logic is now run in a namespace,
so that all mounts are done in namespace.
Also, all the cleanup code and some checks are removed, also the
shell wrapper is removed.
This change is for simplifying the run_chroot.sh. It will function the same as before
from the user's point of view, except that now the script does not have to explicitly
unmount filesystems that it mounted before, so
no cleanup code isneeded. Also,
all processes run from inside a chroot should be killed immediately
when the chroot command finishes.

Change-Id: I45a3dc7c6583cb9693746cc04f42b7af325724dd
Signed-off-by: Michal Zegan <m.zegan@samsung.com>
Issue-ID: OOM-1744

Merge "Fixing some yaml-lint warnings"

Fixing some yaml-lint warnings

Scope of this commit is to fix warnings reported by
offline-installer-master-yaml-lint jenkins job

Change-Id: Id858a37ce35d53ad1ffd5e5797607faae484ed15
Issue-ID: OOM-1753
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge ".gitignore for Molecule testing"

Merge "Fix issue with proxy for deb download behind proxy"

Merge "Fix git repos not using tag 3.0.1-ONAP"

Fix idempotence for firewall role

Based on Molecule testing, fix idempotence.

Issue-ID: OOM-1757

Change-Id: Ie2c4cdcf65aeac664d4b76daa7e979f4f23b6bdf
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

.gitignore for Molecule testing

Issue-ID: OOM-1748

Change-Id: Ie1558112d6d2af2c77f9f9d0a142d417b3269589
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve kubectl role testability.

Move kubectl related functionality from rancher role to kubectl role
and change order of execution in playbook to satisfy kubectl role
dependency to rancher role regarding server value inserted into
kubeconfig file.

Introduced defaults and moved technical variables from group_vars
into role defaults.

Issue-ID: OOM-1730

Change-Id: I6339664ba52928566487edcdca8a3b42db86eeed
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve rancher role testability

Move functionality from playbook to rancher role.
Introduce defaults for holding default values in rancher role.
Other small changes noticed while testing rancher role with molecule.

Issue-ID: OOM-1729

Change-Id: I83befa9f0964c67e209d3def76bafd2a61c1ef33
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

update for missing nginx tarfile

This update adds an entry to the docker_images lists file to ensure
it is saved as a tar file and available for processing in the
"Prepare infra related images to infra folder" section.

Change-Id: I293144daa96b3c579443a2e76a407ea04821dce7
Issue-ID: OOM-1738
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Fix issue with proxy for deb download behind proxy

As curl tries to use ftp transfer for some of the packages in the
list, what causes an issue behind some corporate proxies, this commit
unifies the sources to prevent ftp

Issue-ID: OOM-1746

Change-Id: Ia7cac5a1c3d508749c3bea830c3df1137128e709
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix git repos not using tag 3.0.1-ONAP

Tag 3.0.1-ONAP is not created for projects not included in the
Casablanca Maintenance release, so casablanca branch is used instead

Issue-ID: OOM-1745

Change-Id: I652ab0a87ddcdda0d72088609fdd1ce678159ff0
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Update Maven artifact dependency list"

Merge "Add default logging settings for docker"

Merge "Changing keystore to trustore in policy"

Update Maven artifact dependency list

 Update required Maven artifact dependencies for offline Nexus
 to Casablanca level

Change-Id: I2c0eb230e05bb691911497eff4439b121b2a01d5
Issue-ID: OOM-1706
Signed-off-by: kaihlavi <l.kaihlavirt@partner.samsung.com>

Merge "Change cert signing from command to module"

Add default logging settings for docker

- Default configuration of logging for docker daemon.
- New ansible module for generic handling of JSON files.
- New setting in ansible.cfg: jinja2_native = True
  To preserve double-quotes in json values (OOM-1698).

Issue-ID: OOM-1681
Change-Id: I8f8e19ebc290fd48a63146e96f418b98344e4433
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Sanitize input arguments validation

This patch ensures non-positional parameters
are given past positional args. So far mixing
them led to malicious script behaviour.

Change-Id: Idf2b6a57d0cd8561e74e467f68ddc5d086e7a0c0
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Don't remove target dir by default"

Changing keystore to trustore in policy

Casablanca policy is using different file as its keystore.
We need to adjust our patch accordingly

Issue-ID: OOM-1727

Change-Id: I67cb3f098a8e56467594832050dbc2c66dbe124c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Don't remove target dir by default

If target dir given as an argument is not empty
script exits and gives verbose reasoning.

Introduced '--force' flag to allow overwriting
non empty target dir.

Improved usage synopsis.

Change-Id: Ic03c926011a41e9620c941f28dbc580b5b9933ac
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Change cert signing from command to module

With newer Ansible we are now able to sign nexus certificate
with own CA using openssl_certificate module.

Issue-ID: OOM-1700

Change-Id: Idc54955160caef4a57bd50fc86678923511b5bce
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix repo checkout cmd in build guide

As there is no 'casablanca' branch 'master' should
be checked out.

Change-Id: I9fba8ef0b10d3de3891d0e7612571789dfdc9449
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve certificates role testability

Move certs source path to defaults and make other small re-factoring.

Issue-ID: OOM-1694

Change-Id: Ie0a4b543b40314dc5a7772dd4667b1ad218d3543
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Refine application_pre_install_role variable usage"

Modify ansible version in docker/chroot

Updating to ansible version: 2.7.8
Current ansible version: 2.6.3

The current version breaks json values in playbooks.

Change-Id: I9858339a08711ad921122b2e7b6ccf04d62454a3
Issue-ID: OOM-1698
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Adding postinstall section in InstallGuide"

Ignore checksum from existence check of resources

To speed up resource packages existency check, ignore
checsum.
This change was accidentally left out from previous commit
as merging was not communicated.

Issue-ID: OOM-1654

Change-Id: I567eaba49e6a5244d51187d42af719bf360b41f0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Refine application_pre_install_role variable usage

As 'application_pre_install_role' variable set in
config/application_configuration.yml must stay in
sync with patch role directory name defined in
package.conf under APP_CONFIGURATION variable, it's
name shall stay under complete user control without
any variable as part of it's name.

App_helm_build_targets list and app_helm_chart_name
should default to 'onap' in application_configuration.yml
as customizing them isn't supported at the moment.

Also fixed some wording in comments/docs in relevant
files.

Change-Id: I82b6dd519fbc3426739a11fac1e02eb495a668c0
Issue-ID: OOM-1697
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adding postinstall section in InstallGuide

Describing common issues with onap deployments into InstallGuide.

Change-Id: I7b039fbc357901c8bfa1d57db69f9344eea07077
Issue-ID: OOM-1701
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix wrong detection of uploaded resources

Issue-ID: OOM-1596

Change-Id: I091cd558f7574f49dddf4380df24e11141a4b78d
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Re-factored resources upload into role

Whole functionality of resource files upload is
implemented in resource-data role instead of
playbook level tasks.
This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1654

Change-Id: I3d3da9381b0e804f511ee854c41554b924d18883
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Replaced casablanca by tag 3.0.1-ONAP"

Disable all default repositories

This patch allows configuring multiple repositories
via 'package_repositories' dict. It also disables
all default repositories not to break 'yum' operation
in environment without route to Internet.

Issue-ID: OOM-1632

Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>
Change-Id: Id5e81e9d60d15393d5d2e12aef3da476a3b0d4c3

Remove useless deploy_package_repository flag

Support for deploy_package_repository is only partial, setting
it to 'false' would crash ansible on package installation from
offline repository which wouldn't be configured then.

Issue-ID: OOM-1632

Change-Id: I26d748505906703d1ee41ef3d310c1a14ff5066a
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Improve nginx role testability"

Merge "Add more files to .gitignore"

Merge "Re-factor nexus role to streamline playbook"

Add more files to .gitignore

Added additional files generated at packaging time to .gitignore
not to mess up working tree

Issue-ID: OOM-1697

Change-Id: I6c6194a7109aa1862cff0448566eff1db01c13f9
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Re-factor nexus role to streamline playbook

Move nexus functionality into nexus role from
infrastructure playbook.
This will make role easier to test and make
it easier to implement other OS support later.

Issue-ID: OOM-1653

Change-Id: I1af2bfef5aa4d6c7b819f5fc40f95c6e8303598c
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Use 'package_facts' module in firewall role"

Merge "Download of infra related docker images"

Merge "package-repository role to streamline playbook"

Merge "Dont crash patching on missing chart file"

Merge "Rename casablanca patch file"

Replaced casablanca by tag 3.0.1-ONAP

As the tag 3.0.1-ONAP already exists, need to replace the branch in the
related git repo list

Issue-ID: OOM-1696

Change-Id: I8ebc40ee78c49caee4a42efe3b62fd791b75a149
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic 'infra'

* changes:
  Save docker images based on list
  Fixed path to list for git repos download

Download of infra related docker images

Fixing download and save of docker images needed for infra and loaded
in runtime. Removed infra related image from regular list to not push
it unnecessarily to nexus repository.

Solves OOM-1669 and OOM-1682

Issue-ID: OOM-1682

Change-Id: I6f4fc0a46cdfb820eb70707f533b5ca5e977cccc
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Create setup role"

package-repository role to streamline playbook

Create own role for repository handling to move functionality
to roles from playbooks. This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1649

Change-Id: Ie8d25f83c54ec9f5a50fc6376a1ba7e166f07132
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve nginx role testability

Moving ports and volumes to defaults to make them easier customiced.

Change-Id: I8b5418443f0b55ef61890a08c530040c07617122
Issue-ID: OOM-1693
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Dont crash patching on missing chart file

In some deployments not all chart files might be present.
We should not fail if some components are not deployed.

Issue-ID: OOM-1691

Change-Id: I6a0ae05e753a2de6301ee0188022a958868776ad
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Use 'package_facts' module in firewall role

Centos iso image doesn't have 'yum-utils' package with
'repoquery' binary which causes 'yum' module to crash.
Using more generic 'package_facts' fixes that.

This patch also introduces more general compatibility with
RedHat/Debian based distros.

Issue-ID: OOM-1632

Change-Id: Ica026c0f9a9ffa9e307f7cba589900962b0db4e7
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Rename casablanca patch file

Since there is no difference in patching between 3.0.0 and 3.0.1
release there name of patchfile that includes this tag
is unnecessary and confusing.

Issue-ID: OOM-1687

Change-Id: I751398f15c38dab83e36ed0b8f555533497291f8
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Save docker images based on list

Save all docker images to tarballs based on list instead of saving all
local registry to prevent not necessary images in the package

Issue-ID: OOM-1683

Change-Id: Iaf4e092ff124f753d50be876d6ab564c7f349ddc
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fixed path to list for git repos download

Added missing part of file name for correct dowload of git repositories

Issue-ID: OOM-1684

Change-Id: Ic8235a04ea12e13ca7e4165734bd15a81f7c8578
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Add download of missing dependency python-docker"

Create setup role

Creating setup role and moving functionality from setup playbook
into new role.
This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1663

Change-Id: If8b93066997c2442c0b94cb2a95fb535d9560b2b
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add support for ONAP documentation project

Provided the mandatory doc structure:
  docs/
    index.rst
    ...

Added a couple of .gitignore for better testing and development.

Change-Id: I722806681e4844e0ea915006bc7de6018d3073d7
Issue-ID: OOM-1672
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fixed an issue in RST format

Fixed errors in tables mainly with blocks arround lines 321 and 324
causing troubles with correct interpretation

Issue-ID: OOM-1613

Change-Id: Ia265a5d5f85412ac237c790fec32fb62f0dfba07
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Adding updated list files for ONAP 3.0.1"

Add Installation guide for the offline-installer

Change-Id: I033755e0c9b2d5305b360e15b608a68f6f99d6ca
Issue-ID: OOM-1630
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>