Fix git repos not using tag 3.0.1-ONAP

Tag 3.0.1-ONAP is not created for projects not included in the
Casablanca Maintenance release, so casablanca branch is used instead

Issue-ID: OOM-1745

Change-Id: I652ab0a87ddcdda0d72088609fdd1ce678159ff0
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Update Maven artifact dependency list"

Merge "Add default logging settings for docker"

Merge "Changing keystore to trustore in policy"

Update Maven artifact dependency list

 Update required Maven artifact dependencies for offline Nexus
 to Casablanca level

Change-Id: I2c0eb230e05bb691911497eff4439b121b2a01d5
Issue-ID: OOM-1706
Signed-off-by: kaihlavi <l.kaihlavirt@partner.samsung.com>

Merge "Change cert signing from command to module"

Add default logging settings for docker

- Default configuration of logging for docker daemon.
- New ansible module for generic handling of JSON files.
- New setting in ansible.cfg: jinja2_native = True
  To preserve double-quotes in json values (OOM-1698).

Issue-ID: OOM-1681
Change-Id: I8f8e19ebc290fd48a63146e96f418b98344e4433
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Don't remove target dir by default"

Changing keystore to trustore in policy

Casablanca policy is using different file as its keystore.
We need to adjust our patch accordingly

Issue-ID: OOM-1727

Change-Id: I67cb3f098a8e56467594832050dbc2c66dbe124c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Don't remove target dir by default

If target dir given as an argument is not empty
script exits and gives verbose reasoning.

Introduced '--force' flag to allow overwriting
non empty target dir.

Improved usage synopsis.

Change-Id: Ic03c926011a41e9620c941f28dbc580b5b9933ac
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Change cert signing from command to module

With newer Ansible we are now able to sign nexus certificate
with own CA using openssl_certificate module.

Issue-ID: OOM-1700

Change-Id: Idc54955160caef4a57bd50fc86678923511b5bce
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix repo checkout cmd in build guide

As there is no 'casablanca' branch 'master' should
be checked out.

Change-Id: I9fba8ef0b10d3de3891d0e7612571789dfdc9449
Issue-ID: OOM-1621
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Improve certificates role testability

Move certs source path to defaults and make other small re-factoring.

Issue-ID: OOM-1694

Change-Id: Ie0a4b543b40314dc5a7772dd4667b1ad218d3543
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Refine application_pre_install_role variable usage"

Modify ansible version in docker/chroot

Updating to ansible version: 2.7.8
Current ansible version: 2.6.3

The current version breaks json values in playbooks.

Change-Id: I9858339a08711ad921122b2e7b6ccf04d62454a3
Issue-ID: OOM-1698
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Adding postinstall section in InstallGuide"

Ignore checksum from existence check of resources

To speed up resource packages existency check, ignore
checsum.
This change was accidentally left out from previous commit
as merging was not communicated.

Issue-ID: OOM-1654

Change-Id: I567eaba49e6a5244d51187d42af719bf360b41f0
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Refine application_pre_install_role variable usage

As 'application_pre_install_role' variable set in
config/application_configuration.yml must stay in
sync with patch role directory name defined in
package.conf under APP_CONFIGURATION variable, it's
name shall stay under complete user control without
any variable as part of it's name.

App_helm_build_targets list and app_helm_chart_name
should default to 'onap' in application_configuration.yml
as customizing them isn't supported at the moment.

Also fixed some wording in comments/docs in relevant
files.

Change-Id: I82b6dd519fbc3426739a11fac1e02eb495a668c0
Issue-ID: OOM-1697
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Adding postinstall section in InstallGuide

Describing common issues with onap deployments into InstallGuide.

Change-Id: I7b039fbc357901c8bfa1d57db69f9344eea07077
Issue-ID: OOM-1701
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix wrong detection of uploaded resources

Issue-ID: OOM-1596

Change-Id: I091cd558f7574f49dddf4380df24e11141a4b78d
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Re-factored resources upload into role

Whole functionality of resource files upload is
implemented in resource-data role instead of
playbook level tasks.
This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1654

Change-Id: I3d3da9381b0e804f511ee854c41554b924d18883
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Replaced casablanca by tag 3.0.1-ONAP"

Disable all default repositories

This patch allows configuring multiple repositories
via 'package_repositories' dict. It also disables
all default repositories not to break 'yum' operation
in environment without route to Internet.

Issue-ID: OOM-1632

Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>
Change-Id: Id5e81e9d60d15393d5d2e12aef3da476a3b0d4c3

Remove useless deploy_package_repository flag

Support for deploy_package_repository is only partial, setting
it to 'false' would crash ansible on package installation from
offline repository which wouldn't be configured then.

Issue-ID: OOM-1632

Change-Id: I26d748505906703d1ee41ef3d310c1a14ff5066a
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Merge "Improve nginx role testability"

Merge "Add more files to .gitignore"

Merge "Re-factor nexus role to streamline playbook"

Add more files to .gitignore

Added additional files generated at packaging time to .gitignore
not to mess up working tree

Issue-ID: OOM-1697

Change-Id: I6c6194a7109aa1862cff0448566eff1db01c13f9
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Re-factor nexus role to streamline playbook

Move nexus functionality into nexus role from
infrastructure playbook.
This will make role easier to test and make
it easier to implement other OS support later.

Issue-ID: OOM-1653

Change-Id: I1af2bfef5aa4d6c7b819f5fc40f95c6e8303598c
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Use 'package_facts' module in firewall role"

Merge "Download of infra related docker images"

Merge "package-repository role to streamline playbook"

Merge "Dont crash patching on missing chart file"

Merge "Rename casablanca patch file"

Replaced casablanca by tag 3.0.1-ONAP

As the tag 3.0.1-ONAP already exists, need to replace the branch in the
related git repo list

Issue-ID: OOM-1696

Change-Id: I8ebc40ee78c49caee4a42efe3b62fd791b75a149
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge changes from topic 'infra'

* changes:
  Save docker images based on list
  Fixed path to list for git repos download

Download of infra related docker images

Fixing download and save of docker images needed for infra and loaded
in runtime. Removed infra related image from regular list to not push
it unnecessarily to nexus repository.

Solves OOM-1669 and OOM-1682

Issue-ID: OOM-1682

Change-Id: I6f4fc0a46cdfb820eb70707f533b5ca5e977cccc
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Create setup role"

package-repository role to streamline playbook

Create own role for repository handling to move functionality
to roles from playbooks. This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1649

Change-Id: Ie8d25f83c54ec9f5a50fc6376a1ba7e166f07132
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Improve nginx role testability

Moving ports and volumes to defaults to make them easier customiced.

Change-Id: I8b5418443f0b55ef61890a08c530040c07617122
Issue-ID: OOM-1693
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Dont crash patching on missing chart file

In some deployments not all chart files might be present.
We should not fail if some components are not deployed.

Issue-ID: OOM-1691

Change-Id: I6a0ae05e753a2de6301ee0188022a958868776ad
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Use 'package_facts' module in firewall role

Centos iso image doesn't have 'yum-utils' package with
'repoquery' binary which causes 'yum' module to crash.
Using more generic 'package_facts' fixes that.

This patch also introduces more general compatibility with
RedHat/Debian based distros.

Issue-ID: OOM-1632

Change-Id: Ica026c0f9a9ffa9e307f7cba589900962b0db4e7
Signed-off-by: Bartek Grzybowski <b.grzybowski@partner.samsung.com>

Rename casablanca patch file

Since there is no difference in patching between 3.0.0 and 3.0.1
release there name of patchfile that includes this tag
is unnecessary and confusing.

Issue-ID: OOM-1687

Change-Id: I751398f15c38dab83e36ed0b8f555533497291f8
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Save docker images based on list

Save all docker images to tarballs based on list instead of saving all
local registry to prevent not necessary images in the package

Issue-ID: OOM-1683

Change-Id: Iaf4e092ff124f753d50be876d6ab564c7f349ddc
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fixed path to list for git repos download

Added missing part of file name for correct dowload of git repositories

Issue-ID: OOM-1684

Change-Id: Ic8235a04ea12e13ca7e4165734bd15a81f7c8578
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Add download of missing dependency python-docker"

Create setup role

Creating setup role and moving functionality from setup playbook
into new role.
This will make roles easier to test
and make it easier to implement other OS support later.

Issue-ID: OOM-1663

Change-Id: If8b93066997c2442c0b94cb2a95fb535d9560b2b
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add support for ONAP documentation project

Provided the mandatory doc structure:
  docs/
    index.rst
    ...

Added a couple of .gitignore for better testing and development.

Change-Id: I722806681e4844e0ea915006bc7de6018d3073d7
Issue-ID: OOM-1672
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fixed an issue in RST format

Fixed errors in tables mainly with blocks arround lines 321 and 324
causing troubles with correct interpretation

Issue-ID: OOM-1613

Change-Id: Ia265a5d5f85412ac237c790fec32fb62f0dfba07
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Adding updated list files for ONAP 3.0.1"

Add Installation guide for the offline-installer

Change-Id: I033755e0c9b2d5305b360e15b608a68f6f99d6ca
Issue-ID: OOM-1630
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Fix site.yml playbook by removing the setup.yml"

Merge "Fix for malformed certificate issue"

Fix for malformed certificate issue

Without this patch certificate is distributed in malformed
shape and leads to policy-drools pod not working

Issue-ID: OOM-1662

Change-Id: I1e5f51c6aa7857a9347d2d8ef8d523508d094df0
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Fix site.yml playbook by removing the setup.yml

setup.yml is an optional playbook which may be replaced by other means of
securing the passwordless login

Change-Id: Ia64eee6351e9cabc638149b5ed668885058aef89
Issue-ID: OOM-1661
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Adding updated list files for ONAP 3.0.1

This change is adding updated resources lists for offline-installer for
the tag onap_3.0.1

It's fixing some issues messed by wrongly done rebase in a previous
patch and sets some default values

Issue-ID: OOM-1615

Change-Id: I58001860d4accdf89cacd315d1af81240aee1303
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Conditional login update after aux_data_path set

After setting-up of default value for aux_data_path some
of the conditional logic must be updated.

Issue-ID: OOM-1659

Change-Id: I0472c2e848f9215186b8aa11557165f606cac9d4
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

package script do not fail on error

Make build/package.sh script to fail on all errors.

Issue-ID: OOM-1660

Change-Id: I3537c719740d4476c07dce284922e352460ae52e
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Fix typo in helm plugins path"

Add download of missing dependency python-docker

Fixing a bug with missing python-docker package in local RHEL repository
for offline-installer

Issue-ID: OOM-1657

Change-Id: I42152f8acf81afcd825bd79378c5a8a8a803d047
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix wrong value for boolean

Issue-ID: OOM-1629

Change-Id: I80ea6e72c9e5dbe3fdc63db0d177f541c749c58e
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix typo in helm plugins path

Issue-ID: OOM-1638

Change-Id: I00607f4861d153dc73f9ce516d9bd3b9c490a9cc
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix nfs on nodes does not install nfs packages

Issue-ID: OOM-1640

Change-Id: Ieb8d736e543d58facb9a84c3366c5b15418e17d2
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge changes Idcc4c510,I81261f51,Ica9fc768,I7b5d135a

* changes:
  More default values and simplify onap config
  Clarify packaging variables documentation
  Helm install optional and default values
  Helm charts dir commenting causes / dir copying

Merge "Master playbook for installation"

Merge "Updated list of http files for Casablanca"

More default values and simplify onap config

Populate more default values for ansible all.yml configuration
to make it simpler by default for user.

Removed project_configuration variable as it caused just
confusion. Replaced that mostly by using app_name variable.

According to above changed simplified actual configuration
config/application_configuration.yml used to install onap.
Mostly removed repeation of comments.

Also updated ansible/application/README.md that was not
updated for a while.

Issue-ID: OOM-1633

Change-Id: Idcc4c510b64bb61edd874d0e0616cdb41938f2d3
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Master playbook for installation

Create site.yml playbook as default way to run whole offline
installer installation. It's mainly a document for a user
about the intended order of the playbooks to run.

Issue-ID: OOM-1645

Change-Id: I54640bf7d926c7c80be9bdb542683f0ba70a633f
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Clarify packaging variables documentation

For the user package.sh/package.conf is a bit confusing
and variables are not well named nor documented.

Binary definition can be also simplified by providing
just single directory to take binaries from.

Corresponding variable documentation on installer
side (ansible code) is also confusing and missing
relation to packaging variables

This commit aims on improving that documentation.

Issue-ID: OOM-1633

Change-Id: I81261f51d393f434eac26c4a46624388671bd36b
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Helm install optional and default values

Make Helm applicaton installation optional by allowing
user not to provide Helm charts. Then only empty Kubernetes
cluster will be installed.

Provide some reasonable default values for Helm charts
configuration variables both in package script and ansible
installer itself. User provided Helm charts configuration
must be in sync with packaging and installer, provided
some clarifying comments for that.

Issue-ID: OOM-1629

Change-Id: Ica9fc76856cb50c9d636bea99a326736736c7a56
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Helm charts dir commenting causes / dir copying

HELM_CHARTS_DIR in package.conf is unnecessarily mandatory.
When commenting out this variable, packaging script copies
machine's root directory content into package.

This commit will make HELM_CHARTS_DIR optional and its
existence is checked in package.sh script.

Issue-ID: OOM-1626

Change-Id: I7b5d135ab130a28491e7223b66f26b50ccce5fca
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Change helm plugin install to copy module

Since helm plugin install command is not the most suitable
for Ansible and it basically just creates link to plugin original
location this change is using Ansible's copy module instead.

Plugin is copied from install server because copy module doesn't
support recursive directory copying with remote_src option.

Issue-ID: OOM-1638
Change-Id: I9e9dcd8d33f8917296f576c2b34c0c576c9c126c
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fix simulated_hosts template"

Configuration file option for packaging

At the moment configuration file for the package.sh script is fixed
by name and location package.conf in the same dir as the script.

Allow user to give configuration file as parameter for the script.

Issue-ID: OOM-1627

Change-Id: I8b728996ead73a48b88bbbf364ec913217cbd8d6
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Updated list of http files for Casablanca

Renamed to use prefix for Casablanca 3.0.0 and updated some blueprints
required.

Updated download script accordingly

Issue-ID: OOM-1615

Change-Id: I65add45a383f5f7d849e360ec6e65dd65cd501e7
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Use git format of patches"

Merge "Adding PyPI repository and packages to Nexus"

Adding PyPI repository and packages to Nexus

This update for building of Nexus repository for offline installer adds
autoconfiguration of pipy repository and uploading pypi packages to it
based on related list

Issue-ID: OOM-1619

Change-Id: Id49aad2936e7e56848500c47a43a16f1f58db8e3
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Create APT repository

Adding creation of APT repository for resources

Issue-ID: OOM-1619

Change-Id: I2d4f14dfcbf2508d31bbc105828853c01733bb3e
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Create offline data lists to cover Casablanca

Adding casablanca related data lists and changing the lists naming rule

Modifying related download scripts accordingly

Adding parameters for project version to download scripts to be able to
use version specific lists

Removing download-oom.sh as it should be done in helm charts
preparation and patching steps

Moving additional build related stuff to build directory

Adding missing tags

Issue-ID: OOM-1615

Change-Id: Ic5902f646a1f0f40ba615562f8d9b1a43cf8480b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix simulated_hosts template

This fixes simulated_hosts template to use cluster_ip instead
of ansible_host as source of infra ip.

Change-Id: I02e205c031d94442b3a3debeee8baebaedc7180d
Issue-ID: OOM-1637
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Use git format of patches

To avoid dependency on patch utility and to have standardized look
of patch file this change uses git-format and git-apply to patch
charts.

Change-Id: I1c63334619bf6091b5ab50a4eebfadb3c28a2616
Issue-ID: OOM-1634
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix sdnc/appc-ansible-server not running

These pods are installing packages from apt and pypi repositroies
during runtime.

This change creates patch and makes necessary modifications
for packages being installed from offline repositories.

Change-Id: Id71f40f94c8641ad0c9d1ba4c87d3daea70c828e
Issue-ID: OOM-1619
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Inserting our root certificate into policy pods

This commits introduced another bunch of patches for OOM charts
we need in Casablanca to be able to get our certificate trusted
by policy pods which are collecting maven artifacts from our
nexus during runtime.

Change-Id: I8289b155970e57059bccb5dfe09231e28bf27a32
Issue-ID: OOM-1609
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Extract certificate to cloudify-manager

DCAE bootstraping require that bootstrap/cloudify-manager pods has
to trust our certificate. We are mounting path to this certificate
to respective pod.

Change-Id: Ie2ea796851e6def52d4ec556c9d5b19633e8a743
Issue-ID: OOM-1618
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Setting-up NPM registry for dgbuilder

This commit is showing-up how OOM patches must be handled in casablanca
release. In Dublin we would like to avoid this completely OOM-1610
so here we are just reproducing the same logic which was already
implemented in Beijing for bash offline installer.
In general it works in a way that OOM charts are patched during
offline platform build and values are configured in install time using
pre-install application role/hook.

Change-Id: I1a2425ef63edd6bc08dcecf0fcae7fd6e553d0ed
Issue-ID: OOM-1616
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Fixing missing clause for enabling helm deploy"

Fixing missing clause for enabling helm deploy

As a part of change merged recently in 271cf3ffc2977f9e4
support for OOM plugins was introduced however it was
never used. This commit is fixing this and introducing
helm deploy option if plugin exists.

Change-Id: Ifb77ce2098ea28f822e5e15ddf2736f0c83b946c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>
Issue-ID: OOM-1589
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Adding build guide for offline installer

Adding a guide for procedure of building offline installer packages

Markdown replaced by reStructuredText

Fixed some wording and characters interpretation

Issue-ID: OOM-1613
Change-Id: If0c6c2e18a4e27b560a48e5527ad3b207e5201b8
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix broken docker build due to pip-19.0"

Merge "Remove bash version of installer"

Merge "Adding support for helm plugins"

Remove bash version of installer

Since bash version of offline installer is not supported in Casablanca
release this change removes it and provides small refactor of offline
resource building scripts.

Change-Id: I953733edc31e994da123b7f0b1c502e156676669
Issue-ID: OOM-1597
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fixed dependent jq package installation"

Adding support for helm plugins

Proprietary plugins can be used along with helm, in addition
to that building of local helm repository can be achieved by
using different target or list of targets.

Change-Id: If421133b9cc8bcfa47c3e7c14e6712520231e39c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Issue-ID: OOM-1589

Enable to build ansible image out of git directory

Inside the build_ansible_image.sh is a variable (label for docker image)
which is set to git commit hash. This is fine but you can just copy
and move ansible directory elsewhere out of git and this script breaks
because of this.

This change preserve previous functionality but only if the script
is run inside a git repository otherwise it will skip setting the
label for the built docker image.

Change-Id: I23f828542efddde21d1c96116de7b20272ef23ef
Issue-ID: OOM-1575
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fix broken docker build due to pip-19.0

pip-19.0 fails to build with the option --no-cache-dir

Change-Id: I6494c6c6b4dc49d4fbd2ce657ed9824c5b3847e3
Issue-ID: OOM-1607
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Add ansible runner image/chroot into package"

Merge "Add variable for version of rancher server"

Merge "Fix variable nfs_mount_path not found"