Master playbook for installation

Create site.yml playbook as default way to run whole offline
installer installation. It's mainly a document for a user
about the intended order of the playbooks to run.

Issue-ID: OOM-1645

Change-Id: I54640bf7d926c7c80be9bdb542683f0ba70a633f
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Change helm plugin install to copy module

Since helm plugin install command is not the most suitable
for Ansible and it basically just creates link to plugin original
location this change is using Ansible's copy module instead.

Plugin is copied from install server because copy module doesn't
support recursive directory copying with remote_src option.

Issue-ID: OOM-1638
Change-Id: I9e9dcd8d33f8917296f576c2b34c0c576c9c126c
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fix simulated_hosts template"

Configuration file option for packaging

At the moment configuration file for the package.sh script is fixed
by name and location package.conf in the same dir as the script.

Allow user to give configuration file as parameter for the script.

Issue-ID: OOM-1627

Change-Id: I8b728996ead73a48b88bbbf364ec913217cbd8d6
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Use git format of patches"

Merge "Adding PyPI repository and packages to Nexus"

Adding PyPI repository and packages to Nexus

This update for building of Nexus repository for offline installer adds
autoconfiguration of pipy repository and uploading pypi packages to it
based on related list

Issue-ID: OOM-1619

Change-Id: Id49aad2936e7e56848500c47a43a16f1f58db8e3
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Create APT repository

Adding creation of APT repository for resources

Issue-ID: OOM-1619

Change-Id: I2d4f14dfcbf2508d31bbc105828853c01733bb3e
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Create offline data lists to cover Casablanca

Adding casablanca related data lists and changing the lists naming rule

Modifying related download scripts accordingly

Adding parameters for project version to download scripts to be able to
use version specific lists

Removing download-oom.sh as it should be done in helm charts
preparation and patching steps

Moving additional build related stuff to build directory

Adding missing tags

Issue-ID: OOM-1615

Change-Id: Ic5902f646a1f0f40ba615562f8d9b1a43cf8480b
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix simulated_hosts template

This fixes simulated_hosts template to use cluster_ip instead
of ansible_host as source of infra ip.

Change-Id: I02e205c031d94442b3a3debeee8baebaedc7180d
Issue-ID: OOM-1637
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Use git format of patches

To avoid dependency on patch utility and to have standardized look
of patch file this change uses git-format and git-apply to patch
charts.

Change-Id: I1c63334619bf6091b5ab50a4eebfadb3c28a2616
Issue-ID: OOM-1634
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix sdnc/appc-ansible-server not running

These pods are installing packages from apt and pypi repositroies
during runtime.

This change creates patch and makes necessary modifications
for packages being installed from offline repositories.

Change-Id: Id71f40f94c8641ad0c9d1ba4c87d3daea70c828e
Issue-ID: OOM-1619
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Inserting our root certificate into policy pods

This commits introduced another bunch of patches for OOM charts
we need in Casablanca to be able to get our certificate trusted
by policy pods which are collecting maven artifacts from our
nexus during runtime.

Change-Id: I8289b155970e57059bccb5dfe09231e28bf27a32
Issue-ID: OOM-1609
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Extract certificate to cloudify-manager

DCAE bootstraping require that bootstrap/cloudify-manager pods has
to trust our certificate. We are mounting path to this certificate
to respective pod.

Change-Id: Ie2ea796851e6def52d4ec556c9d5b19633e8a743
Issue-ID: OOM-1618
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Setting-up NPM registry for dgbuilder

This commit is showing-up how OOM patches must be handled in casablanca
release. In Dublin we would like to avoid this completely OOM-1610
so here we are just reproducing the same logic which was already
implemented in Beijing for bash offline installer.
In general it works in a way that OOM charts are patched during
offline platform build and values are configured in install time using
pre-install application role/hook.

Change-Id: I1a2425ef63edd6bc08dcecf0fcae7fd6e553d0ed
Issue-ID: OOM-1616
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Merge "Fixing missing clause for enabling helm deploy"

Fixing missing clause for enabling helm deploy

As a part of change merged recently in 271cf3ffc2977f9e4
support for OOM plugins was introduced however it was
never used. This commit is fixing this and introducing
helm deploy option if plugin exists.

Change-Id: Ifb77ce2098ea28f822e5e15ddf2736f0c83b946c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>
Issue-ID: OOM-1589
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Adding build guide for offline installer

Adding a guide for procedure of building offline installer packages

Markdown replaced by reStructuredText

Fixed some wording and characters interpretation

Issue-ID: OOM-1613
Change-Id: If0c6c2e18a4e27b560a48e5527ad3b207e5201b8
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Fix broken docker build due to pip-19.0"

Merge "Remove bash version of installer"

Merge "Adding support for helm plugins"

Remove bash version of installer

Since bash version of offline installer is not supported in Casablanca
release this change removes it and provides small refactor of offline
resource building scripts.

Change-Id: I953733edc31e994da123b7f0b1c502e156676669
Issue-ID: OOM-1597
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Merge "Fixed dependent jq package installation"

Adding support for helm plugins

Proprietary plugins can be used along with helm, in addition
to that building of local helm repository can be achieved by
using different target or list of targets.

Change-Id: If421133b9cc8bcfa47c3e7c14e6712520231e39c
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Issue-ID: OOM-1589

Enable to build ansible image out of git directory

Inside the build_ansible_image.sh is a variable (label for docker image)
which is set to git commit hash. This is fine but you can just copy
and move ansible directory elsewhere out of git and this script breaks
because of this.

This change preserve previous functionality but only if the script
is run inside a git repository otherwise it will skip setting the
label for the built docker image.

Change-Id: I23f828542efddde21d1c96116de7b20272ef23ef
Issue-ID: OOM-1575
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fix broken docker build due to pip-19.0

pip-19.0 fails to build with the option --no-cache-dir

Change-Id: I6494c6c6b4dc49d4fbd2ce657ed9824c5b3847e3
Issue-ID: OOM-1607
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Add ansible runner image/chroot into package"

Merge "Add variable for version of rancher server"

Merge "Fix variable nfs_mount_path not found"

Add ansible runner image/chroot into package

Ansible runner docker image and chroot environment exported from that
is needed runtime to run ansible playbooks.
Currently package.sh script is not building that when packaging is run.

This change will add generating of ansible runner package during packaging
and including that into final package.

Issue-ID: OOM-1594

Change-Id: I160c0e5366577ddf35b359b956bb4cdbdeb59787
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Merge "Handle empty runtime_images"

Merge "Fix logging problem for ansible-playbook"

Fix variable nfs_mount_path not found

Variable for creating nfs mount for onap nodes was
in wrong group_vars file which caused the error because
variable was undefined for hosts that needed it.
This change moves this variable to correct file.

Change-Id: If177fb23d90b8a32d70dd774dde2dfbfc697980a
Issue-ID: OOM-1588
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Handle empty runtime_images

If there is no demand for docker images to be inserted into nexus
during runtime, runtime_images might be empty and this will
cause unhandled error with trying to insert undefined images

Change-Id: I77147b64a3d288922eec5db7e7ce422ba2ed8c12
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>
Issue-ID: OOM-1587

Fix docker config handling in offline installer

This fixes adding of dns address to
/etc/docker/daemon.json to always use infra's ip address
instead of possibly using it's hostname.
Also similar change is done in handling of
/etc/resolv.conf in infrastructure.yml.
Ip address is specified by the "cluster_ip" variable placed on a host.
Inventory specifies ip for everything except resource server (just for consistency).

Change-Id: I2baa3f4c7d69b8dff109b5f8ae984134caf2af7d
Issue-ID: OOM-1573
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Add variable for version of rancher server

Rancher server version is hardcoded to 1.6.14 used in Beijing
deployment. This limits flexibility to use it for future
versions of ONAP deployments.

This change adds possibility to choose version of rancher server via
variable in group_vars/infrastructure.yml and setting its default
value to version used by Casablanca release.

Change-Id: I3a38a882386ce6adcba77780ee79a7cedfe98e4e
Issue-ID: OOM-1584
Signed-off-by: Milan Verespej <m.verespej@partner.samsung.com>

Fix logging problem for ansible-playbook

Ansible could not write to the log because the ansible is run inside
a chroot env. and on read-only fs - this is solved by adding new rw mount.

Change-Id: I874063ad99948a55f9227d5e7eae05d3eaabe535
Issue-ID: OOM-1575
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fixed dependent jq package installation

Fixed installation of proper jq package

Issue-ID: OOM-1585

Change-Id: I4c196b08500b5275569da2951a728b05b3bf8757
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Fix bash-installer when .kube already exists

Change-Id: I4944ffffce0890561291b2efa96b1df614f93332
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>
Issue-ID: OOM-1581

Revert "Fix the problem with ansible_host for ..."

This reverts commit a22f6b34a424d0ce25be7e560d8072a2e84e3ab8.
This commit was merged by mistake.

Change-Id: Ic73bfd8e9d97c3a23629cba69047cc0edefb9cd0
Issue-ID: OOM-1573
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fix the problem with ansible_host for docker

WIP

This solves the problem with domain name without dropping the ansible_host.
Ansible_host is just resolved to the ip. By using the ping command we can
avoid another dependencies.

Change-Id: Ic1963d3af6a8bdd68089ac8b599731e35475d81f
Issue-ID: OOM-1573
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Add support for plain files mounting into chroot

In this commit I tried to follow a behaviour of docker. If mounted
path does not exist then it will handle it as a directory - it
creates it and the mountpoint is expected to be a directory also.

If the mounted path is a plain file it will do file bind mounting.
The mountpoint must be a plain file.

Change-Id: Ie8b29442c8ebb8da389ba6c9a152a49d8cf6e9be
Issue-ID: OOM-1575
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Merge "Fix docker config handling in offline installer"

Fix docker config handling in offline installer

This fixes adding of dns address to
/etc/docker/daemon.json to always use infra's ip address
instead of possibly using it's hostname.
It is done by replacing usage of "ansible_host" by
"ansible_default_ipv4.address" fact.

Change-Id: If6a29f3bf11ece7f883b099a1ab503341859cb90
Issue-ID: OOM-1573
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add /etc/hosts to the chroot environment"

Add /etc/hosts to the chroot environment

This will change in a future commit to be little more flexible.
As of now it fixes some usage when host system has defined
some custom resolving which are needed.

Change-Id: Ifea2ba087982006c0a399d1b225d7ab13f7e94da
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fix permisions on bash scripts

Change-Id: I32813d3f74ddff9099c457c6d5af30fc0e97a835
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Fix whitespaces across the bash scripts

Change-Id: I8f3912f1b7f35aa889ce63592b30014d6433a82f
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Remove duplicated file

Change-Id: I08be749e009712c07240e3f20c9c27519968d332
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Rename filename to singular to be consistent

Change-Id: Ie6873831e5d67dcc306d8a2e4b930fb8fe11c3d7
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Add default onap cfg support

Issue-ID: OOM-1551
Change-Id: If91e00ba49af9b52eea6cabb7cfecc296d1ff596
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Oom Onap helm charts patches needed to Beijing.

For old bash solution how it got working with Beijing release of
ONAP, some of the Helm charts needs to be patched to work offline.

This file is tracking what changes are done and these changes are
applied by installer on top of cloned Helm charts.

Change-Id: Ic2265773de3bcfdb9d6aca19c2bcb4b5852966ba
Issue-ID: OOM-1551
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Added config files for old bash offline installer.

Old bash installer is still kept usable and these config files are
used only by that bash solution.

Change-Id: I72d010cc49412f106947e1644ad9c1923ca98772
Issue-ID: OOM-1551
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Added nexus blob data building script.

Script can be used to pre-build nexus data blob from given binary files
at build time to avoid nexus populating each time from empty state
at installation time. This is usefull when most of the binaries are
changed rarely and nexus can be just started up with pre-build blob
data at installation time.

Currently just docker images and NPM packages are supported.

Script is generic and should not have any dependency to ONAP as such
but there is few lines now that are rererring to onap, see below grep:

$ grep -i onap build_nexus_blob.sh
SIMUL_HOSTS="docker.elastic.co gcr.io hub.docker.com nexus3.onap.org nexus.onap.org registry.hub.docker.com ${NEXUS_DOMAIN}"
def r = repository.createDockerHosted("onap", 8082, 0)
sed -i "s|https://nexus.onap-me.novalocal|http://${NEXUS_DOMAIN}:8081|g" package/package.json

Change-Id: I008678fdd6dc067e7ecb26969225e2324b44e7ba
Issue-ID: OOM-1551
Signed-off-by: Samuli Silvius <s.silvius@partner.samsung.com>

Add the package.sh with a template

It can be used to distribution of a project via tars.
What is part of the package is defined in package.conf

Issue-ID: OOM-1551
Change-Id: I8f5509bfb37d5cad510c0c151d49f6944fc6511c
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Update ansible nexus role

Looks like this one was a bit out of date, updating it...

Change-Id: I7734fc5ccdba001d3c409244cd1625453ab232ed
Issue-ID: OOM-1551
Signed-off-by: Michal Zegan <m.zegan@samsung.com>

Merge "Add docker login script for bash installer"

Merge "Add certificate extraction and generation"

Merge "Add download handler script to bash installer"

Merge "Add upload script for npms to bash installer"

Merge "Add NFS setup for bash installer"

Merge "Add handling with offline data"

Merge "Add cleanup tools to bash installer"

Merge "Add self-installer creation to bash installer"

Merge "Add data list gathering script"

Add ONAP deployment

Adding deploy onap script

Issue-ID: OOM-1551

Change-Id: Ib4c876880600431eb87851910f1151c112c9c67e
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add data list gathering script

Adding script for gathering data lists

Issue-ID: OOM-1551

Change-Id: If2eff9c3eed23e89038d0eab73810b10281de0a4
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add self-installer creation to bash installer

Adding script creating self-installer package

Issue-ID: OOM-1551

Change-Id: If10e12da440864c3d72ca9a5b1fc27d89256225a
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add cleanup tools to bash installer

Adding script for deleting local images and cleanup script to bash
installer

Issue-ID: OOM-1551

Change-Id: I9459a9fc803a12abb5e2306d651b5307da5aca6d
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add handling with offline data

Adding handling scripts for download and load offline data for bash
installer

Issue-ID: OOM-1551

Change-Id: I59feea8396841cb660463524f58ec65c626e69a6
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add NFS setup for bash installer

Adding NFS installation and setup for bash installer

Issue-ID: OOM-1551

Change-Id: Iba4b7f7136018027053d1c7cca0641c9d0ee3d7f
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add upload script for npms to bash installer

Adding script for uploading NPM packages to private Nexus repository

Issue-ID: OOM-1551

Change-Id: Ic4d5e28f5bfc80df7db214aec650c99ad91c7730
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add download handler script to bash installer

Adding handler to help with downloading files for bash installer

Issue-ID: OOM-1551

Change-Id: I34008f681274515b833947f4880c8ac0fbfdf34d
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add docker login script for bash installer

Adding docker login script to log to private nexus registry

Issue-ID: OOM-1551

Change-Id: I3420c1427af64ab2db9d0932f2179b4b306128d9
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add certificate extraction and generation

Adding extraction and generation of certificates for nginx to handle SSL
connection to nexus repository in bash installer

Issue-ID: OOM-1551

Change-Id: Icf24bea5204c62f398a025178ff6d8a51d6bbb78
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Merge "Adding role for application handling"

Merge "Adding main README file"

Merge "Add ansible role for dns simulation"

Merge "Uploading maven files script handler."

Merge "Add ansible firewall role"

Adding role for application handling

this ansible role contains application specific tasks, it is
written in generic way and different helm charts can be used as
application. In addition operator can provide proprietary pre_install
and post_install hooks.

Change-Id: Ibe4b330e5a725dde41aca9f6a59d702cfaba6f52
Issue-ID: OOM-1551
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Adding main README file

main documentation for ansible offline installer

Change-Id: I4e2cebf26a1720600dfed1a4b4c83a68a85426ed
Issue-ID: OOM-1551
Signed-off-by: Michal Ptacek <m.ptacek@partner.samsung.com>

Add ansible role for dns simulation

Adding role to simulate domain names for offline installation from
private nexus repositories

Issue-ID: OOM-1551

Change-Id: Ia3fe274e95ef078332627af9229195bd6e9a667d
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add ansible role for docker installation

Adding ansible role for installation of docker and its setup

Issue-ID: OOM-1551

Change-Id: I49bca8eab46a2750cd627cbf709bed6744c88df5
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Add ansible firewall role

Adding role to disable firewall to prevent any issue with communication
during the installation

Change-Id: I2390f0bc5062933e6a8bf4dcbc0b255b283f993d
Issue-ID: OOM-1551
Signed-off-by: Tomáš Levora <t.levora@partner.samsung.com>

Uploading maven files script handler.

Upload maven files to proper location.

Change-Id: Ic529b2ff3ce158f33a33e9f5dd306314040bd6d8
Issue-ID: OOM-1551
Signed-off-by: Piotr Perzanowski <p.perzanowsk@samsung.com>

Merge "Adding ansible helm role"

Merge "Adding ansible vncserver role"

Merge "Add resource-data handling role"

Merge "Add an ansible config to enable custom roles"

Merge "Add the playbook for unpacking the resources"

Merge "Add the infrastructure playbook to setup cluster"

Merge "Add the playbook for deploying the kubernetes"

Merge "Add application-install role"

Merge "Add the playbook for deploying the helm app"

Merge "Add the wrapper for running the ansible"

Merge "Add .gitignore to the ansible directory"

Merge "Add empty application directory with README"

Add the wrapper for running the ansible

This script can run ansible playbook inside the docker
container or (default) in the chroot environment.

Change-Id: I713d6d76a4e20fc365a0ac7f47482004608354f6
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>

Add the playbook for deploying the helm app

The application specific stuff should be in the
directory application - look at the README.md there

Change-Id: I59d103246d0f54ea329a04d43479c4f31952b902
Issue-ID: OOM-1551
Signed-off-by: Petr Ospalý <p.ospaly@partner.samsung.com>