deployment/heat/onap-oom/k8s_vm_entrypoint.sh

   1 #!/bin/bash -x
   2 printenv
   3
   4 mkdir -p /opt/config
   5 echo "__rancher_ip_addr__" > /opt/config/rancher_ip_addr.txt
   6 echo `hostname -I` `hostname` >> /etc/hosts
   7 mkdir -p /etc/docker
   8 cat > /etc/docker/daemon.json <<EOF
   9 {
  10   "insecure-registries" : ["__docker_proxy__"]
  11 }
  12 EOF
  13 cat > /etc/apt/apt.conf.d/30proxy<<EOF
  14 Acquire::http { Proxy "http://__apt_proxy__"; };
  15 Acquire::https::Proxy "DIRECT";
  16 EOF
  17 apt-get -y update
  18 apt-get -y install linux-image-extra-$(uname -r) jq
  19
  20 cd ~
  21
  22 # install docker 1.12
  23 curl -s https://releases.rancher.com/install-docker/1.12.sh | sh
  24 usermod -aG docker ubuntu
  25
  26 # install kubernetes 1.8.6
  27 curl -s -LO https://storage.googleapis.com/kubernetes-release/release/v1.8.6/bin/linux/amd64/kubectl
  28 chmod +x ./kubectl
  29 sudo mv ./kubectl /usr/local/bin/kubectl
  30 mkdir ~/.kube
  31
  32 # install helm 2.3
  33 wget -q http://storage.googleapis.com/kubernetes-helm/helm-v2.3.0-linux-amd64.tar.gz
  34 tar -zxvf helm-v2.3.0-linux-amd64.tar.gz
  35 sudo mv linux-amd64/helm /usr/local/bin/helm
  36
  37 # Fix virtual memory allocation for onap-log:elasticsearch:
  38 echo "vm.max_map_count=262144" >> /etc/sysctl.conf
  39 sysctl -p
  40
  41 # install rancher agent
  42 echo export RANCHER_IP=__rancher_ip_addr__ > api-keys-rc
  43 source api-keys-rc
  44
  45 sleep 50
  46 until curl -s -o projects.json -H "Accept: application/json" http://$RANCHER_IP:8080/v2-beta/projects; do
  47     sleep 10
  48 done
  49 OLD_PID=$(jq -r '.data[0].id' projects.json)
  50
  51 curl -s -H "Accept: application/json" -H "Content-Type: application/json" -d '{"accountId":"1a1"}' http://$RANCHER_IP:8080/v2-beta/apikeys > apikeys.json
  52 echo export RANCHER_ACCESS_KEY=`jq -r '.publicValue' apikeys.json` >> api-keys-rc
  53 echo export RANCHER_SECRET_KEY=`jq -r '.secretValue' apikeys.json` >> api-keys-rc
  54 source api-keys-rc
  55
  56 curl -s -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X DELETE -H 'Content-Type: application/json' "http://$RANCHER_IP:8080/v2-beta/projects/$OLD_PID"
  57
  58 until [ ! -z "$TEMPLATE_ID" ] && [ "$TEMPLATE_ID" != "null" ]; do
  59     sleep 5
  60     curl -s -H "Accept: application/json" http://$RANCHER_IP:8080/v2-beta/projectTemplates?name=Kubernetes > projectTemplatesKubernetes.json
  61     TEMPLATE_ID=$(jq -r '.data[0].id' projectTemplatesKubernetes.json)
  62 done
  63
  64 curl -s -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X POST -H 'Content-Type: application/json' -d '{ "name":"oom", "projectTemplateId":"'$TEMPLATE_ID'" }' "http://$RANCHER_IP:8080/v2-beta/projects" > project.json
  65 PID=`jq -r '.id' project.json`
  66 echo export RANCHER_URL=http://$RANCHER_IP:8080/v1/projects/$PID >> api-keys-rc
  67 source api-keys-rc
  68
  69 until [ $(jq -r '.state' project.json) == "active" ]; do
  70     sleep 5
  71     curl -s -H "Accept: application/json" http://$RANCHER_IP:8080/v1/projects/$PID > project.json
  72 done
  73
  74 TID=$(curl -s -X POST -H "Accept: application/json" -H "Content-Type: application/json" http://$RANCHER_IP:8080/v1/projects/$PID/registrationTokens | jq -r '.id')
  75 touch token.json
  76 while [ $(jq -r .command token.json | wc -c) -lt 10 ]; do
  77     sleep 5
  78     curl -s -X GET -H "Accept: application/json" http://$RANCHER_IP:8080/v1/projects/$PID/registrationToken/$TID > token.json
  79 done
  80 RANCHER_AGENT_CMD=$(jq -r .command token.json)
  81 eval $RANCHER_AGENT_CMD
  82
  83 # download rancher CLI
  84 wget -q https://github.com/rancher/cli/releases/download/v0.6.7/rancher-linux-amd64-v0.6.7.tar.xz
  85 unxz rancher-linux-amd64-v0.6.7.tar.xz
  86 tar xvf rancher-linux-amd64-v0.6.7.tar
  87
  88 # Clone OOM:
  89 cd ~
  90 git clone -b amsterdam http://gerrit.onap.org/r/oom
  91
  92 # Update values.yaml to point to docker-proxy instead of nexus3:
  93 cd ~/oom/kubernetes
  94 perl -p -i -e 's/nexus3.onap.org:10001/__docker_proxy__/g' `find ./ -name values.yaml` oneclick/setenv.bash
  95
  96 KUBETOKEN=$(echo -n 'Basic '$(echo -n "$RANCHER_ACCESS_KEY:$RANCHER_SECRET_KEY" | base64 -w 0) | base64 -w 0)
  97
  98 # create .kube/config
  99 cat > ~/.kube/config <<EOF
 100 apiVersion: v1
 101 kind: Config
 102 clusters:
 103 - cluster:
 104     api-version: v1
 105     insecure-skip-tls-verify: true
 106     server: "https://$RANCHER_IP:8080/r/projects/$PID/kubernetes:6443"
 107   name: "oom"
 108 contexts:
 109 - context:
 110     cluster: "oom"
 111     user: "oom"
 112   name: "oom"
 113 current-context: "oom"
 114 users:
 115 - name: "oom"
 116   user:
 117     token: "$KUBETOKEN"
 118 EOF
 119
 120 export KUBECONFIG=/root/.kube/config
 121 kubectl config view
 122
 123 # Update ~/oom/kubernetes/kube2msb/values.yaml kubeMasterAuthToken to use the token from ~/.kube/config
 124 sed -i "s/kubeMasterAuthToken:.*/kubeMasterAuthToken: $KUBETOKEN/" ~/oom/kubernetes/kube2msb/values.yaml
 125
 126 # Put your onap_key ssh private key in ~/.ssh/onap_key
 127
 128 # Create or edit ~/oom/kubernetes/config/onap-parameters.yaml
 129 cat > ~/oom/kubernetes/config/onap-parameters.yaml <<EOF
 130 # For information regarding those parameters, please visit http://onap.readthedocs.io/en/latest/submodules/dcaegen2.git/docs/sections/installation_heat.html
 131
 132 #################
 133 # COMMON CONFIG #
 134 #################
 135
 136 # NEXUS
 137 NEXUS_HTTP_REPO: https://nexus.onap.org/content/sites/raw
 138 NEXUS_DOCKER_REPO: nexus3.onap.org:10001
 139 NEXUS_USERNAME: docker
 140 NEXUS_PASSWORD: docker
 141
 142 # ONAP config
 143 # Do not change unless you know what you're doing
 144 DMAAP_TOPIC: "AUTO"
 145 DEMO_ARTIFACTS_VERSION: "1.1.1"
 146
 147 # ------------------------------------------------#
 148 # OpenStack Config on which VNFs will be deployed #
 149 # ------------------------------------------------#
 150
 151 # The four below parameters are only used by Robot.
 152 # As Robot is able to perform some automated actions,
 153 # e.g. onboard/distribute/instantiate, it has to be
 154 # configured with four below parameters (in addition
 155 # to the OPENSTACK ones).
 156 # If you don't intend to use Robot for those actions,
 157 # you can put dummy values, but you will have to provide
 158 # those values when deploying VNF anyway.
 159 # --------------------------------------------------
 160 # This is the OAM Network ID used for internal network by VNFs.
 161 # You could create 10.10.10.0/24 (256 IPs should be enough) in your cloud instance.
 162 OPENSTACK_OAM_NETWORK_ID: "__oam_network_id__"
 163 # This is the public Network ID. Public = external network in OpenStack.
 164 # Floating IPs will be created and assigned to VNFs from this network,
 165 # to provide external reachability.
 166 OPENSTACK_PUBLIC_NETWORK_ID: "__public_net_id__"
 167 # VM Flavor to be used by VNF.
 168 OPENSTACK_FLAVOR: "m1.medium"
 169 # VM image to be used by VNF. Here ubuntu 14.04 is provided.
 170 OPENSTACK_IMAGE: "__ubuntu_1604_image__"
 171
 172 OPENSTACK_USERNAME: "__openstack_username__"
 173 OPENSTACK_PASSWORD: "__openstack_api_key__"
 174 OPENSTACK_TENANT_NAME: "__openstack_tenant_name__"
 175 OPENSTACK_TENANT_ID: "__openstack_tenant_id__"
 176 OPENSTACK_REGION: "RegionOne"
 177 # Either v2.0 or v3
 178 OPENSTACK_API_VERSION: "v2.0"
 179 OPENSTACK_KEYSTONE_URL: "__keystone_url__"
 180 # Don't change this if you don't know what it is
 181 OPENSTACK_SERVICE_TENANT_NAME: "service"
 182
 183 ########
 184 # DCAE #
 185 ########
 186
 187 # Whether or not to deploy DCAE
 188 # If set to false, all the parameters below can be left empty or removed
 189 # If set to false, update ../dcaegen2/values.yaml disableDcae value to true,
 190 # this is to avoid deploying the DCAE deployments and services.
 191 DEPLOY_DCAE: "true"
 192
 193 # DCAE Config
 194 DCAE_DOCKER_VERSION: v1.1.1
 195 DCAE_VM_BASE_NAME: "dcae"
 196
 197 # ------------------------------------------------#
 198 # OpenStack Config on which DCAE will be deployed #
 199 # ------------------------------------------------#
 200
 201 # Whether to have DCAE deployed on the same OpenStack instance on which VNF will be deployed.
 202 # (e.g. re-use the same config as defined above)
 203 # If set to true, discard the next config block, else provide the values.
 204 IS_SAME_OPENSTACK_AS_VNF: "true"
 205
 206 # Fill in the values in below block only if IS_SAME_OPENSTACK_AS_VNF set to "false"
 207 # ---
 208 # Either v2.0 or v3
 209 DCAE_OS_API_VERSION: "v2.0"
 210 DCAE_OS_KEYSTONE_URL: "__keystone_url__"
 211 DCAE_OS_USERNAME: ""
 212 DCAE_OS_PASSWORD: ""
 213 DCAE_OS_TENANT_NAME: ""
 214 DCAE_OS_TENANT_ID: ""
 215 DCAE_OS_REGION: ""
 216 # ---
 217
 218 # We need to provide the config of the public network here, because the DCAE VMs will be
 219 # assigned a floating IP on this network so one can access them, to debug for instance.
 220 # The ID of the public network.
 221 DCAE_OS_PUBLIC_NET_ID: "__public_net_id__"
 222 # The name of the public network.
 223 DCAE_OS_PUBLIC_NET_NAME: "__public_net_name__"
 224 # This is the private network that will be used by DCAE VMs. The network will be created during the DCAE boostrap process,
 225 # and will the subnet created will use this CIDR. (/28 provides 16 IPs, DCAE requires 15.)
 226 DCAE_OS_OAM_NETWORK_CIDR: "10.99.0.0/16"
 227 # This will be the private ip of the DCAE boostrap VM. This VM is responsible for spinning up the whole DCAE stack (14 VMs total)
 228 DCAE_IP_ADDR: "10.99.4.1"
 229
 230 # The flavors' name to be used by DCAE VMs
 231 DCAE_OS_FLAVOR_SMALL: "m1.small"
 232 DCAE_OS_FLAVOR_MEDIUM: "m1.medium"
 233 DCAE_OS_FLAVOR_LARGE: "m1.large"
 234 # The images' name to be used by DCAE VMs
 235 DCAE_OS_UBUNTU_14_IMAGE: "__ubuntu_1404_image__"
 236 DCAE_OS_UBUNTU_16_IMAGE: "__ubuntu_1604_image__"
 237 DCAE_OS_CENTOS_7_IMAGE: "__centos_7_image__"
 238
 239 # This is the keypair that will be created in OpenStack, and that one can use to access DCAE VMs using ssh.
 240 # The private key needs to be in a specific format so at the end of the process, it's formatted properly
 241 # when ending up in the DCAE HEAT stack. The best way is to do the following:
 242 # - copy paste your key
 243 # - surround it with quote
 244 # - add \n at the end of each line
 245 # - escape the result using https://www.freeformatter.com/java-dotnet-escape.html#ad-output
 246 DCAE_OS_KEY_NAME: "onap_key"
 247 DCAE_OS_PUB_KEY: "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDKXDgoo3+WOqcUG8/5uUbk81+yczgwC4Y8ywTmuQqbNxlY1oQ0YxdMUqUnhitSXs5S/yRuAVOYHwGg2mCs20oAINrP+mxBI544AMIb9itPjCtgqtE2EWo6MmnFGbHB4Sx3XioE7F4VPsh7japsIwzOjbrQe+Mua1TGQ5d4nfEOQaaglXLLPFfuc7WbhbJbK6Q7rHqZfRcOwAMXgDoBqlyqKeiKwnumddo2RyNT8ljYmvB6buz7KnMinzo7qB0uktVT05FH9Rg0CTWH5norlG5qXgP2aukL0gk1ph8iAt7uYLf1ktp+LJI2gaF6L0/qli9EmVCSLr1uJ38Q8CBflhkh"
 248 DCAE_OS_PRIVATE_KEY: \"-----BEGIN RSA PRIVATE KEY-----\\n\r\nMIIEpQIBAAKCAQEAylw4KKN/ljqnFBvP+blG5PNfsnM4MAuGPMsE5rkKmzcZWNaE\\n\r\nNGMXTFKlJ4YrUl7OUv8kbgFTmB8BoNpgrNtKACDaz/psQSOeOADCG/YrT4wrYKrR\\n\r\nNhFqOjJpxRmxweEsd14qBOxeFT7Ie42qbCMMzo260HvjLmtUxkOXeJ3xDkGmoJVy\\n\r\nyzxX7nO1m4WyWyukO6x6mX0XDsADF4A6AapcqinoisJ7pnXaNkcjU/JY2Jrwem7s\\n\r\n+ypzIp86O6gdLpLVU9ORR/UYNAk1h+Z6K5Rual4D9mrpC9IJNaYfIgLe7mC39ZLa\\n\r\nfiySNoGhei9P6pYvRJlQki69bid/EPAgX5YZIQIDAQABAoIBAQClDekkhI9ZqseC\\n\r\nqFjPuKaxsizZMg+faJb6WSHLSxzyk1OSWY6F6FklgLeC8HW/fuLNYZyGOYDEsG20\\n\r\nlMqL02Wdiy7OutS3oOS5iyzIf9a90HfFJi706el6RIpvINETcaXCS0T8tQrcS1Rd\\n\r\nKqTaBRC6HXJGAPbBcvw3pwQSdskatU6a/Kt2a3x6DsqqinQcgEB/SbrDaJCUX9sb\\n\r\nF2HVUwdq7aZK1Lk0ozr1FID9mrhjwWuQ6XC+vjG0FqtyXeMpR5iaQ73hex3FXQ8z\\n\r\nOjkFbMwuHWSh1DSx70r5yFrrBqwQKnMsBqx4QDRf3fIENUnWviaL+n+gwcXA07af\\n\r\n4kaNUFUtAoGBAPuNNRAGhZnyZ9zguns9PM56nmeMUikV5dPN2DTbQb79cpfV+7pC\\n\r\n6PeSH/dTKFLz62d6qAM2EsNXQvewf8fipBVBRPsRqKOv+uepd01dHNy62I5B+zRm\\n\r\nbe9Kbe+EN60qdzvyPM+2hV6CnvGv1dirimS9pu6RrxD2Rmz1ectnJE+rAoGBAM3w\\n\r\nUbSEemyZ6EKjck2RfdipzY0MNBnIZ2cUqHh8mmPXjdTLzpXb9vmPbHb01Qwo8MP+\\n\r\ngMnTbTBOzyNAaHdIrCO9FHW6C85j3ot5Yzcr+EcBVcua+7KHU0Sgn44JNH8DisJ7\\n\r\nY63UP/1Xb4d1/QvHfxYy3WOvvRdVZ7pPo8JNX95jAoGAIe5CIg8/JizUZa7KeKUh\\n\r\n9pgDleQPkQsrHQ6/AyIwFBsLwf9THSS5V+uV9D57SfUs46Bf2U8J6N90YQSlt8iS\\n\r\naWuManFPVgT+yxDIzt6obf2mCEpOIBtQ6N4ZRh2HhQwdWTCrkzkDdGQaHG+jYL6C\\n\r\nxGPwiG2ON7OAfGIAM7eN5lECgYEAhoRLWlaOgRGnHKAWsYQvZ67CjTdDcPPuVu6v\\n\r\nfMQnNMA/7JeTwV+E205L0wfpgZ/cZKmBBlQMJlnUA3q2wfO+PTnse1mjDJU/cGtB\\n\r\n22/lJLxChlQdxGeQhGtGzUhF+hEeOhrO6WSSx7CtMRZoy6Dr6lwfMFZCdVNcBd6v\\n\r\nYOOZk3ECgYEAseUKGb6E80XTVVNziyuiVbQCsI0ZJuRfqMZ2IIDQJU9u6AnGAway\\n\r\nitqHbkGsmDT+4HUz01+1JKnnw42RdSrHdU/LaOonD+RIGqe2x800QXzqASKLdCXr\\n\r\ny7RoiFqJtkdFQykzJemA+xOXvHLgKi/MXFsU90PCD0VJKLj8vwpX78Y=\\n\r\n-----END RSA PRIVATE KEY-----\\n\r\n\"
 249
 250 # This below settings allows one to configure the /etc/resolv.conf nameserver resolution for all the DCAE VMs.
 251 # -
 252 # In the HEAT setup, it's meant to be a DNS list, as the HEAT setup deploys a DNS Server VM in addition to DNS Designate
 253 # and this DNS Server is setup to forward request to the DNS Designate backend when it cannot resolve, hence the
 254 # DNS_FORWARDER config here. The DCAE Boostrap requires both inputs, even though they are now similar, we have to pass
 255 # them.
 256 # -
 257 # ATTENTION: Assumption is made the DNS Designate backend is configure to forward request to a public DNS (e.g. 8.8.8.8)
 258 # -
 259 # Put the IP of the DNS Designate backend (e.g. the OpenStack IP supporting DNS Designate)
 260 DNS_IP: "__dns_forwarder__"
 261 DNS_FORWARDER: "__dns_forwarder__"
 262
 263 # Public DNS - not used but required by the DCAE boostrap container
 264 EXTERNAL_DNS: "__external_dns__"
 265
 266 # DNS domain for the DCAE VMs
 267 DCAE_DOMAIN: "dcaeg2.onap.org"
 268
 269 # Proxy DNS Designate. This means DCAE will run in an instance not support Designate, and Designate will be provided by another instance.
 270 # Set to true if you wish to use it
 271 DNSAAS_PROXY_ENABLE: "__dnsaas_proxy_enable__"
 272 # Provide this only if DNSAAS_PROXY_ENABLE set to true. The IP has to be the IP of one of the K8S hosts.
 273 # e.g. http://10.195.197.164/api/multicloud-titanium_cloud/v0/pod25_RegionOne/identity/v2.0
 274 DCAE_PROXIED_KEYSTONE_URL: "http://__k8s_ip_addr__/__dnsaas_proxied_keystone_url_path__"
 275
 276 # -----------------------------------------------------#
 277 # OpenStack Config on which DNS Designate is supported #
 278 # -----------------------------------------------------#
 279
 280 # If this is the same OpenStack used for the VNF or DCAE, please re-enter the values here.
 281
 282 DNSAAS_API_VERSION: "v3"
 283 DNSAAS_REGION: "RegionOne"
 284 DNSAAS_KEYSTONE_URL: "__dnsaas_keystone_url__"
 285 DNSAAS_TENANT_ID: "__dnsaas_tenant_id__"
 286 DNSAAS_TENANT_NAME: "__dnsaas_tenant_name__"
 287 DNSAAS_USERNAME: "__dnsaas_username__"
 288 DNSAAS_PASSWORD: "__dnsaas_password__"
 289 EOF
 290 cat ~/oom/kubernetes/config/onap-parameters.yaml
 291
 292
 293 # wait for kubernetes to initialze
 294 sleep 100
 295 until [ $(kubectl get pods --namespace kube-system | tail -n +2 | grep -c Running) -ge 6 ]; do
 296     sleep 10
 297 done
 298
 299 # Source the environment file:
 300 cd ~/oom/kubernetes/oneclick/
 301 source setenv.bash
 302
 303 # run the config pod creation
 304 cd ~/oom/kubernetes/config
 305 ./createConfig.sh -n onap
 306
 307 # Wait until the config container completes.
 308 sleep 20
 309 until [ $(kubectl get pods --namespace onap -a | tail -n +2 | grep -c Completed) -eq 1 ]; do
 310     sleep 10
 311 done
 312
 313 # version control the config to see what's happening
 314 cd /dockerdata-nfs/
 315 git init
 316 git config user.email "root@k8s"
 317 git config user.name "root"
 318 git add -A
 319 git commit -m "initial commit"
 320
 321 cat /dockerdata-nfs/onap/dcaegen2/heat/onap_dcae.env
 322
 323 # Run ONAP:
 324 cd ~/oom/kubernetes/oneclick/
 325 ./createAll.bash -n onap
 326
 327 # Check ONAP status:
 328 sleep 3
 329 kubectl get pods --all-namespaces