deployment/heat/onap-oom/rancher_vm_entrypoint.sh

   1 #!/bin/bash -x
   2 printenv
   3
   4 mkdir -p /opt/config
   5 echo "__rancher_ip_addr__" > /opt/config/rancher_ip_addr.txt
   6 echo "__k8s_vm_ips__" > /opt/config/k8s_vm_ips.txt
   7
   8 echo `hostname -I` `hostname` >> /etc/hosts
   9 mkdir -p /etc/docker
  10 if [ ! -z "__docker_proxy__" ]; then
  11     cat > /etc/docker/daemon.json <<EOF
  12 {
  13   "insecure-registries" : ["__docker_proxy__"]
  14 }
  15 EOF
  16 fi
  17 if [ ! -z "__apt_proxy__" ]; then
  18     cat > /etc/apt/apt.conf.d/30proxy<<EOF
  19 Acquire::http { Proxy "http://__apt_proxy__"; };
  20 Acquire::https::Proxy "DIRECT";
  21 EOF
  22 fi
  23 apt-get -y update
  24 apt-get -y install linux-image-extra-$(uname -r) jq make nfs-kernel-server
  25
  26
  27 # version control the persistence volume to see what's happening
  28 mkdir -p /dockerdata-nfs/
  29 chmod 777 /dockerdata-nfs/
  30 chown nobody:nogroup /dockerdata-nfs/
  31 cd /dockerdata-nfs/
  32 git init
  33 git config user.email "root@k8s"
  34 git config user.name "root"
  35 git add -A
  36 git commit -m "initial commit"
  37
  38 # export NFS mount
  39 NFS_EXP=""
  40 for K8S_VM_IP in $(tr -d ',[]' < /opt/config/k8s_vm_ips.txt); do
  41     NFS_EXP+="$K8S_VM_IP(rw,sync,no_root_squash,no_subtree_check) "
  42 done
  43 echo "/dockerdata-nfs $NFS_EXP" | tee /etc/exports
  44
  45
  46 exportfs -a
  47 systemctl restart nfs-kernel-server
  48
  49 cd ~
  50
  51 # install docker 17.03
  52 curl -s https://releases.rancher.com/install-docker/17.03.sh | sh
  53 usermod -aG docker ubuntu
  54
  55 docker run --restart unless-stopped -d -p 8080:8080  -e CATTLE_BOOTSTRAP_REQUIRED_IMAGE=__docker_proxy__/rancher/agent:v1.2.9 __docker_proxy__/rancher/server:v1.6.14
  56
  57 # install kubernetes 1.8.6
  58 curl -s -LO https://storage.googleapis.com/kubernetes-release/release/v1.8.10/bin/linux/amd64/kubectl
  59 chmod +x ./kubectl
  60 sudo mv ./kubectl /usr/local/bin/kubectl
  61 mkdir ~/.kube
  62
  63 # install helm
  64 wget -q http://storage.googleapis.com/kubernetes-helm/helm-v2.8.2-linux-amd64.tar.gz
  65 tar -zxvf helm-v2.8.2-linux-amd64.tar.gz
  66 sudo mv linux-amd64/helm /usr/local/bin/helm
  67
  68 echo export RANCHER_IP=__rancher_ip_addr__ > api-keys-rc
  69 source api-keys-rc
  70
  71 sleep 50
  72 until curl -s -o projects.json -H "Accept: application/json" http://$RANCHER_IP:8080/v2-beta/projects; do
  73     sleep 10
  74 done
  75 OLD_PID=$(jq -r '.data[0].id' projects.json)
  76
  77 curl -s -H "Accept: application/json" -H "Content-Type: application/json" -d '{"accountId":"1a1"}' http://$RANCHER_IP:8080/v2-beta/apikeys > apikeys.json
  78 echo export RANCHER_ACCESS_KEY=`jq -r '.publicValue' apikeys.json` >> api-keys-rc
  79 echo export RANCHER_SECRET_KEY=`jq -r '.secretValue' apikeys.json` >> api-keys-rc
  80 source api-keys-rc
  81
  82
  83 curl -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X PUT -H 'Accept: application/json' -H 'Content-Type: application/json' -d '{"id":"registry.default","type":"activeSetting","baseType":"setting","name":"registry.default","activeValue":"__docker_proxy__","inDb":true,"source":"Database","value":"__docker_proxy__"}'  http://$RANCHER_IP:8080/v2-beta/settings/registry.default
  84
  85 curl -s -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X DELETE -H 'Content-Type: application/json' "http://$RANCHER_IP:8080/v2-beta/projects/$OLD_PID"
  86
  87 until [ ! -z "$TEMPLATE_ID" ] && [ "$TEMPLATE_ID" != "null" ]; do
  88     sleep 5
  89     curl -s -H "Accept: application/json" http://$RANCHER_IP:8080/v2-beta/projectTemplates?name=Kubernetes > projectTemplatesKubernetes.json
  90     TEMPLATE_ID=$(jq -r '.data[0].id' projectTemplatesKubernetes.json)
  91 done
  92
  93 curl -s -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X POST -H 'Content-Type: application/json' -d '{ "name":"oom", "projectTemplateId":"'$TEMPLATE_ID'" }' "http://$RANCHER_IP:8080/v2-beta/projects" > project.json
  94 PID=`jq -r '.id' project.json`
  95 echo export RANCHER_URL=http://$RANCHER_IP:8080/v1/projects/$PID >> api-keys-rc
  96 source api-keys-rc
  97
  98 until [ $(jq -r '.state' project.json) == "active" ]; do
  99     sleep 5
 100     curl -s -H "Accept: application/json" http://$RANCHER_IP:8080/v1/projects/$PID > project.json
 101 done
 102
 103
 104 curl -s -u $RANCHER_ACCESS_KEY:$RANCHER_SECRET_KEY -X POST -H 'Accept: application/json' -H 'Content-Type: application/json' -d '{"name":"docker-proxy", "serverAddress":"__docker_proxy__"}' $RANCHER_URL/registries > registry.json
 105 RID=$(jq -r '.id' registry.json)
 106
 107
 108 curl -u "${RANCHER_ACCESS_KEY}:${RANCHER_SECRET_KEY}" -X POST -H 'Accept: application/json' -H 'Content-Type: application/json' -d '{"publicValue":"docker", "registryId":"'$RID'", "secretValue":"docker", "type":"registryCredential"}' "http://$RANCHER_IP:8080/v2-beta/projects/$PID/registrycredential"
 109
 110
 111
 112 TID=$(curl -s -X POST -H "Accept: application/json" -H "Content-Type: application/json" http://$RANCHER_IP:8080/v1/projects/$PID/registrationTokens | jq -r '.id')
 113 touch token.json
 114 while [ $(jq -r .command token.json | wc -c) -lt 10 ]; do
 115     sleep 5
 116     curl -s -X GET -H "Accept: application/json" http://$RANCHER_IP:8080/v1/projects/$PID/registrationToken/$TID > token.json
 117 done
 118 jq -r .command token.json > rancher_agent_cmd.sh
 119 chmod +x rancher_agent_cmd.sh
 120 cp rancher_agent_cmd.sh /dockerdata-nfs
 121
 122
 123 KUBETOKEN=$(echo -n 'Basic '$(echo -n "$RANCHER_ACCESS_KEY:$RANCHER_SECRET_KEY" | base64 -w 0) | base64 -w 0)
 124
 125 # create .kube/config
 126 cat > ~/.kube/config <<EOF
 127 apiVersion: v1
 128 kind: Config
 129 clusters:
 130 - cluster:
 131     api-version: v1
 132     insecure-skip-tls-verify: true
 133     server: "https://$RANCHER_IP:8080/r/projects/$PID/kubernetes:6443"
 134   name: "oom"
 135 contexts:
 136 - context:
 137     cluster: "oom"
 138     user: "oom"
 139   name: "oom"
 140 current-context: "oom"
 141 users:
 142 - name: "oom"
 143   user:
 144     token: "$KUBETOKEN"
 145 EOF
 146
 147 export KUBECONFIG=/root/.kube/config
 148 kubectl config view
 149
 150 # wait for kubernetes to initialze
 151 sleep 100
 152 until [ $(kubectl get pods --namespace kube-system | tail -n +2 | grep -c Running) -ge 6 ]; do
 153     sleep 10
 154 done
 155
 156
 157 # Install using OOM
 158 export HOME=/root
 159
 160 # Clone OOM:
 161 cd ~
 162 git clone -b master http://gerrit.onap.org/r/oom
 163 cd oom
 164 git log -1
 165
 166 # Update values.yaml to point to docker-proxy instead of nexus3:
 167 cd ~/oom/kubernetes
 168 #perl -p -i -e 's/nexus3.onap.org:10001/__docker_proxy__/g' `find ./ -name values.yaml`
 169 sed -i 's/nexus3.onap.org:10001/__docker_proxy__/g' onap/values.yaml
 170 sed -i 's/#repository:/repository:/g' onap/values.yaml
 171 sed -i 's/#repositorySecret:/repositorySecret:/g' onap/values.yaml
 172 git diff
 173
 174
 175 # Clone integration:
 176 cd ~
 177 git clone -b master http://gerrit.onap.org/r/integration
 178 cd integration
 179 git log -1
 180
 181 cd ~
 182 ln -s ~/integration/deployment/heat/onap-oom/env/__lab_name__/integration-override.yaml
 183 sed -i 's/nexus3.onap.org:10001/__docker_proxy__/g' integration-override.yaml
 184
 185
 186 # Run ONAP:
 187 cd ~/oom/kubernetes/
 188 # verify version
 189 helm version
 190 helm init --client-only
 191 helm init --upgrade
 192 helm serve &
 193 sleep 3
 194 helm repo add local http://127.0.0.1:8879
 195 helm repo list
 196 make all
 197 helm search -l | grep local
 198 if [ -e ~/integration-override.yaml ]; then
 199     helm install local/onap -n dev --namespace onap -f ~/integration-override.yaml
 200 else
 201     helm install local/onap -n dev --namespace onap
 202 fi
 203
 204
 205 # Check ONAP status:
 206 sleep 3
 207 kubectl get pods --all-namespaces