deploy/cd.sh

   1 #!/bin/bash
   2 #############################################################################
   3 #
   4 # Copyright © 2019 Amdocs.
   5 #
   6 # Licensed under the Apache License, Version 2.0 (the "License");
   7 # you may not use this file except in compliance with the License.
   8 # You may obtain a copy of the License at
   9 #        http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 # Unless required by applicable law or agreed to in writing, software
  12 # distributed under the License is distributed on an "AS IS" BASIS,
  13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # See the License for the specific language governing permissions and
  15 # limitations under the License.
  16 #
  17 #############################################################################
  18 # v20190115
  19 # https://wiki.onap.org/display/DW/ONAP+on+Kubernetes
  20 # source from https://jira.onap.org/browse/OOM-320, 326, 321, 898, 925
  21 # Michael O'Brien
  22 #
  23
  24 usage() {
  25   cat <<EOF
  26 Usage: $0 [PARAMs]
  27 example
  28 ./cd.sh -b amsterdam -e onap (will rerun onap in the onap namespace, no new repo, no deletion of existing repo, no sdnc workaround, no onap removal at the end
  29 ./cd.sh -b master -e onap -s 500 -c true -d true -w true -r true (run as cd server, new oom, delete prev oom, run workarounds, clean onap at the end of the script
  30 ./cd.sh -b 3.0.0-ONAP -e onap -p true -n nexus3.onap.org:10001 -f true -s 600 -c true -d false -w true -r false (standard new server/dev environment - use this as the default)
  31 provide a dev0.yaml/dev1.yaml override set (0=platform, 1=rest of pods) - copy from https://git.onap.org/oom/tree/kubernetes/onap/resources/environments/dev.yaml
  32  note: the managed deploy where -f is true - deploys all of ONAP - for a subset driven by the enabled flags in the dev yaml - use -f false - as the --set enabled flags override in the prior case
  33 -u                  : Display usage
  34 -b [branch]         : branch = master/beijing or amsterdam (required)
  35 -e [environment]    : use the default (onap)
  36 -p [true|false]     : docker prepull (default false)
  37 -n [nexus3 url:port]: nexus3.onap.org:10001 or proxy - used in prepull
  38 -f [true|false]     : managed deploy - time sequenced - defaults to a full deploy
  39 -s [seconds]        : delay between base and rest of onap dual-deployments based on dev0 and dev1.yaml
  40 -c [true|false]     : FLAG clone new oom repo (default: true)
  41 -d [true|false]     : FLAG delete prev oom - (cd build) (default: false)
  42 -w [true|false]     : FLAG apply workarounds  IE: sdnc (default: true)
  43 -r [true|false]     : FLAG remove oom at end of script - for use by CD only (default: false)
  44 EOF
  45 }
  46
  47 wait_for_pod() {
  48       local RUNNING_PODS_LIMIT=$2
  49       local MAX_WAIT_PERIODS=140 # 35 MIN
  50       local COUNTER=1
  51       local PENDING_PODS=0
  52       local TARGET_POD_PREFIX=$1
  53       local PENDING=0
  54       while [  $PENDING -lt $RUNNING_PODS_LIMIT  ]; do
  55         PENDING=$(kubectl get pods --all-namespaces | grep $TARGET_POD_PREFIX | grep -E '1/1|2/2|1/3|2/3' | wc -l)
  56         PENDING_PODS=$PENDING
  57         sleep 15
  58         LIST_PENDING=$(kubectl get pods --all-namespaces -o wide | grep $TARGET_POD_PREFIX | grep -E '1/1|2/2|1/3|2/3' )
  59         echo "${PENDING} running < ${RUNNING_PODS_LIMIT} at the ${COUNTER}th 15 sec interval for $TARGET_POD_PREFIX"
  60         COUNTER=$((COUNTER + 1 ))
  61         MAX_WAIT_PERIODS=$((MAX_WAIT_PERIODS - 1))
  62         if [ "$MAX_WAIT_PERIODS" -eq 0 ]; then
  63           PENDING=800
  64         fi
  65      done
  66      dt="$(date +"%T")"
  67      echo "$dt: ${PENDING} pods are up (1/1|2/2|3/3) for $TARGET_POD_PREFIX at the ${COUNTER}th 15 sec interval"
  68      echo "deployments: note order: helm list"
  69      sudo helm list
  70      kubectl get pods --all-namespaces -o wide
  71 }
  72
  73 deploy_onap() {
  74   echo "$(date)"
  75   echo "running with: -b $BRANCH -e $ENVIRON -p $DOCKER_PREPULL -n $NEXUS3_AND_PORT -f $FULL_MANAGED_DEPLOY -s $SPLIT_DEPLOY_DELAY -c $CLONE_NEW_OOM -d $DELETE_PREV_OOM -w $APPLY_WORKAROUNDS -r $REMOVE_OOM_AT_END"
  76   echo "provide onap-parameters.yaml(amsterdam) or dev0.yaml+dev1.yaml (master) and aai-cloud-region-put.json"
  77   echo "provide a dev0.yaml and dev1.yaml override (0=platform, 1=rest of pods) - copy from https://git.onap.org/oom/tree/kubernetes/onap/resources/environments/dev.yaml"
  78
  79   if [[ "$BRANCH" == "beijing" ]]; then
  80     echo "beijing install deployment no longer supported for a full install because of the configmap 1g limit  - use casablanca+ for helm deploy"
  81     exit 1
  82   fi
  83
  84   # fix virtual memory for onap-log:elasticsearch under Rancher 1.6.11 - OOM-431
  85   sudo sysctl -w vm.max_map_count=262144
  86   if [[ "$DELETE_PREV_OOM" != false ]]; then
  87     echo "remove currently deployed pods"
  88     sudo helm list
  89     # master/beijing only - not amsterdam
  90     if [ "$BRANCH" == "amsterdam" ]; then
  91       oom/kubernetes/oneclick/deleteAll.bash -n $ENVIRON
  92     else
  93       # run undeploy for completeness of the deploy/undeploy cycle - note that pv/pvcs are not deleted in all cases
  94       # this will fail as expected on a clean first run of the deployment - the plugin will be installed for run n+1
  95       sudo helm undeploy $ENVIRON --purge
  96       # workaround for secondary orchestration in dcae
  97       kubectl delete namespace $ENVIRON
  98       echo "sleep for 4 min to allow the delete to finish pod terminations before trying a helm delete"
  99       sleep 240
 100       sudo helm delete --purge $ENVIRON
 101     fi
 102
 103     # verify
 104     DELETED=$(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3' | wc -l)
 105     echo "showing $DELETED undeleted pods"
 106     echo "verify deletion is finished."
 107     # max number of cycles exits to --force block next
 108     local MAX_DELETION_WAIT_PERIODS_BEFORE_RUNNING_FORCE=120 # 30 min
 109     local DELETE_COUNTER=0
 110     while [  $(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3' | wc -l) -gt 0 ]; do
 111       sleep 15
 112       echo "waiting for deletions to complete, iteration $DELETE_COUNTER of $MAX_DELETION_WAIT_PERIODS_BEFORE_RUNNING_FORCE"
 113       # addressing rare occurrence on Terminating instances requiring scripted --force in next merge for LOG-914
 114       COUNTER=$((COUNTER + 1 ))
 115       MAX_DELETION_WAIT_PERIODS_BEFORE_RUNNING_FORCE=$((MAX_DELETION_WAIT_PERIODS_BEFORE_RUNNING_FORCE - 1))
 116       if [ "$MAX_DELETION_WAIT_PERIODS_BEFORE_RUNNING_FORCE" -eq 0 ]; then
 117         #https://wiki.onap.org/display/DW/ONAP+Development#ONAPDevelopment-WorkingwithJSONPath
 118         export POD_NAMES=$(kubectl get pods --field-selector=status.phase!=Running --all-namespaces -o jsonpath="{.items[*].metadata.name}")
 119         echo "--force delete on pods: $POD_NAMES"
 120         for pod in $POD_NAMES; do
 121           echo "running: kubectl delete pods $pod --grace-period=0 --force -n $ENVIRON"
 122           kubectl delete pods $pod --grace-period=0 --force -n $ENVIRON
 123         done
 124       fi
 125     done
 126     echo "Pod deletions completed"
 127
 128     # specific to when there is no helm release
 129     kubectl delete pv --all
 130     kubectl delete pvc --all
 131     kubectl delete secrets --all
 132     kubectl delete clusterrolebinding --all
 133     # keep jenkins 120 sec timeout happy with echos
 134     sleep 30
 135     echo "List of ONAP Modules - look for terminating pods - should be none - only the kubernetes system"
 136     LIST_ALL=$(kubectl get pods --all-namespaces -o wide )
 137     echo "${LIST_ALL}"
 138
 139     # for use by continuous deployment only
 140     echo " deleting /dockerdata-nfs/ all onap-* deployment directories - why: some pod config jobs will not run on a non-empty nfs subdir"
 141     sudo chmod -R 777 /dockerdata-nfs/*
 142     rm -rf /dockerdata-nfs/*
 143   fi
 144
 145   # for use by continuous deployment only
 146   if [[ "$CLONE_NEW_OOM" != false ]]; then
 147     rm -rf oom
 148     echo "pull new oom"
 149     git clone -b $BRANCH http://gerrit.onap.org/r/oom
 150   fi
 151
 152   # https://wiki.onap.org/display/DW/OOM+Helm+%28un%29Deploy+plugins
 153   sudo cp -R ~/oom/kubernetes/helm/plugins/ ~/.helm
 154
 155   if [ "$BRANCH" == "amsterdam" ]; then
 156     echo "start config pod"
 157     # still need to source docker variables
 158     source oom/kubernetes/oneclick/setenv.bash
 159     #echo "source setenv override"
 160     echo "moving onap-parameters.yaml to oom/kubernetes/config"
 161     cp onap-parameters.yaml oom/kubernetes/config
 162     cd oom/kubernetes/config
 163     ./createConfig.sh -n $ENVIRON
 164     cd ../../../
 165     echo "verify onap-config is 0/1 not 1/1 - as in completed - an error pod - means you are missing onap-parameters.yaml or values are not set in it."
 166     while [  $(kubectl get pods -n onap -a | grep config | grep 0/1 | grep Completed | wc -l) -eq 0 ]; do
 167       sleep 15
 168       echo "waiting for config pod to complete"
 169     done
 170   else
 171     echo "using dev0|1.yaml in working dir"
 172   fi
 173
 174   # usually the prepull takes up to 25-300 min - however hourly builds will finish the docker pulls before the config pod is finished
 175   if [[ "$DOCKER_PREPULL" != false ]]; then
 176     echo "pre pull docker images - 40+ min for 75G - use a proxy"
 177     sudo wget https://git.onap.org/logging-analytics/plain/deploy/docker_prepull.sh
 178     sudo chmod 777 docker_prepull.sh
 179     # run only on slave nodes vis cloudformation or heat template
 180     sudo ./docker_prepull.sh -b $BRANCH -s $NEXUS3_AND_PORT -v true
 181   fi
 182
 183   echo "start onap pods"
 184   if [ "$BRANCH" == "amsterdam" ]; then
 185     cd oom/kubernetes/oneclick
 186     ./createAll.bash -n $ENVIRON
 187     cd ../../../
 188   else
 189     cd oom/kubernetes/
 190     sudo make clean
 191     sudo make all
 192     sudo make $ENVIRON
 193
 194     local DISABLE_CHARTS_YAML=onap/resources/environments/disable-allcharts.yaml
 195     local DEV0_YAML=~/dev0.yaml
 196     local DEV1_YAML=~/dev1.yaml
 197     #sudo helm install local/onap -n onap --namespace $ENVIRON
 198     dt="$(date +"%T")"
 199     echo "$dt: starting ONAP install"
 200     # run an empty deploy first to get a round a random helm deploy failure on a release upgrade failure (deploy plugin runs as upgrade instead of install)
 201     echo "deploying empty onap deployment as base 1 of 3"
 202     sudo helm deploy onap local/onap --namespace $ENVIRON -f $DISABLE_CHARTS_YAML --verbose
 203     # deploy platform pods first - dev0 and dev1 can be the same is required
 204     echo "deploying base onap pods as base 2 of 3 - sleep 30 between"
 205     sleep 30
 206
 207     if [[ "$FULL_MANAGED_DEPLOY" != true ]]; then
 208       echo "deploying onap subset based on dev0.yaml - use -f true option to bring up all of onap in sequence"
 209       sudo helm deploy onap local/onap --namespace $ENVIRON -f $DISABLE_CHARTS_YAML -f $DEV0_YAML --verbose
 210       echo "sleep ${SPLIT_DEPLOY_DELAY} sec to allow base platform pods to complete - without a grep on 0/1|0/2|0/3 non-Complete jobs"
 211       sleep $SPLIT_DEPLOY_DELAY
 212       echo "deploying rest of onap pods as base 3 of 3"
 213       sudo helm deploy onap local/onap --namespace $ENVIRON -f $DISABLE_CHARTS_YAML -f $DEV1_YAML --verbose
 214     else
 215       # for now master and casablanca have the same pod structure
 216       if [[ "$BRANCH" == "casablanca" ]] || [[ "$BRANCH" == "3.0.0-ONAP" ]] || [[ "$BRANCH" == "3.0.1-ONAP" ]] || [[ "$BRANCH" == "master" ]]; then
 217         if [[ "$BRANCH" == "master" ]]; then
 218           # node DCAEGEN2 must deploy after consul, msb and dmaap but not any later than deploy 5
 219           DEPLOY_ORDER_POD_NAME_ARRAY=('consul msb dmaap dcaegen2 aaf robot aai esr multicloud oof so sdc sdnc vid policy portal log vfc uui vnfsdk appc clamp cli pomba vvp contrib sniro-emulator')
 220           # don't count completed pods
 221           DEPLOY_NUMBER_PODS_DESIRED_ARRAY=(4 5 11 11 13 1 15 2 6 17 10 12 11 2 8 6 3 18 2 5 5 5 1 11 11 3 1)
 222           # account for podd that have varying deploy times or replicaset sizes
 223           # don't count the 0/1 completed pods - and skip most of the ResultSet instances except 1
 224           # dcae boostrap is problematic
 225           DEPLOY_NUMBER_PODS_PARTIAL_ARRAY=(2 5 13 9 11 1 11 2 6 16 10 12 11 2 8 6 3 18 2 5 5 5 1 9 11 3 1)
 226         else
 227           # casablanca branches
 228           DEPLOY_ORDER_POD_NAME_ARRAY=('consul msb dmaap dcaegen2 aaf robot aai esr multicloud oof so sdc sdnc vid policy portal log vfc uui vnfsdk appc clamp cli pomba vvp contrib sniro-emulator')
 229           # don't count completed pods
 230           DEPLOY_NUMBER_PODS_DESIRED_ARRAY=(4 5 11 11 13 1 15 2 6 17 10 12 11 2 8 6 3 18 2 5 5 5 1 11 11 3 1)
 231           # account for podd that have varying deploy times or replicaset sizes
 232           # don't count the 0/1 completed pods - and skip most of the ResultSet instances except 1
 233           # dcae boostrap is problematic
 234           DEPLOY_NUMBER_PODS_PARTIAL_ARRAY=(2 5 13 9 11 1 11 2 6 16 10 12 11 2 8 6 3 18 2 5 5 5 1 9 11 3 1)
 235         fi
 236         echo "deploying for $BRANCH using profile $DEPLOY_ORDER_POD_NAME_ARRAY"
 237       else
 238         echo "branch $BRANCH not supported or unknown - check with LOG-326 or LOG-898"
 239         exit 1
 240       fi
 241
 242       echo "deploying full onap system in dependency order - in sequence for staged use of hd/ram/network resources"
 243       # http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO-7.html
 244       # iterate over the multidimensional array and build up a deploy list as we deploy each pod
 245       local DEPLOY_INDEX=0
 246       local PODS_PARTIAL=0
 247       local APPENDABLE_ENABLED_FLAGS=
 248       for POD_NAME in $DEPLOY_ORDER_POD_NAME_ARRAY; do
 249         PODS_PARTIAL=${DEPLOY_NUMBER_PODS_PARTIAL_ARRAY[$DEPLOY_INDEX]}
 250         PODS_DESIRED=${DEPLOY_NUMBER_PODS_DESIRED_ARRAY[$DEPLOY_INDEX]}
 251         echo "deploying $DEPLOY_INDEX for $POD_NAME - expecting $PODS_PARTIAL of a possible $PODS_DESIRED"
 252         DEPLOY_INDEX=$((DEPLOY_INDEX + 1 ))
 253         # append --set pod.enabled=true
 254         APPENDABLE_ENABLED_FLAGS+=" --set "
 255         APPENDABLE_ENABLED_FLAGS+=$POD_NAME
 256         APPENDABLE_ENABLED_FLAGS+=".enabled=true"
 257         echo $APPENDABLE_ENABLED_FLAGS
 258         sudo helm deploy onap local/onap --namespace $ENVIRON -f $DISABLE_CHARTS_YAML  -f $DEV0_YAML $APPENDABLE_ENABLED_FLAGS --verbose
 259         #sleep $SPLIT_DEPLOY_DELAY
 260         # using name- as a match will bring in some extra pods like so-so-vfc and sdnc-sdnc-portal
 261         # however using name-name will not work as some pods are named msb-kube2msb or oof-cmso not oof-oof
 262         # using thenamespace-pod will work like onap-oof - keyed on passed in namespace
 263         wait_for_pod $ENVIRON-$POD_NAME $PODS_PARTIAL
 264      done
 265     fi
 266     cd ../../
 267   fi
 268
 269   dt="$(date +"%T")"
 270   echo "$dt: wait for all pods up for 15-80 min"
 271   FAILED_PODS_LIMIT=0
 272   MAX_WAIT_PERIODS=480 # 120 MIN
 273   COUNTER=0
 274   PENDING_PODS=0
 275   while [  $(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3' | wc -l) -gt $FAILED_PODS_LIMIT ]; do
 276     PENDING=$(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3' | wc -l)
 277     PENDING_PODS=$PENDING
 278     sleep 15
 279     LIST_PENDING=$(kubectl get pods --all-namespaces -o wide | grep -E '0/|1/2|1/2|2/3' )
 280     echo "${LIST_PENDING}"
 281     echo "${PENDING} pending > ${FAILED_PODS_LIMIT} at the ${COUNTER}th 15 sec interval"
 282     echo ""
 283     COUNTER=$((COUNTER + 1 ))
 284     MAX_WAIT_PERIODS=$((MAX_WAIT_PERIODS - 1))
 285     if [ "$MAX_WAIT_PERIODS" -eq 0 ]; then
 286       FAILED_PODS_LIMIT=800
 287     fi
 288   done
 289
 290   echo "report on non-running containers"
 291   PENDING=$(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3')
 292   PENDING_COUNT=$(kubectl get pods --all-namespaces | grep -E '0/|1/2|1/3|2/3' | wc -l)
 293   PENDING_COUNT_AAI=$(kubectl get pods -n $ENVIRON | grep aai- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 294   if [ "$PENDING_COUNT_AAI" -gt 0 ]; then
 295     echo "down-aai=${PENDING_COUNT_AAI}"
 296   fi
 297
 298   # todo don't stop if aai is down
 299   PENDING_COUNT_APPC=$(kubectl get pods -n $ENVIRON | grep appc- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 300   if [ "$PENDING_COUNT_APPC" -gt 0 ]; then
 301     echo "down-appc=${PENDING_COUNT_APPC}"
 302   fi
 303   PENDING_COUNT_MR=$(kubectl get pods -n $ENVIRON | grep message-router- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 304   if [ "$PENDING_COUNT_MR" -gt 0 ]; then
 305     echo "down-mr=${PENDING_COUNT_MR}"
 306   fi
 307   PENDING_COUNT_SO=$(kubectl get pods -n $ENVIRON | grep so- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 308   if [ "$PENDING_COUNT_SO" -gt 0 ]; then
 309     echo "down-so=${PENDING_COUNT_SO}"
 310   fi
 311   PENDING_COUNT_POLICY=$(kubectl get pods -n $ENVIRON | grep policy- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 312   if [ "$PENDING_COUNT_POLICY" -gt 0 ]; then
 313     echo "down-policy=${PENDING_COUNT_POLICY}"
 314   fi
 315   PENDING_COUNT_PORTAL=$(kubectl get pods -n $ENVIRON | grep portal- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 316   if [ "$PENDING_COUNT_PORTAL" -gt 0 ]; then
 317     echo "down-portal=${PENDING_COUNT_PORTAL}"
 318   fi
 319   PENDING_COUNT_LOG=$(kubectl get pods -n $ENVIRON | grep log- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 320   if [ "$PENDING_COUNT_LOG" -gt 0 ]; then
 321     echo "down-log=${PENDING_COUNT_LOG}"
 322   fi
 323   PENDING_COUNT_ROBOT=$(kubectl get pods -n $ENVIRON | grep robot- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 324   if [ "$PENDING_COUNT_ROBOT" -gt 0 ]; then
 325     echo "down-robot=${PENDING_COUNT_ROBOT}"
 326   fi
 327   PENDING_COUNT_SDC=$(kubectl get pods -n $ENVIRON | grep sdc- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 328   if [ "$PENDING_COUNT_SDC" -gt 0 ]; then
 329     echo "down-sdc=${PENDING_COUNT_SDC}"
 330   fi
 331   PENDING_COUNT_SDNC=$(kubectl get pods -n $ENVIRON | grep sdnc- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 332   if [ "$PENDING_COUNT_SDNC" -gt 0 ]; then
 333     echo "down-sdnc=${PENDING_COUNT_SDNC}"
 334   fi
 335   PENDING_COUNT_VID=$(kubectl get pods -n $ENVIRON | grep vid- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 336   if [ "$PENDING_COUNT_VID" -gt 0 ]; then
 337     echo "down-vid=${PENDING_COUNT_VID}"
 338   fi
 339
 340   PENDING_COUNT_AAF=$(kubectl get pods -n $ENVIRON | grep aaf- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 341   if [ "$PENDING_COUNT_AAF" -gt 0 ]; then
 342     echo "down-aaf=${PENDING_COUNT_AAF}"
 343   fi
 344   PENDING_COUNT_CONSUL=$(kubectl get pods -n $ENVIRON | grep consul- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 345   if [ "$PENDING_COUNT_CONSUL" -gt 0 ]; then
 346     echo "down-consul=${PENDING_COUNT_CONSUL}"
 347   fi
 348   PENDING_COUNT_MSB=$(kubectl get pods -n $ENVIRON | grep msb- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 349   if [ "$PENDING_COUNT_MSB" -gt 0 ]; then
 350     echo "down-msb=${PENDING_COUNT_MSB}"
 351   fi
 352   PENDING_COUNT_DCAE=$(kubectl get pods -n $ENVIRON | grep dcaegen2- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 353   if [ "$PENDING_COUNT_DCAE" -gt 0 ]; then
 354     echo "down-dcae=${PENDING_COUNT_DCAE}"
 355   fi
 356   PENDING_COUNT_CLI=$(kubectl get pods -n $ENVIRON | grep cli- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 357   if [ "$PENDING_COUNT_CLI" -gt 0 ]; then
 358     echo "down-cli=${PENDING_COUNT_CLI}"
 359   fi
 360   PENDING_COUNT_MULTICLOUD=$(kubectl get pods -n $ENVIRON | grep multicloud- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 361   if [ "$PENDING_COUNT_MULTICLOUD" -gt 0 ]; then
 362     echo "down-multicloud=${PENDING_COUNT_MULTICLOUD}"
 363   fi
 364   PENDING_COUNT_CLAMP=$(kubectl get pods -n $ENVIRON | grep clamp- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 365   if [ "$PENDING_COUNT_CLAMP" -gt 0 ]; then
 366     echo "down-clamp=${PENDING_COUNT_CLAMP}"
 367   fi
 368   PENDING_COUNT_VNFSDK=$(kubectl get pods -n $ENVIRON | grep vnfsdk- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 369   if [ "$PENDING_COUNT_VNFSDK" -gt 0 ]; then
 370     echo "down-vnfsdk=${PENDING_COUNT_VNFSDK}"
 371   fi
 372   PENDING_COUNT_UUI=$(kubectl get pods -n $ENVIRON | grep uui- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 373   if [ "$PENDING_COUNT_UUI" -gt 0 ]; then
 374     echo "down-uui=${PENDING_COUNT_UUI}"
 375   fi
 376   PENDING_COUNT_VFC=$(kubectl get pods -n $ENVIRON | grep vfc- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 377   if [ "$PENDING_COUNT_VFC" -gt 0 ]; then
 378     echo "down-vfc=${PENDING_COUNT_VFC}"
 379   fi
 380   PENDING_COUNT_KUBE2MSB=$(kubectl get pods -n $ENVIRON | grep kube2msb- | grep -E '0/|1/2|1/3|2/3' | wc -l)
 381   if [ "$PENDING_COUNT_KUBE2MSB" -gt 0 ]; then
 382     echo "down-kube2msb=${PENDING_COUNT_KUBE2MSB}"
 383   fi
 384   echo "pending containers=${PENDING_COUNT}"
 385   echo "${PENDING}"
 386
 387   echo "check filebeat 2/2|3/3 count for ELK stack logging consumption"
 388   FILEBEAT=$(kubectl get pods --all-namespaces -a | grep -E '2/|3/')
 389   echo "${FILEBEAT}"
 390   echo "sleep 5 min - to allow rest frameworks to finish"
 391   sleep 300
 392   echo "List of ONAP Modules"
 393   LIST_ALL=$(kubectl get pods --all-namespaces -a -o wide )
 394   echo "${LIST_ALL}"
 395   echo "run healthcheck 2 times to warm caches and frameworks so rest endpoints report properly - see OOM-447"
 396
 397   echo "curl with aai cert to cloud-region PUT"
 398
 399   curl -X PUT https://127.0.0.1:30233/aai/v11/cloud-infrastructure/cloud-regions/cloud-region/CloudOwner/RegionOne --data "@aai-cloud-region-put.json" -H "authorization: Basic TW9kZWxMb2FkZXI6TW9kZWxMb2FkZXI=" -H "X-TransactionId:jimmy-postman" -H "X-FromAppId:AAI" -H "Content-Type:application/json" -H "Accept:application/json" --cacert aaiapisimpledemoopenecomporg_20171003.crt -k
 400
 401   echo "get the cloud region back"
 402   curl -X GET https://127.0.0.1:30233/aai/v11/cloud-infrastructure/cloud-regions/ -H "authorization: Basic TW9kZWxMb2FkZXI6TW9kZWxMb2FkZXI=" -H "X-TransactionId:jimmy-postman" -H "X-FromAppId:AAI" -H "Content-Type:application/json" -H "Accept:application/json" --cacert aaiapisimpledemoopenecomporg_20171003.crt -k
 403
 404   # OOM-484 - robot scripts moved
 405   cd oom/kubernetes/robot
 406   echo "run healthcheck prep 1"
 407   # OOM-722 adds namespace parameter
 408   if [ "$BRANCH" == "amsterdam" ]; then
 409     ./ete-k8s.sh health > ~/health1.out
 410   else
 411     ./ete-k8s.sh $ENVIRON health > ~/health1.out
 412   fi
 413   echo "sleep 5 min"
 414   sleep 300
 415   echo "run healthcheck prep 2"
 416   if [ "$BRANCH" == "amsterdam" ]; then
 417     ./ete-k8s.sh health > ~/health2.out
 418   else
 419     ./ete-k8s.sh $ENVIRON health > ~/health2.out
 420   fi
 421   echo "run healthcheck for real - wait a further 5 min"
 422   sleep 300
 423   if [ "$BRANCH" == "amsterdam" ]; then
 424     ./ete-k8s.sh health
 425   else
 426     ./ete-k8s.sh $ENVIRON health
 427   fi
 428   echo "run partial vFW"
 429   echo "report results"
 430   cd ../../../
 431
 432   echo "$(date)"
 433   #set +a
 434 }
 435
 436 BRANCH=
 437 ENVIRON=onap
 438 FULL_MANAGED_DEPLOY=true
 439 APPLY_WORKAROUNDS=true
 440 DELETE_PREV_OOM=false
 441 REMOVE_OOM_AT_END=false
 442 CLONE_NEW_OOM=true
 443 SPLIT_DEPLOY_DELAY=600
 444 DOCKER_PREPULL=false
 445 NEXUS3_AND_PORT=nexus3.onap.org:10001
 446
 447 while getopts ":u:b:e:p:n:s:f:c:d:w:r" PARAM; do
 448   case $PARAM in
 449     u)
 450       usage
 451       exit 1
 452       ;;
 453     b)
 454       BRANCH=${OPTARG}
 455       ;;
 456     e)
 457       ENVIRON=${OPTARG}
 458       ;;
 459     p)
 460       DOCKER_PREPULL=${OPTARG}
 461       ;;
 462     n)
 463       NEXUS3_AND_PORT=${OPTARG}
 464       ;;
 465     s)
 466       SPLIT_DEPLOY_DELAY=${OPTARG}
 467       ;;
 468     f)
 469       FULL_MANAGED_DEPLOY=${OPTARG}
 470       ;;
 471     c)
 472       CLONE_NEW_OOM=${OPTARG}
 473       ;;
 474     d)
 475       DELETE_PREV_OOM=${OPTARG}
 476       ;;
 477     w)
 478       APPLY_WORKAROUNDS=${OPTARG}
 479       ;;
 480     r)
 481       REMOVE_OOM_AT_END=${OPTARG}
 482       ;;
 483     ?)
 484       usage
 485       exit
 486       ;;
 487   esac
 488 done
 489
 490 if [[ -z $BRANCH ]]; then
 491   usage
 492   exit 1
 493 fi
 494
 495 deploy_onap  $BRANCH $ENVIRON $DOCKER_PREPULL $NEXUS3_AND_PORT $SPLIT_DEPLOY_DELAY $FULL_MANAGED_DEPLOY $CLONE_NEW_OOM $DELETE_PREV_OOM $APPLY_WORKAROUNDS $REMOVE_OOM_AT_END
 496
 497 printf "**** Done ****\n"