test/csit/run-csit.sh

   1 #!/bin/bash
   2 #
   3 # Copyright 2016-2017 Huawei Technologies Co., Ltd.
   4 #
   5 # Licensed under the Apache License, Version 2.0 (the "License");
   6 # you may not use this file except in compliance with the License.
   7 # You may obtain a copy of the License at
   8 #
   9 #     http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 # Unless required by applicable law or agreed to in writing, software
  12 # distributed under the License is distributed on an "AS IS" BASIS,
  13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # See the License for the specific language governing permissions and
  15 # limitations under the License.
  16 #
  17 # $1 project/functionality
  18 # $2 robot options
  19 # $3 ci-management repo location
  20
  21
  22 function docker_stats(){
  23     #General memory details
  24     echo "> top -bn1 | head -3"
  25     top -bn1 | head -3
  26     echo
  27
  28     echo "> free -h"
  29     free -h
  30     echo
  31
  32     #Memory details per Docker
  33     echo "> docker ps"
  34     docker ps
  35     echo
  36
  37     echo "> docker stats --no-stream"
  38     docker stats --no-stream
  39     echo
  40 }
  41
  42 if [ $# -eq 0 ]
  43 then
  44     echo
  45     echo "Usage: $0 plans/<project>/<functionality> [<robot-options>] [<ci-management-dir>]"
  46     echo
  47     echo "    <project>, <functionality>, <robot-options>:  "
  48     echo "        The same values as for the '{project}-csit-{functionality}' JJB job template."
  49     echo
  50     echo "    <ci-management-dir>: "
  51     echo "        Path to the ci-management repo checked out locally.  It not specified, "
  52     echo "        assumed to be adjacent to the integration repo directory."
  53     echo
  54     exit 1
  55 fi
  56
  57 if [ -z "$WORKSPACE" ]; then
  58     export WORKSPACE=`git rev-parse --show-toplevel`
  59 fi
  60 rm -rf $WORKSPACE/archives
  61 mkdir -p $WORKSPACE/archives
  62
  63 if [ -f ${WORKSPACE}/test/csit/${1}/testplan.txt ]; then
  64     export TESTPLAN="${1}"
  65 else
  66     echo "testplan not found: ${WORKSPACE}/test/csit/${TESTPLAN}/testplan.txt"
  67     exit 2
  68 fi
  69
  70
  71 export TESTOPTIONS="${2}"
  72
  73 if [ -z "$3" ]; then
  74     CI=${WORKSPACE}/../ci-management
  75 else
  76     CI=${3}
  77 fi
  78
  79
  80
  81
  82 TESTPLANDIR=${WORKSPACE}/test/csit/${TESTPLAN}
  83
  84 # Assume that if ROBOT_VENV is set, we don't need to reinstall robot
  85 if [ -f ${WORKSPACE}/env.properties ]; then
  86     source ${WORKSPACE}/env.properties
  87     source ${ROBOT_VENV}/bin/activate
  88 fi
  89 if ! type pybot > /dev/null; then
  90     rm -f ${WORKSPACE}/env.properties
  91     source $CI/jjb/integration/include-raw-integration-install-robotframework.sh
  92     source ${WORKSPACE}/env.properties
  93     source ${ROBOT_VENV}/bin/activate
  94 fi
  95
  96 # install eteutils
  97 rm -rf ${WORKSPACE}/test/testsuite
  98 git clone https://gerrit.onap.org/r/testsuite/python-testing-utils.git ${WORKSPACE}/test/testsuite/python-testing-utils
  99 pip install --upgrade ${WORKSPACE}/test/testsuite/python-testing-utils
 100
 101
 102 WORKDIR=`mktemp -d --suffix=-robot-workdir`
 103 cd ${WORKDIR}
 104
 105
 106 set +u
 107 set -x
 108
 109
 110 # Add csit scripts to PATH
 111 export PATH=${PATH}:${WORKSPACE}/test/csit/docker/scripts:${WORKSPACE}/test/csit/scripts
 112 export SCRIPTS=${WORKSPACE}/test/csit/scripts
 113 export ROBOT_VARIABLES=
 114
 115 # Sign in to nexus3 docker repo
 116 docker login -u anonymous -p anonymous nexus3.onap.org:10001
 117
 118 # Run setup script plan if it exists
 119 cd ${TESTPLANDIR}
 120 SETUP=${TESTPLANDIR}/setup.sh
 121 if [ -f ${SETUP} ]; then
 122     echo "Running setup script ${SETUP}"
 123     source ${SETUP}
 124 fi
 125
 126 # show memory consumption after all docker instances initialized
 127 docker_stats | tee $WORKSPACE/archives/_sysinfo-1-after-setup.txt
 128
 129 # Run test plan
 130 cd $WORKDIR
 131 echo "Reading the testplan:"
 132 cat ${TESTPLANDIR}/testplan.txt | egrep -v '(^[[:space:]]*#|^[[:space:]]*$)' | sed "s|^|${WORKSPACE}/test/csit/tests/|" > testplan.txt
 133 cat testplan.txt
 134 SUITES=$( xargs -a testplan.txt )
 135
 136 echo ROBOT_VARIABLES=${ROBOT_VARIABLES}
 137 echo "Starting Robot test suites ${SUITES} ..."
 138 set +e
 139 pybot -N ${TESTPLAN} -v WORKSPACE:/tmp ${ROBOT_VARIABLES} ${TESTOPTIONS} ${SUITES}
 140 RESULT=$?
 141 set -e
 142 echo "RESULT: " $RESULT
 143 rsync -av $WORKDIR/ $WORKSPACE/archives
 144
 145 # Record list of active docker containers
 146 docker ps --format "{{.Image}}" > $WORKSPACE/archives/_docker-images.log
 147
 148 # show memory consumption after all docker instances initialized
 149 docker_stats | tee $WORKSPACE/archives/_sysinfo-2-after-robot.txt
 150
 151 # Run teardown script plan if it exists
 152 cd ${TESTPLANDIR}
 153 TEARDOWN=${TESTPLANDIR}/teardown.sh
 154 if [ -f ${TEARDOWN} ]; then
 155     echo "Running teardown script ${TEARDOWN}"
 156     source ${TEARDOWN}
 157 fi
 158
 159 # TODO: do something with the output
 160
 161 exit $RESULT