test/csit/run-csit.sh

   1 #!/bin/bash
   2 #
   3 # Copyright 2016-2017 Huawei Technologies Co., Ltd.
   4 #
   5 # Licensed under the Apache License, Version 2.0 (the "License");
   6 # you may not use this file except in compliance with the License.
   7 # You may obtain a copy of the License at
   8 #
   9 #     http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 # Unless required by applicable law or agreed to in writing, software
  12 # distributed under the License is distributed on an "AS IS" BASIS,
  13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # See the License for the specific language governing permissions and
  15 # limitations under the License.
  16 #
  17 # $1 project/functionality
  18 # $2 robot options
  19 # $3 ci-management repo location
  20
  21
  22 function docker_stats(){
  23     #General memory details
  24     echo "> top -bn1 | head -3"
  25     top -bn1 | head -3
  26     echo
  27
  28     echo "> free -h"
  29     free -h
  30     echo
  31
  32     #Memory details per Docker
  33     echo "> docker ps"
  34     docker ps
  35     echo
  36
  37     echo "> docker stats --no-stream"
  38     docker stats --no-stream
  39     echo
  40 }
  41
  42 if [ $# -eq 0 ]
  43 then
  44     echo
  45     echo "Usage: $0 plans/<project>/<functionality> [<robot-options>] [<ci-management-dir>]"
  46     echo
  47     echo "    <project>, <functionality>, <robot-options>:  "
  48     echo "        The same values as for the '{project}-csit-{functionality}' JJB job template."
  49     echo
  50     echo "    <ci-management-dir>: "
  51     echo "        Path to the ci-management repo checked out locally.  It not specified, "
  52     echo "        assumed to be adjacent to the integration repo directory."
  53     echo
  54     exit 1
  55 fi
  56
  57 if [ -z "$WORKSPACE" ]; then
  58     export WORKSPACE=`git rev-parse --show-toplevel`
  59 fi
  60 rm -rf $WORKSPACE/archives
  61 mkdir -p $WORKSPACE/archives
  62
  63 if [ -f ${WORKSPACE}/test/csit/${1}/testplan.txt ]; then
  64     export TESTPLAN="${1}"
  65 else
  66     echo "testplan not found: ${WORKSPACE}/test/csit/${TESTPLAN}/testplan.txt"
  67     exit 2
  68 fi
  69
  70
  71 export TESTOPTIONS="${2}"
  72
  73 if [ -z "$3" ]; then
  74     CI=${WORKSPACE}/../ci-management
  75 else
  76     CI=${3}
  77 fi
  78
  79
  80
  81
  82 TESTPLANDIR=${WORKSPACE}/test/csit/${TESTPLAN}
  83
  84 # Assume that if ROBOT_VENV is set, we don't need to reinstall robot
  85 if [ -f ${WORKSPACE}/env.properties ]; then
  86     source ${WORKSPACE}/env.properties
  87     source ${ROBOT_VENV}/bin/activate
  88 fi
  89 if ! type pybot > /dev/null; then
  90     rm -f ${WORKSPACE}/env.properties
  91     source $CI/jjb/integration/include-raw-integration-install-robotframework.sh
  92     source ${WORKSPACE}/env.properties
  93     source ${ROBOT_VENV}/bin/activate
  94 fi
  95
  96 # install eteutils
  97 mkdir -p ${ROBOT_VENV}/src/onap
  98 rm -rf ${ROBOT_VENV}/src/onap/testsuite
  99 git clone https://gerrit.onap.org/r/testsuite/python-testing-utils.git ${ROBOT_VENV}/src/onap/testsuite/python-testing-utils
 100 pip install --upgrade ${ROBOT_VENV}/src/onap/testsuite/python-testing-utils
 101
 102
 103 WORKDIR=`mktemp -d --suffix=-robot-workdir`
 104 cd ${WORKDIR}
 105
 106
 107 set +u
 108 set -x
 109
 110
 111 # Add csit scripts to PATH
 112 export PATH=${PATH}:${WORKSPACE}/test/csit/docker/scripts:${WORKSPACE}/test/csit/scripts
 113 export SCRIPTS=${WORKSPACE}/test/csit/scripts
 114 export ROBOT_VARIABLES=
 115
 116 # Sign in to nexus3 docker repo
 117 docker login -u anonymous -p anonymous nexus3.onap.org:10001
 118
 119 # Run setup script plan if it exists
 120 cd ${TESTPLANDIR}
 121 SETUP=${TESTPLANDIR}/setup.sh
 122 if [ -f ${SETUP} ]; then
 123     echo "Running setup script ${SETUP}"
 124     source ${SETUP}
 125 fi
 126
 127 # show memory consumption after all docker instances initialized
 128 docker_stats | tee $WORKSPACE/archives/_sysinfo-1-after-setup.txt
 129
 130 # Run test plan
 131 cd $WORKDIR
 132 echo "Reading the testplan:"
 133 cat ${TESTPLANDIR}/testplan.txt | egrep -v '(^[[:space:]]*#|^[[:space:]]*$)' | sed "s|^|${WORKSPACE}/test/csit/tests/|" > testplan.txt
 134 cat testplan.txt
 135 SUITES=$( xargs -a testplan.txt )
 136
 137 echo ROBOT_VARIABLES=${ROBOT_VARIABLES}
 138 echo "Starting Robot test suites ${SUITES} ..."
 139 set +e
 140 pybot -N ${TESTPLAN} -v WORKSPACE:/tmp ${ROBOT_VARIABLES} ${TESTOPTIONS} ${SUITES}
 141 RESULT=$?
 142 set -e
 143 echo "RESULT: " $RESULT
 144 rsync -av $WORKDIR/ $WORKSPACE/archives
 145
 146 # Record list of active docker containers
 147 docker ps --format "{{.Image}}" > $WORKSPACE/archives/_docker-images.log
 148
 149 # show memory consumption after all docker instances initialized
 150 docker_stats | tee $WORKSPACE/archives/_sysinfo-2-after-robot.txt
 151
 152 # Run teardown script plan if it exists
 153 cd ${TESTPLANDIR}
 154 TEARDOWN=${TESTPLANDIR}/teardown.sh
 155 if [ -f ${TEARDOWN} ]; then
 156     echo "Running teardown script ${TEARDOWN}"
 157     source ${TEARDOWN}
 158 fi
 159
 160 # TODO: do something with the output
 161
 162 exit $RESULT