run-csit.sh

   1 #!/bin/bash -x
   2 #
   3 # Copyright 2016-2017 Huawei Technologies Co., Ltd.
   4 #
   5 # Licensed under the Apache License, Version 2.0 (the "License");
   6 # you may not use this file except in compliance with the License.
   7 # You may obtain a copy of the License at
   8 #
   9 #     http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 # Unless required by applicable law or agreed to in writing, software
  12 # distributed under the License is distributed on an "AS IS" BASIS,
  13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14 # See the License for the specific language governing permissions and
  15 # limitations under the License.
  16 #
  17 # $1 project/functionality
  18 # $2 robot options
  19 # $3 ci-management repo location
  20
  21
  22 function docker_stats(){
  23     #General memory details
  24     echo "> top -bn1 | head -3"
  25     top -bn1 | head -3
  26     echo
  27
  28     echo "> free -h"
  29     free -h
  30     echo
  31
  32     #Memory details per Docker
  33     echo "> docker ps"
  34     docker ps
  35     echo
  36
  37     echo "> docker stats --no-stream"
  38     docker stats --no-stream
  39     echo
  40 }
  41
  42 if [ $# -eq 0 ]
  43 then
  44     echo
  45     echo "Usage: $0 plans/<project>/<functionality> [<robot-options>] [<ci-management-dir>]"
  46     echo
  47     echo "    <project>, <functionality>, <robot-options>:  "
  48     echo "        The same values as for the '{project}-csit-{functionality}' JJB job template."
  49     echo
  50     echo "    <ci-management-dir>: "
  51     echo "        Path to the ci-management repo checked out locally.  It not specified, "
  52     echo "        assumed to be adjacent to the integration repo directory."
  53     echo
  54     exit 1
  55 fi
  56
  57 if [ -z "$WORKSPACE" ]; then
  58     export WORKSPACE=`git rev-parse --show-toplevel`
  59 fi
  60 rm -rf $WORKSPACE/archives
  61 mkdir -p $WORKSPACE/archives
  62
  63 if [ -f ${WORKSPACE}/${1}/testplan.txt ]; then
  64     export TESTPLAN="${1}"
  65 else
  66     echo "testplan not found: ${WORKSPACE}/${TESTPLAN}/testplan.txt"
  67     exit 2
  68 fi
  69
  70
  71 export TESTOPTIONS="${2}"
  72
  73 if [ -z "$3" ]; then
  74     CI=${WORKSPACE}/../../ci-management
  75 else
  76     CI=${3}
  77 fi
  78
  79
  80
  81
  82 TESTPLANDIR=${WORKSPACE}/${TESTPLAN}
  83
  84 # Assume that if ROBOT_VENV is set, we don't need to reinstall robot
  85 if [ -f ${WORKSPACE}/env.properties ]; then
  86     source ${WORKSPACE}/env.properties
  87 fi
  88 if [ -f ${ROBOT_VENV}/bin/activate ]; then
  89     source ${ROBOT_VENV}/bin/activate
  90 else
  91     source $CI/jjb/integration/include-raw-integration-install-robotframework.sh
  92 fi
  93
  94 # install required Robot libraries
  95 pip install robotframework-selenium2library==1.8.0 robotframework-extendedselenium2library==0.9.1
  96
  97 # install eteutils
  98 mkdir -p ${ROBOT_VENV}/src/onap
  99 rm -rf ${ROBOT_VENV}/src/onap/testsuite
 100 git clone  -b dublin https://gerrit.onap.org/r/testsuite/python-testing-utils.git ${ROBOT_VENV}/src/onap/testsuite/python-testing-utils
 101 pip install --upgrade ${ROBOT_VENV}/src/onap/testsuite/python-testing-utils/robotframework-onap
 102
 103 pip freeze
 104
 105 # install chrome driver
 106 google-chrome --version
 107 if [ ! -x ${ROBOT_VENV}/bin/chromedriver ]; then
 108     pushd ${ROBOT_VENV}/bin
 109     wget -N http://chromedriver.storage.googleapis.com/2.35/chromedriver_linux64.zip
 110     unzip chromedriver_linux64.zip
 111     chmod +x chromedriver
 112     popd
 113 fi
 114
 115
 116 WORKDIR=`mktemp -d --suffix=-robot-workdir`
 117 cd ${WORKDIR}
 118
 119
 120 set +u
 121 set -x
 122
 123
 124 # Add csit scripts to PATH
 125 export PATH=${PATH}:${WORKSPACE}/docker/scripts:${WORKSPACE}/scripts:${ROBOT_VENV}/bin
 126 export SCRIPTS=${WORKSPACE}/scripts
 127 export ROBOT_VARIABLES=
 128
 129 # Sign in to nexus3 docker repo
 130 docker login -u anonymous -p anonymous nexus3.onap.org:10001
 131
 132 # Run setup script plan if it exists
 133 cd ${TESTPLANDIR}
 134 SETUP=${TESTPLANDIR}/setup.sh
 135 if [ -f ${SETUP} ]; then
 136     echo "Running setup script ${SETUP}"
 137     source ${SETUP}
 138 fi
 139
 140 # show memory consumption after all docker instances initialized
 141 docker_stats | tee $WORKSPACE/archives/_sysinfo-1-after-setup.txt
 142
 143 # Run test plan
 144 cd $WORKDIR
 145 echo "Reading the testplan:"
 146 cat ${TESTPLANDIR}/testplan.txt | egrep -v '(^[[:space:]]*#|^[[:space:]]*$)' | sed "s|^|${WORKSPACE}/tests/|" > testplan.txt
 147 cat testplan.txt
 148 SUITES=$( xargs -a testplan.txt )
 149
 150 echo ROBOT_VARIABLES=${ROBOT_VARIABLES}
 151 echo "Starting Robot test suites ${SUITES} ..."
 152 set +e
 153 python -m robot.run -N ${TESTPLAN} -v WORKSPACE:/tmp ${ROBOT_VARIABLES} ${TESTOPTIONS} ${SUITES}
 154 RESULT=$?
 155 set -e
 156 echo "RESULT: " $RESULT
 157 rsync -av $WORKDIR/ $WORKSPACE/archives
 158
 159 # Record list of active docker containers
 160 docker ps --format "{{.Image}}" > $WORKSPACE/archives/_docker-images.log
 161
 162 # show memory consumption after all docker instances initialized
 163 docker_stats | tee $WORKSPACE/archives/_sysinfo-2-after-robot.txt
 164
 165 # Run teardown script plan if it exists
 166 cd ${TESTPLANDIR}
 167 TEARDOWN=${TESTPLANDIR}/teardown.sh
 168 if [ -f ${TEARDOWN} ]; then
 169     echo "Running teardown script ${TEARDOWN}"
 170     source ${TEARDOWN}
 171 fi
 172
 173 # TODO: do something with the output
 174
 175 exit $RESULT