mvn-phase-lib.sh

   1 #!/bin/bash
   2
   3 # ===========LICENSE_START========================================================
   4 # ================================================================================
   5 # Copyright (c) 2017 AT&T Intellectual Property. All rights reserved.
   6 # ================================================================================
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 # ============LICENSE_END=========================================================
  19 #
  20 # ECOMP is a trademark and service mark of AT&T Intellectual Property.
  21
  22
  23 FQDN="${MVN_PROJECT_GROUPID}.${MVN_PROJECT_ARTIFACTID}"
  24 if [ "$MVN_PROJECT_MODULEID" == "__" ]; then
  25   MVN_PROJECT_MODULEID=""
  26 fi
  27
  28 if [[ "$MVN_PROJECT_VERSION" == *SNAPSHOT ]]; then
  29   echo "=> for SNAPSHOT artifact build"
  30   MVN_DEPLOYMENT_TYPE='SNAPSHOT'
  31   MVN_DOCKERREGISTRY="$MVN_DOCKERREGISTRY_SNAPSHOT"
  32   MVN_DOCKERREGISTRY_SERVERID="$MVN_DOCKERREGISTRY_SNAPSHOT_SERVERID"
  33 else
  34   echo "=> for STAGING/RELEASE artifact build"
  35   MVN_DEPLOYMENT_TYPE='STAGING'
  36   # below is not mistake.  we only use the snapshot registry
  37   MVN_DOCKERREGISTRY="$MVN_DOCKERREGISTRY_SNAPSHOT"
  38   MVN_DOCKERREGISTRY_SERVERID="$MVN_DOCKERREGISTRY_SNAPSHOT_SERVERID"
  39 fi
  40 echo "MVN_DEPLOYMENT_TYPE is             [$MVN_DEPLOYMENT_TYPE]"
  41
  42
  43 TIMESTAMP=$(date +%C%y%m%dT%H%M%S)
  44
  45 # WROKSPACE points to the current dir when the script is called, may be the root or module
  46 if [ -z "$WORKSPACE" ]; then
  47   WORKSPACE=$(pwd)
  48 fi
  49
  50
  51 TIMESTAMP=$(date +%C%y%m%dT%H%M%S)
  52
  53
  54
  55 echo "MVN_PROJECT_MODULEID is            [$MVN_PROJECT_MODULEID]"
  56 echo "MVN_PHASE is                       [$MVN_PHASE]"
  57 echo "MVN_PROJECT_GROUPID is             [$MVN_PROJECT_GROUPID]"
  58 echo "MVN_PROJECT_ARTIFACTID is          [$MVN_PROJECT_ARTIFACTID]"
  59 echo "MVN_PROJECT_VERSION is             [$MVN_PROJECT_VERSION]"
  60 echo "MVN_NEXUSPROXY is                  [$MVN_NEXUSPROXY]"
  61 echo "MVN_RAWREPO_BASEURL_UPLOAD is      [$MVN_RAWREPO_BASEURL_UPLOAD]"
  62 echo "MVN_RAWREPO_BASEURL_DOWNLOAD is    [$MVN_RAWREPO_BASEURL_DOWNLOAD]"
  63 MVN_RAWREPO_HOST=$(echo "$MVN_RAWREPO_BASEURL_UPLOAD" | cut -f3 -d'/' |cut -f1 -d':')
  64 echo "MVN_RAWREPO_HOST is                [$MVN_RAWREPO_HOST]"
  65 echo "MVN_RAWREPO_SERVERID is            [$MVN_RAWREPO_SERVERID]"
  66 echo "MVN_DOCKERREGISTRY is              [$MVN_DOCKERREGISTRY]"
  67 echo "MVN_DOCKERREGISTRY_SERVERID is     [$MVN_DOCKERREGISTRY_SERVERID]"
  68 echo "MVN_PYPISERVER_BASEURL is          [$MVN_PYPISERVER_BASEURL]"
  69 echo "MVN_PYPISERVER_SERVERID is         [$MVN_PYPISERVER_SERVERID]"
  70 echo "FQDN is                            [$FQDN]"
  71 echo "MVN_PROJECT_MODULEID is            [$MVN_PROJECT_MODULEID]"
  72 echo "MVN_DEPLOYMENT_TYPE is             [$MVN_DEPLOYMENT_TYPE]"
  73
  74
  75 clean_templated_files()
  76 {
  77   TEMPLATE_FILES=$(find . -name "*-template")
  78   for F in $TEMPLATE_FILES; do
  79     F2=$(echo "$F" | sed 's/-template$//')
  80     rm -f "$F2"
  81   done
  82 }
  83 clean_tox_files()
  84 {
  85   TOX_FILES=$(find . -name ".tox")
  86   TOX_FILES="$TOX_FILES $(find . -name 'venv-tox')"
  87   for F in $TOX_FILES; do
  88     rm -rf "$F"
  89   done
  90 }
  91
  92 expand_templates()
  93 {
  94   # set up env variables, get ready for template resolution
  95   # NOTE: CCSDK artifacts do not distinguish REALESE vs SNAPSHOTs
  96   export ONAPTEMPLATE_RAWREPOURL_org_onap_ccsdk_platform_plugins_releases="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.ccsdk.platform.plugins"
  97   export ONAPTEMPLATE_RAWREPOURL_org_onap_ccsdk_platform_plugins_snapshots="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.ccsdk.platform.plugins"
  98   export ONAPTEMPLATE_RAWREPOURL_org_onap_ccsdk_platform_blueprints_releases="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.ccsdk.platform.blueprints"
  99   export ONAPTEMPLATE_RAWREPOURL_org_onap_ccsdk_platform_blueprints_snapshots="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.ccsdk.platform.blueprints"
 100
 101   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_releases="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2/releases"
 102   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_snapshots="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2/snapshots"
 103   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_platform_plugins_releases="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2.platform.plugins/releases"
 104   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_platform_plugins_snapshots="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2.platform.plugins/snapshots"
 105   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_platform_blueprints_releases="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2.platform.blueprints/releases"
 106   export ONAPTEMPLATE_RAWREPOURL_org_onap_dcaegen2_platform_blueprints_snapshots="$MVN_RAWREPO_BASEURL_DOWNLOAD/org.onap.dcaegen2.platform.blueprints/snapshots"
 107
 108   export ONAPTEMPLATE_PYPIURL_org_onap_dcaegen2="${MVN_NEXUSPROXY}/content/sites/pypi"
 109
 110   export ONAPTEMPLATE_DOCKERREGURL_org_onap_dcaegen2_releases="$MVN_DOCKERREGISTRY_DAILY"
 111   export ONAPTEMPLATE_DOCKERREGURL_org_onap_dcaegen2_snapshots="$MVN_DOCKERREGISTRY_DAILY/snapshots"
 112
 113
 114   TEMPLATE_FILES=$(find . -name "*-template")
 115   for F in $TEMPLATE_FILES; do
 116     F2=$(echo "$F" | sed 's/-template$//')
 117     cp "$F" "$F2"
 118     MOD=$(stat --format '%a' "$F")
 119     chmod "$MOD" "$F2"
 120   done
 121
 122
 123   TEMPLATES=$(env |grep ONAPTEMPLATE)
 124   if [ -z "$TEMPLATES" ]; then
 125     return 0
 126   fi
 127
 128   echo "====> Resolving the following temaplate from environment variables "
 129   echo "[$TEMPLATES]"
 130   SELFFILE=$(echo "$0" | rev | cut -f1 -d '/' | rev)
 131   for TEMPLATE in $TEMPLATES; do
 132     KEY=$(echo "$TEMPLATE" | cut -f1 -d'=')
 133     VALUE=$(echo "$TEMPLATE" | cut -f2 -d'=')
 134     VALUE2=$(echo "$TEMPLATE" | cut -f2 -d'=' |sed 's/\//\\\//g')
 135     set +e
 136     FILES=$(grep -rl "$KEY")
 137     set -e
 138
 139     if [ -z "$FILES" ]; then
 140       continue
 141     fi
 142
 143     # assuming FILES is not longer than 2M bytes, the limit for variable value max size on this VM
 144     for F in $FILES; do
 145       if [[ $F == *"$SELFFILE" ]]; then
 146         continue
 147       fi
 148       if [[ "$F" == *-template ]]; then
 149         continue
 150       fi
 151
 152       echo "======> Resolving template $KEY to value $VALUE for file $F"
 153       sed -i "s/{{[[:space:]]*$KEY[[:space:]]*}}/$VALUE2/g" "$F"
 154       #cat "$F"
 155     done
 156
 157     #if [ ! -z "$FILES" ]; then
 158     #   echo "====> Resolving template $VALUE to value $VALUE"
 159     #   #CMD="grep -rl \"$VALUE\" | tr '\n' '\0' | xargs -0 sed -i \"s/{{[[:space:]]*$VALUE[[:space:]]*}}/$VALUE/g\""
 160     #   grep -rl "$KEY" | tr '\n' '\0' | xargs -0 sed -i 's/$KEY/$VALUE2/g'
 161     #   #echo $CMD
 162     #   #eval $CMD
 163     #fi
 164   done
 165   echo "====> Done template reolving"
 166 }
 167
 168
 169 run_tox_test()
 170 {
 171   set -x
 172   CURDIR=$(pwd)
 173   TOXINIS=$(find . -name "tox.ini")
 174   for TOXINI in "${TOXINIS[@]}"; do
 175     DIR=$(echo "$TOXINI" | rev | cut -f2- -d'/' | rev)
 176     cd "${CURDIR}/${DIR}"
 177     rm -rf ./venv-tox ./.tox
 178     virtualenv ./venv-tox
 179     source ./venv-tox/bin/activate
 180     pip install --no-cache-dir --upgrade pip
 181     pip install --no-cache-dir --upgrade tox argparse
 182     pip freeze
 183     tox
 184     deactivate
 185     rm -rf ./venv-tox ./.tox
 186   done
 187 }
 188
 189 build_wagons()
 190 {
 191   rm -rf ./*.wgn venv-pkg
 192
 193   SETUPFILES=$(find . -name "setup.py")
 194   for SETUPFILE in $SETUPFILES; do
 195     PLUGIN_DIR=$(echo "$SETUPFILE" |rev | cut -f 2- -d '/' |rev)
 196     PLUGIN_NAME=$(grep 'name' "$SETUPFILE" | cut -f2 -d'=' | sed 's/[^0-9a-zA-Z\.]*//g')
 197     PLUGIN_VERSION=$(grep 'version' "$SETUPFILE" | cut -f2 -d'=' | sed 's/[^0-9\.]*//g')
 198
 199     echo "In $PLUGIN_DIR, $PLUGIN_NAME, $PLUGIN_VERSION"
 200
 201     virtualenv ./venv-pkg
 202     source ./venv-pkg/bin/activate
 203     pip install --no-cache-dir --upgrade pip
 204     pip install --no-cache-dir wagon
 205     wagon create --format tar.gz "$PLUGIN_DIR"
 206     deactivate
 207     rm -rf venv-pkg
 208
 209     PKG_FILE_NAMES=( "${PLUGIN_NAME}-${PLUGIN_VERSION}"*.wgn )
 210     echo Built package: "${PKG_FILE_NAMES[@]}"
 211   done
 212 }
 213
 214
 215 upload_raw_file()
 216 {
 217   # Extract the username and password to the nexus repo from the settings file
 218   USER=$(xpath -q -e "//servers/server[id='$MVN_RAWREPO_SERVERID']/username/text()" "$SETTINGS_FILE")
 219   PASS=$(xpath -q -e "//servers/server[id='$MVN_RAWREPO_SERVERID']/password/text()" "$SETTINGS_FILE")
 220   NETRC=$(mktemp)
 221   echo "machine $MVN_RAWREPO_HOST login $USER password $PASS" > "$NETRC"
 222
 223   REPO="$MVN_RAWREPO_BASEURL_UPLOAD"
 224
 225   OUTPUT_FILE=$1
 226   EXT=$(echo "$OUTPUT_FILE" | rev |cut -f1 -d '.' |rev)
 227   if [ "$EXT" == 'yaml' ]; then
 228     OUTPUT_FILE_TYPE='text/x-yaml'
 229   elif [ "$EXT" == 'sh' ]; then
 230     OUTPUT_FILE_TYPE='text/x-shellscript'
 231   elif [ "$EXT" == 'gz' ]; then
 232     OUTPUT_FILE_TYPE='application/gzip'
 233   elif [ "$EXT" == 'wgn' ]; then
 234     OUTPUT_FILE_TYPE='application/gzip'
 235   else
 236     OUTPUT_FILE_TYPE='application/octet-stream'
 237   fi
 238
 239
 240   if [ "$MVN_DEPLOYMENT_TYPE" == 'SNAPSHOT' ]; then
 241     SEND_TO="${REPO}/${FQDN}/snapshots"
 242   elif [ "$MVN_DEPLOYMENT_TYPE" == 'STAGING' ]; then
 243     SEND_TO="${REPO}/${FQDN}/releases"
 244   else
 245     echo "Unreconfnized deployment type, quit"
 246     exit
 247   fi
 248   if [ ! -z "$MVN_PROJECT_MODULEID" ]; then
 249     SEND_TO="$SEND_TO/$MVN_PROJECT_MODULEID"
 250   fi
 251
 252   echo "Sending ${OUTPUT_FILE} to Nexus: ${SEND_TO}"
 253   curl -vkn --netrc-file "${NETRC}" --upload-file "${OUTPUT_FILE}" -X PUT -H "Content-Type: $OUTPUT_FILE_TYPE" "${SEND_TO}/${OUTPUT_FILE}-${MVN_PROJECT_VERSION}-${TIMESTAMP}"
 254   curl -vkn --netrc-file "${NETRC}" --upload-file "${OUTPUT_FILE}" -X PUT -H "Content-Type: $OUTPUT_FILE_TYPE" "${SEND_TO}/${OUTPUT_FILE}-${MVN_PROJECT_VERSION}"
 255   curl -vkn --netrc-file "${NETRC}" --upload-file "${OUTPUT_FILE}" -X PUT -H "Content-Type: $OUTPUT_FILE_TYPE" "${SEND_TO}/${OUTPUT_FILE}"
 256 }
 257
 258
 259
 260 upload_wagons_and_type_yamls()
 261 {
 262   WAGONS=$(ls -1 ./*.wgn)
 263   for WAGON in $WAGONS ; do
 264     WAGON_NAME=$(echo "$WAGON" | cut -f1 -d '-')
 265     WAGON_VERSION=$(echo "$WAGON" | cut -f2 -d '-')
 266     WAGON_TYPEFILE=$(grep -rl "$WAGON_NAME" | grep yaml | head -1)
 267
 268     upload_raw_file "$WAGON"
 269     upload_raw_file "$WAGON_TYPEFILE"
 270   done
 271 }
 272
 273 upload_files_of_extension()
 274 {
 275   FILES=$(ls -1 ./*."$1")
 276   for F in $FILES ; do
 277     upload_raw_file "$F"
 278   done
 279 }
 280
 281
 282 upload_files_of_extension_rec()
 283 {
 284   FILES=$(find . -name  "*.${1}")
 285   for F in $FILES ; do
 286     upload_raw_file "$F"
 287   done
 288 }
 289
 290
 291
 292 build_and_push_docker()
 293 {
 294   IMAGENAME="onap/${FQDN}.${MVN_PROJECT_MODULEID}"
 295   IMAGENAME=$(echo "$IMAGENAME" | sed -e 's/_*$//g' -e 's/\.*$//g')
 296   IMAGENAME=$(echo "$IMAGENAME" | tr '[:upper:]' '[:lower:]')
 297
 298   # use the major and minor version of the MVN artifact version as docker image version
 299   VERSION="${MVN_PROJECT_VERSION//[^0-9.]/}"
 300   VERSION2=$(echo "$VERSION" | cut -f1-2 -d'.')
 301
 302   LFQI="${IMAGENAME}:${VERSION}-${TIMESTAMP}"
 303   # build a docker image
 304   docker build --rm -f ./Dockerfile -t "${LFQI}" ./
 305
 306   REPO="$MVN_DOCKERREGISTRY"
 307   SERVERID="$MVN_DOCKERREGISTRY_SERVERID"
 308
 309   if [ ! -z "$REPO" ]; then
 310     USER=$(xpath -e "//servers/server[id='$SERVERID']/username/text()" "$SETTINGS_FILE")
 311     PASS=$(xpath -e "//servers/server[id='$SERVERID']/password/text()" "$SETTINGS_FILE")
 312     if [ -z "$USER" ]; then
 313       echo "Error: no user provided"
 314     fi
 315     if [ -z "$PASS" ]; then
 316       echo "Error: no password provided"
 317     fi
 318     [ -z "$PASS" ] && PASS_PROVIDED="<empty>" || PASS_PROVIDED="<password>"
 319     echo docker login "$REPO" -u "$USER" -p "$PASS_PROVIDED"
 320     docker login "$REPO" -u "$USER" -p "$PASS"
 321
 322     if [ $MVN_DEPLOYMENT_TYPE == "SNAPSHOT" ]; then
 323       REPO="$REPO/snapshots"
 324     elif [ $MVN_DEPLOYMENT_TYPE == "STAGING" ]; then
 325       # there seems to be no staging docker registry?  set to use SNAPSHOT also
 326       #REPO=$MVN_DOCKERREGISTRY_RELEASE
 327       REPO="$REPO"
 328     else
 329       echo "Fail to determine DEPLOYMENT_TYPE"
 330       REPO="$REPO/unknown"
 331     fi
 332
 333     OLDTAG="${LFQI}"
 334     PUSHTAGS="${REPO}/${IMAGENAME}:${VERSION2}-${TIMESTAMP} ${REPO}/${IMAGENAME}:${VERSION2} ${REPO}/${IMAGENAME}:${VERSION2}-latest"
 335     for NEWTAG in ${PUSHTAGS}
 336     do
 337       echo "tagging ${OLDTAG} to ${NEWTAG}"
 338       docker tag "${OLDTAG}" "${NEWTAG}"
 339       echo "pushing ${NEWTAG}"
 340       docker push "${NEWTAG}"
 341       OLDTAG="${NEWTAG}"
 342     done
 343   fi
 344
 345 }
 346
 347
 348
 349 push_docker_image()
 350 {
 351   if [ -z "$1" ]; then
 352      return
 353   fi
 354   OLDTAGNAME="$1"
 355   OLDREPO=$(echo $TAGNAME | cut -f1 -d '/')
 356   IMAGENAME_W_VERSION=$(echo $TAGNAME | cut -f2- -d '/')
 357
 358   # build a docker image
 359   docker pull "$OLDTAGNAME"
 360
 361   REPO="$MVN_DOCKERREGISTRY"
 362   SERVERID="$MVN_DOCKERREGISTRY_SERVERID"
 363
 364   if [ ! -z "$REPO" ]; then
 365     USER=$(xpath -e "//servers/server[id='$SERVERID']/username/text()" "$SETTINGS_FILE")
 366     PASS=$(xpath -e "//servers/server[id='$SERVERID']/password/text()" "$SETTINGS_FILE")
 367     if [ -z "$USER" ]; then
 368       echo "Error: no user provided"
 369     fi
 370     if [ -z "$PASS" ]; then
 371       echo "Error: no password provided"
 372     fi
 373     [ -z "$PASS" ] && PASS_PROVIDED="<empty>" || PASS_PROVIDED="<password>"
 374     echo docker login "$REPO" -u "$USER" -p "$PASS_PROVIDED"
 375     docker login "$REPO" -u "$USER" -p "$PASS"
 376
 377     if [ $MVN_DEPLOYMENT_TYPE == "SNAPSHOT" ]; then
 378       REPO="$REPO/snapshots"
 379     elif [ $MVN_DEPLOYMENT_TYPE == "STAGING" ]; then
 380       # there seems to be no staging docker registry?  set to use SNAPSHOT also
 381       #REPO=$MVN_DOCKERREGISTRY_RELEASE
 382       REPO="$REPO"
 383     else
 384       echo "Fail to determine DEPLOYMENT_TYPE"
 385       REPO="$REPO/unknown"
 386     fi
 387
 388     OLDTAG="${OLDTAGNAME}"
 389     PUSHTAGS="${REPO}/${IMAGENAME_W_VERSION}-${TIMESTAMP} ${REPO}/${IMAGENAME_W_VERSION} ${REPO}/${IMAGENAME_W_VERSION}-latest"
 390     for NEWTAG in ${PUSHTAGS}
 391     do
 392       echo "tagging ${OLDTAG} to ${NEWTAG}"
 393       docker tag "${OLDTAG}" "${NEWTAG}"
 394       echo "pushing ${NEWTAG}"
 395       docker push "${NEWTAG}"
 396       OLDTAG="${NEWTAG}"
 397     done
 398   fi
 399
 400 }
 401
 402
 403