src/main/docker/kafka-run-class.sh

   1 #!/bin/bash
   2
   3 if [ $# -lt 1 ];
   4 then
   5   echo "USAGE: $0 [-daemon] [-name servicename] [-loggc] classname [opts]"
   6   exit 1
   7 fi
   8
   9 # CYGINW == 1 if Cygwin is detected, else 0.
  10 if [[ $(uname -a) =~ "CYGWIN" ]]; then
  11   CYGWIN=1
  12 else
  13   CYGWIN=0
  14 fi
  15
  16 if [ -z "$INCLUDE_TEST_JARS" ]; then
  17   INCLUDE_TEST_JARS=false
  18 fi
  19
  20 # Exclude jars not necessary for running commands.
  21 regex="(-(test|src|scaladoc|javadoc)\.jar|jar.asc)$"
  22 should_include_file() {
  23   if [ "$INCLUDE_TEST_JARS" = true ]; then
  24     return 0
  25   fi
  26   file=$1
  27   if [ -z "$(echo "$file" | egrep "$regex")" ] ; then
  28     return 0
  29   else
  30     return 1
  31   fi
  32 }
  33
  34 base_dir=$(dirname $0)/..
  35
  36 if [ -z "$SCALA_VERSION" ]; then
  37   SCALA_VERSION=2.11.11
  38 fi
  39
  40 if [ -z "$SCALA_BINARY_VERSION" ]; then
  41   SCALA_BINARY_VERSION=$(echo $SCALA_VERSION | cut -f 1-2 -d '.')
  42 fi
  43
  44 # run ./gradlew copyDependantLibs to get all dependant jars in a local dir
  45 shopt -s nullglob
  46 for dir in "$base_dir"/core/build/dependant-libs-${SCALA_VERSION}*;
  47 do
  48   if [ -z "$CLASSPATH" ] ; then
  49     CLASSPATH="$dir/*"
  50   else
  51     CLASSPATH="$CLASSPATH:$dir/*"
  52   fi
  53 done
  54
  55 for file in "$base_dir"/examples/build/libs/kafka-examples*.jar;
  56 do
  57   if should_include_file "$file"; then
  58     CLASSPATH="$CLASSPATH":"$file"
  59   fi
  60 done
  61
  62 for file in "$base_dir"/clients/build/libs/kafka-clients*.jar;
  63 do
  64   if should_include_file "$file"; then
  65     CLASSPATH="$CLASSPATH":"$file"
  66   fi
  67 done
  68
  69 for file in "$base_dir"/streams/build/libs/kafka-streams*.jar;
  70 do
  71   if should_include_file "$file"; then
  72     CLASSPATH="$CLASSPATH":"$file"
  73   fi
  74 done
  75
  76 for file in "$base_dir"/streams/examples/build/libs/kafka-streams-examples*.jar;
  77 do
  78   if should_include_file "$file"; then
  79     CLASSPATH="$CLASSPATH":"$file"
  80   fi
  81 done
  82
  83 for file in "$base_dir"/streams/build/dependant-libs-${SCALA_VERSION}/rocksdb*.jar;
  84 do
  85   CLASSPATH="$CLASSPATH":"$file"
  86 done
  87
  88 for file in "$base_dir"/tools/build/libs/kafka-tools*.jar;
  89 do
  90   if should_include_file "$file"; then
  91     CLASSPATH="$CLASSPATH":"$file"
  92   fi
  93 done
  94
  95 for dir in "$base_dir"/tools/build/dependant-libs-${SCALA_VERSION}*;
  96 do
  97   CLASSPATH="$CLASSPATH:$dir/*"
  98 done
  99
 100 for cc_pkg in "api" "transforms" "runtime" "file" "json" "tools"
 101 do
 102   for file in "$base_dir"/connect/${cc_pkg}/build/libs/connect-${cc_pkg}*.jar;
 103   do
 104     if should_include_file "$file"; then
 105       CLASSPATH="$CLASSPATH":"$file"
 106     fi
 107   done
 108   if [ -d "$base_dir/connect/${cc_pkg}/build/dependant-libs" ] ; then
 109     CLASSPATH="$CLASSPATH:$base_dir/connect/${cc_pkg}/build/dependant-libs/*"
 110   fi
 111 done
 112
 113 # classpath addition for release
 114 for file in "$base_dir"/libs/*;
 115 do
 116   if should_include_file "$file"; then
 117     CLASSPATH="$CLASSPATH":"$file"
 118   fi
 119 done
 120
 121 for file in "$base_dir"/core/build/libs/kafka_${SCALA_BINARY_VERSION}*.jar;
 122 do
 123   if should_include_file "$file"; then
 124     CLASSPATH="$CLASSPATH":"$file"
 125   fi
 126 done
 127 shopt -u nullglob
 128
 129 # JMX settings
 130 if [ -z "$KAFKA_JMX_OPTS" ]; then
 131   KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false "
 132 fi
 133
 134 # JMX port to use
 135 if [  $JMX_PORT ]; then
 136   KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT "
 137 fi
 138
 139 # Log directory to use
 140 if [ "x$LOG_DIR" = "x" ]; then
 141   LOG_DIR="$base_dir/logs"
 142 fi
 143
 144 # Log4j settings
 145 if [ -z "$KAFKA_LOG4J_OPTS" ]; then
 146   # Log to console. This is a tool.
 147   LOG4J_DIR="$base_dir/config/tools-log4j.properties"
 148   # If Cygwin is detected, LOG4J_DIR is converted to Windows format.
 149   (( CYGWIN )) && LOG4J_DIR=$(cygpath --path --mixed "${LOG4J_DIR}")
 150   KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:${LOG4J_DIR}"
 151 else
 152   # create logs directory
 153   if [ ! -d "$LOG_DIR" ]; then
 154     mkdir -p "$LOG_DIR"
 155   fi
 156 fi
 157
 158 # If Cygwin is detected, LOG_DIR is converted to Windows format.
 159 (( CYGWIN )) && LOG_DIR=$(cygpath --path --mixed "${LOG_DIR}")
 160 KAFKA_LOG4J_OPTS="-Dkafka.logs.dir=$LOG_DIR $KAFKA_LOG4J_OPTS"
 161
 162 # Generic jvm settings you want to add
 163 if [ -z "$KAFKA_OPTS" ]; then
 164   KAFKA_OPTS=""
 165 fi
 166
 167 # Set Debug options if enabled
 168 if [ "x$KAFKA_DEBUG" != "x" ]; then
 169
 170     # Use default ports
 171     DEFAULT_JAVA_DEBUG_PORT="5005"
 172
 173     if [ -z "$JAVA_DEBUG_PORT" ]; then
 174         JAVA_DEBUG_PORT="$DEFAULT_JAVA_DEBUG_PORT"
 175     fi
 176
 177     # Use the defaults if JAVA_DEBUG_OPTS was not set
 178     DEFAULT_JAVA_DEBUG_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=${DEBUG_SUSPEND_FLAG:-n},address=$JAVA_DEBUG_PORT"
 179     if [ -z "$JAVA_DEBUG_OPTS" ]; then
 180         JAVA_DEBUG_OPTS="$DEFAULT_JAVA_DEBUG_OPTS"
 181     fi
 182
 183     echo "Enabling Java debug options: $JAVA_DEBUG_OPTS"
 184     KAFKA_OPTS="$JAVA_DEBUG_OPTS $KAFKA_OPTS"
 185 fi
 186
 187 # Which java to use
 188 if [ -z "$JAVA_HOME" ]; then
 189   JAVA="java"
 190 else
 191   JAVA="$JAVA_HOME/bin/java"
 192 fi
 193
 194 # Memory options
 195 if [ -z "$KAFKA_HEAP_OPTS" ]; then
 196   KAFKA_HEAP_OPTS="-Xmx256M"
 197 fi
 198
 199 # JVM performance options
 200 if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
 201   KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true"
 202 fi
 203
 204
 205 while [ $# -gt 0 ]; do
 206   COMMAND=$1
 207   case $COMMAND in
 208     -name)
 209       DAEMON_NAME=$2
 210       CONSOLE_OUTPUT_FILE=$LOG_DIR/$DAEMON_NAME.out
 211       shift 2
 212       ;;
 213     -loggc)
 214       if [ -z "$KAFKA_GC_LOG_OPTS" ]; then
 215         GC_LOG_ENABLED="true"
 216       fi
 217       shift
 218       ;;
 219     -daemon)
 220       DAEMON_MODE="true"
 221       shift
 222       ;;
 223     *)
 224       break
 225       ;;
 226   esac
 227 done
 228
 229 # GC options
 230 GC_FILE_SUFFIX='-gc.log'
 231 GC_LOG_FILE_NAME=''
 232 if [ "x$GC_LOG_ENABLED" = "xtrue" ]; then
 233   GC_LOG_FILE_NAME=$DAEMON_NAME$GC_FILE_SUFFIX
 234   KAFKA_GC_LOG_OPTS="-Xloggc:$LOG_DIR/$GC_LOG_FILE_NAME -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M"
 235 fi
 236
 237 # If Cygwin is detected, classpath is converted to Windows format.
 238 (( CYGWIN )) && CLASSPATH=$(cygpath --path --mixed "${CLASSPATH}")
 239
 240 # Launch mode
 241 if [ "x$DAEMON_MODE" = "xtrue" ]; then
 242   nohup $JAVA $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS -cp $CLASSPATH $KAFKA_OPTS "$@" > "$CONSOLE_OUTPUT_FILE" 2>&1 < /dev/null &
 243 else
 244   exec $JAVA $KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS $1 -cp $CLASSPATH $KAFKA_OPTS "$@"
 245 fi