plugins/plugins-event/plugins-event-carrier/plugins-event-carrier-kafka/src/main/java/org/onap/policy/apex/plugins/event/carrier/kafka/ApexKafkaConsumer.java

   1 /*-
   2  * ============LICENSE_START=======================================================
   3  *  Copyright (C) 2016-2018 Ericsson. All rights reserved.
   4  * ================================================================================
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at
   8  *
   9  *      http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  *
  17  * SPDX-License-Identifier: Apache-2.0
  18  * ============LICENSE_END=========================================================
  19  */
  20
  21 package org.onap.policy.apex.plugins.event.carrier.kafka;
  22
  23 import java.util.EnumMap;
  24 import java.util.Map;
  25
  26 import org.apache.kafka.clients.consumer.ConsumerRecord;
  27 import org.apache.kafka.clients.consumer.ConsumerRecords;
  28 import org.apache.kafka.clients.consumer.KafkaConsumer;
  29 import org.onap.policy.apex.core.infrastructure.threading.ApplicationThreadFactory;
  30 import org.onap.policy.apex.core.infrastructure.threading.ThreadUtilities;
  31 import org.onap.policy.apex.service.engine.event.ApexEventConsumer;
  32 import org.onap.policy.apex.service.engine.event.ApexEventException;
  33 import org.onap.policy.apex.service.engine.event.ApexEventReceiver;
  34 import org.onap.policy.apex.service.engine.event.PeeredReference;
  35 import org.onap.policy.apex.service.parameters.eventhandler.EventHandlerParameters;
  36 import org.onap.policy.apex.service.parameters.eventhandler.EventHandlerPeeredMode;
  37 import org.slf4j.Logger;
  38 import org.slf4j.LoggerFactory;
  39
  40 /**
  41  * This class implements an Apex event consumer that receives events using Kafka.
  42  *
  43  * @author Liam Fallon (liam.fallon@ericsson.com)
  44  */
  45 public class ApexKafkaConsumer implements ApexEventConsumer, Runnable {
  46     // Get a reference to the logger
  47     private static final Logger LOGGER = LoggerFactory.getLogger(ApexKafkaConsumer.class);
  48
  49     // The Kafka parameters read from the parameter service
  50     private KafkaCarrierTechnologyParameters kafkaConsumerProperties;
  51
  52     // The event receiver that will receive events from this consumer
  53     private ApexEventReceiver eventReceiver;
  54
  55     // The Kafka consumer used to receive events using Kafka
  56     private KafkaConsumer<String, String> kafkaConsumer;
  57
  58     // The name for this consumer
  59     private String name = null;
  60
  61     // The peer references for this event handler
  62     private Map<EventHandlerPeeredMode, PeeredReference> peerReferenceMap = new EnumMap<>(EventHandlerPeeredMode.class);
  63
  64     // The consumer thread and stopping flag
  65     private Thread consumerThread;
  66     private boolean stopOrderedFlag = false;
  67
  68     /*
  69      * (non-Javadoc)
  70      *
  71      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#init(java.lang.String,
  72      * org.onap.policy.apex.service.parameters.eventhandler.EventHandlerParameters,
  73      * org.onap.policy.apex.service.engine.event.ApexEventReceiver)
  74      */
  75     @Override
  76     public void init(final String consumerName, final EventHandlerParameters consumerParameters,
  77             final ApexEventReceiver incomingEventReceiver) throws ApexEventException {
  78         this.eventReceiver = incomingEventReceiver;
  79         this.name = consumerName;
  80
  81         // Check and get the Kafka Properties
  82         if (!(consumerParameters.getCarrierTechnologyParameters() instanceof KafkaCarrierTechnologyParameters)) {
  83             LOGGER.warn("specified consumer properties of type \""
  84                     + consumerParameters.getCarrierTechnologyParameters().getClass().getCanonicalName()
  85                     + "\" are not applicable to a Kafka consumer");
  86             throw new ApexEventException("specified consumer properties of type \""
  87                     + consumerParameters.getCarrierTechnologyParameters().getClass().getCanonicalName()
  88                     + "\" are not applicable to a Kafka consumer");
  89         }
  90         kafkaConsumerProperties =
  91                 (KafkaCarrierTechnologyParameters) consumerParameters.getCarrierTechnologyParameters();
  92
  93         // Kick off the Kafka consumer
  94         kafkaConsumer = new KafkaConsumer<>(kafkaConsumerProperties.getKafkaConsumerProperties());
  95         kafkaConsumer.subscribe(kafkaConsumerProperties.getConsumerTopicList());
  96         if (LOGGER.isDebugEnabled()) {
  97             LOGGER.debug("event receiver for " + this.getClass().getName() + ":" + this.name + " subscribed to topics: "
  98                     + kafkaConsumerProperties.getConsumerTopicList());
  99         }
 100     }
 101
 102     /*
 103      * (non-Javadoc)
 104      *
 105      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#start()
 106      */
 107     @Override
 108     public void start() {
 109         // Configure and start the event reception thread
 110         final String threadName = this.getClass().getName() + ":" + this.name;
 111         consumerThread = new ApplicationThreadFactory(threadName).newThread(this);
 112         consumerThread.setDaemon(true);
 113         consumerThread.start();
 114     }
 115
 116     /*
 117      * (non-Javadoc)
 118      *
 119      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#getName()
 120      */
 121     @Override
 122     public String getName() {
 123         return name;
 124     }
 125
 126     /*
 127      * (non-Javadoc)
 128      *
 129      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#getPeeredReference(org.onap.policy.apex.service.
 130      * parameters.eventhandler.EventHandlerPeeredMode)
 131      */
 132     @Override
 133     public PeeredReference getPeeredReference(final EventHandlerPeeredMode peeredMode) {
 134         return peerReferenceMap.get(peeredMode);
 135     }
 136
 137     /*
 138      * (non-Javadoc)
 139      *
 140      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#setPeeredReference(org.onap.policy.apex.service.
 141      * parameters.eventhandler.EventHandlerPeeredMode, org.onap.policy.apex.service.engine.event.PeeredReference)
 142      */
 143     @Override
 144     public void setPeeredReference(final EventHandlerPeeredMode peeredMode, final PeeredReference peeredReference) {
 145         peerReferenceMap.put(peeredMode, peeredReference);
 146     }
 147
 148     /*
 149      * (non-Javadoc)
 150      *
 151      * @see java.lang.Runnable#run()
 152      */
 153     @Override
 154     public void run() {
 155         // Kick off the Kafka consumer
 156         kafkaConsumer = new KafkaConsumer<>(kafkaConsumerProperties.getKafkaConsumerProperties());
 157         kafkaConsumer.subscribe(kafkaConsumerProperties.getConsumerTopicList());
 158         if (LOGGER.isDebugEnabled()) {
 159             LOGGER.debug("event receiver for " + this.getClass().getName() + ":" + this.name + " subscribed to topics: "
 160                     + kafkaConsumerProperties.getConsumerTopicList());
 161         }
 162
 163         // The endless loop that receives events over Kafka
 164         while (consumerThread.isAlive() && !stopOrderedFlag) {
 165             try {
 166                 final ConsumerRecords<String, String> records =
 167                         kafkaConsumer.poll(kafkaConsumerProperties.getConsumerPollDuration().toMillis());
 168                 for (final ConsumerRecord<String, String> record : records) {
 169                     if (LOGGER.isTraceEnabled()) {
 170                         LOGGER.trace("event received for {} for forwarding to Apex engine : {} {}",
 171                                 this.getClass().getName() + ":" + this.name, record.key(), record.value());
 172                     }
 173                     eventReceiver.receiveEvent(record.value());
 174                 }
 175             } catch (final Exception e) {
 176                 LOGGER.warn("error receiving events on thread {}", consumerThread.getName(), e);
 177             }
 178         }
 179
 180         if (!consumerThread.isInterrupted()) {
 181             kafkaConsumer.close();
 182         }
 183     }
 184
 185     /*
 186      * (non-Javadoc)
 187      *
 188      * @see org.onap.policy.apex.service.engine.event.ApexEventConsumer#stop()
 189      */
 190     @Override
 191     public void stop() {
 192         stopOrderedFlag = true;
 193
 194         while (consumerThread.isAlive()) {
 195             ThreadUtilities.sleep(kafkaConsumerProperties.getConsumerPollTime());
 196         }
 197     }
 198 }