sources/hv-collector-dcae-app-simulator/src/main/kotlin/org/onap/dcae/collectors/veshv/simulators/dcaeapp/impl/consumer.kt

   1 /*
   2  * ============LICENSE_START=======================================================
   3  * dcaegen2-collectors-veshv
   4  * ================================================================================
   5  * Copyright (C) 2018-2019 NOKIA
   6  * ================================================================================
   7  * Licensed under the Apache License, Version 2.0 (the "License");
   8  * you may not use this file except in compliance with the License.
   9  * You may obtain a copy of the License at
  10  *
  11  *      http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  * ============LICENSE_END=========================================================
  19  */
  20 package org.onap.dcae.collectors.veshv.simulators.dcaeapp.impl
  21
  22 import org.onap.dcae.collectors.veshv.simulators.dcaeapp.impl.adapters.KafkaSource
  23 import org.onap.dcae.collectors.veshv.utils.logging.Logger
  24 import reactor.kafka.receiver.ReceiverRecord
  25 import java.util.concurrent.ConcurrentLinkedQueue
  26
  27 /**
  28  * @author Piotr Jaszczyk <piotr.jaszczyk@nokia.com>
  29  * @since June 2018
  30  */
  31 internal class ConsumerState(private val messages: ConcurrentLinkedQueue<ByteArray>) {
  32     val messagesCount: Int by lazy {
  33         messages.size
  34     }
  35
  36     val consumedMessages: List<ByteArray> by lazy {
  37         messages.toList()
  38     }
  39 }
  40
  41 internal interface ConsumerStateProvider {
  42     fun currentState(): ConsumerState
  43     fun reset()
  44 }
  45
  46 internal class Consumer : ConsumerStateProvider {
  47
  48     private var consumedMessages: ConcurrentLinkedQueue<ByteArray> = ConcurrentLinkedQueue()
  49
  50     override fun currentState(): ConsumerState = ConsumerState(consumedMessages)
  51
  52     override fun reset() = consumedMessages.clear()
  53
  54     fun update(record: ReceiverRecord<ByteArray, ByteArray>) {
  55         logger.trace { "Updating stats for message from ${record.topic()}:${record.partition()}" }
  56         consumedMessages.add(record.value())
  57     }
  58
  59     companion object {
  60         private val logger = Logger(Consumer::class)
  61     }
  62 }
  63
  64 internal class ConsumerFactory(private val kafkaBootstrapServers: String) {
  65     fun createConsumersForTopics(kafkaTopics: Set<String>): Map<String, Consumer> =
  66             KafkaSource.create(kafkaBootstrapServers, kafkaTopics).let { kafkaSource ->
  67                 val topicToConsumer = kafkaTopics.associate { it to Consumer() }
  68                 kafkaSource.start()
  69                         .map {
  70                             val topic = it.topic()
  71                             topicToConsumer.get(topic)?.update(it)
  72                                     ?: logger.warn { "No consumer configured for topic $topic" }
  73                         }.subscribe()
  74                 topicToConsumer
  75             }
  76
  77     companion object {
  78         private val logger = Logger(ConsumerFactory::class)
  79     }
  80 }