dcae-analytics-cdap-plugins/src/main/java/org/openecomp/dcae/apod/analytics/cdap/plugins/batch/sink/dmaap/DMaaPMRSink.java

   1 /*
   2  * ===============================LICENSE_START======================================
   3  *  dcae-analytics
   4  * ================================================================================
   5  *    Copyright © 2017 AT&T Intellectual Property. All rights reserved.
   6  * ================================================================================
   7  *  Licensed under the Apache License, Version 2.0 (the "License");
   8  *  you may not use this file except in compliance with the License.
   9  *   You may obtain a copy of the License at
  10  *
  11  *          http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  *  Unless required by applicable law or agreed to in writing, software
  14  *  distributed under the License is distributed on an "AS IS" BASIS,
  15  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  *  See the License for the specific language governing permissions and
  17  *  limitations under the License.
  18  *  ============================LICENSE_END===========================================
  19  */
  20
  21 package org.openecomp.dcae.apod.analytics.cdap.plugins.batch.sink.dmaap;
  22
  23 import co.cask.cdap.api.annotation.Description;
  24 import co.cask.cdap.api.annotation.Name;
  25 import co.cask.cdap.api.annotation.Plugin;
  26 import co.cask.cdap.api.data.batch.Output;
  27 import co.cask.cdap.api.data.format.StructuredRecord;
  28 import co.cask.cdap.api.data.schema.Schema;
  29 import co.cask.cdap.api.dataset.lib.KeyValue;
  30 import co.cask.cdap.etl.api.Emitter;
  31 import co.cask.cdap.etl.api.PipelineConfigurer;
  32 import co.cask.cdap.etl.api.batch.BatchSink;
  33 import co.cask.cdap.etl.api.batch.BatchSinkContext;
  34 import org.apache.hadoop.io.NullWritable;
  35 import org.openecomp.dcae.apod.analytics.cdap.common.utils.ValidationUtils;
  36 import org.openecomp.dcae.apod.analytics.cdap.plugins.domain.config.dmaap.DMaaPMRSinkPluginConfig;
  37 import org.openecomp.dcae.apod.analytics.cdap.plugins.utils.CDAPPluginUtils;
  38 import org.openecomp.dcae.apod.analytics.cdap.plugins.validator.DMaaPMRSinkPluginConfigValidator;
  39 import org.slf4j.Logger;
  40 import org.slf4j.LoggerFactory;
  41
  42 /**
  43  * @author Rajiv Singla . Creation Date: 1/26/2017.
  44  */
  45 @Plugin(type = BatchSink.PLUGIN_TYPE)
  46 @Name("DMaaPMRSink")
  47 @Description("A batch sink Plugin that publishes messages to DMaaP MR Topic.")
  48 public class DMaaPMRSink extends BatchSink<StructuredRecord, String, NullWritable> {
  49
  50     private static final Logger LOG = LoggerFactory.getLogger(DMaaPMRSink.class);
  51
  52     private final DMaaPMRSinkPluginConfig pluginConfig;
  53
  54     public DMaaPMRSink(final DMaaPMRSinkPluginConfig pluginConfig) {
  55         LOG.debug("Creating DMaaP MR Sink Plugin with plugin Config: {}", pluginConfig);
  56         this.pluginConfig = pluginConfig;
  57     }
  58
  59     @Override
  60     public void configurePipeline(final PipelineConfigurer pipelineConfigurer) {
  61         super.configurePipeline(pipelineConfigurer);
  62         ValidationUtils.validateSettings(pluginConfig, new DMaaPMRSinkPluginConfigValidator());
  63         // validates that input schema contains the field provided in Sink Message Column Name property
  64         final Schema inputSchema = pipelineConfigurer.getStageConfigurer().getInputSchema();
  65         CDAPPluginUtils.validateSchemaContainsFields(inputSchema, pluginConfig.getMessageColumnName());
  66     }
  67
  68
  69     @Override
  70     public void prepareRun(BatchSinkContext context) throws Exception {
  71         context.addOutput(Output.of(pluginConfig.getReferenceName(), new DMaaPMROutputFormatProvider(pluginConfig)));
  72     }
  73
  74     @Override
  75     public void transform(StructuredRecord structuredRecord,
  76                           Emitter<KeyValue<String, NullWritable>> emitter) throws Exception {
  77         // get incoming message from structured record
  78         final String incomingMessage = structuredRecord.get(pluginConfig.getMessageColumnName());
  79
  80         // if incoming messages does not have message column name log warning as it should not happen
  81         if (incomingMessage == null) {
  82             LOG.warn("Column Name: {}, contains no message.Skipped for DMaaP MR Publishing....",
  83                     pluginConfig.getMessageColumnName());
  84         } else {
  85
  86             // emit the messages as key
  87             emitter.emit(new KeyValue<String, NullWritable>(incomingMessage, null));
  88         }
  89     }
  90 }