catalog-be/src/main/java/org/openecomp/sdc/be/components/distribution/engine/DistributionEngine.java

   1 /*-
   2  * ============LICENSE_START=======================================================
   3  * SDC
   4  * ================================================================================
   5  * Copyright (C) 2017 AT&T Intellectual Property. All rights reserved.
   6  * ================================================================================
   7  * Licensed under the Apache License, Version 2.0 (the "License");
   8  * you may not use this file except in compliance with the License.
   9  * You may obtain a copy of the License at
  10  *
  11  *      http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  * ============LICENSE_END=========================================================
  19  */
  20
  21 package org.openecomp.sdc.be.components.distribution.engine;
  22
  23 import org.apache.commons.collections.CollectionUtils;
  24 import org.apache.commons.lang3.StringUtils;
  25 import org.openecomp.sdc.be.components.validation.ServiceDistributionValidation;
  26 import org.openecomp.sdc.be.config.BeEcompErrorManager;
  27 import org.openecomp.sdc.be.config.ConfigurationManager;
  28 import org.openecomp.sdc.be.config.DistributionEngineConfiguration;
  29 import org.openecomp.sdc.be.dao.api.ActionStatus;
  30 import org.openecomp.sdc.be.model.Service;
  31 import org.openecomp.sdc.be.model.User;
  32 import org.openecomp.sdc.be.model.operations.api.StorageOperationStatus;
  33 import org.openecomp.sdc.be.resources.data.OperationalEnvironmentEntry;
  34 import org.openecomp.sdc.common.log.wrappers.Logger;
  35 import org.openecomp.sdc.common.util.YamlToObjectConverter;
  36 import org.openecomp.sdc.exception.YamlConversionException;
  37 import org.springframework.beans.factory.annotation.Autowired;
  38 import org.springframework.stereotype.Component;
  39
  40 import javax.annotation.PostConstruct;
  41 import javax.annotation.PreDestroy;
  42 import javax.annotation.Resource;
  43 import java.util.ArrayList;
  44 import java.util.HashMap;
  45 import java.util.List;
  46 import java.util.Map;
  47 import java.util.Optional;
  48 import java.util.concurrent.atomic.AtomicBoolean;
  49 import java.util.regex.Matcher;
  50 import java.util.regex.Pattern;
  51 @Component("distributionEngine")
  52 public class DistributionEngine implements IDistributionEngine {
  53
  54     private static final Logger logger = Logger.getLogger(DistributionEngine.class.getName());
  55     private static final Pattern FQDN_PATTERN = Pattern.compile("^([a-zA-Z0-9]|[a-zA-Z0-9][a-zA-Z0-9\\-]{0,61}[a-zA-Z0-9])(\\.([a-zA-Z0-9]|[a-zA-Z0-9][a-zA-Z0-9\\-]{0,61}[a-zA-Z0-9]))*(:[0-9]{2,4})*$", Pattern.CASE_INSENSITIVE);
  56
  57     @Autowired
  58     private EnvironmentsEngine environmentsEngine;
  59
  60     @Resource
  61     private DistributionNotificationSender distributionNotificationSender;
  62
  63     @Resource
  64     private ServiceDistributionArtifactsBuilder serviceDistributionArtifactsBuilder;
  65
  66     @Resource
  67     private DistributionEngineClusterHealth distributionEngineClusterHealth;
  68
  69     @Resource
  70     private ServiceDistributionValidation serviceDistributionValidation;
  71
  72     private Map<String, DistributionEngineInitTask> envNamePerInitTask = new HashMap<>();
  73     private Map<String, DistributionEnginePollingTask> envNamePerPollingTask = new HashMap<>();
  74     private Map<String, AtomicBoolean> envNamePerStatus = new HashMap<>();
  75
  76     /**
  77      * The main method for testing only
  78      * @param args
  79      */
  80     public static void main(String[] args) throws YamlConversionException {
  81
  82         List<String> servers = new ArrayList<>();
  83         String server = "uebsb91kcdc.it.att.com:3904";
  84         servers.add(server);
  85         servers.add(server);
  86         servers.add(server);
  87
  88         YamlToObjectConverter converter = new YamlToObjectConverter();
  89         DistributionEngineConfiguration distributionEngineConfiguration = converter.convert("src/test/resources/config/catalog-be/distribEngine1/distribution-engine-configuration.yaml", DistributionEngineConfiguration.class);
  90
  91         DistributionEngineInitTask distributionEngineInitTask = new DistributionEngineInitTask(2l, distributionEngineConfiguration, "PROD", new AtomicBoolean(false), null, null, null);
  92         distributionEngineInitTask.startTask();
  93
  94     }
  95
  96     @Override
  97     public boolean isActive() {
  98
  99         if (envNamePerInitTask.isEmpty()) {
 100             return false;
 101         }
 102
 103         for (DistributionEngineInitTask task : envNamePerInitTask.values()) {
 104             boolean active = task.isActive();
 105             if (!active) {
 106                 return false;
 107             }
 108         }
 109         return true;
 110     }
 111
 112     @PostConstruct
 113     private void init() {
 114         logger.trace("Enter init method of DistributionEngine");
 115
 116         DistributionEngineConfiguration distributionEngineConfiguration = ConfigurationManager.getConfigurationManager().getDistributionEngineConfiguration();
 117
 118         boolean startDistributionEngine = distributionEngineConfiguration.isStartDistributionEngine();
 119         logger.debug("Distribution engine activation parameter is {}", startDistributionEngine);
 120         if (!startDistributionEngine) {
 121             logger.info("The distribution engine is disabled");
 122
 123             this.distributionEngineClusterHealth.setHealthCheckUebIsDisabled();
 124
 125             return;
 126         }
 127
 128         boolean isValidConfig = validateConfiguration(distributionEngineConfiguration);
 129
 130         if (!isValidConfig) {
 131             BeEcompErrorManager.getInstance().logBeUebSystemError(DistributionEngineInitTask.INIT_DISTRIBUTION_ENGINE_FLOW, "validate distribution configuration in init phase");
 132
 133             this.distributionEngineClusterHealth.setHealthCheckUebConfigurationError();
 134             return;
 135         }
 136
 137         List<String> environments = distributionEngineConfiguration.getEnvironments();
 138
 139         for (String envName : environments) {
 140             logger.debug("init task for environment {}", envName);
 141             AtomicBoolean status = new AtomicBoolean(false);
 142             envNamePerStatus.put(envName, status);
 143             environmentsEngine.connectUebTopicForDistributionConfTopic(envName, status, envNamePerInitTask, envNamePerPollingTask);
 144         }
 145
 146         logger.debug("init UEB health check");
 147         distributionEngineClusterHealth.startHealthCheckTask(envNamePerStatus);
 148
 149         logger.trace("Exit init method of DistributionEngine");
 150     }
 151
 152     @PreDestroy
 153     public void shutdown() {
 154         logger.info("distribution engine shutdown - start");
 155         if (envNamePerInitTask != null) {
 156             for (DistributionEngineInitTask task : envNamePerInitTask.values()) {
 157                 task.destroy();
 158             }
 159         }
 160         if (envNamePerPollingTask != null) {
 161             for (DistributionEnginePollingTask task : envNamePerPollingTask.values()) {
 162                 task.destroy();
 163             }
 164         }
 165
 166     }
 167
 168     /**
 169      * validate mandatory configuration parameters received
 170      * @param deConfiguration: distribution engine configuration
 171      * @return boolean result: true of false
 172      */
 173     protected boolean validateConfiguration(DistributionEngineConfiguration deConfiguration) {
 174
 175         String methodName = "validateConfiguration";
 176
 177         boolean result = isValidServers(deConfiguration.getUebServers(), methodName, "uebServers");
 178         result = isValidParam(deConfiguration.getEnvironments(), methodName, "environments") && result;
 179         result = isValidParam(deConfiguration.getUebPublicKey(), methodName, "uebPublicKey") && result;
 180         result = isValidParam(deConfiguration.getUebSecretKey(), methodName, "uebSecretKey") && result;
 181         result = isValidParam(deConfiguration.getDistributionNotifTopicName(), methodName, "distributionNotifTopicName") && result;
 182         result = isValidParam(deConfiguration.getDistributionStatusTopicName(), methodName, "distributionStatusTopicName") && result;
 183         result = isValidObject(deConfiguration.getCreateTopic(), methodName, "createTopic") && result;
 184         result = isValidObject(deConfiguration.getDistributionStatusTopic(), methodName, "distributionStatusTopic") && result;
 185         result = isValidObject(deConfiguration.getInitMaxIntervalSec(), methodName, "initMaxIntervalSec") && result;
 186         result = isValidObject(deConfiguration.getInitRetryIntervalSec(), methodName, "initRetryIntervalSec") && result;
 187         result = isValidParam(deConfiguration.getDistributionStatusTopic().getConsumerId(), methodName, "consumerId") && result;
 188         result = isValidParam(deConfiguration.getDistributionStatusTopic().getConsumerGroup(), methodName, "consumerGroup") && result;
 189         result = isValidObject(deConfiguration.getDistributionStatusTopic().getFetchTimeSec(), methodName, "fetchTimeSec") && result;
 190         result = isValidObject(deConfiguration.getDistributionStatusTopic().getPollingIntervalSec(), methodName, "pollingIntervalSec") && result;
 191
 192         return result;
 193     }
 194
 195     private boolean isValidServers(List<String> uebServers, String methodName, String paramName) {
 196
 197         if (uebServers == null || uebServers.isEmpty()) {
 198             BeEcompErrorManager.getInstance().logBeMissingConfigurationError(methodName, paramName);
 199             return false;
 200         }
 201
 202         if (uebServers.size() < 2) {
 203             BeEcompErrorManager.getInstance().logBeConfigurationInvalidListSizeError(methodName, paramName, 2);
 204             return false;
 205         }
 206
 207         for (String serverFqdn : uebServers) {
 208             if (!isValidFqdn(serverFqdn)) {
 209                 BeEcompErrorManager.getInstance().logBeInvalidConfigurationError(methodName, paramName, serverFqdn);
 210                 return false;
 211             }
 212         }
 213
 214         return true;
 215     }
 216
 217     private boolean isValidFqdn(String serverFqdn) {
 218
 219         try {
 220             Matcher matcher = FQDN_PATTERN.matcher(serverFqdn);
 221             return matcher.matches();
 222
 223         } catch (Exception e) {
 224             logger.debug("Failed to match value of address {}", serverFqdn, e);
 225             return false;
 226         }
 227     }
 228
 229     private boolean isValidParam(String paramValue, String methodName, String paramName) {
 230
 231         if (StringUtils.isEmpty(paramValue)) {
 232             BeEcompErrorManager.getInstance().logBeMissingConfigurationError(methodName, paramName);
 233             return false;
 234         }
 235         return true;
 236     }
 237
 238     private boolean isValidParam(List<String> paramValue, String methodName, String paramName) {
 239
 240         if (CollectionUtils.isEmpty(paramValue)) {
 241             BeEcompErrorManager.getInstance().logBeMissingConfigurationError(methodName, paramName);
 242             return false;
 243         }
 244         return true;
 245     }
 246
 247     private boolean isValidObject(Object paramValue, String methodName, String paramName) {
 248
 249         if (paramValue == null) {
 250             BeEcompErrorManager.getInstance().logBeMissingConfigurationError(methodName, paramName);
 251             return false;
 252         }
 253         return true;
 254
 255     }
 256
 257     private String getEnvironmentErrorDescription(StorageOperationStatus status) {
 258
 259         switch (status) {
 260         case DISTR_ENVIRONMENT_NOT_AVAILABLE:
 261             return "environment is unavailable";
 262         case DISTR_ENVIRONMENT_NOT_FOUND:
 263             return "environment is not configured in our system";
 264         case DISTR_ENVIRONMENT_SENT_IS_INVALID:
 265             return "environment name is invalid";
 266         default:
 267             return "unkhown";
 268         }
 269     }
 270
 271     @Override
 272     public StorageOperationStatus isEnvironmentAvailable(String envName) {
 273
 274         if (envName == null || envName.isEmpty()) {
 275
 276             return StorageOperationStatus.DISTR_ENVIRONMENT_SENT_IS_INVALID;
 277         }
 278
 279         AtomicBoolean status = envNamePerStatus.get(envName);
 280         if (status == null) {
 281             return StorageOperationStatus.DISTR_ENVIRONMENT_NOT_FOUND;
 282         }
 283
 284         if (!status.get()) {
 285             return StorageOperationStatus.DISTR_ENVIRONMENT_NOT_AVAILABLE;
 286         }
 287         return StorageOperationStatus.OK;
 288     }
 289
 290     @Override
 291     public StorageOperationStatus isEnvironmentAvailable() {
 292
 293         String envName = ConfigurationManager.getConfigurationManager().getDistributionEngineConfiguration().getEnvironments().get(0);
 294
 295         return isEnvironmentAvailable(envName);
 296     }
 297
 298     @Override
 299     public void disableEnvironment(String envName) {
 300         AtomicBoolean status = envNamePerStatus.get(envName);
 301         status.set(false);
 302     }
 303
 304     @Override
 305     public ActionStatus notifyService(String distributionId, Service service, INotificationData notificationData, String envName, User modifier) {
 306         return notifyService(distributionId, service, notificationData, envName, envName, modifier);
 307     }
 308
 309     @Override
 310     public ActionStatus notifyService(String distributionId, Service service, INotificationData notificationData, String envId, String envName, User modifier) {
 311         logger.debug("Received notify service request. distributionId = {}, serviceUuid = {} serviceUid = {}, envName = {}, userId = {}, modifierName {}", distributionId, service.getUUID(), service.getUniqueId(), envName, service.getLastUpdaterUserId(), modifier);
 312         String topicName = buildTopicName(envName);
 313         ActionStatus notifyServiceStatus = Optional.ofNullable(environmentsEngine.getEnvironmentById(envId))
 314                 .map(EnvironmentMessageBusData::new)
 315                 .map(messageBusData -> distributionNotificationSender.sendNotification(topicName, distributionId, messageBusData, notificationData, service, modifier))
 316                 .orElse(ActionStatus.DISTRIBUTION_ENVIRONMENT_NOT_AVAILABLE);
 317         logger.debug("Finish notifyService. status is {}", notifyServiceStatus);
 318         return notifyServiceStatus;
 319     }
 320
 321     private String buildTopicName(String envName) {
 322         DistributionEngineConfiguration deConfiguration = ConfigurationManager.getConfigurationManager().getDistributionEngineConfiguration();
 323         String distributionNotifTopicName = deConfiguration.getDistributionNotifTopicName();
 324         return DistributionEngineInitTask.buildTopicName(distributionNotifTopicName, envName);
 325     }
 326
 327     @Override
 328     public StorageOperationStatus isReadyForDistribution(String envName) {
 329         StorageOperationStatus status = isEnvironmentAvailable(envName);
 330         if (status != StorageOperationStatus.OK) {
 331             String envErrorDec = getEnvironmentErrorDescription(status);
 332             BeEcompErrorManager.getInstance().logBeDistributionEngineSystemError(DistributionNotificationSender.DISTRIBUTION_NOTIFICATION_SENDING, "Environment name " + envName + " is not available. Reason : " + envErrorDec);
 333         }
 334         return status;
 335     }
 336
 337     @Override
 338     public OperationalEnvironmentEntry getEnvironmentById(String opEnvId) {
 339         return environmentsEngine.getEnvironmentById(opEnvId);
 340     }
 341
 342     @Override
 343     public OperationalEnvironmentEntry getEnvironmentByDmaapUebAddress(List<String> dmaapUebAddress) {
 344         return environmentsEngine.getEnvironmentByDmaapUebAddress(dmaapUebAddress);
 345     }
 346
 347     @Override
 348     public INotificationData buildServiceForDistribution(Service service, String distributionId, String workloadContext) {
 349         INotificationData value = serviceDistributionArtifactsBuilder.buildResourceInstanceForDistribution(service, distributionId, workloadContext);
 350         value = serviceDistributionArtifactsBuilder.buildServiceForDistribution(value, service);
 351         return value;
 352     }
 353
 354 }