src/main/java/org/onap/aai/babel/xml/generator/api/AaiArtifactGenerator.java

   1 /**
   2  * ============LICENSE_START=======================================================
   3  * org.onap.aai
   4  * ================================================================================
   5  * Copyright © 2017-2019 AT&T Intellectual Property. All rights reserved.
   6  * Copyright © 2017-2019 European Software Marketing Ltd.
   7  * ================================================================================
   8  * Licensed under the Apache License, Version 2.0 (the "License");
   9  * you may not use this file except in compliance with the License.
  10  * You may obtain a copy of the License at
  11  *
  12  *       http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing, software
  15  * distributed under the License is distributed on an "AS IS" BASIS,
  16  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  * See the License for the specific language governing permissions and
  18  * limitations under the License.
  19  * ============LICENSE_END=========================================================
  20  */
  21
  22 package org.onap.aai.babel.xml.generator.api;
  23
  24 import java.io.IOException;
  25 import java.nio.file.Files;
  26 import java.nio.file.Path;
  27 import java.util.ArrayList;
  28 import java.util.List;
  29 import java.util.Map;
  30 import java.util.Optional;
  31 import org.apache.commons.io.FileUtils;
  32 import org.apache.commons.lang3.StringUtils;
  33 import org.onap.aai.babel.logging.ApplicationMsgs;
  34 import org.onap.aai.babel.logging.LogHelper;
  35 import org.onap.aai.babel.parser.ArtifactGeneratorToscaParser;
  36 import org.onap.aai.babel.xml.generator.data.AdditionalParams;
  37 import org.onap.aai.babel.xml.generator.data.Artifact;
  38 import org.onap.aai.babel.xml.generator.data.ArtifactType;
  39 import org.onap.aai.babel.xml.generator.data.GenerationData;
  40 import org.onap.aai.babel.xml.generator.data.GeneratorUtil;
  41 import org.onap.aai.babel.xml.generator.data.GroupType;
  42 import org.onap.aai.babel.xml.generator.data.WidgetConfigurationUtil;
  43 import org.onap.aai.babel.xml.generator.model.Model;
  44 import org.onap.aai.babel.xml.generator.model.Resource;
  45 import org.onap.aai.babel.xml.generator.model.Service;
  46 import org.onap.aai.babel.xml.generator.model.TunnelXconnectWidget;
  47 import org.onap.aai.babel.xml.generator.model.Widget.Type;
  48 import org.onap.aai.cl.api.Logger;
  49 import org.onap.sdc.tosca.parser.api.ISdcCsarHelper;
  50 import org.onap.sdc.tosca.parser.impl.SdcToscaParserFactory;
  51 import org.onap.sdc.toscaparser.api.Group;
  52 import org.onap.sdc.toscaparser.api.NodeTemplate;
  53 import org.onap.sdc.toscaparser.api.elements.Metadata;
  54 import org.slf4j.MDC;
  55
  56 public class AaiArtifactGenerator implements ArtifactGenerator {
  57
  58     private static Logger log = LogHelper.INSTANCE;
  59
  60     private static final String MDC_PARAM_MODEL_INFO = "ARTIFACT_MODEL_INFO";
  61     private static final String GENERATOR_AAI_GENERATED_ARTIFACT_EXTENSION = "xml";
  62     private static final String GENERATOR_AAI_ERROR_MISSING_SERVICE_TOSCA =
  63             "Service tosca missing from list of input artifacts";
  64     private static final String GENERATOR_AAI_ERROR_MISSING_SERVICE_VERSION =
  65             "Cannot generate artifacts. Service version is not specified";
  66     private static final String GENERATOR_AAI_INVALID_SERVICE_VERSION =
  67             "Cannot generate artifacts. Service version is incorrect";
  68
  69     private AaiModelGenerator modelGenerator = new AaiModelGeneratorImpl();
  70
  71     @Override
  72     public GenerationData generateArtifact(byte[] csarArchive, List<Artifact> input,
  73             Map<String, String> additionalParams) {
  74         Path csarPath;
  75
  76         try {
  77             csarPath = createTempFile(csarArchive);
  78         } catch (IOException e) {
  79             log.error(ApplicationMsgs.TEMP_FILE_ERROR, e);
  80             return createErrorData(e);
  81         }
  82
  83         String configLocation = System.getProperty(ArtifactGeneratorToscaParser.PROPERTY_TOSCA_MAPPING_FILE);
  84         if (configLocation == null) {
  85             throw new IllegalArgumentException(
  86                     String.format(ArtifactGeneratorToscaParser.GENERATOR_AAI_CONFIGLOCATION_NOT_FOUND,
  87                             ArtifactGeneratorToscaParser.PROPERTY_TOSCA_MAPPING_FILE));
  88         }
  89
  90         try {
  91             ArtifactGeneratorToscaParser.initWidgetConfiguration();
  92             ArtifactGeneratorToscaParser.initToscaMappingsConfiguration(configLocation);
  93             ISdcCsarHelper csarHelper =
  94                     SdcToscaParserFactory.getInstance().getSdcCsarHelper(csarPath.toAbsolutePath().toString());
  95             return generateAllArtifacts(validateServiceVersion(additionalParams), csarHelper);
  96         } catch (Exception e) {
  97             log.error(ApplicationMsgs.INVALID_CSAR_FILE, e);
  98             return createErrorData(e);
  99         } finally {
 100             FileUtils.deleteQuietly(csarPath.toFile());
 101         }
 102     }
 103
 104     private GenerationData createErrorData(Exception e) {
 105         GenerationData generationData = new GenerationData();
 106         generationData.add(ArtifactType.AAI.name(), e.getMessage());
 107         return generationData;
 108     }
 109
 110     /**
 111      * Generate model artifacts for the Service and its associated Resources.
 112      *
 113      * @param serviceVersion
 114      * @param csarHelper
 115      *            interface to the TOSCA parser
 116      * @return the generated Artifacts (containing XML models)
 117      */
 118     private GenerationData generateAllArtifacts(final String serviceVersion, ISdcCsarHelper csarHelper) {
 119         List<NodeTemplate> serviceNodeTemplates = csarHelper.getServiceNodeTemplates();
 120         if (serviceNodeTemplates == null) {
 121             throw new IllegalArgumentException(GENERATOR_AAI_ERROR_MISSING_SERVICE_TOSCA);
 122         }
 123
 124         Service serviceModel = createServiceModel(serviceVersion, csarHelper.getServiceMetadataAllProperties());
 125
 126         MDC.put(MDC_PARAM_MODEL_INFO, serviceModel.getModelName() + "," + getArtifactLabel(serviceModel));
 127
 128         List<Resource> resources = generateResourceModels(csarHelper, serviceNodeTemplates, serviceModel);
 129
 130         // Generate the A&AI XML model for the Service.
 131         final String serviceArtifact = modelGenerator.generateModelFor(serviceModel);
 132
 133         // Build a Babel Artifact to be returned to the caller.
 134         GenerationData generationData = new GenerationData();
 135         generationData.add(getServiceArtifact(serviceModel, serviceArtifact));
 136
 137         // For each Resource, generate the A&AI XML model and then create an additional Artifact for that model.
 138         for (Resource resource : resources) {
 139             generateResourceArtifact(generationData, resource);
 140             for (Resource childResource : resource.getResources()) {
 141                 boolean isProvidingService =
 142                         (boolean) Optional.ofNullable(childResource.getProperties().get("providingService")) //
 143                                 .orElse(false);
 144                 if (!isProvidingService) {
 145                     generateResourceArtifact(generationData, childResource);
 146                 }
 147             }
 148         }
 149
 150         return generationData;
 151     }
 152
 153     /**
 154      * Create a Service from the provided metadata
 155      *
 156      * @param serviceVersion
 157      * @param properties
 158      * @return
 159      */
 160     private Service createServiceModel(final String serviceVersion, Map<String, String> properties) {
 161         log.debug("Processing (TOSCA) Service object");
 162         Service serviceModel = new Service();
 163         serviceModel.setModelVersion(serviceVersion);
 164         serviceModel.populateModelIdentificationInformation(properties);
 165         return serviceModel;
 166     }
 167
 168     /**
 169      * @param csarHelper
 170      * @param serviceNodeTemplates
 171      * @param serviceModel
 172      * @return the generated Models
 173      */
 174     private List<Resource> generateResourceModels(ISdcCsarHelper csarHelper, List<NodeTemplate> serviceNodeTemplates,
 175             Service serviceModel) {
 176         final List<Group> serviceGroups = csarHelper.getGroupsOfTopologyTemplate();
 177         final ArtifactGeneratorToscaParser parser = new ArtifactGeneratorToscaParser(csarHelper);
 178
 179         List<Resource> resources = new ArrayList<>();
 180
 181         for (NodeTemplate nodeTemplate : serviceNodeTemplates) {
 182             if (nodeTemplate.getMetaData() != null) {
 183                 generateModelFromNodeTemplate(csarHelper, serviceModel, resources, serviceGroups, parser, nodeTemplate);
 184             } else {
 185                 log.warn(ApplicationMsgs.MISSING_SERVICE_METADATA, nodeTemplate.getName());
 186             }
 187         }
 188
 189         return resources;
 190     }
 191
 192     private void generateModelFromNodeTemplate(ISdcCsarHelper csarHelper, Service serviceModel,
 193             List<Resource> resources, final List<Group> serviceGroups, ArtifactGeneratorToscaParser parser,
 194             NodeTemplate nodeTemplate) {
 195         Resource model = getModelFor(parser, nodeTemplate);
 196
 197         if (model != null) {
 198             if (nodeTemplate.getMetaData() != null) {
 199                 model.populateModelIdentificationInformation(nodeTemplate.getMetaData().getAllProperties());
 200             }
 201
 202             parser.addRelatedModel(serviceModel, model);
 203             if (model.isResource()) {
 204                 generateResourceModel(csarHelper, resources, parser, nodeTemplate);
 205             }
 206         } else {
 207             for (Group group : serviceGroups) {
 208                 ArrayList<String> members = group.getMembers();
 209                 if (members != null && members.contains(nodeTemplate.getName())
 210                         && WidgetConfigurationUtil.isSupportedInstanceGroup(group.getType())) {
 211                     log.debug(String.format("Adding group %s (type %s) with members %s", group.getName(),
 212                             group.getType(), members));
 213
 214                     Resource groupModel = parser.createInstanceGroupModel(
 215                             parser.mergeProperties(group.getMetadata().getAllProperties(), group.getProperties()));
 216                     serviceModel.addResource(groupModel);
 217                     resources.add(groupModel);
 218                 }
 219             }
 220         }
 221     }
 222
 223     private Resource getModelFor(ArtifactGeneratorToscaParser parser, NodeTemplate nodeTemplate) {
 224         String nodeTypeName = nodeTemplate.getType();
 225
 226         log.debug("Processing resource " + nodeTypeName + ": " + nodeTemplate.getMetaData().getValue("UUID"));
 227
 228         Resource model = Model.getModelFor(nodeTypeName, nodeTemplate.getMetaData().getValue("type"));
 229
 230         if (model != null) {
 231             Metadata metadata = nodeTemplate.getMetaData();
 232             if (metadata != null && parser.hasAllottedResource(metadata.getAllProperties())) {
 233                 if (model.getWidgetType() == Type.VF) {
 234                     model = new Resource(Type.ALLOTTED_RESOURCE, true);
 235                 }
 236             }
 237         }
 238
 239         return model;
 240     }
 241
 242     private void generateResourceModel(ISdcCsarHelper csarHelper, List<Resource> resources,
 243             ArtifactGeneratorToscaParser parser, NodeTemplate nodeTemplate) {
 244         Resource resourceModel = getModelFor(parser, nodeTemplate);
 245         Map<String, String> serviceMetadata = nodeTemplate.getMetaData().getAllProperties();
 246         resourceModel.populateModelIdentificationInformation(serviceMetadata);
 247
 248         parser.processResourceModels(resourceModel, csarHelper.getNodeTemplateChildren(nodeTemplate));
 249
 250         if (csarHelper.getServiceVfList() != null) {
 251             parser.processVfModules(resources, resourceModel, nodeTemplate);
 252         }
 253
 254         if (parser.hasSubCategoryTunnelXConnect(serviceMetadata) && parser.hasAllottedResource(serviceMetadata)) {
 255             resourceModel.addWidget(new TunnelXconnectWidget());
 256         }
 257
 258         resources.addAll(parser.processInstanceGroups(resourceModel, nodeTemplate));
 259         resources.add((Resource) resourceModel);
 260     }
 261
 262     /**
 263      * @param generationData
 264      * @param resource
 265      */
 266     private void generateResourceArtifact(GenerationData generationData, Resource resource) {
 267         if (!isContained(generationData, getArtifactName(resource))) {
 268             log.info(ApplicationMsgs.DISTRIBUTION_EVENT, "Generating resource model");
 269             generationData.add(getResourceArtifact(resource, modelGenerator.generateModelFor(resource)));
 270         }
 271     }
 272
 273     private Path createTempFile(byte[] bytes) throws IOException {
 274         log.debug("Creating temp file on file system for the csar");
 275         Path path = Files.createTempFile("temp", ".csar");
 276         Files.write(path, bytes);
 277         return path;
 278     }
 279
 280     /**
 281      * Create the artifact label for an AAI model.
 282      *
 283      * @param model
 284      * @return the artifact label as String
 285      */
 286     private String getArtifactLabel(Model model) {
 287         StringBuilder artifactName = new StringBuilder(ArtifactType.AAI.name());
 288         artifactName.append("-");
 289         artifactName.append(model.getModelType().name().toLowerCase());
 290         artifactName.append("-");
 291         artifactName.append(hashCodeUuId(model.getModelNameVersionId()));
 292         return (artifactName.toString()).replaceAll("[^a-zA-Z0-9 +]+", "-");
 293     }
 294
 295     /**
 296      * Method to generate the artifact name for an AAI model.
 297      *
 298      * @param model
 299      *            AAI artifact model
 300      * @return Model artifact name
 301      */
 302     private String getArtifactName(Model model) {
 303         StringBuilder artifactName = new StringBuilder(ArtifactType.AAI.name());
 304         artifactName.append("-");
 305
 306         String truncatedArtifactName = truncateName(model.getModelName());
 307         artifactName.append(truncatedArtifactName);
 308
 309         artifactName.append("-");
 310         artifactName.append(model.getModelType().name().toLowerCase());
 311         artifactName.append("-");
 312         artifactName.append(model.getModelVersion());
 313
 314         artifactName.append(".");
 315         artifactName.append(GENERATOR_AAI_GENERATED_ARTIFACT_EXTENSION);
 316         return artifactName.toString();
 317     }
 318
 319     /**
 320      * Create Resource artifact model from the AAI xml model string.
 321      *
 322      * @param resourceModel
 323      *            Model of the resource artifact
 324      * @param aaiResourceModel
 325      *            AAI model as string
 326      * @return Generated {@link Artifact} model for the resource
 327      */
 328     private Artifact getResourceArtifact(Model resourceModel, String aaiResourceModel) {
 329         final String resourceArtifactLabel = getArtifactLabel(resourceModel);
 330         MDC.put(MDC_PARAM_MODEL_INFO, resourceModel.getModelName() + "," + resourceArtifactLabel);
 331         final byte[] bytes = aaiResourceModel.getBytes();
 332
 333         Artifact artifact = new Artifact(ArtifactType.MODEL_INVENTORY_PROFILE.name(), GroupType.DEPLOYMENT.name(),
 334                 GeneratorUtil.checkSum(bytes), GeneratorUtil.encode(bytes));
 335         artifact.setName(getArtifactName(resourceModel));
 336         artifact.setLabel(resourceArtifactLabel);
 337         artifact.setDescription(ArtifactGeneratorToscaParser.getArtifactDescription(resourceModel));
 338         return artifact;
 339     }
 340
 341     /**
 342      * @param generationData
 343      * @param artifactName
 344      * @return
 345      */
 346     private boolean isContained(GenerationData generationData, final String artifactName) {
 347         return generationData.getResultData().stream()
 348                 .anyMatch(artifact -> StringUtils.equals(artifact.getName(), artifactName));
 349     }
 350
 351     /**
 352      * Create Service artifact model from the AAI XML model.
 353      *
 354      * @param serviceModel
 355      *            Model of the service artifact
 356      * @param aaiServiceModel
 357      *            AAI model as string
 358      * @return Generated {@link Artifact} model for the service
 359      */
 360     private Artifact getServiceArtifact(Service serviceModel, String aaiServiceModel) {
 361         Artifact artifact = new Artifact(ArtifactType.MODEL_INVENTORY_PROFILE.name(), GroupType.DEPLOYMENT.name(),
 362                 GeneratorUtil.checkSum(aaiServiceModel.getBytes()), GeneratorUtil.encode(aaiServiceModel.getBytes()));
 363         String serviceArtifactName = getArtifactName(serviceModel);
 364         String serviceArtifactLabel = getArtifactLabel(serviceModel);
 365         artifact.setName(serviceArtifactName);
 366         artifact.setLabel(serviceArtifactLabel);
 367         String description = ArtifactGeneratorToscaParser.getArtifactDescription(serviceModel);
 368         artifact.setDescription(description);
 369         return artifact;
 370     }
 371
 372     private int hashCodeUuId(String uuId) {
 373         int hashcode = 0;
 374         for (int i = 0; i < uuId.length(); i++) {
 375             hashcode = 31 * hashcode + uuId.charAt(i);
 376         }
 377         return hashcode;
 378     }
 379
 380     private String truncateName(String name) {
 381         String truncatedName = name;
 382         if (name.length() >= 200) {
 383             truncatedName = name.substring(0, 199);
 384         }
 385         return truncatedName;
 386     }
 387
 388     private String validateServiceVersion(Map<String, String> additionalParams) {
 389         String serviceVersion = additionalParams.get(AdditionalParams.SERVICE_VERSION.getName());
 390         if (serviceVersion == null) {
 391             throw new IllegalArgumentException(GENERATOR_AAI_ERROR_MISSING_SERVICE_VERSION);
 392         } else {
 393             String versionRegex = "^[1-9]\\d*(\\.0)$";
 394             if (!(serviceVersion.matches(versionRegex))) {
 395                 throw new IllegalArgumentException(String.format(GENERATOR_AAI_INVALID_SERVICE_VERSION));
 396             }
 397         }
 398         return serviceVersion;
 399     }
 400 }