src/main/java/org/onap/aai/babel/xml/generator/api/AaiArtifactGenerator.java

   1 /**
   2  * ============LICENSE_START=======================================================
   3  * org.onap.aai
   4  * ================================================================================
   5  * Copyright © 2017-2019 AT&T Intellectual Property. All rights reserved.
   6  * Copyright © 2017-2019 European Software Marketing Ltd.
   7  * ================================================================================
   8  * Licensed under the Apache License, Version 2.0 (the "License");
   9  * you may not use this file except in compliance with the License.
  10  * You may obtain a copy of the License at
  11  *
  12  *       http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing, software
  15  * distributed under the License is distributed on an "AS IS" BASIS,
  16  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  * See the License for the specific language governing permissions and
  18  * limitations under the License.
  19  * ============LICENSE_END=========================================================
  20  */
  21
  22 package org.onap.aai.babel.xml.generator.api;
  23
  24 import java.io.IOException;
  25 import java.nio.file.Files;
  26 import java.nio.file.Path;
  27 import java.util.ArrayList;
  28 import java.util.List;
  29 import java.util.Map;
  30 import java.util.Optional;
  31 import org.apache.commons.io.FileUtils;
  32 import org.apache.commons.lang3.StringUtils;
  33 import org.onap.aai.babel.logging.ApplicationMsgs;
  34 import org.onap.aai.babel.logging.LogHelper;
  35 import org.onap.aai.babel.parser.ArtifactGeneratorToscaParser;
  36 import org.onap.aai.babel.xml.generator.data.AdditionalParams;
  37 import org.onap.aai.babel.xml.generator.data.Artifact;
  38 import org.onap.aai.babel.xml.generator.data.ArtifactType;
  39 import org.onap.aai.babel.xml.generator.data.GenerationData;
  40 import org.onap.aai.babel.xml.generator.data.GeneratorUtil;
  41 import org.onap.aai.babel.xml.generator.data.GroupType;
  42 import org.onap.aai.babel.xml.generator.data.WidgetConfigurationUtil;
  43 import org.onap.aai.babel.xml.generator.model.Model;
  44 import org.onap.aai.babel.xml.generator.model.Resource;
  45 import org.onap.aai.babel.xml.generator.model.Service;
  46 import org.onap.aai.babel.xml.generator.model.TunnelXconnectWidget;
  47 import org.onap.aai.babel.xml.generator.model.Widget.Type;
  48 import org.onap.aai.cl.api.Logger;
  49 import org.onap.sdc.tosca.parser.api.ISdcCsarHelper;
  50 import org.onap.sdc.tosca.parser.impl.SdcToscaParserFactory;
  51 import org.onap.sdc.toscaparser.api.Group;
  52 import org.onap.sdc.toscaparser.api.NodeTemplate;
  53 import org.onap.sdc.toscaparser.api.elements.Metadata;
  54 import org.slf4j.MDC;
  55
  56 public class AaiArtifactGenerator implements ArtifactGenerator {
  57
  58     private static Logger log = LogHelper.INSTANCE;
  59
  60     private static final String MDC_PARAM_MODEL_INFO = "ARTIFACT_MODEL_INFO";
  61     private static final String GENERATOR_AAI_GENERATED_ARTIFACT_EXTENSION = "xml";
  62     private static final String GENERATOR_AAI_ERROR_MISSING_SERVICE_TOSCA =
  63             "Service tosca missing from list of input artifacts";
  64     private static final String GENERATOR_AAI_ERROR_MISSING_SERVICE_VERSION =
  65             "Cannot generate artifacts. Service version is not specified";
  66     private static final String GENERATOR_AAI_INVALID_SERVICE_VERSION =
  67             "Cannot generate artifacts. Service version is incorrect";
  68
  69     private AaiModelGenerator modelGenerator = new AaiModelGeneratorImpl();
  70
  71     @Override
  72     public GenerationData generateArtifact(byte[] csarArchive, List<Artifact> input,
  73             Map<String, String> additionalParams) {
  74         Path csarPath;
  75
  76         try {
  77             csarPath = createTempFile(csarArchive);
  78         } catch (IOException e) {
  79             log.error(ApplicationMsgs.TEMP_FILE_ERROR, e);
  80             return createErrorData(e);
  81         }
  82
  83         try {
  84             ArtifactGeneratorToscaParser.initWidgetConfiguration();
  85             ArtifactGeneratorToscaParser.initGroupFilterConfiguration();
  86             ISdcCsarHelper csarHelper =
  87                     SdcToscaParserFactory.getInstance().getSdcCsarHelper(csarPath.toAbsolutePath().toString());
  88             return generateAllArtifacts(validateServiceVersion(additionalParams), csarHelper);
  89         } catch (Exception e) {
  90             log.error(ApplicationMsgs.INVALID_CSAR_FILE, e);
  91             return createErrorData(e);
  92         } finally {
  93             FileUtils.deleteQuietly(csarPath.toFile());
  94         }
  95     }
  96
  97     private GenerationData createErrorData(Exception e) {
  98         GenerationData generationData = new GenerationData();
  99         generationData.add(ArtifactType.AAI.name(), e.getMessage());
 100         return generationData;
 101     }
 102
 103     /**
 104      * Generate model artifacts for the Service and its associated Resources.
 105      *
 106      * @param serviceVersion
 107      * @param csarHelper
 108      *            interface to the TOSCA parser
 109      * @return the generated Artifacts (containing XML models)
 110      */
 111     private GenerationData generateAllArtifacts(final String serviceVersion, ISdcCsarHelper csarHelper) {
 112         List<NodeTemplate> serviceNodeTemplates = csarHelper.getServiceNodeTemplates();
 113         if (serviceNodeTemplates == null) {
 114             throw new IllegalArgumentException(GENERATOR_AAI_ERROR_MISSING_SERVICE_TOSCA);
 115         }
 116
 117         Service serviceModel = createServiceModel(serviceVersion, csarHelper.getServiceMetadataAllProperties());
 118
 119         MDC.put(MDC_PARAM_MODEL_INFO, serviceModel.getModelName() + "," + getArtifactLabel(serviceModel));
 120
 121         List<Resource> resources = generateResourceModels(csarHelper, serviceNodeTemplates, serviceModel);
 122
 123         // Generate the A&AI XML model for the Service.
 124         final String serviceArtifact = modelGenerator.generateModelFor(serviceModel);
 125
 126         // Build a Babel Artifact to be returned to the caller.
 127         GenerationData generationData = new GenerationData();
 128         generationData.add(getServiceArtifact(serviceModel, serviceArtifact));
 129
 130         // For each Resource, generate the A&AI XML model and then create an additional Artifact for that model.
 131         for (Resource resource : resources) {
 132             generateResourceArtifact(generationData, resource);
 133             for (Resource childResource : resource.getResources()) {
 134                 boolean isProvidingService =
 135                         (boolean) Optional.ofNullable(childResource.getProperties().get("providingService")) //
 136                                 .orElse(false);
 137                 if (!isProvidingService) {
 138                     generateResourceArtifact(generationData, childResource);
 139                 }
 140             }
 141         }
 142
 143         return generationData;
 144     }
 145
 146     /**
 147      * Create a Service from the provided metadata
 148      *
 149      * @param serviceVersion
 150      * @param properties
 151      * @return
 152      */
 153     private Service createServiceModel(final String serviceVersion, Map<String, String> properties) {
 154         log.debug("Processing (TOSCA) Service object");
 155         Service serviceModel = new Service();
 156         serviceModel.setModelVersion(serviceVersion);
 157         serviceModel.populateModelIdentificationInformation(properties);
 158         return serviceModel;
 159     }
 160
 161     /**
 162      * @param csarHelper
 163      * @param serviceNodeTemplates
 164      * @param serviceModel
 165      * @return the generated Models
 166      */
 167     private List<Resource> generateResourceModels(ISdcCsarHelper csarHelper, List<NodeTemplate> serviceNodeTemplates,
 168             Service serviceModel) {
 169         final List<Group> serviceGroups = csarHelper.getGroupsOfTopologyTemplate();
 170         final ArtifactGeneratorToscaParser parser = new ArtifactGeneratorToscaParser(csarHelper);
 171
 172         List<Resource> resources = new ArrayList<>();
 173
 174         for (NodeTemplate nodeTemplate : serviceNodeTemplates) {
 175             if (nodeTemplate.getMetaData() != null) {
 176                 generateModelFromNodeTemplate(csarHelper, serviceModel, resources, serviceGroups, parser, nodeTemplate);
 177             } else {
 178                 log.warn(ApplicationMsgs.MISSING_SERVICE_METADATA, nodeTemplate.getName());
 179             }
 180         }
 181
 182         return resources;
 183     }
 184
 185     private void generateModelFromNodeTemplate(ISdcCsarHelper csarHelper, Service serviceModel,
 186             List<Resource> resources, final List<Group> serviceGroups, ArtifactGeneratorToscaParser parser,
 187             NodeTemplate nodeTemplate) {
 188         Resource model = getModelFor(parser, nodeTemplate);
 189
 190         if (model != null) {
 191             if (nodeTemplate.getMetaData() != null) {
 192                 model.populateModelIdentificationInformation(nodeTemplate.getMetaData().getAllProperties());
 193             }
 194
 195             parser.addRelatedModel(serviceModel, model);
 196             if (model.isResource()) {
 197                 generateResourceModel(csarHelper, resources, parser, nodeTemplate);
 198             }
 199         } else {
 200             for (Group group : serviceGroups) {
 201                 if (group.getMembers().contains(nodeTemplate.getName())
 202                         && WidgetConfigurationUtil.isSupportedInstanceGroup(group.getType())) {
 203                     log.debug(String.format("Adding group %s (type %s) with members %s", group.getName(),
 204                             group.getType(), group.getMembers()));
 205
 206                     Resource groupModel = parser.createInstanceGroupModel(
 207                             parser.mergeProperties(group.getMetadata().getAllProperties(), group.getProperties()));
 208                     serviceModel.addResource(groupModel);
 209                     resources.add(groupModel);
 210                 }
 211             }
 212         }
 213     }
 214
 215     private Resource getModelFor(ArtifactGeneratorToscaParser parser, NodeTemplate nodeTemplate) {
 216         String nodeTypeName = nodeTemplate.getType();
 217
 218         log.debug("Processing resource " + nodeTypeName + ": " + nodeTemplate.getMetaData().getValue("UUID"));
 219
 220         Resource model = Model.getModelFor(nodeTypeName, nodeTemplate.getMetaData().getValue("type"));
 221
 222         Metadata metadata = nodeTemplate.getMetaData();
 223         if (metadata != null && parser.hasAllottedResource(metadata.getAllProperties())) {
 224             if (model.getWidgetType() == Type.VF) {
 225                 model = new Resource(Type.ALLOTTED_RESOURCE, true);
 226             }
 227         }
 228
 229         return model;
 230     }
 231
 232     private void generateResourceModel(ISdcCsarHelper csarHelper, List<Resource> resources,
 233             ArtifactGeneratorToscaParser parser, NodeTemplate nodeTemplate) {
 234         Resource resourceModel = getModelFor(parser, nodeTemplate);
 235         Map<String, String> serviceMetadata = nodeTemplate.getMetaData().getAllProperties();
 236         resourceModel.populateModelIdentificationInformation(serviceMetadata);
 237
 238         parser.processResourceModels(resourceModel, csarHelper.getNodeTemplateChildren(nodeTemplate));
 239
 240         if (csarHelper.getServiceVfList() != null) {
 241             parser.processVfModules(resources, resourceModel, nodeTemplate);
 242         }
 243
 244         if (parser.hasSubCategoryTunnelXConnect(serviceMetadata) && parser.hasAllottedResource(serviceMetadata)) {
 245             resourceModel.addWidget(new TunnelXconnectWidget());
 246         }
 247
 248         resources.addAll(parser.processInstanceGroups(resourceModel, nodeTemplate));
 249         resources.add((Resource) resourceModel);
 250     }
 251
 252     /**
 253      * @param generationData
 254      * @param resource
 255      */
 256     private void generateResourceArtifact(GenerationData generationData, Resource resource) {
 257         if (!isContained(generationData, getArtifactName(resource))) {
 258             log.info(ApplicationMsgs.DISTRIBUTION_EVENT, "Generating resource model");
 259             generationData.add(getResourceArtifact(resource, modelGenerator.generateModelFor(resource)));
 260         }
 261     }
 262
 263     private Path createTempFile(byte[] bytes) throws IOException {
 264         log.debug("Creating temp file on file system for the csar");
 265         Path path = Files.createTempFile("temp", ".csar");
 266         Files.write(path, bytes);
 267         return path;
 268     }
 269
 270     /**
 271      * Create the artifact label for an AAI model.
 272      *
 273      * @param model
 274      * @return the artifact label as String
 275      */
 276     private String getArtifactLabel(Model model) {
 277         StringBuilder artifactName = new StringBuilder(ArtifactType.AAI.name());
 278         artifactName.append("-");
 279         artifactName.append(model.getModelType().name().toLowerCase());
 280         artifactName.append("-");
 281         artifactName.append(hashCodeUuId(model.getModelNameVersionId()));
 282         return (artifactName.toString()).replaceAll("[^a-zA-Z0-9 +]+", "-");
 283     }
 284
 285     /**
 286      * Method to generate the artifact name for an AAI model.
 287      *
 288      * @param model
 289      *            AAI artifact model
 290      * @return Model artifact name
 291      */
 292     private String getArtifactName(Model model) {
 293         StringBuilder artifactName = new StringBuilder(ArtifactType.AAI.name());
 294         artifactName.append("-");
 295
 296         String truncatedArtifactName = truncateName(model.getModelName());
 297         artifactName.append(truncatedArtifactName);
 298
 299         artifactName.append("-");
 300         artifactName.append(model.getModelType().name().toLowerCase());
 301         artifactName.append("-");
 302         artifactName.append(model.getModelVersion());
 303
 304         artifactName.append(".");
 305         artifactName.append(GENERATOR_AAI_GENERATED_ARTIFACT_EXTENSION);
 306         return artifactName.toString();
 307     }
 308
 309     /**
 310      * Create Resource artifact model from the AAI xml model string.
 311      *
 312      * @param resourceModel
 313      *            Model of the resource artifact
 314      * @param aaiResourceModel
 315      *            AAI model as string
 316      * @return Generated {@link Artifact} model for the resource
 317      */
 318     private Artifact getResourceArtifact(Model resourceModel, String aaiResourceModel) {
 319         final String resourceArtifactLabel = getArtifactLabel(resourceModel);
 320         MDC.put(MDC_PARAM_MODEL_INFO, resourceModel.getModelName() + "," + resourceArtifactLabel);
 321         final byte[] bytes = aaiResourceModel.getBytes();
 322
 323         Artifact artifact = new Artifact(ArtifactType.MODEL_INVENTORY_PROFILE.name(), GroupType.DEPLOYMENT.name(),
 324                 GeneratorUtil.checkSum(bytes), GeneratorUtil.encode(bytes));
 325         artifact.setName(getArtifactName(resourceModel));
 326         artifact.setLabel(resourceArtifactLabel);
 327         artifact.setDescription(ArtifactGeneratorToscaParser.getArtifactDescription(resourceModel));
 328         return artifact;
 329     }
 330
 331     /**
 332      * @param generationData
 333      * @param artifactName
 334      * @return
 335      */
 336     private boolean isContained(GenerationData generationData, final String artifactName) {
 337         return generationData.getResultData().stream()
 338                 .anyMatch(artifact -> StringUtils.equals(artifact.getName(), artifactName));
 339     }
 340
 341     /**
 342      * Create Service artifact model from the AAI XML model.
 343      *
 344      * @param serviceModel
 345      *            Model of the service artifact
 346      * @param aaiServiceModel
 347      *            AAI model as string
 348      * @return Generated {@link Artifact} model for the service
 349      */
 350     private Artifact getServiceArtifact(Service serviceModel, String aaiServiceModel) {
 351         Artifact artifact = new Artifact(ArtifactType.MODEL_INVENTORY_PROFILE.name(), GroupType.DEPLOYMENT.name(),
 352                 GeneratorUtil.checkSum(aaiServiceModel.getBytes()), GeneratorUtil.encode(aaiServiceModel.getBytes()));
 353         String serviceArtifactName = getArtifactName(serviceModel);
 354         String serviceArtifactLabel = getArtifactLabel(serviceModel);
 355         artifact.setName(serviceArtifactName);
 356         artifact.setLabel(serviceArtifactLabel);
 357         String description = ArtifactGeneratorToscaParser.getArtifactDescription(serviceModel);
 358         artifact.setDescription(description);
 359         return artifact;
 360     }
 361
 362     private int hashCodeUuId(String uuId) {
 363         int hashcode = 0;
 364         for (int i = 0; i < uuId.length(); i++) {
 365             hashcode = 31 * hashcode + uuId.charAt(i);
 366         }
 367         return hashcode;
 368     }
 369
 370     private String truncateName(String name) {
 371         String truncatedName = name;
 372         if (name.length() >= 200) {
 373             truncatedName = name.substring(0, 199);
 374         }
 375         return truncatedName;
 376     }
 377
 378     private String validateServiceVersion(Map<String, String> additionalParams) {
 379         String serviceVersion = additionalParams.get(AdditionalParams.SERVICE_VERSION.getName());
 380         if (serviceVersion == null) {
 381             throw new IllegalArgumentException(GENERATOR_AAI_ERROR_MISSING_SERVICE_VERSION);
 382         } else {
 383             String versionRegex = "^[1-9]\\d*(\\.0)$";
 384             if (!(serviceVersion.matches(versionRegex))) {
 385                 throw new IllegalArgumentException(String.format(GENERATOR_AAI_INVALID_SERVICE_VERSION));
 386             }
 387         }
 388         return serviceVersion;
 389     }
 390 }