src/main/java/org/onap/aai/babel/parser/ArtifactGeneratorToscaParser.java

   1 /**
   2  * ============LICENSE_START=======================================================
   3  * org.onap.aai
   4  * ================================================================================
   5  * Copyright © 2017-2018 AT&T Intellectual Property. All rights reserved.
   6  * Copyright © 2017-2018 European Software Marketing Ltd.
   7  * ================================================================================
   8  * Licensed under the Apache License, Version 2.0 (the "License");
   9  * you may not use this file except in compliance with the License.
  10  * You may obtain a copy of the License at
  11  *
  12  *       http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing, software
  15  * distributed under the License is distributed on an "AS IS" BASIS,
  16  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  * See the License for the specific language governing permissions and
  18  * limitations under the License.
  19  * ============LICENSE_END=========================================================
  20  */
  21
  22 package org.onap.aai.babel.parser;
  23
  24 import java.io.File;
  25 import java.io.FileInputStream;
  26 import java.io.IOException;
  27 import java.util.ArrayList;
  28 import java.util.LinkedList;
  29 import java.util.List;
  30 import java.util.Map;
  31 import java.util.Optional;
  32 import java.util.Properties;
  33 import java.util.stream.Collectors;
  34
  35 import org.onap.aai.babel.logging.ApplicationMsgs;
  36 import org.onap.aai.babel.logging.LogHelper;
  37 import org.onap.aai.babel.xml.generator.data.WidgetConfigurationUtil;
  38 import org.onap.aai.babel.xml.generator.model.AllotedResource;
  39 import org.onap.aai.babel.xml.generator.model.InstanceGroup;
  40 import org.onap.aai.babel.xml.generator.model.L3NetworkWidget;
  41 import org.onap.aai.babel.xml.generator.model.Model;
  42 import org.onap.aai.babel.xml.generator.model.ProvidingService;
  43 import org.onap.aai.babel.xml.generator.model.Resource;
  44 import org.onap.aai.babel.xml.generator.model.Service;
  45 import org.onap.aai.babel.xml.generator.model.TunnelXconnectWidget;
  46 import org.onap.aai.babel.xml.generator.model.VfModule;
  47 import org.onap.aai.babel.xml.generator.model.Widget;
  48 import org.onap.aai.babel.xml.generator.types.ModelType;
  49 import org.onap.aai.cl.api.Logger;
  50 import org.onap.sdc.tosca.parser.api.ISdcCsarHelper;
  51 import org.onap.sdc.toscaparser.api.Group;
  52 import org.onap.sdc.toscaparser.api.NodeTemplate;
  53 import org.onap.sdc.toscaparser.api.Property;
  54 import org.onap.sdc.toscaparser.api.elements.Metadata;
  55
  56 public class ArtifactGeneratorToscaParser {
  57
  58     private static Logger log = LogHelper.INSTANCE;
  59
  60     public static final String PROPERTY_ARTIFACT_GENERATOR_CONFIG_FILE = "artifactgenerator.config";
  61     public static final String PROPERTY_GROUP_FILTERS_CONFIG_FILE = "groupfilter.config";
  62
  63     private static final String GENERATOR_AAI_CONFIGFILE_NOT_FOUND =
  64             "Cannot generate artifacts. Artifact Generator Configuration file not found at %s";
  65     private static final String GENERATOR_AAI_CONFIGLOCATION_NOT_FOUND =
  66             "Cannot generate artifacts. System property %s not configured";
  67     private static final String GENERATOR_AAI_PROVIDING_SERVICE_METADATA_MISSING =
  68             "Cannot generate artifacts. Providing Service Metadata is missing for allotted resource %s";
  69     private static final String GENERATOR_AAI_PROVIDING_SERVICE_MISSING =
  70             "Cannot generate artifacts. Providing Service is missing for allotted resource %s";
  71
  72     // Metadata properties
  73     private static final String CATEGORY = "category";
  74     private static final String ALLOTTED_RESOURCE = "Allotted Resource";
  75     private static final String SUBCATEGORY = "subcategory";
  76     private static final String TUNNEL_XCONNECT = "Tunnel XConnect";
  77
  78     private static final String VERSION = "version";
  79
  80     private ISdcCsarHelper csarHelper;
  81
  82     /**
  83      * Constructs using csarHelper
  84      *
  85      * @param csarHelper The csar helper
  86      */
  87     public ArtifactGeneratorToscaParser(ISdcCsarHelper csarHelper) {
  88         this.csarHelper = csarHelper;
  89     }
  90
  91     /**
  92      * Returns the artifact description
  93      *
  94      * @param model the artifact model
  95      * @return the artifact model's description
  96      */
  97     public static String getArtifactDescription(Model model) {
  98         String artifactDesc = model.getModelDescription();
  99         if (model.getModelType().equals(ModelType.SERVICE)) {
 100             artifactDesc = "AAI Service Model";
 101         } else if (model.getModelType().equals(ModelType.RESOURCE)) {
 102             artifactDesc = "AAI Resource Model";
 103         }
 104         return artifactDesc;
 105     }
 106
 107     /**
 108      * Initialises the widget configuration.
 109      *
 110      * @throws IOException
 111      */
 112     public static void initWidgetConfiguration() throws IOException {
 113         log.debug("Getting Widget Configuration");
 114         String configLocation = System.getProperty(PROPERTY_ARTIFACT_GENERATOR_CONFIG_FILE);
 115         if (configLocation != null) {
 116             File file = new File(configLocation);
 117             if (file.exists()) {
 118                 Properties properties = new Properties();
 119                 properties.load(new FileInputStream(file));
 120                 WidgetConfigurationUtil.setConfig(properties);
 121             } else {
 122                 throw new IllegalArgumentException(String.format(GENERATOR_AAI_CONFIGFILE_NOT_FOUND, configLocation));
 123             }
 124         } else {
 125             throw new IllegalArgumentException(
 126                     String.format(GENERATOR_AAI_CONFIGLOCATION_NOT_FOUND, PROPERTY_ARTIFACT_GENERATOR_CONFIG_FILE));
 127         }
 128     }
 129
 130     /**
 131      * Initialises the group filter configuration.
 132      *
 133      * @throws IOException
 134      */
 135     public static void initGroupFilterConfiguration() throws IOException {
 136         log.debug("Getting Filter Tyoes Configuration");
 137         String configLocation = System.getProperty(PROPERTY_GROUP_FILTERS_CONFIG_FILE);
 138         if (configLocation != null) {
 139             File file = new File(configLocation);
 140             if (file.exists()) {
 141                 Properties properties = new Properties();
 142                 properties.load(new FileInputStream(file));
 143                 WidgetConfigurationUtil.setFilterConfig(properties);
 144             } else {
 145                 throw new IllegalArgumentException(String.format(GENERATOR_AAI_CONFIGFILE_NOT_FOUND, configLocation));
 146             }
 147         } else {
 148             throw new IllegalArgumentException(
 149                     String.format(GENERATOR_AAI_CONFIGLOCATION_NOT_FOUND, PROPERTY_GROUP_FILTERS_CONFIG_FILE));
 150         }
 151     }
 152
 153     /**
 154      * Process the service TOSCA.
 155      *
 156      * @param service model of the service artifact
 157      * @param idTypeStore ID->Type mapping
 158      * @param nodeTemplates a list of service nodes
 159      *
 160      */
 161     public void processServiceTosca(Service service, Map<String, String> idTypeStore,
 162             List<NodeTemplate> nodeTemplates) {
 163         log.debug("Processing (TOSCA) Service object");
 164
 165         for (NodeTemplate nodeTemplate : nodeTemplates) {
 166             if (nodeTemplate.getMetaData() != null) {
 167                 addNodeToService(idTypeStore, service, nodeTemplate);
 168             } else {
 169                 log.warn(ApplicationMsgs.MISSING_SERVICE_METADATA, nodeTemplate.getName());
 170             }
 171         }
 172     }
 173
 174     /**
 175      * Generates a Resource List using input Service Node Templates.
 176      *
 177      * @param serviceNodes input Service Node Templates
 178      * @param idTypeStore ID->Type mapping
 179      *
 180      * @return the processed resource models
 181      */
 182     public List<Resource> processResourceToscas(List<NodeTemplate> serviceNodes, Map<String, String> idTypeStore) {
 183         List<Resource> resources = new LinkedList<>();
 184         for (NodeTemplate serviceNode : serviceNodes) {
 185             if (serviceNode.getMetaData() != null) {
 186                 resources.addAll(processResourceTosca(idTypeStore, serviceNode,
 187                         csarHelper.getNodeTemplateChildren(serviceNode)));
 188             } else {
 189                 log.warn(ApplicationMsgs.MISSING_SERVICE_METADATA, serviceNode.getName());
 190             }
 191         }
 192         return resources;
 193     }
 194
 195     /**
 196      * @param idTypeStore ID->Type mapping
 197      * @param serviceNode
 198      * @param resourceNodes
 199      * @return the processed resource models
 200      */
 201     private List<Resource> processResourceTosca(Map<String, String> idTypeStore, NodeTemplate serviceNode,
 202             List<NodeTemplate> resourceNodes) {
 203         List<Resource> resources = new LinkedList<>();
 204         String resourceUuId = serviceNode.getMetaData().getValue("UUID");
 205         String nodeTypeName = idTypeStore.get(resourceUuId);
 206         if (nodeTypeName != null) {
 207             Model resourceModel = Model.getModelFor(nodeTypeName, serviceNode.getMetaData().getValue("type"));
 208
 209             log.debug("Processing resource " + nodeTypeName + ": " + resourceUuId);
 210             Map<String, String> serviceMetadata = serviceNode.getMetaData().getAllProperties();
 211             resourceModel.populateModelIdentificationInformation(serviceMetadata);
 212
 213             idTypeStore.remove(resourceModel.getModelNameVersionId());
 214             processResourceModels(idTypeStore, resourceModel, resourceNodes);
 215
 216             if (csarHelper.getServiceVfList() != null) {
 217                 processVfModules(resources, resourceModel, serviceNode);
 218             }
 219
 220             if (hasSubCategoryTunnelXConnect(serviceMetadata) && hasAllottedResource(serviceMetadata)) {
 221                 resourceModel.addWidget(new TunnelXconnectWidget());
 222             }
 223
 224             resources.addAll(processInstanceGroups(resourceModel, serviceNode));
 225             resources.add((Resource) resourceModel);
 226         }
 227         return resources;
 228     }
 229
 230     /**
 231      * Process groups for this service node, according to the defined filter.
 232      *
 233      * @param resourceModel
 234      * @param serviceNode
 235      * @return resources for which XML Models should be generated
 236      */
 237     private List<Resource> processInstanceGroups(Model resourceModel, NodeTemplate serviceNode) {
 238         List<Resource> resources = new ArrayList<>();
 239         if (csarHelper.getNodeTemplateByName(serviceNode.getName()).getSubMappingToscaTemplate() != null) {
 240             List<Group> serviceGroups = csarHelper.getGroupsOfOriginOfNodeTemplate(serviceNode);
 241             for (Group group : serviceGroups) {
 242                 if (WidgetConfigurationUtil.isSupportedInstanceGroup(group.getType())) {
 243                     resources.addAll(processInstanceGroup(resourceModel, group));
 244                 }
 245             }
 246         }
 247         return resources;
 248     }
 249
 250     /**
 251      * Create an Instance Group Model for the supplied Service Group and relate this to the supplied resource Model.
 252      *
 253      * @param resourceModel the Resource node template Model
 254      * @param group the Service Group
 255      * @return the Instance Group and Member resource models
 256      */
 257     private List<Resource> processInstanceGroup(Model resourceModel, Group group) {
 258         List<Resource> resources = new ArrayList<>();
 259
 260         Resource groupModel = new InstanceGroup();
 261         groupModel.populateModelIdentificationInformation(group.getMetadata().getAllProperties());
 262         groupModel.populateModelIdentificationInformation(populateStringProperties(group.getProperties()));
 263
 264         resourceModel.addResource(groupModel);
 265         resources.add(groupModel);
 266
 267         List<NodeTemplate> members = group.getMemberNodes();
 268         if (members != null && !members.isEmpty()) {
 269             for (NodeTemplate nodeTemplate : members) {
 270                 String nodeTypeName = normaliseNodeTypeName(nodeTemplate);
 271                 Model memberModel = Model.getModelFor(nodeTypeName, nodeTemplate.getMetaData().getValue("type"));
 272                 memberModel.populateModelIdentificationInformation(nodeTemplate.getMetaData().getAllProperties());
 273                 if (memberModel instanceof Resource) {
 274                     log.debug("Generating grouped Resource " + nodeTypeName);
 275                     groupModel.addResource((Resource) memberModel);
 276                     resources.add((Resource) memberModel);
 277                 } else {
 278                     log.debug("Generating grouped Widget " + nodeTypeName);
 279                     groupModel.addWidget((Widget) memberModel);
 280                 }
 281             }
 282         }
 283
 284         return resources;
 285     }
 286
 287     /**
 288      * Add the supplied Node Template to the Service, provided that it is a valid Resource or Widget. If the Node
 289      * Template is a Resource type, this is also recorded in the supplied nodesById Map.
 290      *
 291      * @param nodesById a map of Resource node type names, keyed by UUID
 292      * @param service the Service to which the Node Template should be added
 293      * @param nodeTemplate the Node Template to add (only if this is a Resource or Widget type)
 294      */
 295     private void addNodeToService(Map<String, String> nodesById, Service service, NodeTemplate nodeTemplate) {
 296         String nodeTypeName = normaliseNodeTypeName(nodeTemplate);
 297         Model model = Model.getModelFor(nodeTypeName, nodeTemplate.getMetaData().getValue("type"));
 298         if (model != null) {
 299             if (nodeTemplate.getMetaData() != null) {
 300                 model.populateModelIdentificationInformation(nodeTemplate.getMetaData().getAllProperties());
 301             }
 302
 303             if (model instanceof Resource) {
 304                 nodesById.put(model.getModelNameVersionId(), nodeTypeName);
 305                 service.addResource((Resource) model);
 306             } else {
 307                 service.addWidget((Widget) model);
 308             }
 309         }
 310     }
 311
 312     /**
 313      * Process TOSCA Group information for VF Modules.
 314      *
 315      * @param resources
 316      * @param model
 317      * @param serviceNode
 318      */
 319     private void processVfModules(List<Resource> resources, Model resourceModel, NodeTemplate serviceNode) {
 320         // Get the customisation UUID for each VF node and use it to get its Groups
 321         String uuid = csarHelper.getNodeTemplateCustomizationUuid(serviceNode);
 322         List<Group> serviceGroups = csarHelper.getVfModulesByVf(uuid);
 323
 324         // Process each VF Group
 325         for (Group serviceGroup : serviceGroups) {
 326             Model groupModel = Model.getModelFor(serviceGroup.getType());
 327             if (groupModel instanceof VfModule) {
 328                 processVfModule(resources, resourceModel, serviceGroup, serviceNode, (VfModule) groupModel);
 329             }
 330         }
 331     }
 332
 333     private void processVfModule(List<Resource> resources, Model model, Group groupDefinition, NodeTemplate serviceNode,
 334             VfModule groupModel) {
 335         // Populate group with metadata properties
 336         groupModel.populateModelIdentificationInformation(groupDefinition.getMetadata().getAllProperties());
 337         // Populate group with non-metadata properties
 338         Map<String, Property> groupProperties = groupDefinition.getProperties();
 339         Map<String, String> properties = populateStringProperties(groupProperties);
 340         groupModel.populateModelIdentificationInformation(properties);
 341         processVfModuleGroup(resources, model, groupDefinition, serviceNode, groupModel);
 342     }
 343
 344     private void processVfModuleGroup(List<Resource> resources, Model model, Group groupDefinition,
 345             NodeTemplate serviceNode, VfModule groupModel) {
 346         // Get names of the members of the service group
 347         List<NodeTemplate> members = csarHelper.getMembersOfVfModule(serviceNode, groupDefinition);
 348         if (members != null && !members.isEmpty()) {
 349             List<String> memberNames = members.stream().map(NodeTemplate::getName).collect(Collectors.toList());
 350             groupModel.setMembers(memberNames);
 351             for (NodeTemplate member : members) {
 352                 processGroupMembers(groupModel, member);
 353             }
 354         }
 355
 356         model.addResource(groupModel); // Added group (VfModule) to the (VF) model
 357         // Check if we have already encountered the same VfModule across all the artifacts
 358         if (!resources.contains(groupModel)) {
 359             resources.add(groupModel);
 360         }
 361     }
 362
 363     private void processGroupMembers(Model group, NodeTemplate member) {
 364         Model resourceNode;
 365         // L3-network inside vf-module to be generated as Widget a special handling.
 366         if (member.getType().contains("org.openecomp.resource.vl")) {
 367             resourceNode = new L3NetworkWidget();
 368         } else {
 369             resourceNode = Model.getModelFor(member.getType());
 370         }
 371         if (resourceNode != null && !(resourceNode instanceof Resource)) {
 372             Widget widget = (Widget) resourceNode;
 373             widget.addKey(member.getName());
 374             // Add the widget element encountered to the Group model
 375             group.addWidget(widget);
 376         }
 377     }
 378
 379     private String normaliseNodeTypeName(NodeTemplate nodeType) {
 380         String nodeTypeName = nodeType.getType();
 381         Metadata metadata = nodeType.getMetaData();
 382         if (metadata != null && hasAllottedResource(metadata.getAllProperties())) {
 383             if (nodeType.getType().contains("org.openecomp.resource.vf.")) {
 384                 nodeTypeName = "org.openecomp.resource.vf.allottedResource";
 385             }
 386             if (nodeType.getType().contains("org.openecomp.resource.vfc.")) {
 387                 nodeTypeName = "org.openecomp.resource.vfc.AllottedResource";
 388             }
 389         }
 390         return nodeTypeName;
 391     }
 392
 393     private boolean hasAllottedResource(Map<String, String> metadata) {
 394         return ALLOTTED_RESOURCE.equals(metadata.get(CATEGORY));
 395     }
 396
 397     private boolean hasSubCategoryTunnelXConnect(Map<String, String> metadata) {
 398         return TUNNEL_XCONNECT.equals(metadata.get(SUBCATEGORY));
 399     }
 400
 401     /**
 402      * Create a Map of property name against String property value from the input Map
 403      *
 404      * @param inputMap The input Map
 405      * @return Map of property name against String property value
 406      */
 407     private Map<String, String> populateStringProperties(Map<String, Property> inputMap) {
 408         return inputMap.entrySet().stream().collect(Collectors.toMap(Map.Entry::getKey,
 409                 e -> e.getValue().getValue() == null ? "" : e.getValue().getValue().toString()));
 410     }
 411
 412     private void processResourceModels(Map<String, String> idTypeStore, Model resourceModel,
 413             List<NodeTemplate> resourceNodes) {
 414         boolean foundProvidingService = false;
 415
 416         for (NodeTemplate resourceNodeTemplate : resourceNodes) {
 417             String nodeTypeName = normaliseNodeTypeName(resourceNodeTemplate);
 418             Metadata metaData = resourceNodeTemplate.getMetaData();
 419             String metaDataType = Optional.ofNullable(metaData).map(m -> m.getValue("type")).orElse(nodeTypeName);
 420             Model resourceNode = Model.getModelFor(nodeTypeName, metaDataType);
 421             foundProvidingService |= processModel(idTypeStore, resourceModel, resourceNodeTemplate, nodeTypeName,
 422                     metaData, resourceNode);
 423         }
 424
 425         if (resourceModel instanceof AllotedResource && !foundProvidingService) {
 426             throw new IllegalArgumentException(
 427                     String.format(GENERATOR_AAI_PROVIDING_SERVICE_MISSING, resourceModel.getModelId()));
 428         }
 429     }
 430
 431     private boolean processModel(Map<String, String> idTypeStore, Model resourceModel,
 432             NodeTemplate resourceNodeTemplate, String nodeTypeName, Metadata metaData, Model resourceNode) {
 433         boolean foundProvidingService = false;
 434         if (resourceNode instanceof ProvidingService) {
 435             foundProvidingService = true;
 436             processProvidingService(resourceModel, resourceNodeTemplate, resourceNode);
 437         } else if (resourceNode instanceof Resource && !(resourceNode.getWidgetType().equals(Widget.Type.L3_NET))) {
 438             if (metaData != null) {
 439                 resourceNode.populateModelIdentificationInformation(metaData.getAllProperties());
 440             }
 441             idTypeStore.put(resourceNode.getModelNameVersionId(), nodeTypeName);
 442             resourceModel.addResource((Resource) resourceNode);
 443         }
 444         return foundProvidingService;
 445     }
 446
 447     private void processProvidingService(Model resourceModel, NodeTemplate resourceNodeTemplate, Model resourceNode) {
 448         Map<String, Property> nodeProperties = resourceNodeTemplate.getProperties();
 449         if (nodeProperties.get("providing_service_uuid") == null
 450                 || nodeProperties.get("providing_service_invariant_uuid") == null) {
 451             throw new IllegalArgumentException(
 452                     String.format(GENERATOR_AAI_PROVIDING_SERVICE_METADATA_MISSING, resourceModel.getModelId()));
 453         }
 454         Map<String, String> properties = populateStringProperties(nodeProperties);
 455         properties.put(VERSION, "1.0");
 456         resourceNode.populateModelIdentificationInformation(properties);
 457         resourceModel.addResource((Resource) resourceNode);
 458     }
 459
 460 }