cps-service/src/main/java/org/onap/cps/utils/YangUtils.java

   1 /*
   2  * ============LICENSE_START=======================================================
   3  *  Copyright (C) 2020 Nordix Foundation
   4  *  ================================================================================
   5  *  Licensed under the Apache License, Version 2.0 (the "License");
   6  *  you may not use this file except in compliance with the License.
   7  *  You may obtain a copy of the License at
   8  *
   9  *        http://www.apache.org/licenses/LICENSE-2.0
  10  *  Unless required by applicable law or agreed to in writing, software
  11  *  distributed under the License is distributed on an "AS IS" BASIS,
  12  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  *  See the License for the specific language governing permissions and
  14  *  limitations under the License.
  15  *
  16  *  SPDX-License-Identifier: Apache-2.0
  17  *  ============LICENSE_END=========================================================
  18  */
  19
  20 package org.onap.cps.utils;
  21
  22 import com.google.gson.stream.JsonReader;
  23 import java.io.File;
  24 import java.io.IOException;
  25 import java.io.StringReader;
  26 import java.util.Collection;
  27 import java.util.Collections;
  28 import java.util.Iterator;
  29 import java.util.List;
  30 import java.util.ServiceLoader;
  31 import java.util.logging.Logger;
  32 import java.util.stream.Collectors;
  33 import org.onap.cps.api.impl.Fragment;
  34 import org.opendaylight.yangtools.yang.common.QName;
  35 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier;
  36 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.NodeIdentifierWithPredicates;
  37 import org.opendaylight.yangtools.yang.data.api.schema.DataContainerNode;
  38 import org.opendaylight.yangtools.yang.data.api.schema.LeafSetNode;
  39 import org.opendaylight.yangtools.yang.data.api.schema.MapEntryNode;
  40 import org.opendaylight.yangtools.yang.data.api.schema.MapNode;
  41 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
  42 import org.opendaylight.yangtools.yang.data.api.schema.ValueNode;
  43 import org.opendaylight.yangtools.yang.data.api.schema.stream.NormalizedNodeStreamWriter;
  44 import org.opendaylight.yangtools.yang.data.codec.gson.JSONCodecFactory;
  45 import org.opendaylight.yangtools.yang.data.codec.gson.JSONCodecFactorySupplier;
  46 import org.opendaylight.yangtools.yang.data.codec.gson.JsonParserStream;
  47 import org.opendaylight.yangtools.yang.data.impl.schema.ImmutableNormalizedNodeStreamWriter;
  48 import org.opendaylight.yangtools.yang.data.impl.schema.NormalizedNodeResult;
  49 import org.opendaylight.yangtools.yang.model.api.Module;
  50 import org.opendaylight.yangtools.yang.model.api.SchemaContext;
  51 import org.opendaylight.yangtools.yang.model.parser.api.YangParser;
  52 import org.opendaylight.yangtools.yang.model.parser.api.YangParserException;
  53 import org.opendaylight.yangtools.yang.model.parser.api.YangParserFactory;
  54 import org.opendaylight.yangtools.yang.model.repo.api.StatementParserMode;
  55 import org.opendaylight.yangtools.yang.model.repo.api.YangTextSchemaSource;
  56
  57 public class YangUtils {
  58
  59     private static final YangParserFactory PARSER_FACTORY;
  60
  61     private static final Logger LOGGER = Logger.getLogger(YangUtils.class.getName());
  62
  63     private YangUtils() {
  64         throw new IllegalStateException("Utility class");
  65     }
  66
  67     static {
  68         final Iterator<YangParserFactory> it = ServiceLoader.load(YangParserFactory.class).iterator();
  69         if (!it.hasNext()) {
  70             throw new IllegalStateException("No YangParserFactory found");
  71         }
  72         PARSER_FACTORY = it.next();
  73     }
  74
  75     /**
  76      * Parse a file containing yang modules.
  77      *
  78      * @param yangModelFile a file containing one or more yang modules. The file has to have a .yang extension.
  79      * @return a SchemaContext representing the yang model
  80      * @throws IOException         when the system as an IO issue
  81      * @throws YangParserException when the file does not contain a valid yang structure
  82      */
  83     public static SchemaContext parseYangModelFile(final File yangModelFile) throws IOException, YangParserException {
  84         final YangTextSchemaSource yangTextSchemaSource = YangTextSchemaSource.forFile(yangModelFile);
  85         final YangParser yangParser = PARSER_FACTORY
  86                 .createParser(StatementParserMode.DEFAULT_MODE);
  87         yangParser.addSource(yangTextSchemaSource);
  88         return yangParser.buildEffectiveModel();
  89     }
  90
  91     /**
  92      * Parse a file containing json data for a certain model (schemaContext).
  93      *
  94      * @param jsonData      a string containing json data for the given model
  95      * @param schemaContext the SchemaContext for the given data
  96      * @return the NormalizedNode representing the json data
  97      */
  98     public static NormalizedNode<?, ?> parseJsonData(final String jsonData, final SchemaContext schemaContext)
  99             throws IOException {
 100         final JSONCodecFactory jsonCodecFactory = JSONCodecFactorySupplier.DRAFT_LHOTKA_NETMOD_YANG_JSON_02
 101                 .getShared(schemaContext);
 102         final NormalizedNodeResult normalizedNodeResult = new NormalizedNodeResult();
 103         final NormalizedNodeStreamWriter normalizedNodeStreamWriter = ImmutableNormalizedNodeStreamWriter
 104                 .from(normalizedNodeResult);
 105         try (final JsonParserStream jsonParserStream = JsonParserStream
 106                 .create(normalizedNodeStreamWriter, jsonCodecFactory)) {
 107             final JsonReader jsonReader = new JsonReader(new StringReader(jsonData));
 108             jsonParserStream.parse(jsonReader);
 109         }
 110         return normalizedNodeResult.getResult();
 111     }
 112
 113     /**
 114      * Break a Normalized Node tree into fragments that can be stored by the persistence service.
 115      *
 116      * @param tree   the normalized node tree
 117      * @param module the module applicable for the data in the normalized node
 118      * @return the 'root' Fragment for the tree contain all relevant children etc.
 119      */
 120     public static Fragment fragmentNormalizedNode(
 121             final NormalizedNode<? extends YangInstanceIdentifier.PathArgument, ?> tree,
 122             final Module module) {
 123         final QName[] nodeTypes = {tree.getNodeType()};
 124         final String xpath = buildXpathId(tree.getIdentifier());
 125         final Fragment rootFragment = Fragment.createRootFragment(module, nodeTypes, xpath);
 126         fragmentNormalizedNode(rootFragment, tree);
 127         return rootFragment;
 128     }
 129
 130     private static void fragmentNormalizedNode(final Fragment currentFragment,
 131                                                final NormalizedNode normalizedNode) {
 132         if (normalizedNode instanceof DataContainerNode) {
 133             inspectContainer(currentFragment, (DataContainerNode) normalizedNode);
 134         } else if (normalizedNode instanceof MapNode) {
 135             inspectKeyedList(currentFragment, (MapNode) normalizedNode);
 136         } else if (normalizedNode instanceof ValueNode) {
 137             inspectLeaf(currentFragment, (ValueNode) normalizedNode);
 138         } else if (normalizedNode instanceof LeafSetNode) {
 139             inspectLeafList(currentFragment, (LeafSetNode) normalizedNode);
 140         } else {
 141             LOGGER.warning("Cannot normalize " + normalizedNode.getClass());
 142         }
 143     }
 144
 145     private static void inspectLeaf(final Fragment currentFragment,
 146                                     final ValueNode valueNode) {
 147         final Object value = valueNode.getValue();
 148         currentFragment.addLeafValue(valueNode.getNodeType().getLocalName(), value);
 149     }
 150
 151     private static void inspectLeafList(final Fragment currentFragment,
 152                                         final LeafSetNode leafSetNode) {
 153         currentFragment.addLeafListName(leafSetNode.getNodeType().getLocalName());
 154         for (final NormalizedNode value : (Collection<NormalizedNode>) leafSetNode.getValue()) {
 155             fragmentNormalizedNode(currentFragment, value);
 156         }
 157     }
 158
 159     private static void inspectContainer(final Fragment currentFragment,
 160                                          final DataContainerNode dataContainerNode) {
 161         final Collection<NormalizedNode> leaves = (Collection) dataContainerNode.getValue();
 162         for (final NormalizedNode leaf : leaves) {
 163             fragmentNormalizedNode(currentFragment, leaf);
 164         }
 165     }
 166
 167     private static void inspectKeyedList(final Fragment currentFragment,
 168                                          final MapNode mapNode) {
 169         createNodeForEachListElement(currentFragment, mapNode);
 170     }
 171
 172     private static void createNodeForEachListElement(final Fragment currentFragment, final MapNode mapNode) {
 173         final Collection<MapEntryNode> mapEntryNodes = mapNode.getValue();
 174         for (final MapEntryNode mapEntryNode : mapEntryNodes) {
 175             final String xpathId = buildXpathId(mapEntryNode.getIdentifier());
 176             final Fragment listElementFragment =
 177                 currentFragment.createChildFragment(mapNode.getNodeType(), xpathId);
 178             fragmentNormalizedNode(listElementFragment, mapEntryNode);
 179         }
 180     }
 181
 182     private static String buildXpathId(final YangInstanceIdentifier.PathArgument nodeIdentifier) {
 183         final StringBuilder xpathIdBuilder = new StringBuilder();
 184         xpathIdBuilder.append("/").append(nodeIdentifier.getNodeType().getLocalName());
 185
 186         if (nodeIdentifier instanceof NodeIdentifierWithPredicates) {
 187             xpathIdBuilder.append(getKeyAttributesStatement((NodeIdentifierWithPredicates) nodeIdentifier));
 188         }
 189         return xpathIdBuilder.toString();
 190     }
 191
 192     private static String getKeyAttributesStatement(final NodeIdentifierWithPredicates nodeIdentifier) {
 193         final List<String> keyAttributes = nodeIdentifier.entrySet().stream().map(
 194             entry -> {
 195                 final String name = entry.getKey().getLocalName();
 196                 final String value = String.valueOf(entry.getValue()).replace("'", "\\'");
 197                 return String.format("@%s='%s'", name, value);
 198             }
 199         ).collect(Collectors.toList());
 200
 201         if (keyAttributes.isEmpty()) {
 202             return "";
 203         } else {
 204             Collections.sort(keyAttributes);
 205             return "[" + String.join(" and ", keyAttributes) + "]";
 206         }
 207     }
 208 }