cps-ncmp-service/src/main/java/org/onap/cps/ncmp/api/impl/NetworkCmProxyDataServiceImpl.java

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2021 highstreet technologies GmbH
   4  *  Modifications Copyright (C) 2021 Nordix Foundation
   5  *  Modifications Copyright (C) 2021 Pantheon.tech
   6  *  Modifications Copyright (C) 2021 Bell Canada
   7  *  ================================================================================
   8  *  Licensed under the Apache License, Version 2.0 (the "License");
   9  *  you may not use this file except in compliance with the License.
  10  *  You may obtain a copy of the License at
  11  *
  12  *        http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  *  Unless required by applicable law or agreed to in writing, software
  15  *  distributed under the License is distributed on an "AS IS" BASIS,
  16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  *  See the License for the specific language governing permissions and
  18  *  limitations under the License.
  19  *
  20  *  SPDX-License-Identifier: Apache-2.0
  21  *  ============LICENSE_END=========================================================
  22  */
  23
  24 package org.onap.cps.ncmp.api.impl;
  25
  26 import com.fasterxml.jackson.core.JsonProcessingException;
  27 import com.fasterxml.jackson.databind.ObjectMapper;
  28 import com.google.gson.Gson;
  29 import com.google.gson.JsonArray;
  30 import com.google.gson.JsonElement;
  31 import com.google.gson.JsonObject;
  32 import java.time.OffsetDateTime;
  33 import java.util.ArrayList;
  34 import java.util.Collection;
  35 import java.util.Collections;
  36 import java.util.HashMap;
  37 import java.util.LinkedHashMap;
  38 import java.util.List;
  39 import java.util.Map;
  40 import javax.validation.constraints.NotNull;
  41 import lombok.extern.slf4j.Slf4j;
  42 import org.onap.cps.api.CpsAdminService;
  43 import org.onap.cps.api.CpsDataService;
  44 import org.onap.cps.api.CpsModuleService;
  45 import org.onap.cps.api.CpsQueryService;
  46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
  47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
  48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
  49 import org.onap.cps.ncmp.api.models.CmHandle;
  50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
  51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
  52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
  53 import org.onap.cps.ncmp.api.models.PersistenceCmHandle.AdditionalProperty;
  54 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
  55 import org.onap.cps.ncmp.api.models.YangResource;
  56 import org.onap.cps.spi.FetchDescendantsOption;
  57 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
  58 import org.onap.cps.spi.exceptions.DataValidationException;
  59 import org.onap.cps.spi.model.DataNode;
  60 import org.onap.cps.spi.model.ModuleReference;
  61 import org.springframework.http.HttpStatus;
  62 import org.springframework.http.MediaType;
  63 import org.springframework.http.ResponseEntity;
  64 import org.springframework.stereotype.Service;
  65 import org.springframework.util.StringUtils;
  66
  67 @Slf4j
  68 @Service
  69 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
  70
  71     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
  72
  73     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
  74
  75     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
  76
  77     private static final OffsetDateTime NO_TIMESTAMP = null;
  78
  79     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
  80
  81     private  static final String REVISION = "revision";
  82
  83     private CpsDataService cpsDataService;
  84
  85     private ObjectMapper objectMapper;
  86
  87     private CpsQueryService cpsQueryService;
  88
  89     private DmiOperations dmiOperations;
  90
  91     private CpsModuleService cpsModuleService;
  92
  93     private CpsAdminService cpsAdminService;
  94
  95     /**
  96      * Constructor Injection for Dependencies.
  97      * @param dmiOperations DMI operation
  98      * @param cpsDataService Data Service Interface
  99      * @param cpsQueryService Query Service Interface
 100      * @param objectMapper Object Mapper
 101      */
 102     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
 103         final CpsModuleService cpsModuleService,
 104         final CpsDataService cpsDataService,
 105         final CpsQueryService cpsQueryService,
 106         final CpsAdminService cpsAdminService,
 107         final ObjectMapper objectMapper) {
 108         this.dmiOperations = dmiOperations;
 109         this.cpsModuleService = cpsModuleService;
 110         this.cpsDataService = cpsDataService;
 111         this.cpsQueryService = cpsQueryService;
 112         this.cpsAdminService = cpsAdminService;
 113         this.objectMapper = objectMapper;
 114     }
 115
 116     @Override
 117     public DataNode getDataNode(final String cmHandle, final String xpath,
 118         final FetchDescendantsOption fetchDescendantsOption) {
 119         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
 120     }
 121
 122     @Override
 123     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
 124         final FetchDescendantsOption fetchDescendantsOption) {
 125         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
 126     }
 127
 128     @Override
 129     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 130         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
 131             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
 132         } else {
 133             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 134         }
 135     }
 136
 137     @Override
 138     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 139         cpsDataService.saveListNodeData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 140     }
 141
 142     @Override
 143     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 144         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 145     }
 146
 147     @Override
 148     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 149         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 150     }
 151
 152     @Override
 153     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
 154         try {
 155             if (dmiPluginRegistration.getCreatedCmHandles() != null) {
 156                 parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
 157             }
 158             if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
 159                 parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
 160             }
 161             if (dmiPluginRegistration.getRemovedCmHandles() != null) {
 162                 parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
 163             }
 164         } catch (final JsonProcessingException e) {
 165             handleJsonProcessingException(dmiPluginRegistration, e);
 166         }
 167     }
 168
 169     @Override
 170     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
 171                                                         final @NotNull String resourceIdentifier,
 172                                                         final String acceptParam,
 173                                                         final String fieldsQueryParam,
 174                                                         final Integer depthQueryParam) {
 175
 176         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 177         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 178         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 179         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
 180                 cmHandle,
 181                 resourceIdentifier,
 182                 fieldsQueryParam,
 183                 depthQueryParam,
 184                 acceptParam,
 185                 dmiRequestBody);
 186         return handleResponse(response);
 187     }
 188
 189     @Override
 190     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 191                                                                final @NotNull String resourceIdentifier,
 192                                                                final String acceptParam,
 193                                                                final String fields,
 194                                                                final Integer depth) {
 195         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 196         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 197         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 198         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
 199                 cmHandle,
 200                 resourceIdentifier,
 201                 fields,
 202                 depth,
 203                 acceptParam,
 204                 dmiRequestBody);
 205         return handleResponse(response);
 206     }
 207
 208     @Override
 209     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 210                                                                 final @NotNull String resourceIdentifier,
 211                                                                 final @NotNull String requestBody,
 212                                                                 final String contentType) {
 213         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 214         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 215         final Collection<DataNode> cmHandlePropertiesAsDataNodes     = cmHandleDataNode.getChildDataNodes();
 216         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(cmHandlePropertiesAsDataNodes);
 217         final GenericRequestBody dmiRequestBodyObject = GenericRequestBody.builder()
 218                 .operation(GenericRequestBody.OperationEnum.CREATE)
 219                 .dataType(contentType)
 220                 .data(requestBody)
 221                 .cmHandleProperties(cmHandlePropertiesAsMap)
 222                 .build();
 223         final String dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
 224         final ResponseEntity<String> responseEntity = dmiOperations
 225                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
 226                         cmHandle,
 227                         resourceIdentifier,
 228                         dmiRequestBody);
 229         handleResponseForPost(responseEntity);
 230     }
 231
 232     @Override
 233     public Collection<ModuleReference> getYangResourcesModuleReferences(final String cmHandle) {
 234         return cpsModuleService.getYangResourcesModuleReferences(NF_PROXY_DATASPACE_NAME, cmHandle);
 235     }
 236
 237     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
 238         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
 239         return cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
 240                 NCMP_DMI_REGISTRY_ANCHOR,
 241                 xpathForDmiRegistryToFetchCmHandle,
 242                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
 243     }
 244
 245     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
 246         try {
 247             return objectMapper.writeValueAsString(requestBodyObject);
 248         } catch (final JsonProcessingException e) {
 249             log.error("Parsing error occurred while converting Object to JSON.");
 250             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
 251                 e.getMessage());
 252         }
 253     }
 254
 255     private static Map<String, String> getCmHandlePropertiesAsMap(
 256             final Collection<DataNode> cmHandlePropertiesAsDataNode) {
 257         if (cmHandlePropertiesAsDataNode.isEmpty()) {
 258             return Collections.emptyMap();
 259         }
 260         final Map<String, String> cmHandlePropertiesAsMap = new LinkedHashMap<>();
 261         for (final DataNode dataNode: cmHandlePropertiesAsDataNode) {
 262             cmHandlePropertiesAsMap.put(String.valueOf(dataNode.getLeaves().get("name")),
 263                     String.valueOf(dataNode.getLeaves().get("value")));
 264         }
 265         return cmHandlePropertiesAsMap;
 266     }
 267
 268     private static Map<String, String> getCmHandlePropertiesAsMap(
 269             final List<AdditionalProperty> cmHandlePropertiesAsList) {
 270         if (cmHandlePropertiesAsList == null || cmHandlePropertiesAsList.isEmpty()) {
 271             return Collections.emptyMap();
 272         }
 273         final Map<String, String> cmHandlePropertiesAsMap = new LinkedHashMap<>();
 274         for (final AdditionalProperty additionalProperty: cmHandlePropertiesAsList) {
 275             cmHandlePropertiesAsMap.put(additionalProperty.getName(),
 276                     additionalProperty.getValue());
 277         }
 278         return cmHandlePropertiesAsMap;
 279     }
 280
 281     private static Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
 282         if (responseEntity.getStatusCode() == HttpStatus.OK) {
 283             return responseEntity.getBody();
 284         } else {
 285             throw new NcmpException("Not able to get resource data.",
 286                     "DMI status code: " + responseEntity.getStatusCodeValue()
 287                             + ", DMI response body: " + responseEntity.getBody());
 288         }
 289     }
 290
 291     private static void handleResponseForPost(final @NotNull ResponseEntity<String> responseEntity) {
 292         if (responseEntity.getStatusCode() != HttpStatus.OK) {
 293             throw new NcmpException("Not able to create resource data.",
 294                     "DMI status code: " + responseEntity.getStatusCodeValue()
 295                             + ", DMI response body: " + responseEntity.getBody());
 296         }
 297     }
 298
 299     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
 300         final Collection<DataNode> cmHandlePropertiesAsDataNodes = cmHandleDataNode.getChildDataNodes();
 301         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(cmHandlePropertiesAsDataNodes);
 302         final GenericRequestBody requestBodyObject = GenericRequestBody.builder()
 303                 .operation(GenericRequestBody.OperationEnum.READ)
 304                 .cmHandleProperties(cmHandlePropertiesAsMap)
 305                 .build();
 306         return prepareOperationBody(requestBodyObject);
 307     }
 308
 309     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration)
 310         throws JsonProcessingException {
 311         final PersistenceCmHandlesList updatedPersistenceCmHandlesList = toPersistenceCmHandlesList(
 312             dmiPluginRegistration.getDmiPlugin(),
 313             dmiPluginRegistration.getUpdatedCmHandles());
 314         final String cmHandlesAsJson = objectMapper.writeValueAsString(updatedPersistenceCmHandlesList);
 315         cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 316                 "/dmi-registry", cmHandlesAsJson, NO_TIMESTAMP);
 317     }
 318
 319     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
 320         final DmiPluginRegistration dmiPluginRegistration) throws JsonProcessingException {
 321         final PersistenceCmHandlesList createdPersistenceCmHandlesList = toPersistenceCmHandlesList(
 322             dmiPluginRegistration.getDmiPlugin(),
 323             dmiPluginRegistration.getCreatedCmHandles());
 324         registerAndSyncNewCmHandles(createdPersistenceCmHandlesList);
 325     }
 326
 327     private static PersistenceCmHandlesList toPersistenceCmHandlesList(final String dmiPlugin,
 328                                                                        final Collection<CmHandle> cmHandles) {
 329         final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
 330         for (final CmHandle cmHandle : cmHandles) {
 331             final PersistenceCmHandle persistenceCmHandle = toPersistenceCmHandle(dmiPlugin, cmHandle);
 332             persistenceCmHandlesList.add(persistenceCmHandle);
 333         }
 334         return persistenceCmHandlesList;
 335     }
 336
 337     private static void handleJsonProcessingException(final DmiPluginRegistration dmiPluginRegistration,
 338                                                       final JsonProcessingException e) {
 339         final String message = "Parsing error occurred while processing DMI Plugin Registration"
 340             + dmiPluginRegistration;
 341         log.error(message);
 342         throw new DataValidationException(message, e.getMessage(), e);
 343     }
 344
 345     private void registerAndSyncNewCmHandles(final PersistenceCmHandlesList persistenceCmHandlesList)
 346         throws JsonProcessingException  {
 347         final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 348         cpsDataService.saveListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
 349             cmHandleJsonData, NO_TIMESTAMP);
 350
 351         for (final PersistenceCmHandle persistenceCmHandle : persistenceCmHandlesList.getPersistenceCmHandles()) {
 352             createAnchorAndSyncModel(persistenceCmHandle);
 353         }
 354     }
 355
 356     protected void createAnchorAndSyncModel(final PersistenceCmHandle persistenceCmHandle) {
 357         createAnchor(persistenceCmHandle);
 358         fetchAndSyncModules(persistenceCmHandle);
 359     }
 360
 361     private static PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
 362                                                              final CmHandle cmHandle) {
 363         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
 364         persistenceCmHandle.setDmiServiceName(dmiPluginService);
 365         persistenceCmHandle.setId(cmHandle.getCmHandleID());
 366         if (cmHandle.getCmHandleProperties() == null) {
 367             persistenceCmHandle.setAdditionalProperties(Collections.emptyMap());
 368         } else {
 369             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
 370         }
 371         return persistenceCmHandle;
 372     }
 373
 374     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 375         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
 376             try {
 377                 cpsDataService.deleteListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 378                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
 379             } catch (final DataNodeNotFoundException e) {
 380                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
 381             }
 382         }
 383     }
 384
 385     private void fetchAndSyncModules(final PersistenceCmHandle persistenceCmHandle) {
 386         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(
 387                 persistenceCmHandle.getAdditionalProperties());
 388
 389         final List<ModuleReference> moduleReferencesFromCmHandle =
 390             fetchModuleReferencesFromDmi(persistenceCmHandle, cmHandlePropertiesAsMap);
 391         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
 392         final List<ModuleReference> unknownModuleReferences = new ArrayList<>();
 393         prepareModuleSubsets(moduleReferencesFromCmHandle, existingModuleReferences, unknownModuleReferences);
 394
 395         final Map<String, String> newYangResourcesModuleNameToContentMap =
 396             getNewYangResourcesFromDmi(persistenceCmHandle, unknownModuleReferences, cmHandlePropertiesAsMap);
 397
 398         cpsModuleService.createSchemaSetFromModules(NF_PROXY_DATASPACE_NAME, persistenceCmHandle.getId(),
 399             newYangResourcesModuleNameToContentMap, existingModuleReferences);
 400     }
 401
 402     private void prepareModuleSubsets(final List<ModuleReference> moduleReferencesFromCmHandle,
 403                                       final List<ModuleReference> existingModuleReferences,
 404                                       final List<ModuleReference> unknownModuleReferences) {
 405
 406         final Collection<ModuleReference> knownModuleReferencesInCps =
 407             cpsModuleService.getYangResourceModuleReferences(NF_PROXY_DATASPACE_NAME);
 408
 409         for (final ModuleReference moduleReferenceFromDmiForCmHandle : moduleReferencesFromCmHandle) {
 410             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
 411                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 412             } else {
 413                 unknownModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 414             }
 415         }
 416     }
 417
 418     private List<ModuleReference> fetchModuleReferencesFromDmi(final PersistenceCmHandle persistenceCmHandle,
 419                                                                final Map<String, String> cmHandlePropertiesAsMap) {
 420         final GenericRequestBody requestBodyObject = GenericRequestBody.builder()
 421                 .operation(GenericRequestBody.OperationEnum.READ)
 422                 .cmHandleProperties(cmHandlePropertiesAsMap)
 423                 .build();
 424         final String jsonBody = prepareOperationBody(requestBodyObject);
 425         final ResponseEntity<String> dmiFetchModulesResponseEntity =
 426             dmiOperations.getResourceFromDmiWithJsonData(persistenceCmHandle.getDmiServiceName(),
 427                     jsonBody, persistenceCmHandle.getId(), "modules");
 428         return toModuleReferences(dmiFetchModulesResponseEntity);
 429     }
 430
 431     private void createAnchor(final PersistenceCmHandle persistenceCmHandle) {
 432         cpsAdminService.createAnchor(NF_PROXY_DATASPACE_NAME, persistenceCmHandle.getId(), persistenceCmHandle.getId());
 433     }
 434
 435     private String getRequestBodyToFetchYangResourceFromDmi(final List<ModuleReference> unknownModuleReferences,
 436                                                             final Map<String, String> cmHandlePropertiesAsMap) {
 437         final JsonArray moduleReferencesAsJson = getModuleReferencesAsJson(unknownModuleReferences);
 438         final JsonObject data = new JsonObject();
 439         data.add("modules", moduleReferencesAsJson);
 440         final GenericRequestBody dmiRequestBodyObject = GenericRequestBody.builder()
 441                 .operation(GenericRequestBody.OperationEnum.READ)
 442                 .dataType(MediaType.APPLICATION_JSON_VALUE)
 443                 .data(data.toString())
 444                 .cmHandleProperties(cmHandlePropertiesAsMap)
 445                 .build();
 446         return prepareOperationBody(dmiRequestBodyObject);
 447     }
 448
 449     private static JsonArray getModuleReferencesAsJson(final List<ModuleReference> unknownModuleReferences) {
 450         final JsonArray moduleReferences = new JsonArray();
 451
 452         for (final ModuleReference moduleReference : unknownModuleReferences) {
 453             final JsonObject moduleReferenceAsJson = new JsonObject();
 454             moduleReferenceAsJson.addProperty("name", moduleReference.getModuleName());
 455             moduleReferenceAsJson.addProperty(REVISION, moduleReference.getRevision());
 456             moduleReferences.add(moduleReferenceAsJson);
 457         }
 458         return moduleReferences;
 459     }
 460
 461     private Map<String, String> getNewYangResourcesFromDmi(final PersistenceCmHandle persistenceCmHandle,
 462                                                            final List<ModuleReference> unknownModuleReferences,
 463                                                            final Map<String, String> cmHandlePropertiesAsMap) {
 464         final String jsonData = getRequestBodyToFetchYangResourceFromDmi(
 465                 unknownModuleReferences, cmHandlePropertiesAsMap);
 466
 467         final ResponseEntity<String> moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmiWithJsonData(
 468                 persistenceCmHandle.getDmiServiceName(),
 469                 jsonData,
 470                 persistenceCmHandle.getId(),
 471                 "moduleResources");
 472
 473         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(),
 474             JsonArray.class);
 475         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
 476
 477         for (final JsonElement moduleResource : moduleResources) {
 478             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
 479             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
 480         }
 481         return newYangResourcesModuleNameToContentMap;
 482     }
 483
 484     private static YangResource toYangResource(final JsonObject yangResourceAsJson) {
 485         final YangResource yangResource = new YangResource();
 486         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
 487         yangResource.setRevision(yangResourceAsJson.get(REVISION).getAsString());
 488         final String yangSourceJson = yangResourceAsJson.get("yangSource").getAsString();
 489
 490         String yangSource = JsonUtils.removeWrappingTokens(yangSourceJson);
 491         yangSource = JsonUtils.removeRedundantEscapeCharacters(yangSource);
 492         yangResource.setYangSource(yangSource);
 493
 494         return yangResource;
 495     }
 496
 497     private static List<ModuleReference> toModuleReferences(
 498             final ResponseEntity<String> dmiFetchModulesResponseEntity) {
 499         final List<ModuleReference> moduleReferences = new ArrayList<>();
 500         final JsonObject bodyAsJsonObject = new Gson().fromJson(dmiFetchModulesResponseEntity.getBody(),
 501             JsonObject.class);
 502         final JsonArray moduleReferencesAsJson = bodyAsJsonObject.getAsJsonArray("schemas");
 503         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
 504             final ModuleReference moduleReference = toModuleReference((JsonObject) moduleReferenceAsJson);
 505             moduleReferences.add(moduleReference);
 506         }
 507         return moduleReferences;
 508     }
 509
 510     private static ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
 511         final ModuleReference moduleReference = new ModuleReference();
 512         moduleReference.setModuleName(moduleReferenceAsJson.get("moduleName").getAsString());
 513         moduleReference.setRevision(moduleReferenceAsJson.get(REVISION).getAsString());
 514         return moduleReference;
 515     }
 516 }