cps-ncmp-service/src/main/java/org/onap/cps/ncmp/api/impl/NetworkCmProxyDataServiceImpl.java

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2021 highstreet technologies GmbH
   4  *  Modifications Copyright (C) 2021 Nordix Foundation
   5  *  Modifications Copyright (C) 2021 Pantheon.tech
   6  *  Modifications Copyright (C) 2021 Bell Canada
   7  *  ================================================================================
   8  *  Licensed under the Apache License, Version 2.0 (the "License");
   9  *  you may not use this file except in compliance with the License.
  10  *  You may obtain a copy of the License at
  11  *
  12  *        http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  *  Unless required by applicable law or agreed to in writing, software
  15  *  distributed under the License is distributed on an "AS IS" BASIS,
  16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  *  See the License for the specific language governing permissions and
  18  *  limitations under the License.
  19  *
  20  *  SPDX-License-Identifier: Apache-2.0
  21  *  ============LICENSE_END=========================================================
  22  */
  23
  24 package org.onap.cps.ncmp.api.impl;
  25
  26 import com.fasterxml.jackson.core.JsonProcessingException;
  27 import com.fasterxml.jackson.databind.ObjectMapper;
  28 import com.google.gson.Gson;
  29 import com.google.gson.JsonArray;
  30 import com.google.gson.JsonElement;
  31 import com.google.gson.JsonObject;
  32 import java.time.OffsetDateTime;
  33 import java.util.ArrayList;
  34 import java.util.Collection;
  35 import java.util.Collections;
  36 import java.util.HashMap;
  37 import java.util.LinkedHashMap;
  38 import java.util.List;
  39 import java.util.Map;
  40 import javax.validation.constraints.NotNull;
  41 import lombok.extern.slf4j.Slf4j;
  42 import org.onap.cps.api.CpsAdminService;
  43 import org.onap.cps.api.CpsDataService;
  44 import org.onap.cps.api.CpsModuleService;
  45 import org.onap.cps.api.CpsQueryService;
  46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
  47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
  48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
  49 import org.onap.cps.ncmp.api.models.CmHandle;
  50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
  51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
  52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
  53 import org.onap.cps.ncmp.api.models.PersistenceCmHandle.AdditionalProperty;
  54 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
  55 import org.onap.cps.ncmp.api.models.YangResource;
  56 import org.onap.cps.spi.FetchDescendantsOption;
  57 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
  58 import org.onap.cps.spi.exceptions.DataValidationException;
  59 import org.onap.cps.spi.model.DataNode;
  60 import org.onap.cps.spi.model.ModuleReference;
  61 import org.springframework.http.HttpStatus;
  62 import org.springframework.http.ResponseEntity;
  63 import org.springframework.stereotype.Service;
  64 import org.springframework.util.StringUtils;
  65
  66 @Slf4j
  67 @Service
  68 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
  69
  70     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
  71
  72     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
  73
  74     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
  75
  76     private static final OffsetDateTime NO_TIMESTAMP = null;
  77
  78     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
  79
  80     private  static final String REVISION = "revision";
  81
  82     private CpsDataService cpsDataService;
  83
  84     private ObjectMapper objectMapper;
  85
  86     private CpsQueryService cpsQueryService;
  87
  88     private DmiOperations dmiOperations;
  89
  90     private CpsModuleService cpsModuleService;
  91
  92     private CpsAdminService cpsAdminService;
  93
  94     /**
  95      * Constructor Injection for Dependencies.
  96      * @param dmiOperations DMI operation
  97      * @param cpsDataService Data Service Interface
  98      * @param cpsQueryService Query Service Interface
  99      * @param objectMapper Object Mapper
 100      */
 101     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
 102         final CpsModuleService cpsModuleService,
 103         final CpsDataService cpsDataService,
 104         final CpsQueryService cpsQueryService,
 105         final CpsAdminService cpsAdminService,
 106         final ObjectMapper objectMapper) {
 107         this.dmiOperations = dmiOperations;
 108         this.cpsModuleService = cpsModuleService;
 109         this.cpsDataService = cpsDataService;
 110         this.cpsQueryService = cpsQueryService;
 111         this.cpsAdminService = cpsAdminService;
 112         this.objectMapper = objectMapper;
 113     }
 114
 115     @Override
 116     public DataNode getDataNode(final String cmHandle, final String xpath,
 117         final FetchDescendantsOption fetchDescendantsOption) {
 118         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
 119     }
 120
 121     @Override
 122     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
 123         final FetchDescendantsOption fetchDescendantsOption) {
 124         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
 125     }
 126
 127     @Override
 128     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 129         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
 130             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
 131         } else {
 132             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 133         }
 134     }
 135
 136     @Override
 137     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 138         cpsDataService.saveListElements(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 139     }
 140
 141     @Override
 142     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 143         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 144     }
 145
 146     @Override
 147     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 148         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 149     }
 150
 151     @Override
 152     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
 153         try {
 154             if (dmiPluginRegistration.getCreatedCmHandles() != null) {
 155                 parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
 156             }
 157             if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
 158                 parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
 159             }
 160             if (dmiPluginRegistration.getRemovedCmHandles() != null) {
 161                 parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
 162             }
 163         } catch (final JsonProcessingException e) {
 164             handleJsonProcessingException(dmiPluginRegistration, e);
 165         }
 166     }
 167
 168     @Override
 169     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
 170                                                         final @NotNull String resourceIdentifier,
 171                                                         final String acceptParamInHeader,
 172                                                         final String optionsParamInQuery) {
 173
 174         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 175         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 176         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 177         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
 178                 cmHandle,
 179                 resourceIdentifier,
 180                 optionsParamInQuery,
 181                 acceptParamInHeader,
 182                 dmiRequestBody);
 183         return handleResponse(response);
 184     }
 185
 186     @Override
 187     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 188                                                                final @NotNull String resourceIdentifier,
 189                                                                final String acceptParamInHeader,
 190                                                                final String optionsParamInQuery) {
 191         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 192         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 193         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 194         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
 195                 cmHandle,
 196                 resourceIdentifier,
 197                 optionsParamInQuery,
 198                 acceptParamInHeader,
 199                 dmiRequestBody);
 200         return handleResponse(response);
 201     }
 202
 203     @Override
 204     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 205                                                                 final @NotNull String resourceIdentifier,
 206                                                                 final @NotNull String requestBody,
 207                                                                 final String contentType) {
 208         final DataNode cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 209         final String dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 210         final Collection<DataNode> cmHandlePropertiesAsDataNodes     = cmHandleDataNode.getChildDataNodes();
 211         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(cmHandlePropertiesAsDataNodes);
 212         final GenericRequestBody dmiRequestBodyObject = GenericRequestBody.builder()
 213                 .operation(GenericRequestBody.OperationEnum.CREATE)
 214                 .dataType(contentType)
 215                 .data(requestBody)
 216                 .cmHandleProperties(cmHandlePropertiesAsMap)
 217                 .build();
 218         final String dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
 219         final ResponseEntity<String> responseEntity = dmiOperations
 220                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
 221                         cmHandle,
 222                         resourceIdentifier,
 223                         dmiRequestBody);
 224         handleResponseForPost(responseEntity);
 225     }
 226
 227     @Override
 228     public Collection<ModuleReference> getYangResourcesModuleReferences(final String cmHandle) {
 229         return cpsModuleService.getYangResourcesModuleReferences(NF_PROXY_DATASPACE_NAME, cmHandle);
 230     }
 231
 232     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
 233         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
 234         return cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
 235                 NCMP_DMI_REGISTRY_ANCHOR,
 236                 xpathForDmiRegistryToFetchCmHandle,
 237                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
 238     }
 239
 240     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
 241         try {
 242             return objectMapper.writeValueAsString(requestBodyObject);
 243         } catch (final JsonProcessingException e) {
 244             log.error("Parsing error occurred while converting Object to JSON.");
 245             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
 246                 e.getMessage());
 247         }
 248     }
 249
 250     private static Map<String, String> getCmHandlePropertiesAsMap(
 251             final Collection<DataNode> cmHandlePropertiesAsDataNode) {
 252         if (cmHandlePropertiesAsDataNode.isEmpty()) {
 253             return Collections.emptyMap();
 254         }
 255         final Map<String, String> cmHandlePropertiesAsMap = new LinkedHashMap<>();
 256         for (final DataNode dataNode: cmHandlePropertiesAsDataNode) {
 257             cmHandlePropertiesAsMap.put(String.valueOf(dataNode.getLeaves().get("name")),
 258                     String.valueOf(dataNode.getLeaves().get("value")));
 259         }
 260         return cmHandlePropertiesAsMap;
 261     }
 262
 263     private static Map<String, String> getCmHandlePropertiesAsMap(
 264             final List<AdditionalProperty> cmHandlePropertiesAsList) {
 265         if (cmHandlePropertiesAsList == null || cmHandlePropertiesAsList.isEmpty()) {
 266             return Collections.emptyMap();
 267         }
 268         final Map<String, String> cmHandlePropertiesAsMap = new LinkedHashMap<>();
 269         for (final AdditionalProperty additionalProperty: cmHandlePropertiesAsList) {
 270             cmHandlePropertiesAsMap.put(additionalProperty.getName(),
 271                     additionalProperty.getValue());
 272         }
 273         return cmHandlePropertiesAsMap;
 274     }
 275
 276     private static Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
 277         if (responseEntity.getStatusCode() == HttpStatus.OK) {
 278             return responseEntity.getBody();
 279         } else {
 280             throw new NcmpException("Not able to get resource data.",
 281                     "DMI status code: " + responseEntity.getStatusCodeValue()
 282                             + ", DMI response body: " + responseEntity.getBody());
 283         }
 284     }
 285
 286     private static void handleResponseForPost(final @NotNull ResponseEntity<String> responseEntity) {
 287         if (!HttpStatus.valueOf(responseEntity.getStatusCodeValue()).is2xxSuccessful()) {
 288             throw new NcmpException("Not able to create resource data.",
 289                     "DMI status code: " + responseEntity.getStatusCodeValue()
 290                             + ", DMI response body: " + responseEntity.getBody());
 291         }
 292     }
 293
 294     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
 295         final Collection<DataNode> cmHandlePropertiesAsDataNodes = cmHandleDataNode.getChildDataNodes();
 296         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(cmHandlePropertiesAsDataNodes);
 297         final GenericRequestBody requestBodyObject = GenericRequestBody.builder()
 298                 .operation(GenericRequestBody.OperationEnum.READ)
 299                 .cmHandleProperties(cmHandlePropertiesAsMap)
 300                 .build();
 301         return prepareOperationBody(requestBodyObject);
 302     }
 303
 304     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration)
 305         throws JsonProcessingException {
 306         final PersistenceCmHandlesList updatedPersistenceCmHandlesList = toPersistenceCmHandlesList(
 307             dmiPluginRegistration.getDmiPlugin(),
 308             dmiPluginRegistration.getUpdatedCmHandles());
 309         final String cmHandlesAsJson = objectMapper.writeValueAsString(updatedPersistenceCmHandlesList);
 310         cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 311                 "/dmi-registry", cmHandlesAsJson, NO_TIMESTAMP);
 312     }
 313
 314     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
 315         final DmiPluginRegistration dmiPluginRegistration) throws JsonProcessingException {
 316         final PersistenceCmHandlesList createdPersistenceCmHandlesList = toPersistenceCmHandlesList(
 317             dmiPluginRegistration.getDmiPlugin(),
 318             dmiPluginRegistration.getCreatedCmHandles());
 319         registerAndSyncNewCmHandles(createdPersistenceCmHandlesList);
 320     }
 321
 322     private static PersistenceCmHandlesList toPersistenceCmHandlesList(final String dmiPlugin,
 323                                                                        final Collection<CmHandle> cmHandles) {
 324         final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
 325         for (final CmHandle cmHandle : cmHandles) {
 326             final PersistenceCmHandle persistenceCmHandle = toPersistenceCmHandle(dmiPlugin, cmHandle);
 327             persistenceCmHandlesList.add(persistenceCmHandle);
 328         }
 329         return persistenceCmHandlesList;
 330     }
 331
 332     private static void handleJsonProcessingException(final DmiPluginRegistration dmiPluginRegistration,
 333                                                       final JsonProcessingException e) {
 334         final String message = "Parsing error occurred while processing DMI Plugin Registration"
 335             + dmiPluginRegistration;
 336         log.error(message);
 337         throw new DataValidationException(message, e.getMessage(), e);
 338     }
 339
 340     private void registerAndSyncNewCmHandles(final PersistenceCmHandlesList persistenceCmHandlesList)
 341         throws JsonProcessingException  {
 342         final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 343         cpsDataService.saveListElements(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
 344             cmHandleJsonData, NO_TIMESTAMP);
 345
 346         for (final PersistenceCmHandle persistenceCmHandle : persistenceCmHandlesList.getPersistenceCmHandles()) {
 347             syncModulesAndCreateAnchor(persistenceCmHandle);
 348         }
 349     }
 350
 351     protected void syncModulesAndCreateAnchor(final PersistenceCmHandle persistenceCmHandle) {
 352         fetchAndSyncModules(persistenceCmHandle);
 353         createAnchor(persistenceCmHandle);
 354     }
 355
 356     private static PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
 357                                                              final CmHandle cmHandle) {
 358         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
 359         persistenceCmHandle.setDmiServiceName(dmiPluginService);
 360         persistenceCmHandle.setId(cmHandle.getCmHandleID());
 361         if (cmHandle.getCmHandleProperties() == null) {
 362             persistenceCmHandle.setAdditionalProperties(Collections.emptyMap());
 363         } else {
 364             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
 365         }
 366         return persistenceCmHandle;
 367     }
 368
 369     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 370         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
 371             try {
 372                 cpsDataService.deleteListOrListElement(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 373                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
 374             } catch (final DataNodeNotFoundException e) {
 375                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
 376             }
 377         }
 378     }
 379
 380     private void fetchAndSyncModules(final PersistenceCmHandle persistenceCmHandle) {
 381         final Map<String, String> cmHandlePropertiesAsMap = getCmHandlePropertiesAsMap(
 382                 persistenceCmHandle.getAdditionalProperties());
 383
 384         final List<ModuleReference> moduleReferencesFromCmHandle =
 385             fetchModuleReferencesFromDmi(persistenceCmHandle, cmHandlePropertiesAsMap);
 386         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
 387         final List<ModuleReference> unknownModuleReferences = new ArrayList<>();
 388         prepareModuleSubsets(moduleReferencesFromCmHandle, existingModuleReferences, unknownModuleReferences);
 389
 390         final Map<String, String> newYangResourcesModuleNameToContentMap;
 391         if (unknownModuleReferences.isEmpty()) {
 392             newYangResourcesModuleNameToContentMap = new HashMap<>();
 393         } else {
 394             newYangResourcesModuleNameToContentMap = getNewYangResourcesFromDmi(persistenceCmHandle,
 395                 unknownModuleReferences, cmHandlePropertiesAsMap);
 396         }
 397         cpsModuleService.createSchemaSetFromModules(NF_PROXY_DATASPACE_NAME, persistenceCmHandle.getId(),
 398             newYangResourcesModuleNameToContentMap, existingModuleReferences);
 399     }
 400
 401     private void prepareModuleSubsets(final List<ModuleReference> moduleReferencesFromCmHandle,
 402                                       final List<ModuleReference> existingModuleReferences,
 403                                       final List<ModuleReference> unknownModuleReferences) {
 404
 405         final Collection<ModuleReference> knownModuleReferencesInCps =
 406             cpsModuleService.getYangResourceModuleReferences(NF_PROXY_DATASPACE_NAME);
 407
 408         for (final ModuleReference moduleReferenceFromDmiForCmHandle : moduleReferencesFromCmHandle) {
 409             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
 410                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 411             } else {
 412                 unknownModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 413             }
 414         }
 415     }
 416
 417     private List<ModuleReference> fetchModuleReferencesFromDmi(final PersistenceCmHandle persistenceCmHandle,
 418                                                                final Map<String, String> cmHandlePropertiesAsMap) {
 419         final GenericRequestBody genericRequestBody = GenericRequestBody.builder()
 420                 .cmHandleProperties(cmHandlePropertiesAsMap)
 421                 .build();
 422         final String jsonBodyWithOnlyCmHandleProperties = prepareOperationBody(genericRequestBody);
 423         final ResponseEntity<String> dmiFetchModulesResponseEntity =
 424             dmiOperations.getResourceFromDmiWithJsonData(persistenceCmHandle.getDmiServiceName(),
 425                     jsonBodyWithOnlyCmHandleProperties, persistenceCmHandle.getId(), "modules");
 426         return toModuleReferences(dmiFetchModulesResponseEntity);
 427     }
 428
 429     private void createAnchor(final PersistenceCmHandle persistenceCmHandle) {
 430         cpsAdminService.createAnchor(NF_PROXY_DATASPACE_NAME, persistenceCmHandle.getId(), persistenceCmHandle.getId());
 431     }
 432
 433     private String getRequestBodyToFetchYangResourceFromDmi(final List<ModuleReference> unknownModuleReferences,
 434                                                             final Map<String, String> cmHandlePropertiesAsMap) {
 435         final JsonArray moduleReferencesAsJson = getModuleReferencesAsJson(unknownModuleReferences);
 436         final JsonObject data = new JsonObject();
 437         data.add("modules", moduleReferencesAsJson);
 438         final JsonObject jsonRequestObject = new JsonObject();
 439         jsonRequestObject.add("data", data);
 440         final Gson gson = new Gson();
 441         jsonRequestObject.add("cmHandleProperties", gson.toJsonTree(cmHandlePropertiesAsMap));
 442         return jsonRequestObject.toString();
 443     }
 444
 445     private static JsonArray getModuleReferencesAsJson(final List<ModuleReference> unknownModuleReferences) {
 446         final JsonArray moduleReferences = new JsonArray();
 447
 448         for (final ModuleReference moduleReference : unknownModuleReferences) {
 449             final JsonObject moduleReferenceAsJson = new JsonObject();
 450             moduleReferenceAsJson.addProperty("name", moduleReference.getModuleName());
 451             moduleReferenceAsJson.addProperty(REVISION, moduleReference.getRevision());
 452             moduleReferences.add(moduleReferenceAsJson);
 453         }
 454         return moduleReferences;
 455     }
 456
 457     private Map<String, String> getNewYangResourcesFromDmi(final PersistenceCmHandle persistenceCmHandle,
 458                                                            final List<ModuleReference> unknownModuleReferences,
 459                                                            final Map<String, String> cmHandlePropertiesAsMap) {
 460         final String jsonDataWithDataAndCmHandleProperties = getRequestBodyToFetchYangResourceFromDmi(
 461                 unknownModuleReferences, cmHandlePropertiesAsMap);
 462
 463         final ResponseEntity<String> moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmiWithJsonData(
 464                 persistenceCmHandle.getDmiServiceName(),
 465                 jsonDataWithDataAndCmHandleProperties,
 466                 persistenceCmHandle.getId(),
 467                 "moduleResources");
 468
 469         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(),
 470             JsonArray.class);
 471         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
 472
 473         for (final JsonElement moduleResource : moduleResources) {
 474             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
 475             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
 476         }
 477         return newYangResourcesModuleNameToContentMap;
 478     }
 479
 480     private static YangResource toYangResource(final JsonObject yangResourceAsJson) {
 481         final YangResource yangResource = new YangResource();
 482         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
 483         yangResource.setRevision(yangResourceAsJson.get(REVISION).getAsString());
 484         final String yangSourceJson = yangResourceAsJson.get("yangSource").getAsString();
 485
 486         String yangSource = JsonUtils.removeWrappingTokens(yangSourceJson);
 487         yangSource = JsonUtils.removeRedundantEscapeCharacters(yangSource);
 488         yangResource.setYangSource(yangSource);
 489
 490         return yangResource;
 491     }
 492
 493     private static List<ModuleReference> toModuleReferences(
 494             final ResponseEntity<String> dmiFetchModulesResponseEntity) {
 495         final List<ModuleReference> moduleReferences = new ArrayList<>();
 496         final JsonObject bodyAsJsonObject = new Gson().fromJson(dmiFetchModulesResponseEntity.getBody(),
 497             JsonObject.class);
 498         final JsonArray moduleReferencesAsJson = bodyAsJsonObject.getAsJsonArray("schemas");
 499         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
 500             final ModuleReference moduleReference = toModuleReference((JsonObject) moduleReferenceAsJson);
 501             moduleReferences.add(moduleReference);
 502         }
 503         return moduleReferences;
 504     }
 505
 506     private static ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
 507         final ModuleReference moduleReference = new ModuleReference();
 508         moduleReference.setModuleName(moduleReferenceAsJson.get("moduleName").getAsString());
 509         moduleReference.setRevision(moduleReferenceAsJson.get(REVISION).getAsString());
 510         return moduleReference;
 511     }
 512 }