cps-ncmp-service/src/main/java/org/onap/cps/ncmp/api/impl/NetworkCmProxyDataServiceImpl.java

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2021 highstreet technologies GmbH
   4  *  Modifications Copyright (C) 2021 Nordix Foundation
   5  *  Modifications Copyright (C) 2021 Pantheon.tech
   6  *  Modifications Copyright (C) 2021 Bell Canada
   7  *  ================================================================================
   8  *  Licensed under the Apache License, Version 2.0 (the "License");
   9  *  you may not use this file except in compliance with the License.
  10  *  You may obtain a copy of the License at
  11  *
  12  *        http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  *  Unless required by applicable law or agreed to in writing, software
  15  *  distributed under the License is distributed on an "AS IS" BASIS,
  16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  *  See the License for the specific language governing permissions and
  18  *  limitations under the License.
  19  *
  20  *  SPDX-License-Identifier: Apache-2.0
  21  *  ============LICENSE_END=========================================================
  22  */
  23
  24 package org.onap.cps.ncmp.api.impl;
  25
  26 import com.fasterxml.jackson.core.JsonProcessingException;
  27 import com.fasterxml.jackson.databind.ObjectMapper;
  28 import com.google.gson.Gson;
  29 import com.google.gson.JsonArray;
  30 import com.google.gson.JsonElement;
  31 import com.google.gson.JsonObject;
  32 import java.time.OffsetDateTime;
  33 import java.util.ArrayList;
  34 import java.util.Collection;
  35 import java.util.Collections;
  36 import java.util.HashMap;
  37 import java.util.LinkedHashMap;
  38 import java.util.List;
  39 import java.util.Map;
  40 import javax.validation.constraints.NotNull;
  41 import lombok.extern.slf4j.Slf4j;
  42 import org.onap.cps.api.CpsAdminService;
  43 import org.onap.cps.api.CpsDataService;
  44 import org.onap.cps.api.CpsModuleService;
  45 import org.onap.cps.api.CpsQueryService;
  46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
  47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
  48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
  49 import org.onap.cps.ncmp.api.models.CmHandle;
  50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
  51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
  52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
  53 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
  54 import org.onap.cps.ncmp.api.models.YangResource;
  55 import org.onap.cps.spi.FetchDescendantsOption;
  56 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
  57 import org.onap.cps.spi.exceptions.DataValidationException;
  58 import org.onap.cps.spi.model.DataNode;
  59 import org.onap.cps.spi.model.ModuleReference;
  60 import org.springframework.http.HttpStatus;
  61 import org.springframework.http.ResponseEntity;
  62 import org.springframework.stereotype.Service;
  63 import org.springframework.util.StringUtils;
  64
  65 @Slf4j
  66 @Service
  67 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
  68
  69     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
  70
  71     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
  72
  73     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
  74
  75     private static final OffsetDateTime NO_TIMESTAMP = null;
  76
  77     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
  78
  79     private CpsDataService cpsDataService;
  80
  81     private ObjectMapper objectMapper;
  82
  83     private CpsQueryService cpsQueryService;
  84
  85     private DmiOperations dmiOperations;
  86
  87     private CpsModuleService cpsModuleService;
  88
  89     private CpsAdminService cpsAdminService;
  90
  91     public static final String NO_NAMESPACE = null;
  92
  93     /**
  94      * Constructor Injection for Dependencies.
  95      * @param dmiOperations DMI operation
  96      * @param cpsDataService Data Service Interface
  97      * @param cpsQueryService Query Service Interface
  98      * @param objectMapper Object Mapper
  99      */
 100     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
 101         final CpsModuleService cpsModuleService,
 102         final CpsDataService cpsDataService,
 103         final CpsQueryService cpsQueryService,
 104         final CpsAdminService cpsAdminService,
 105         final ObjectMapper objectMapper) {
 106         this.dmiOperations = dmiOperations;
 107         this.cpsModuleService = cpsModuleService;
 108         this.cpsDataService = cpsDataService;
 109         this.cpsQueryService = cpsQueryService;
 110         this.cpsAdminService = cpsAdminService;
 111         this.objectMapper = objectMapper;
 112     }
 113
 114     @Override
 115     public DataNode getDataNode(final String cmHandle, final String xpath,
 116         final FetchDescendantsOption fetchDescendantsOption) {
 117         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
 118     }
 119
 120     @Override
 121     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
 122         final FetchDescendantsOption fetchDescendantsOption) {
 123         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
 124     }
 125
 126     @Override
 127     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 128         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
 129             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
 130         } else {
 131             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 132         }
 133     }
 134
 135     @Override
 136     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 137         cpsDataService.saveListNodeData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 138     }
 139
 140     @Override
 141     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 142         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 143     }
 144
 145     @Override
 146     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 147         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 148     }
 149
 150     @Override
 151     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
 152         if (dmiPluginRegistration.getCreatedCmHandles() != null) {
 153             parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
 154         }
 155         if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
 156             parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
 157         }
 158         if (dmiPluginRegistration.getRemovedCmHandles() != null) {
 159             parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
 160         }
 161     }
 162
 163     @Override
 164     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
 165                                                         final @NotNull String resourceIdentifier,
 166                                                         final String acceptParam,
 167                                                         final String fieldsQueryParam,
 168                                                         final Integer depthQueryParam) {
 169
 170         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 171         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 172         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 173         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
 174                 cmHandle,
 175                 resourceIdentifier,
 176                 fieldsQueryParam,
 177                 depthQueryParam,
 178                 acceptParam,
 179                 dmiRequestBody);
 180         return handleResponse(response);
 181     }
 182
 183     @Override
 184     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 185                                                                final @NotNull String resourceIdentifier,
 186                                                                final String acceptParam,
 187                                                                final String fields,
 188                                                                final Integer depth) {
 189         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 190         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 191         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 192         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
 193                 cmHandle,
 194                 resourceIdentifier,
 195                 fields,
 196                 depth,
 197                 acceptParam,
 198                 dmiRequestBody);
 199         return handleResponse(response);
 200     }
 201
 202     @Override
 203     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 204                                                                 final @NotNull String resourceIdentifier,
 205                                                                 final @NotNull Object requestBody,
 206                                                                 final String contentType) {
 207         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 208         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 209         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 210         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 211         final var dmiRequestBodyObject = GenericRequestBody.builder()
 212                 .operation(GenericRequestBody.OperationEnum.CREATE)
 213                 .dataType(contentType)
 214                 .data(requestBody)
 215                 .cmHandleProperties(cmHandlePropertiesMap)
 216                 .build();
 217         final var dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
 218         final ResponseEntity<Void> responseEntity = dmiOperations
 219                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
 220                         cmHandle,
 221                         resourceIdentifier,
 222                         dmiRequestBody);
 223         handleResponseForPost(responseEntity);
 224     }
 225
 226     @Override
 227     public Collection<ModuleReference> getYangResourcesModuleReferences(final String cmHandle) {
 228         return cpsModuleService.getYangResourcesModuleReferences(NF_PROXY_DATASPACE_NAME, cmHandle);
 229     }
 230
 231     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
 232         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
 233         return cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
 234                 NCMP_DMI_REGISTRY_ANCHOR,
 235                 xpathForDmiRegistryToFetchCmHandle,
 236                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
 237     }
 238
 239     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
 240         try {
 241             return objectMapper.writeValueAsString(requestBodyObject);
 242         } catch (final JsonProcessingException e) {
 243             log.error("Parsing error occurred while converting Object to JSON.");
 244             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
 245                 e.getMessage());
 246         }
 247     }
 248
 249     private Map<String, String> getCmHandlePropertiesAsMap(final Collection<DataNode> cmHandlePropertiesList) {
 250         if (cmHandlePropertiesList == null || cmHandlePropertiesList.isEmpty()) {
 251             return null;
 252         }
 253         final Map<String, String> cmHandlePropertiesMap = new LinkedHashMap<>();
 254         for (final var node: cmHandlePropertiesList) {
 255             cmHandlePropertiesMap.put(String.valueOf(node.getLeaves().get("name")),
 256                     String.valueOf(node.getLeaves().get("value")));
 257         }
 258         return cmHandlePropertiesMap;
 259     }
 260
 261     private Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
 262         if (responseEntity.getStatusCode() == HttpStatus.OK) {
 263             return responseEntity.getBody();
 264         } else {
 265             throw new NcmpException("Not able to get resource data.",
 266                     "DMI status code: " + responseEntity.getStatusCodeValue()
 267                             + ", DMI response body: " + responseEntity.getBody());
 268         }
 269     }
 270
 271     private void handleResponseForPost(final @NotNull ResponseEntity<Void> responseEntity) {
 272         if (responseEntity.getStatusCode() != HttpStatus.CREATED) {
 273             throw new NcmpException("Not able to create resource data.",
 274                     "DMI status code: " + responseEntity.getStatusCodeValue()
 275                             + ", DMI response body: " + responseEntity.getBody());
 276         }
 277     }
 278
 279     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
 280         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 281         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 282         final var requetBodyObject = GenericRequestBody.builder()
 283                 .operation(GenericRequestBody.OperationEnum.READ)
 284                 .cmHandleProperties(cmHandlePropertiesMap)
 285                 .build();
 286         return prepareOperationBody(requetBodyObject);
 287     }
 288
 289     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 290         try {
 291             final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
 292
 293             for (final CmHandle cmHandle : dmiPluginRegistration.getUpdatedCmHandles()) {
 294                 final PersistenceCmHandle persistenceCmHandle =
 295                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 296                 persistenceCmHandlesList.add(persistenceCmHandle);
 297             }
 298             final String cmHandlesJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 299             cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 300                 "/dmi-registry", cmHandlesJsonData, NO_TIMESTAMP);
 301         } catch (final JsonProcessingException e) {
 302             log.error("Parsing error occurred while converting Object to JSON DMI Registry.");
 303             throw new DataValidationException(
 304                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 305                 .getMessage(), e);
 306         }
 307     }
 308
 309     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
 310         final DmiPluginRegistration dmiPluginRegistration) {
 311         try {
 312             final var persistenceCmHandlesList = new PersistenceCmHandlesList();
 313             for (final CmHandle cmHandle : dmiPluginRegistration.getCreatedCmHandles()) {
 314                 final PersistenceCmHandle persistenceCmHandle =
 315                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 316                 persistenceCmHandlesList.add(persistenceCmHandle);
 317                 createAnchorAndSyncModel(persistenceCmHandle);
 318             }
 319             final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 320             cpsDataService.saveListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
 321                 cmHandleJsonData, NO_TIMESTAMP);
 322         } catch (final JsonProcessingException e) {
 323             log.error("Parsing error occurred while converting Object to JSON for DMI Registry.");
 324             throw new DataValidationException(
 325                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 326                 .getMessage(), e);
 327         }
 328     }
 329
 330     private PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
 331                                                       final CmHandle cmHandle) {
 332         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
 333         persistenceCmHandle.setDmiServiceName(dmiPluginService);
 334         persistenceCmHandle.setId(cmHandle.getCmHandleID());
 335         if (cmHandle.getCmHandleProperties() == null) {
 336             persistenceCmHandle.setAdditionalProperties(Collections.emptyMap());
 337         } else {
 338             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
 339         }
 340         return persistenceCmHandle;
 341     }
 342
 343     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 344         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
 345             try {
 346                 cpsDataService.deleteListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 347                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
 348             } catch (final DataNodeNotFoundException e) {
 349                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
 350             }
 351         }
 352     }
 353
 354     protected void createAnchorAndSyncModel(final PersistenceCmHandle cmHandle) {
 355         final var modulesForCmHandle =
 356             dmiOperations.getResourceFromDmi(cmHandle.getDmiServiceName(), cmHandle.getId(), "modules");
 357         final List<ModuleReference> moduleReferencesFromDmiForCmHandle =
 358             getModuleReferences(modulesForCmHandle);
 359         final var knownModuleReferencesInCps =
 360             cpsModuleService.getYangResourceModuleReferences(NF_PROXY_DATASPACE_NAME);
 361         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
 362         for (final ModuleReference moduleReferenceFromDmiForCmHandle :
 363             moduleReferencesFromDmiForCmHandle) {
 364             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
 365                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 366             }
 367         }
 368
 369         final Map<String, String> newYangResourcesModuleNameToContentMap =
 370             getNewYangResources(cmHandle);
 371
 372         cpsModuleService.createSchemaSetFromModules(NCMP_DATASPACE_NAME, cmHandle.getId(),
 373             newYangResourcesModuleNameToContentMap, existingModuleReferences);
 374
 375         cpsAdminService.createAnchor(NCMP_DATASPACE_NAME, cmHandle.getId(), cmHandle.getId());
 376     }
 377
 378     private Map<String, String> getNewYangResources(final PersistenceCmHandle cmHandle) {
 379         final var moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmi(
 380             cmHandle.getDmiServiceName(), cmHandle.getId(), "moduleResources");
 381         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(), JsonArray.class);
 382         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
 383
 384         for (final JsonElement moduleResource : moduleResources) {
 385             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
 386             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
 387         }
 388         return newYangResourcesModuleNameToContentMap;
 389     }
 390
 391     private YangResource toYangResource(final JsonObject yangResourceAsJson) {
 392         final YangResource yangResource = new YangResource();
 393         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
 394         yangResource.setRevision(yangResourceAsJson.get("revision").getAsString());
 395         yangResource.setYangSource(yangResourceAsJson.get("yangSource").getAsString());
 396         return yangResource;
 397     }
 398
 399     private List<ModuleReference> getModuleReferences(final ResponseEntity<String> response) {
 400         final List<ModuleReference> modulesFromDmiForCmHandle = new ArrayList<>();
 401         final JsonObject convertedObject = new Gson().fromJson(response.getBody(), JsonObject.class);
 402         final JsonArray moduleReferencesAsJson = convertedObject.getAsJsonArray("schemas");
 403         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
 404             final ModuleReference moduleReference =
 405                 toModuleReference((JsonObject) moduleReferenceAsJson);
 406             modulesFromDmiForCmHandle.add(moduleReference);
 407         }
 408         return modulesFromDmiForCmHandle;
 409     }
 410
 411     private ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
 412         final var moduleReference = new ModuleReference();
 413         moduleReference.setModuleName(moduleReferenceAsJson.get("moduleName").getAsString());
 414         moduleReference.setRevision(moduleReferenceAsJson.get("revision").getAsString());
 415         return moduleReference;
 416     }
 417 }