cps-ncmp-service/src/main/java/org/onap/cps/ncmp/api/impl/NetworkCmProxyDataServiceImpl.java

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2021 highstreet technologies GmbH
   4  *  Modifications Copyright (C) 2021 Nordix Foundation
   5  *  Modifications Copyright (C) 2021 Pantheon.tech
   6  *  Modifications Copyright (C) 2021 Bell Canada
   7  *  ================================================================================
   8  *  Licensed under the Apache License, Version 2.0 (the "License");
   9  *  you may not use this file except in compliance with the License.
  10  *  You may obtain a copy of the License at
  11  *
  12  *        http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  *  Unless required by applicable law or agreed to in writing, software
  15  *  distributed under the License is distributed on an "AS IS" BASIS,
  16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  *  See the License for the specific language governing permissions and
  18  *  limitations under the License.
  19  *
  20  *  SPDX-License-Identifier: Apache-2.0
  21  *  ============LICENSE_END=========================================================
  22  */
  23
  24 package org.onap.cps.ncmp.api.impl;
  25
  26 import com.fasterxml.jackson.core.JsonProcessingException;
  27 import com.fasterxml.jackson.databind.ObjectMapper;
  28 import com.google.gson.Gson;
  29 import com.google.gson.JsonArray;
  30 import com.google.gson.JsonElement;
  31 import com.google.gson.JsonObject;
  32 import java.time.OffsetDateTime;
  33 import java.util.ArrayList;
  34 import java.util.Collection;
  35 import java.util.Collections;
  36 import java.util.HashMap;
  37 import java.util.LinkedHashMap;
  38 import java.util.List;
  39 import java.util.Map;
  40 import javax.validation.constraints.NotNull;
  41 import lombok.extern.slf4j.Slf4j;
  42 import org.onap.cps.api.CpsAdminService;
  43 import org.onap.cps.api.CpsDataService;
  44 import org.onap.cps.api.CpsModuleService;
  45 import org.onap.cps.api.CpsQueryService;
  46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
  47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
  48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
  49 import org.onap.cps.ncmp.api.models.CmHandle;
  50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
  51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
  52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
  53 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
  54 import org.onap.cps.ncmp.api.models.YangResource;
  55 import org.onap.cps.spi.FetchDescendantsOption;
  56 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
  57 import org.onap.cps.spi.exceptions.DataValidationException;
  58 import org.onap.cps.spi.model.DataNode;
  59 import org.onap.cps.spi.model.ModuleReference;
  60 import org.springframework.http.HttpStatus;
  61 import org.springframework.http.ResponseEntity;
  62 import org.springframework.stereotype.Service;
  63 import org.springframework.util.StringUtils;
  64
  65 @Slf4j
  66 @Service
  67 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
  68
  69     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
  70
  71     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
  72
  73     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
  74
  75     private static final OffsetDateTime NO_TIMESTAMP = null;
  76
  77     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
  78
  79     private CpsDataService cpsDataService;
  80
  81     private ObjectMapper objectMapper;
  82
  83     private CpsQueryService cpsQueryService;
  84
  85     private DmiOperations dmiOperations;
  86
  87     private CpsModuleService cpsModuleService;
  88
  89     private CpsAdminService cpsAdminService;
  90
  91     public static final String NO_NAMESPACE = null;
  92
  93     /**
  94      * Constructor Injection for Dependencies.
  95      * @param dmiOperations DMI operation
  96      * @param cpsDataService Data Service Interface
  97      * @param cpsQueryService Query Service Interface
  98      * @param objectMapper Object Mapper
  99      */
 100     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
 101         final CpsModuleService cpsModuleService,
 102         final CpsDataService cpsDataService,
 103         final CpsQueryService cpsQueryService,
 104         final CpsAdminService cpsAdminService,
 105         final ObjectMapper objectMapper) {
 106         this.dmiOperations = dmiOperations;
 107         this.cpsModuleService = cpsModuleService;
 108         this.cpsDataService = cpsDataService;
 109         this.cpsQueryService = cpsQueryService;
 110         this.cpsAdminService = cpsAdminService;
 111         this.objectMapper = objectMapper;
 112     }
 113
 114     @Override
 115     public DataNode getDataNode(final String cmHandle, final String xpath,
 116         final FetchDescendantsOption fetchDescendantsOption) {
 117         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
 118     }
 119
 120     @Override
 121     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
 122         final FetchDescendantsOption fetchDescendantsOption) {
 123         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
 124     }
 125
 126     @Override
 127     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 128         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
 129             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
 130         } else {
 131             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 132         }
 133     }
 134
 135     @Override
 136     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 137         cpsDataService.saveListNodeData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 138     }
 139
 140     @Override
 141     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 142         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 143     }
 144
 145     @Override
 146     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 147         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 148     }
 149
 150     @Override
 151     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
 152         if (dmiPluginRegistration.getCreatedCmHandles() != null) {
 153             parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
 154         }
 155         if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
 156             parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
 157         }
 158         if (dmiPluginRegistration.getRemovedCmHandles() != null) {
 159             parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
 160         }
 161     }
 162
 163     @Override
 164     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
 165                                                         final @NotNull String resourceIdentifier,
 166                                                         final String acceptParam,
 167                                                         final String fieldsQueryParam,
 168                                                         final Integer depthQueryParam) {
 169
 170         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 171         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 172         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 173         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
 174                 cmHandle,
 175                 resourceIdentifier,
 176                 fieldsQueryParam,
 177                 depthQueryParam,
 178                 acceptParam,
 179                 dmiRequestBody);
 180         return handleResponse(response);
 181     }
 182
 183     @Override
 184     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 185                                                                final @NotNull String resourceIdentifier,
 186                                                                final String acceptParam,
 187                                                                final String fields,
 188                                                                final Integer depth) {
 189         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 190         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 191         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 192         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
 193                 cmHandle,
 194                 resourceIdentifier,
 195                 fields,
 196                 depth,
 197                 acceptParam,
 198                 dmiRequestBody);
 199         return handleResponse(response);
 200     }
 201
 202     @Override
 203     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 204                                                                 final @NotNull String resourceIdentifier,
 205                                                                 final @NotNull Object requestBody,
 206                                                                 final String contentType) {
 207         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 208         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 209         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 210         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 211         final var dmiRequestBodyObject = GenericRequestBody.builder()
 212                 .operation(GenericRequestBody.OperationEnum.CREATE)
 213                 .dataType(contentType)
 214                 .data(requestBody)
 215                 .cmHandleProperties(cmHandlePropertiesMap)
 216                 .build();
 217         final var dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
 218         final ResponseEntity<Void> responseEntity = dmiOperations
 219                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
 220                         cmHandle,
 221                         resourceIdentifier,
 222                         dmiRequestBody);
 223         handleResponseForPost(responseEntity);
 224     }
 225
 226     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
 227         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
 228         final var dataNode = cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
 229                 NCMP_DMI_REGISTRY_ANCHOR,
 230                 xpathForDmiRegistryToFetchCmHandle,
 231                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
 232         return dataNode;
 233     }
 234
 235     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
 236         try {
 237             return objectMapper.writeValueAsString(requestBodyObject);
 238         } catch (final JsonProcessingException e) {
 239             log.error("Parsing error occurred while converting Object to JSON.");
 240             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
 241                 e.getMessage());
 242         }
 243     }
 244
 245     private Map<String, String> getCmHandlePropertiesAsMap(final Collection<DataNode> cmHandlePropertiesList) {
 246         if (cmHandlePropertiesList == null || cmHandlePropertiesList.size() == 0) {
 247             return null;
 248         }
 249         final Map<String, String> cmHandlePropertiesMap = new LinkedHashMap<>();
 250         for (final var node: cmHandlePropertiesList) {
 251             cmHandlePropertiesMap.put(String.valueOf(node.getLeaves().get("name")),
 252                     String.valueOf(node.getLeaves().get("value")));
 253         }
 254         return cmHandlePropertiesMap;
 255     }
 256
 257     private Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
 258         if (responseEntity.getStatusCode() == HttpStatus.OK) {
 259             return responseEntity.getBody();
 260         } else {
 261             throw new NcmpException("Not able to get resource data.",
 262                     "DMI status code: " + responseEntity.getStatusCodeValue()
 263                             + ", DMI response body: " + responseEntity.getBody());
 264         }
 265     }
 266
 267     private void handleResponseForPost(final @NotNull ResponseEntity<Void> responseEntity) {
 268         if (responseEntity.getStatusCode() != HttpStatus.CREATED) {
 269             throw new NcmpException("Not able to create resource data.",
 270                     "DMI status code: " + responseEntity.getStatusCodeValue()
 271                             + ", DMI response body: " + responseEntity.getBody());
 272         }
 273     }
 274
 275     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
 276         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 277         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 278         final var requetBodyObject = GenericRequestBody.builder()
 279                 .operation(GenericRequestBody.OperationEnum.READ)
 280                 .cmHandleProperties(cmHandlePropertiesMap)
 281                 .build();
 282         return prepareOperationBody(requetBodyObject);
 283     }
 284
 285     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 286         try {
 287             final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
 288
 289             for (final CmHandle cmHandle : dmiPluginRegistration.getUpdatedCmHandles()) {
 290                 final PersistenceCmHandle persistenceCmHandle =
 291                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 292                 persistenceCmHandlesList.add(persistenceCmHandle);
 293             }
 294             final String cmHandlesJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 295             cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 296                 "/dmi-registry", cmHandlesJsonData, NO_TIMESTAMP);
 297         } catch (final JsonProcessingException e) {
 298             log.error("Parsing error occurred while converting Object to JSON DMI Registry.");
 299             throw new DataValidationException(
 300                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 301                 .getMessage(), e);
 302         }
 303     }
 304
 305     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
 306         final DmiPluginRegistration dmiPluginRegistration) {
 307         try {
 308             final var persistenceCmHandlesList = new PersistenceCmHandlesList();
 309             for (final CmHandle cmHandle : dmiPluginRegistration.getCreatedCmHandles()) {
 310                 final PersistenceCmHandle persistenceCmHandle =
 311                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 312                 persistenceCmHandlesList.add(persistenceCmHandle);
 313                 createAnchorAndSyncModel(persistenceCmHandle);
 314             }
 315             final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 316             cpsDataService.saveListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
 317                 cmHandleJsonData, NO_TIMESTAMP);
 318         } catch (final JsonProcessingException e) {
 319             log.error("Parsing error occurred while converting Object to JSON for DMI Registry.");
 320             throw new DataValidationException(
 321                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 322                 .getMessage(), e);
 323         }
 324     }
 325
 326     private PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
 327                                                       final CmHandle cmHandle) {
 328         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
 329         persistenceCmHandle.setDmiServiceName(dmiPluginService);
 330         persistenceCmHandle.setId(cmHandle.getCmHandleID());
 331         if (cmHandle.getCmHandleProperties() == null) {
 332             persistenceCmHandle.setAdditionalProperties(Collections.EMPTY_MAP);
 333         } else {
 334             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
 335         }
 336         return persistenceCmHandle;
 337     }
 338
 339     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 340         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
 341             try {
 342                 cpsDataService.deleteListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 343                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
 344             } catch (final DataNodeNotFoundException e) {
 345                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
 346             }
 347         }
 348     }
 349
 350     protected void createAnchorAndSyncModel(final PersistenceCmHandle cmHandle) {
 351         final var modulesForCmHandle =
 352             dmiOperations.getResourceFromDmi(cmHandle.getDmiServiceName(), cmHandle.getId(), "modules");
 353
 354         final List<ModuleReference> moduleReferencesFromDmiForCmHandle = getModuleReferences(modulesForCmHandle);
 355
 356         final var knownModuleReferencesInCps = cpsModuleService.getAllYangResourcesModuleReferences();
 357
 358         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
 359         for (final ModuleReference moduleReferenceFromDmiForCmHandle : moduleReferencesFromDmiForCmHandle) {
 360             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
 361                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 362             }
 363         }
 364
 365         final Map<String, String> newYangResourcesModuleNameToContentMap =
 366             getNewYangResources(cmHandle);
 367
 368         cpsModuleService.createSchemaSetFromModules(NCMP_DATASPACE_NAME, cmHandle.getId(),
 369             newYangResourcesModuleNameToContentMap, existingModuleReferences);
 370
 371         cpsAdminService.createAnchor(NCMP_DATASPACE_NAME, cmHandle.getId(), cmHandle.getId());
 372     }
 373
 374     private Map<String, String> getNewYangResources(final PersistenceCmHandle cmHandle) {
 375         final var moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmi(
 376             cmHandle.getDmiServiceName(), cmHandle.getId(), "moduleResources");
 377         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(), JsonArray.class);
 378         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
 379
 380         for (final JsonElement moduleResource : moduleResources) {
 381             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
 382             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
 383         }
 384         return newYangResourcesModuleNameToContentMap;
 385     }
 386
 387     private YangResource toYangResource(final JsonObject yangResourceAsJson) {
 388         final YangResource yangResource = new YangResource();
 389         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
 390         yangResource.setRevision(yangResourceAsJson.get("revision").getAsString());
 391         yangResource.setYangSource(yangResourceAsJson.get("yangSource").getAsString());
 392         return yangResource;
 393     }
 394
 395     private List<ModuleReference> getModuleReferences(final ResponseEntity<String> response) {
 396         final List<ModuleReference> modulesFromDmiForCmHandle = new ArrayList<>();
 397         final JsonObject convertedObject = new Gson().fromJson(response.getBody(), JsonObject.class);
 398         final JsonArray moduleReferencesAsJson = convertedObject.getAsJsonArray("schemas");
 399         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
 400             final ModuleReference moduleReference = toModuleReference((JsonObject) moduleReferenceAsJson);
 401             modulesFromDmiForCmHandle.add(moduleReference);
 402         }
 403         return modulesFromDmiForCmHandle;
 404     }
 405
 406     private ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
 407         final var moduleReference = new ModuleReference();
 408         moduleReference.setName(moduleReferenceAsJson.get("moduleName").getAsString());
 409         moduleReference.setNamespace(NO_NAMESPACE);
 410         moduleReference.setRevision(moduleReferenceAsJson.get("revision").getAsString());
 411         return moduleReference;
 412     }
 413 }