cps-ncmp-service/src/main/java/org/onap/cps/ncmp/api/impl/NetworkCmProxyDataServiceImpl.java

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2021 highstreet technologies GmbH
   4  *  Modifications Copyright (C) 2021 Nordix Foundation
   5  *  Modifications Copyright (C) 2021 Pantheon.tech
   6  *  Modifications Copyright (C) 2021 Bell Canada
   7  *  ================================================================================
   8  *  Licensed under the Apache License, Version 2.0 (the "License");
   9  *  you may not use this file except in compliance with the License.
  10  *  You may obtain a copy of the License at
  11  *
  12  *        http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  *  Unless required by applicable law or agreed to in writing, software
  15  *  distributed under the License is distributed on an "AS IS" BASIS,
  16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  *  See the License for the specific language governing permissions and
  18  *  limitations under the License.
  19  *
  20  *  SPDX-License-Identifier: Apache-2.0
  21  *  ============LICENSE_END=========================================================
  22  */
  23
  24 package org.onap.cps.ncmp.api.impl;
  25
  26 import com.fasterxml.jackson.core.JsonProcessingException;
  27 import com.fasterxml.jackson.databind.ObjectMapper;
  28 import com.google.gson.Gson;
  29 import com.google.gson.JsonArray;
  30 import com.google.gson.JsonElement;
  31 import com.google.gson.JsonObject;
  32 import java.time.OffsetDateTime;
  33 import java.util.ArrayList;
  34 import java.util.Collection;
  35 import java.util.Collections;
  36 import java.util.HashMap;
  37 import java.util.LinkedHashMap;
  38 import java.util.List;
  39 import java.util.Map;
  40 import javax.validation.constraints.NotNull;
  41 import lombok.extern.slf4j.Slf4j;
  42 import org.onap.cps.api.CpsAdminService;
  43 import org.onap.cps.api.CpsDataService;
  44 import org.onap.cps.api.CpsModuleService;
  45 import org.onap.cps.api.CpsQueryService;
  46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
  47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
  48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
  49 import org.onap.cps.ncmp.api.models.CmHandle;
  50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
  51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
  52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
  53 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
  54 import org.onap.cps.ncmp.api.models.YangResource;
  55 import org.onap.cps.spi.FetchDescendantsOption;
  56 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
  57 import org.onap.cps.spi.exceptions.DataValidationException;
  58 import org.onap.cps.spi.model.DataNode;
  59 import org.onap.cps.spi.model.ModuleReference;
  60 import org.springframework.http.HttpStatus;
  61 import org.springframework.http.ResponseEntity;
  62 import org.springframework.stereotype.Service;
  63 import org.springframework.util.StringUtils;
  64
  65 @Slf4j
  66 @Service
  67 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
  68
  69     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
  70
  71     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
  72
  73     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
  74
  75     private static final OffsetDateTime NO_TIMESTAMP = null;
  76
  77     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
  78
  79     private CpsDataService cpsDataService;
  80
  81     private ObjectMapper objectMapper;
  82
  83     private CpsQueryService cpsQueryService;
  84
  85     private DmiOperations dmiOperations;
  86
  87     private CpsModuleService cpsModuleService;
  88
  89     private CpsAdminService cpsAdminService;
  90
  91     public static final String NO_NAMESPACE = null;
  92
  93     /**
  94      * Constructor Injection for Dependencies.
  95      * @param dmiOperations DMI operation
  96      * @param cpsDataService Data Service Interface
  97      * @param cpsQueryService Query Service Interface
  98      * @param objectMapper Object Mapper
  99      */
 100     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
 101         final CpsModuleService cpsModuleService,
 102         final CpsDataService cpsDataService,
 103         final CpsQueryService cpsQueryService,
 104         final CpsAdminService cpsAdminService,
 105         final ObjectMapper objectMapper) {
 106         this.dmiOperations = dmiOperations;
 107         this.cpsModuleService = cpsModuleService;
 108         this.cpsDataService = cpsDataService;
 109         this.cpsQueryService = cpsQueryService;
 110         this.cpsAdminService = cpsAdminService;
 111         this.objectMapper = objectMapper;
 112     }
 113
 114     @Override
 115     public DataNode getDataNode(final String cmHandle, final String xpath,
 116         final FetchDescendantsOption fetchDescendantsOption) {
 117         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
 118     }
 119
 120     @Override
 121     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
 122         final FetchDescendantsOption fetchDescendantsOption) {
 123         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
 124     }
 125
 126     @Override
 127     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 128         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
 129             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
 130         } else {
 131             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 132         }
 133     }
 134
 135     @Override
 136     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 137         cpsDataService.saveListNodeData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 138     }
 139
 140     @Override
 141     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 142         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 143     }
 144
 145     @Override
 146     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
 147         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
 148     }
 149
 150     @Override
 151     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
 152         if (dmiPluginRegistration.getCreatedCmHandles() != null) {
 153             parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
 154         }
 155         if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
 156             parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
 157         }
 158         if (dmiPluginRegistration.getRemovedCmHandles() != null) {
 159             parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
 160         }
 161     }
 162
 163     @Override
 164     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
 165                                                         final @NotNull String resourceIdentifier,
 166                                                         final String acceptParam,
 167                                                         final String fieldsQueryParam,
 168                                                         final Integer depthQueryParam) {
 169
 170         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 171         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 172         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 173         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
 174                 cmHandle,
 175                 resourceIdentifier,
 176                 fieldsQueryParam,
 177                 depthQueryParam,
 178                 acceptParam,
 179                 dmiRequestBody);
 180         return handleResponse(response);
 181     }
 182
 183     @Override
 184     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 185                                                                final @NotNull String resourceIdentifier,
 186                                                                final String acceptParam,
 187                                                                final String fields,
 188                                                                final Integer depth) {
 189         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 190         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 191         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
 192         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
 193                 cmHandle,
 194                 resourceIdentifier,
 195                 fields,
 196                 depth,
 197                 acceptParam,
 198                 dmiRequestBody);
 199         return handleResponse(response);
 200     }
 201
 202     @Override
 203     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
 204                                                                 final @NotNull String resourceIdentifier,
 205                                                                 final @NotNull Object requestBody,
 206                                                                 final String contentType) {
 207         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
 208         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
 209         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 210         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 211         final var dmiRequestBodyObject = GenericRequestBody.builder()
 212                 .operation(GenericRequestBody.OperationEnum.CREATE)
 213                 .dataType(contentType)
 214                 .data(requestBody)
 215                 .cmHandleProperties(cmHandlePropertiesMap)
 216                 .build();
 217         final var dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
 218         final ResponseEntity<Void> responseEntity = dmiOperations
 219                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
 220                         cmHandle,
 221                         resourceIdentifier,
 222                         dmiRequestBody);
 223         handleResponseForPost(responseEntity);
 224     }
 225
 226     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
 227         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
 228         return cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
 229                 NCMP_DMI_REGISTRY_ANCHOR,
 230                 xpathForDmiRegistryToFetchCmHandle,
 231                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
 232     }
 233
 234     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
 235         try {
 236             return objectMapper.writeValueAsString(requestBodyObject);
 237         } catch (final JsonProcessingException e) {
 238             log.error("Parsing error occurred while converting Object to JSON.");
 239             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
 240                 e.getMessage());
 241         }
 242     }
 243
 244     private Map<String, String> getCmHandlePropertiesAsMap(final Collection<DataNode> cmHandlePropertiesList) {
 245         if (cmHandlePropertiesList == null || cmHandlePropertiesList.isEmpty()) {
 246             return null;
 247         }
 248         final Map<String, String> cmHandlePropertiesMap = new LinkedHashMap<>();
 249         for (final var node: cmHandlePropertiesList) {
 250             cmHandlePropertiesMap.put(String.valueOf(node.getLeaves().get("name")),
 251                     String.valueOf(node.getLeaves().get("value")));
 252         }
 253         return cmHandlePropertiesMap;
 254     }
 255
 256     private Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
 257         if (responseEntity.getStatusCode() == HttpStatus.OK) {
 258             return responseEntity.getBody();
 259         } else {
 260             throw new NcmpException("Not able to get resource data.",
 261                     "DMI status code: " + responseEntity.getStatusCodeValue()
 262                             + ", DMI response body: " + responseEntity.getBody());
 263         }
 264     }
 265
 266     private void handleResponseForPost(final @NotNull ResponseEntity<Void> responseEntity) {
 267         if (responseEntity.getStatusCode() != HttpStatus.CREATED) {
 268             throw new NcmpException("Not able to create resource data.",
 269                     "DMI status code: " + responseEntity.getStatusCodeValue()
 270                             + ", DMI response body: " + responseEntity.getBody());
 271         }
 272     }
 273
 274     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
 275         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
 276         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
 277         final var requetBodyObject = GenericRequestBody.builder()
 278                 .operation(GenericRequestBody.OperationEnum.READ)
 279                 .cmHandleProperties(cmHandlePropertiesMap)
 280                 .build();
 281         return prepareOperationBody(requetBodyObject);
 282     }
 283
 284     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 285         try {
 286             final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
 287
 288             for (final CmHandle cmHandle : dmiPluginRegistration.getUpdatedCmHandles()) {
 289                 final PersistenceCmHandle persistenceCmHandle =
 290                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 291                 persistenceCmHandlesList.add(persistenceCmHandle);
 292             }
 293             final String cmHandlesJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 294             cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 295                 "/dmi-registry", cmHandlesJsonData, NO_TIMESTAMP);
 296         } catch (final JsonProcessingException e) {
 297             log.error("Parsing error occurred while converting Object to JSON DMI Registry.");
 298             throw new DataValidationException(
 299                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 300                 .getMessage(), e);
 301         }
 302     }
 303
 304     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
 305         final DmiPluginRegistration dmiPluginRegistration) {
 306         try {
 307             final var persistenceCmHandlesList = new PersistenceCmHandlesList();
 308             for (final CmHandle cmHandle : dmiPluginRegistration.getCreatedCmHandles()) {
 309                 final PersistenceCmHandle persistenceCmHandle =
 310                     toPersistenceCmHandle(dmiPluginRegistration.getDmiPlugin(), cmHandle);
 311                 persistenceCmHandlesList.add(persistenceCmHandle);
 312                 createAnchorAndSyncModel(persistenceCmHandle);
 313             }
 314             final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
 315             cpsDataService.saveListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
 316                 cmHandleJsonData, NO_TIMESTAMP);
 317         } catch (final JsonProcessingException e) {
 318             log.error("Parsing error occurred while converting Object to JSON for DMI Registry.");
 319             throw new DataValidationException(
 320                 "Parsing error occurred while processing DMI Plugin Registration" + dmiPluginRegistration, e
 321                 .getMessage(), e);
 322         }
 323     }
 324
 325     private PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
 326                                                       final CmHandle cmHandle) {
 327         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
 328         persistenceCmHandle.setDmiServiceName(dmiPluginService);
 329         persistenceCmHandle.setId(cmHandle.getCmHandleID());
 330         if (cmHandle.getCmHandleProperties() == null) {
 331             persistenceCmHandle.setAdditionalProperties(Collections.emptyMap());
 332         } else {
 333             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
 334         }
 335         return persistenceCmHandle;
 336     }
 337
 338     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
 339         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
 340             try {
 341                 cpsDataService.deleteListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
 342                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
 343             } catch (final DataNodeNotFoundException e) {
 344                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
 345             }
 346         }
 347     }
 348
 349     protected void createAnchorAndSyncModel(final PersistenceCmHandle cmHandle) {
 350         final var modulesForCmHandle =
 351             dmiOperations.getResourceFromDmi(cmHandle.getDmiServiceName(), cmHandle.getId(), "modules");
 352         final List<ModuleReference> moduleReferencesFromDmiForCmHandle =
 353             getModuleReferences(modulesForCmHandle);
 354         final var knownModuleReferencesInCps =
 355             cpsModuleService.getAllYangResourceModuleReferences(NF_PROXY_DATASPACE_NAME);
 356         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
 357         for (final ModuleReference moduleReferenceFromDmiForCmHandle :
 358             moduleReferencesFromDmiForCmHandle) {
 359             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
 360                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
 361             }
 362         }
 363
 364         final Map<String, String> newYangResourcesModuleNameToContentMap =
 365             getNewYangResources(cmHandle);
 366
 367         cpsModuleService.createSchemaSetFromModules(NCMP_DATASPACE_NAME, cmHandle.getId(),
 368             newYangResourcesModuleNameToContentMap, existingModuleReferences);
 369
 370         cpsAdminService.createAnchor(NCMP_DATASPACE_NAME, cmHandle.getId(), cmHandle.getId());
 371     }
 372
 373     private Map<String, String> getNewYangResources(final PersistenceCmHandle cmHandle) {
 374         final var moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmi(
 375             cmHandle.getDmiServiceName(), cmHandle.getId(), "moduleResources");
 376         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(), JsonArray.class);
 377         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
 378
 379         for (final JsonElement moduleResource : moduleResources) {
 380             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
 381             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
 382         }
 383         return newYangResourcesModuleNameToContentMap;
 384     }
 385
 386     private YangResource toYangResource(final JsonObject yangResourceAsJson) {
 387         final YangResource yangResource = new YangResource();
 388         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
 389         yangResource.setRevision(yangResourceAsJson.get("revision").getAsString());
 390         yangResource.setYangSource(yangResourceAsJson.get("yangSource").getAsString());
 391         return yangResource;
 392     }
 393
 394     private List<ModuleReference> getModuleReferences(final ResponseEntity<String> response) {
 395         final List<ModuleReference> modulesFromDmiForCmHandle = new ArrayList<>();
 396         final JsonObject convertedObject = new Gson().fromJson(response.getBody(), JsonObject.class);
 397         final JsonArray moduleReferencesAsJson = convertedObject.getAsJsonArray("schemas");
 398         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
 399             final ModuleReference moduleReference =
 400                 toModuleReference((JsonObject) moduleReferenceAsJson);
 401             modulesFromDmiForCmHandle.add(moduleReference);
 402         }
 403         return modulesFromDmiForCmHandle;
 404     }
 405
 406     private ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
 407         final var moduleReference = new ModuleReference();
 408         moduleReference.setModuleName(moduleReferenceAsJson.get("moduleName").getAsString());
 409         moduleReference.setRevision(moduleReferenceAsJson.get("revision").getAsString());
 410         return moduleReference;
 411     }
 412 }