Address Sonar Qube issues
[cps.git] / cps-ncmp-service / src / main / java / org / onap / cps / ncmp / api / impl / NetworkCmProxyDataServiceImpl.java
1 /*
2  *  ============LICENSE_START=======================================================
3  *  Copyright (C) 2021 highstreet technologies GmbH
4  *  Modifications Copyright (C) 2021 Nordix Foundation
5  *  Modifications Copyright (C) 2021 Pantheon.tech
6  *  Modifications Copyright (C) 2021 Bell Canada
7  *  ================================================================================
8  *  Licensed under the Apache License, Version 2.0 (the "License");
9  *  you may not use this file except in compliance with the License.
10  *  You may obtain a copy of the License at
11  *
12  *        http://www.apache.org/licenses/LICENSE-2.0
13  *
14  *  Unless required by applicable law or agreed to in writing, software
15  *  distributed under the License is distributed on an "AS IS" BASIS,
16  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
17  *  See the License for the specific language governing permissions and
18  *  limitations under the License.
19  *
20  *  SPDX-License-Identifier: Apache-2.0
21  *  ============LICENSE_END=========================================================
22  */
23
24 package org.onap.cps.ncmp.api.impl;
25
26 import com.fasterxml.jackson.core.JsonProcessingException;
27 import com.fasterxml.jackson.databind.ObjectMapper;
28 import com.google.gson.Gson;
29 import com.google.gson.JsonArray;
30 import com.google.gson.JsonElement;
31 import com.google.gson.JsonObject;
32 import java.time.OffsetDateTime;
33 import java.util.ArrayList;
34 import java.util.Collection;
35 import java.util.Collections;
36 import java.util.HashMap;
37 import java.util.LinkedHashMap;
38 import java.util.List;
39 import java.util.Map;
40 import javax.validation.constraints.NotNull;
41 import lombok.extern.slf4j.Slf4j;
42 import org.onap.cps.api.CpsAdminService;
43 import org.onap.cps.api.CpsDataService;
44 import org.onap.cps.api.CpsModuleService;
45 import org.onap.cps.api.CpsQueryService;
46 import org.onap.cps.ncmp.api.NetworkCmProxyDataService;
47 import org.onap.cps.ncmp.api.impl.exception.NcmpException;
48 import org.onap.cps.ncmp.api.impl.operation.DmiOperations;
49 import org.onap.cps.ncmp.api.models.CmHandle;
50 import org.onap.cps.ncmp.api.models.DmiPluginRegistration;
51 import org.onap.cps.ncmp.api.models.GenericRequestBody;
52 import org.onap.cps.ncmp.api.models.PersistenceCmHandle;
53 import org.onap.cps.ncmp.api.models.PersistenceCmHandlesList;
54 import org.onap.cps.ncmp.api.models.YangResource;
55 import org.onap.cps.spi.FetchDescendantsOption;
56 import org.onap.cps.spi.exceptions.DataNodeNotFoundException;
57 import org.onap.cps.spi.exceptions.DataValidationException;
58 import org.onap.cps.spi.model.DataNode;
59 import org.onap.cps.spi.model.ModuleReference;
60 import org.springframework.http.HttpStatus;
61 import org.springframework.http.ResponseEntity;
62 import org.springframework.stereotype.Service;
63 import org.springframework.util.StringUtils;
64
65 @Slf4j
66 @Service
67 public class NetworkCmProxyDataServiceImpl implements NetworkCmProxyDataService {
68
69     private static final String NF_PROXY_DATASPACE_NAME = "NFP-Operational";
70
71     private static final String NCMP_DATASPACE_NAME = "NCMP-Admin";
72
73     private static final String NCMP_DMI_REGISTRY_ANCHOR = "ncmp-dmi-registry";
74
75     private static final OffsetDateTime NO_TIMESTAMP = null;
76
77     private static  final String NCMP_DMI_SERVICE_NAME = "dmi-service-name";
78
79     private  static final String REVISION = "revision";
80
81     private CpsDataService cpsDataService;
82
83     private ObjectMapper objectMapper;
84
85     private CpsQueryService cpsQueryService;
86
87     private DmiOperations dmiOperations;
88
89     private CpsModuleService cpsModuleService;
90
91     private CpsAdminService cpsAdminService;
92
93     /**
94      * Constructor Injection for Dependencies.
95      * @param dmiOperations DMI operation
96      * @param cpsDataService Data Service Interface
97      * @param cpsQueryService Query Service Interface
98      * @param objectMapper Object Mapper
99      */
100     public NetworkCmProxyDataServiceImpl(final DmiOperations dmiOperations,
101         final CpsModuleService cpsModuleService,
102         final CpsDataService cpsDataService,
103         final CpsQueryService cpsQueryService,
104         final CpsAdminService cpsAdminService,
105         final ObjectMapper objectMapper) {
106         this.dmiOperations = dmiOperations;
107         this.cpsModuleService = cpsModuleService;
108         this.cpsDataService = cpsDataService;
109         this.cpsQueryService = cpsQueryService;
110         this.cpsAdminService = cpsAdminService;
111         this.objectMapper = objectMapper;
112     }
113
114     @Override
115     public DataNode getDataNode(final String cmHandle, final String xpath,
116         final FetchDescendantsOption fetchDescendantsOption) {
117         return cpsDataService.getDataNode(NF_PROXY_DATASPACE_NAME, cmHandle, xpath, fetchDescendantsOption);
118     }
119
120     @Override
121     public Collection<DataNode> queryDataNodes(final String cmHandle, final String cpsPath,
122         final FetchDescendantsOption fetchDescendantsOption) {
123         return cpsQueryService.queryDataNodes(NF_PROXY_DATASPACE_NAME, cmHandle, cpsPath, fetchDescendantsOption);
124     }
125
126     @Override
127     public void createDataNode(final String cmHandle, final String parentNodeXpath, final String jsonData) {
128         if (!StringUtils.hasText(parentNodeXpath) || "/".equals(parentNodeXpath)) {
129             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, jsonData, NO_TIMESTAMP);
130         } else {
131             cpsDataService.saveData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
132         }
133     }
134
135     @Override
136     public void addListNodeElements(final String cmHandle, final String parentNodeXpath, final String jsonData) {
137         cpsDataService.saveListNodeData(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
138     }
139
140     @Override
141     public void updateNodeLeaves(final String cmHandle, final String parentNodeXpath, final String jsonData) {
142         cpsDataService.updateNodeLeaves(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
143     }
144
145     @Override
146     public void replaceNodeTree(final String cmHandle, final String parentNodeXpath, final String jsonData) {
147         cpsDataService.replaceNodeTree(NF_PROXY_DATASPACE_NAME, cmHandle, parentNodeXpath, jsonData, NO_TIMESTAMP);
148     }
149
150     @Override
151     public void updateDmiRegistrationAndSyncModule(final DmiPluginRegistration dmiPluginRegistration) {
152         try {
153             if (dmiPluginRegistration.getCreatedCmHandles() != null) {
154                 parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(dmiPluginRegistration);
155             }
156             if (dmiPluginRegistration.getUpdatedCmHandles() != null) {
157                 parseAndUpdateCmHandlesInDmiRegistration(dmiPluginRegistration);
158             }
159             if (dmiPluginRegistration.getRemovedCmHandles() != null) {
160                 parseAndRemoveCmHandlesInDmiRegistration(dmiPluginRegistration);
161             }
162         } catch (final JsonProcessingException e) {
163             handleJsonProcessingException(dmiPluginRegistration, e);
164         }
165     }
166
167     @Override
168     public Object getResourceDataOperationalForCmHandle(final @NotNull String cmHandle,
169                                                         final @NotNull String resourceIdentifier,
170                                                         final String acceptParam,
171                                                         final String fieldsQueryParam,
172                                                         final Integer depthQueryParam) {
173
174         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
175         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
176         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
177         final ResponseEntity<Object> response = dmiOperations.getResourceDataOperationalFromDmi(dmiServiceName,
178                 cmHandle,
179                 resourceIdentifier,
180                 fieldsQueryParam,
181                 depthQueryParam,
182                 acceptParam,
183                 dmiRequestBody);
184         return handleResponse(response);
185     }
186
187     @Override
188     public Object getResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
189                                                                final @NotNull String resourceIdentifier,
190                                                                final String acceptParam,
191                                                                final String fields,
192                                                                final Integer depth) {
193         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
194         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
195         final String dmiRequestBody = getGenericRequestBody(cmHandleDataNode);
196         final ResponseEntity<Object> response = dmiOperations.getResourceDataPassThroughRunningFromDmi(dmiServiceName,
197                 cmHandle,
198                 resourceIdentifier,
199                 fields,
200                 depth,
201                 acceptParam,
202                 dmiRequestBody);
203         return handleResponse(response);
204     }
205
206     @Override
207     public void createResourceDataPassThroughRunningForCmHandle(final @NotNull String cmHandle,
208                                                                 final @NotNull String resourceIdentifier,
209                                                                 final @NotNull String requestBody,
210                                                                 final String contentType) {
211         final var cmHandleDataNode = fetchDataNodeFromDmiRegistryForCmHandle(cmHandle);
212         final var dmiServiceName = String.valueOf(cmHandleDataNode.getLeaves().get(NCMP_DMI_SERVICE_NAME));
213         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
214         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
215         final var dmiRequestBodyObject = GenericRequestBody.builder()
216                 .operation(GenericRequestBody.OperationEnum.CREATE)
217                 .dataType(contentType)
218                 .data(requestBody)
219                 .cmHandleProperties(cmHandlePropertiesMap)
220                 .build();
221         final var dmiRequestBody = prepareOperationBody(dmiRequestBodyObject);
222         final ResponseEntity<String> responseEntity = dmiOperations
223                 .createResourceDataPassThroughRunningFromDmi(dmiServiceName,
224                         cmHandle,
225                         resourceIdentifier,
226                         dmiRequestBody);
227         handleResponseForPost(responseEntity);
228     }
229
230     @Override
231     public Collection<ModuleReference> getYangResourcesModuleReferences(final String cmHandle) {
232         return cpsModuleService.getYangResourcesModuleReferences(NF_PROXY_DATASPACE_NAME, cmHandle);
233     }
234
235     private DataNode fetchDataNodeFromDmiRegistryForCmHandle(final String cmHandle) {
236         final String xpathForDmiRegistryToFetchCmHandle = "/dmi-registry/cm-handles[@id='" + cmHandle + "']";
237         return cpsDataService.getDataNode(NCMP_DATASPACE_NAME,
238                 NCMP_DMI_REGISTRY_ANCHOR,
239                 xpathForDmiRegistryToFetchCmHandle,
240                 FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS);
241     }
242
243     private String prepareOperationBody(final GenericRequestBody requestBodyObject) {
244         try {
245             return objectMapper.writeValueAsString(requestBodyObject);
246         } catch (final JsonProcessingException e) {
247             log.error("Parsing error occurred while converting Object to JSON.");
248             throw new NcmpException("Parsing error occurred while converting given object to JSON.",
249                 e.getMessage());
250         }
251     }
252
253     private static Map<String, String> getCmHandlePropertiesAsMap(final Collection<DataNode> cmHandlePropertiesList) {
254         if (cmHandlePropertiesList == null || cmHandlePropertiesList.isEmpty()) {
255             return Collections.emptyMap();
256         }
257         final Map<String, String> cmHandlePropertiesMap = new LinkedHashMap<>();
258         for (final var node: cmHandlePropertiesList) {
259             cmHandlePropertiesMap.put(String.valueOf(node.getLeaves().get("name")),
260                     String.valueOf(node.getLeaves().get("value")));
261         }
262         return cmHandlePropertiesMap;
263     }
264
265     private static Object handleResponse(final @NotNull ResponseEntity<Object> responseEntity) {
266         if (responseEntity.getStatusCode() == HttpStatus.OK) {
267             return responseEntity.getBody();
268         } else {
269             throw new NcmpException("Not able to get resource data.",
270                     "DMI status code: " + responseEntity.getStatusCodeValue()
271                             + ", DMI response body: " + responseEntity.getBody());
272         }
273     }
274
275     private static void handleResponseForPost(final @NotNull ResponseEntity<String> responseEntity) {
276         if (responseEntity.getStatusCode() != HttpStatus.OK) {
277             throw new NcmpException("Not able to create resource data.",
278                     "DMI status code: " + responseEntity.getStatusCodeValue()
279                             + ", DMI response body: " + responseEntity.getBody());
280         }
281     }
282
283     private String getGenericRequestBody(final DataNode cmHandleDataNode) {
284         final Collection<DataNode> cmHandlePropertiesList = cmHandleDataNode.getChildDataNodes();
285         final Map<String, String> cmHandlePropertiesMap = getCmHandlePropertiesAsMap(cmHandlePropertiesList);
286         final var requestBodyObject = GenericRequestBody.builder()
287                 .operation(GenericRequestBody.OperationEnum.READ)
288                 .cmHandleProperties(cmHandlePropertiesMap)
289                 .build();
290         return prepareOperationBody(requestBodyObject);
291     }
292
293     private void parseAndUpdateCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration)
294         throws JsonProcessingException {
295         final PersistenceCmHandlesList updatedPersistenceCmHandlesList = toPersistenceCmHandlesList(
296             dmiPluginRegistration.getDmiPlugin(),
297             dmiPluginRegistration.getUpdatedCmHandles());
298         final String cmHandlesAsJson = objectMapper.writeValueAsString(updatedPersistenceCmHandlesList);
299         cpsDataService.updateNodeLeavesAndExistingDescendantLeaves(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
300                 "/dmi-registry", cmHandlesAsJson, NO_TIMESTAMP);
301     }
302
303     private void parseAndCreateCmHandlesInDmiRegistrationAndSyncModule(
304         final DmiPluginRegistration dmiPluginRegistration) throws JsonProcessingException {
305         final PersistenceCmHandlesList createdPersistenceCmHandlesList = toPersistenceCmHandlesList(
306             dmiPluginRegistration.getDmiPlugin(),
307             dmiPluginRegistration.getCreatedCmHandles());
308         registerAndSyncNewCmHandles(createdPersistenceCmHandlesList);
309     }
310
311     private static PersistenceCmHandlesList toPersistenceCmHandlesList(final String dmiPlugin,
312                                                                        final Collection<CmHandle> cmHandles) {
313         final PersistenceCmHandlesList persistenceCmHandlesList = new PersistenceCmHandlesList();
314         for (final CmHandle cmHandle : cmHandles) {
315             final PersistenceCmHandle persistenceCmHandle = toPersistenceCmHandle(dmiPlugin, cmHandle);
316             persistenceCmHandlesList.add(persistenceCmHandle);
317         }
318         return persistenceCmHandlesList;
319     }
320
321     private static void handleJsonProcessingException(final DmiPluginRegistration dmiPluginRegistration,
322                                                       final JsonProcessingException e) {
323         final String message = "Parsing error occurred while processing DMI Plugin Registration"
324             + dmiPluginRegistration;
325         log.error(message);
326         throw new DataValidationException(message, e.getMessage(), e);
327     }
328
329     private void registerAndSyncNewCmHandles(final PersistenceCmHandlesList persistenceCmHandlesList)
330         throws JsonProcessingException  {
331         final String cmHandleJsonData = objectMapper.writeValueAsString(persistenceCmHandlesList);
332         cpsDataService.saveListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR, "/dmi-registry",
333             cmHandleJsonData, NO_TIMESTAMP);
334
335         for (final PersistenceCmHandle persistenceCmHandle : persistenceCmHandlesList.getPersistenceCmHandles()) {
336             createAnchorAndSyncModel(persistenceCmHandle);
337         }
338     }
339
340     private static PersistenceCmHandle toPersistenceCmHandle(final String dmiPluginService,
341                                                              final CmHandle cmHandle) {
342         final PersistenceCmHandle persistenceCmHandle = new PersistenceCmHandle();
343         persistenceCmHandle.setDmiServiceName(dmiPluginService);
344         persistenceCmHandle.setId(cmHandle.getCmHandleID());
345         if (cmHandle.getCmHandleProperties() == null) {
346             persistenceCmHandle.setAdditionalProperties(Collections.emptyMap());
347         } else {
348             persistenceCmHandle.setAdditionalProperties(cmHandle.getCmHandleProperties());
349         }
350         return persistenceCmHandle;
351     }
352
353     private void parseAndRemoveCmHandlesInDmiRegistration(final DmiPluginRegistration dmiPluginRegistration) {
354         for (final String cmHandle : dmiPluginRegistration.getRemovedCmHandles()) {
355             try {
356                 cpsDataService.deleteListNodeData(NCMP_DATASPACE_NAME, NCMP_DMI_REGISTRY_ANCHOR,
357                     "/dmi-registry/cm-handles[@id='" + cmHandle + "']", NO_TIMESTAMP);
358             } catch (final DataNodeNotFoundException e) {
359                 log.warn("Datanode {} not deleted message {}", cmHandle, e.getMessage());
360             }
361         }
362     }
363
364     protected void createAnchorAndSyncModel(final PersistenceCmHandle cmHandle) {
365         final var modulesForCmHandle =
366             dmiOperations.getResourceFromDmi(cmHandle.getDmiServiceName(), cmHandle.getId(), "modules");
367         final List<ModuleReference> moduleReferencesFromDmiForCmHandle =
368             getModuleReferences(modulesForCmHandle);
369         final var knownModuleReferencesInCps =
370             cpsModuleService.getYangResourceModuleReferences(NF_PROXY_DATASPACE_NAME);
371         final List<ModuleReference> existingModuleReferences = new ArrayList<>();
372
373         final List<ModuleReference> unknownModuleReferences = new ArrayList<>();
374         for (final ModuleReference moduleReferenceFromDmiForCmHandle : moduleReferencesFromDmiForCmHandle) {
375             if (knownModuleReferencesInCps.contains(moduleReferenceFromDmiForCmHandle)) {
376                 existingModuleReferences.add(moduleReferenceFromDmiForCmHandle);
377             } else {
378                 unknownModuleReferences.add(moduleReferenceFromDmiForCmHandle);
379             }
380         }
381
382         final JsonObject requestBodyAsJson = getRequestBodyAsJson(unknownModuleReferences);
383
384         final Map<String, String> newYangResourcesModuleNameToContentMap =
385             getNewYangResources(cmHandle, requestBodyAsJson.toString());
386
387         cpsModuleService.createSchemaSetFromModules(NF_PROXY_DATASPACE_NAME, cmHandle.getId(),
388             newYangResourcesModuleNameToContentMap, existingModuleReferences);
389
390         cpsAdminService.createAnchor(NF_PROXY_DATASPACE_NAME, cmHandle.getId(), cmHandle.getId());
391     }
392
393     private static JsonObject getRequestBodyAsJson(final List<ModuleReference> unknownModuleReferences) {
394
395         final JsonObject requestBodyAsJson = new JsonObject();
396         requestBodyAsJson.addProperty("operation", "read");
397
398         final JsonArray moduleReferencesAsJson = getModuleReferencesAsJson(unknownModuleReferences);
399
400         final JsonObject data = new JsonObject();
401         data.add("modules", moduleReferencesAsJson);
402         requestBodyAsJson.add("data", data);
403
404         return requestBodyAsJson;
405     }
406
407     private static JsonArray getModuleReferencesAsJson(final List<ModuleReference> unknownModuleReferences) {
408         final JsonArray moduleReferences = new JsonArray();
409
410         for (final ModuleReference moduleReference : unknownModuleReferences) {
411             final JsonObject moduleReferenceAsJson = new JsonObject();
412             moduleReferenceAsJson.addProperty("name", moduleReference.getModuleName());
413             moduleReferenceAsJson.addProperty(REVISION, moduleReference.getRevision());
414             moduleReferences.add(moduleReferenceAsJson);
415         }
416         return moduleReferences;
417     }
418
419     private Map<String, String> getNewYangResources(final PersistenceCmHandle cmHandle, final String jsonData) {
420         final var moduleResourcesAsJsonString =  dmiOperations.getResourceFromDmiWithJsonData(
421             cmHandle.getDmiServiceName(), jsonData, cmHandle.getId(), "moduleResources");
422
423         final JsonArray moduleResources = new Gson().fromJson(moduleResourcesAsJsonString.getBody(),
424             JsonArray.class);
425         final Map<String, String> newYangResourcesModuleNameToContentMap = new HashMap<>();
426
427         for (final JsonElement moduleResource : moduleResources) {
428             final YangResource yangResource = toYangResource((JsonObject) moduleResource);
429             newYangResourcesModuleNameToContentMap.put(yangResource.getModuleName(), yangResource.getYangSource());
430         }
431         return newYangResourcesModuleNameToContentMap;
432     }
433
434     private static YangResource toYangResource(final JsonObject yangResourceAsJson) {
435         final YangResource yangResource = new YangResource();
436         yangResource.setModuleName(yangResourceAsJson.get("moduleName").getAsString());
437         yangResource.setRevision(yangResourceAsJson.get(REVISION).getAsString());
438         final String yangSourceJson = yangResourceAsJson.get("yangSource").getAsString();
439
440         String yangSource = JsonUtils.removeWrappingTokens(yangSourceJson);
441         yangSource = JsonUtils.removeRedundantEscapeCharacters(yangSource);
442         yangResource.setYangSource(yangSource);
443
444         return yangResource;
445     }
446
447     private static List<ModuleReference> getModuleReferences(final ResponseEntity<String> response) {
448         final List<ModuleReference> modulesFromDmiForCmHandle = new ArrayList<>();
449         final JsonObject convertedObject = new Gson().fromJson(response.getBody(), JsonObject.class);
450         final JsonArray moduleReferencesAsJson = convertedObject.getAsJsonArray("schemas");
451         for (final JsonElement moduleReferenceAsJson : moduleReferencesAsJson) {
452             final ModuleReference moduleReference =
453                 toModuleReference((JsonObject) moduleReferenceAsJson);
454             modulesFromDmiForCmHandle.add(moduleReference);
455         }
456         return modulesFromDmiForCmHandle;
457     }
458
459     private static ModuleReference toModuleReference(final JsonObject moduleReferenceAsJson) {
460         final var moduleReference = new ModuleReference();
461         moduleReference.setModuleName(moduleReferenceAsJson.get("moduleName").getAsString());
462         moduleReference.setRevision(moduleReferenceAsJson.get(REVISION).getAsString());
463         return moduleReference;
464     }
465 }