Cps and Ncmp distributed lock for various use cases

- introduced cpsAndNcmpLock to be used for any use case needing
  coordination. Since it can be used for any use case hence placing the
  class accordingly.
- currently lock is being used for populating workQueue.
- Removed FencedLock as it was part of CPSubsystem which is moved to
  hazelcast-enterprise in 5.5.* version onwards.
- added info level logging statement to verify just one thread at a time
  in the critical section
- Note : integration test to be part of a separate patch.

Issue-ID: CPS-2479
Change-Id: I0f33c7232786c517383e5093fda91fd9a1839021
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Hazelcast related code update

- this patch answers comments from 'Hazelcast Optimization'
  patch that was merged

Issue-ID: CPS-2420
Change-Id: Ic5cf005730f2a45eba553a7f6d32e9af6676821d
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Implementation of Data validation feature in CPS APIs"

Merge "Increase Test coverage for cps-ncmp-service"

Implementation of Data validation feature in CPS APIs

Added support to validate JSON/XML data without the need of persisting
it in the database.

 - added "dryRunInQuery" flag as a new query parameter in update/Replace/Add APIs
 - added new method as part of CpsDataService layer to perform data
   validation

Issue-ID: CPS-2516
Change-Id: I87bb33dd6021567d0fac606d5c4b0168d107311c
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Increase Test coverage for cps-ncmp-service

Issue-ID: CPS-475
Change-Id: I35f127540e0fe5d412a9f855b647fef30f47159f
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Policy Executor API Review Board Comments"

Merge "Extend the container-up time after the tests finished"

Policy Executor API Review Board Comments

- Implemented Guild review comments in API
- Updated Stub to reflect new API and 'support' all operations
- Updated production code to use new API
- Updated Semi-Integration Tests

Issue-ID: CPS-2479
Change-Id: Ibe307b0d859312b534009a384e9f71e1ea2affe0
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Extend the container-up time after the tests finished

- extend it 5 mins for kpi test suit
- extend it 7 mins for endurance test suit

Issue-ID: CPS-2535

Change-Id: Ifecf2cdea67c12ff671da5f90e6715de7089e755
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Separated inventoryFacade to Interface and Impl

  - created NetworkCmProxyInventoryFacade IF

Issue-ID: CPS-2513
Change-Id: Ibda2d7899514ee22d4b04cad971e107bfccce2df
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Hazelcast Optimisation"

Hazelcast Optimisation

Issue-ID: CPS-2420
Change-Id: I707e0fbbddeb4ddc7c573a2b3ebd8fbca08126a6
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "[k6] Use constant arrival rate"

[Module Sync] Store CM-handle IDs in work queue

This fixes bug CPS-2474, handling various edge cases, such as
CM handles being deleted during module sync.

- Change moduleSyncWorkQueue to store CmHandleId instead of DataNode.
- Freshly fetch Cm Handles in module sync task, so latest CM-handle
  state is used, and only process ADVISED CM handles in module sync.

Issue-ID: CPS-2474
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I53d5796c56014a2bfbe5b1c3f17d3991e4feef53

[k6] Use constant arrival rate

Currently, k6 KPI tests send requests using 'constant-vus' executor.
This continuously sends requests on different threads - as soon as
one request completes, another is sent. This leads to weird results
where improving performance of one operation ends up degrading other
test cases, due to more requests being sent per second.

This change makes KPI tests send requests at a constant rate,
making the mixed-load tests less prone to such anomalies.

- Send requests at constant rates for test cases 3, 4, 5, 6.
- Throughput tests 1, 2 & 7 still send at the fastest rate.
- Adjust expected performance timings.

Issue-ID: CPS-2519
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I641ead7d2d9d3b29116e1cf0d4bf8cd345b01a98

Moved common classes under the api package under api

  - moved common classes under the api package
  - moved Spec files

Issue-ID: CPS-2512
Change-Id: I88046280ce359ce8cc488ad37d4e6f85406b0dbf
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Add persistent storage to prometheus"

Inventory Persistance returns YangModelCmHandles for alternate Ids

-Remove getCmHandleDataNodeByAlternateId(s) methods and replace with
Yang Model methods

Issue-ID: CPS-2486
Change-Id: I2c9c96f033b3b1eefadb7eff14c91f9a936630e6
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "[BUG] Effective trust factors in DMI trust level"

Merge "Add tests of attribute-axis feature"

[BUG] Effective trust factors in DMI trust level

Effective trust of a CM handle should be the trust level of the
handle or the DMI, whichever is lower. Currently, effective trust
level of a CM handle is not reported correctly when the DMI is down,
as DMI trust level is not considered.

- Add DMI service names to NcmpServiceCmHandle
- Introduce new DmiServiceNameResolver class
- Correctly calculate effective trust level

Issue-ID: CPS-2375
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaded0fadad58d960eb76c69f79a308df8329e534

Add persistent storage to prometheus

- add healthcheck to ensure prometheus service is running correctly and
restarts it if it becomes unhealthy
- set the data retention time to 30d
- update readme

Issue-ID: CPS-2466

Change-Id: I0f6186f8577e8e0113831ed040298b823e33d624
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Plot metrics for each cps-and-ncmp instance separately in Grafana"

Plot metrics for each cps-and-ncmp instance separately in Grafana

- assing port range to cps-and-ncmp service to plot metrics
   separately

Issue-ID: CPS-2536

Change-Id: Ic097017bbcca25f28341e8e77f658a0a4e8964d7
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Improve test coverage trustlevel manager"

Merge "Add comments to (describe) all Liquibase steps"

Improve test coverage trustlevel manager

Issue-ID: CPS-475
Change-Id: I572227b4f6c61bd2286d8cb3fb85c3dc21142a47
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Add comments to (describe) all Liquibase steps

Issue-ID: CPS-776
Change-Id: I768da4e9d9a1e75d2cc1fa879a5237efb4c7421f
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Added performance section and updated api version

- Added a performance section to the release notes
- Populated the correct info.version for NCMP and CPS Rest interfaces

Issue-ID: CPS-2537
Change-Id: Iae07da57fc45100b4d250fcfb86a95079869b221
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add tests of attribute-axis feature

Following TDD, functional acceptance tests are added for
attribute-axis feature. This covers xpaths such as '//books/@title'

- Add stub to CpsQueryService throwing UnsupportedOperationException
- Add tests showing expected behaviour (tests currently ignored)
- Implementation will be provided in following commmit for CPS-2416

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I71817e66b28dfc21e7b75243fd0135f3cceddb8e

Merge "[Cps Path Parser] Introduce Attribute axis"

Merge "Faster CM-handle searches using Hazelcast optimization"

[k6] Adjust expectations

Some performance improvements were made over last months,
so this commit adjusts expected performance to match.

Issue-ID: CPS-1975
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iff6a303e8424a9d8d8b1effe27724844eadbf7fd

Update the minor version of CPS

- Update the minor version of cps.
- New version being 3.6.0-SNAPSHOT now.

Issue-ID: CPS-2488
Change-Id: I87fb29fe45dc942b258bc1d45e09a3351739539b
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Faster CM-handle searches using Hazelcast optimization

This uses IMap::getAll(setOfKeys) to bulk read trust levels.
This reduces CM-handle search time by a third.

Issue-ID: CPS-2420
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie63b45a76bee146def537b749074ecbb7715e6fc

[Cps Path Parser] Introduce Attribute axis

Add grammar and tests for attribute-axis to match cps paths like:

  //books/@title

which should return the titles of all books (a subsequent patch will
implement the logic). The syntax is compatible with XPath standard.

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I25164b23670147c504f0f0f6c0cc8ff15997f2a3

Bump CPS to 3.5.6-SNAPSHOT

Issue-ID: CPS-2488

Change-Id: Ib17e4283de959ec4aab3c68bb3ba8018a10a10b2
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Container yaml for 3.5.5"

Container yaml for 3.5.5

Issue-ID: CPS-2488

Change-Id: Ie09e3239e1bcb1878b43f8201595f0aea175bfa9
Signed-off-by: egernug <gerard.nugent@est.tech>

maven stage yaml for 3.5.5

Issue-ID: CPS-2488

Change-Id: I04d65ba05e24b64932c887eea039f3ab05157702
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Update release notes for OSLO"

Update release notes for OSLO

- Added release notes for the features that were delivered in 3.5.5
  version of CPS

Issue-ID: CPS-2488
Change-Id: I31e863430a5aff41814bed0a4d39ef8546b8e617
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "XML content support on Replace list content"

Merge "De-Registration without Orphaned Module Check"

De-Registration without Orphaned Module Check

- Testware updates to  measure time spent for de-registration
- Removed orphan check from module delete methods
- Using @scheduled to run Db Cleaner method once
(see https://lf-onap.atlassian.net/wiki/spaces/DW/pages/52494359/CPS-2478+Module+Sync+Inefficiencies#De-Registration:-Test-Measurements-With-and-Without-Orphanage-removal for reasoning)
- Updated integration tests to call orphan check where need (after schema set deletion)

Issue-ID: CPS-2478
Change-Id: I513af9d8bb88486a242284b58e0363a527346dd4
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

XML content support on Replace list content

Here to bring Support for XML Response Entity in Replace List content

- Add ContentTypeInheadr in cpsData.yml to support application/xml
- Add contentTypeInHeader parameter to accept xml  in DataRestController.java
- Modify the code return xml Data
- written testcase for above changes made

Issue-ID: CPS-2411
Change-Id: Ibb7ffb66ccdd03703266123c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Minor refactor of CPS rest controller

Use streams to simplify logic

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1c37ac9c2fa7543e94f8cd60447f4a879a7376f7

Merge "Implement ancestor axis in SQL"

Merge "Catch data validation exception in dmi data operation"

[CPS] Reverted ncmp-dmi-plugin version to latest

- Reverted DMI_VERSION to latest Ncmp-dmi-Plugin 1.6.0-SNAPSHOT-latest
  for CSIT.
- Corrected dmi-stub docker image name from "dmi-plugin-demo-and-csit-stub" to "dmi-stub"

Issue-ID: CPS-2499
Change-Id: I99087b7230a40e958b3b789549a4a8e4c9dd0341
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Implement ancestor axis in SQL

Currenty ancestor axis is implemented in Java using regex,
which then sends a second SQL query to fetch ancestors.
Implementing ancestor axis in SQL is more efficient, and is
needed for limiting/paginating Cps Path Query results.

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0d8933f86c5a422f366ad7c417a17e263a13960f

Don't handle root xpath in getFragmentEntity

getFragmentEntity is an internal method only used for resovling
parent xpaths. The root xpath handling is never reachable.

- Remove root xpath handling in getFragmentEntity
- Clean up unneeded FragmentRepository code

Issue-ID: CPS-2511
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I910065bdb2e7c5fbb7c67af87f3f68af6c0fd4e0

Merge "[Cps Path Parser] Don't quote numbers in comparison"

CpsDataPersistenceService refactoring

- Extract common code to reduce duplication.
- Move private methods below public methods, and
  move private static methods to bottom of file.
- Note some private methods are left in-place due to
  checkstyle rules (method overloads belong together).

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I088a5340e315d55aaf427444bdbfdcadf918464a

[Cps Path Parser] Don't quote numbers in comparison

Presently, Cps Path Parser will wrap numbers in quotes when
normalizing or getting parent path, which can lead to invalid paths.
For example:
  /books[@price > 15]
will be normalized to:
  /books[@price>'15']

This causes trouble when running queries on normalized paths:
(CpsPathException: "can use only > with integer")

Note this patch will still normalize numbers to string for equality:
  /books[@price='15']
Much existing code relies on this, and it does not cause problems.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I15d326ad7db2311b64c636283a4d52623a125176

Catch data validation exception in dmi data operation

Issue-ID: CPS-2510
Change-Id: I4093459c824c202dc8dec4b869e338d4b80fbac8
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Registration Optimization remaining Code Comments

Issue-ID: CPS-2478
Change-Id: I0aa3804225f053ff99176056fe71322a23cff31c
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Define new Suite (js): Endurance

- have one ncmp-test-runner.js with different configs: kpi.json and
  endurance.json
- move scenarios and thresholds settings into the json configs

Issue-ID: CPS-2444

Change-Id: I72f65036dc3f7762284b32903e1d05474dbed6c2
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Make Content-Type header default to JSON for CPS APIs

Recent changes for XML support have made Content-Type header
mandatory, where before it was not. This change makes CPS
default to JSON if Content-Type is not specified.

Issue-ID: CPS-2517
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic3718bfe7aedd6fe9dbd978f520179b184c9c932

Merge "Prioritize cm handle ids over alternate ids in data operations"

Prioritize cm handle ids over alternate ids in data operations

Issue-ID: CPS-2510
Change-Id: I7068d0de45cc2c2e5d8815f0e78c260369f3551e
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Add Rest tests for yang module APIs

Add tests of following rest endpoints, including error scenarios:
- /ncmp/v1/ch/${cmHandleReference}/modules
- /ncmp/v1/ch/${cmHandleReference}/modules/definitions

Change-Id: Ia4b5a638345840970794c7ae93dfd44e5ea62252
Issue-ID: CPS-2509
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>

Merge "Add new k6 test profile for running edurance tests"

Merge "Upgrade liquibase to version 4.30.0"

Upgrade liquibase to version 4.30.0

Issue-ID: CPS-2507
Change-Id: I8057d41ea14719a737554d9cc53e342e4eeec6c6
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

[BUG] Fix for module endpoints using alternate ID

The endpoints for fetching modules and module definitions
previously returned empty result if a CM handle was not
found or not ready. Recent changes for alternate ID have
changed the behaviour so it returns an error instead.
This restores original behaviour by swallowing the exception.

Change-Id: I63091d04d171e6f4ac6ad1c44b359b9a0c4b8f65
Issue-ID: CPS-2509
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>

Update error response for ncmp endpoints

Issue-ID: CPS-2386
Change-Id: I0d1f09cff202e055be255b365fc2271a5ee43b37
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Revert "Update error response for ncmp endpoints"

This reverts commit 7e6fee9321e4f13cc4a0d81f83fc3693309cb5d7.

Reason for revert: This patch is causing blocking issues at ESH see CPS-2509
Issue-ID: CPS-2509
Change-Id: Ie1bd26ccca4abcac09faf35e2b97491dab32b14d
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Test to highlight ModuleSetTag Inefficiencies"

Merge "Update documentation to reflect changes made to rest endpoints"

Update documentation to reflect changes made to rest endpoints

Issue-ID: CPS-2505
Change-Id: I503960e3b093a0e83754132db49cae1aa48690e9
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Update error response for ncmp endpoints"

Add new k6 test profile for running edurance tests

- assign a profile name to the existing k6 tests (kpi)
- add control which profile is run using k6 config file
- both test profiles can run in parallel

Issue-ID: CPS-2464

Change-Id: I9fea13f12e2da46bd55b4315c68209843c1abe06
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Update error response for ncmp endpoints

Issue-ID: CPS-2386
Change-Id: Ib4f37858f5f107e350a13e4bf7ed93493864ce60
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Test to highlight ModuleSetTag Inefficiencies

- Add (micrometer) instrumentation to expose inefficiencies
- Add test config for micrometer
- Add setup methods in base to create many cm handles
- Set module sync parallelism to 2 for testing
- Add clean up methods for hazelcast related tests
- added test to show inefficiencies
- POC 1 use hazelcast set to prevent multiple threads working on same ModuleSetTag
- POC 2 'cache' module set tags per thread to prevent DB looks ups
- Main inefficiency left: create schemaset for EACH cm Handled even if same tag. No easy PoC...

Change-Id: Idf46b44c475a24727dd7084bb613459f4c29be55
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

XML content support for only cps Query v2

Here to bring Support for XML Response Entity in query data nodes

- Add ContentTypeInheadr in cpsQueryV2.yml to support application/xml
- Add contentTypeInHeader parameter to accept xml  in QueryRestController.java
- Implement logic to convert data to xml
- written testcase for above changes made

Issue-ID: CPS-2359
Change-Id: Ieb7eeb66ccbb03703626132c6d5c2eade0e7cb4b
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

[k6] Lower load for legacy async batch operation test

Legacy async batch operation test is failing and reporting zero
as result due to timeouts in the test.

- Lower total batch requests to 100 instead of 1000
- Limit the number of kafka messages per batch to 200 instead of 1000
  to avoid timeout issues.

Issue-ID: CPS-2274
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I06c04173ca1ed0f3580df6a73b5d647ab7ed0c71

Fixing dmi plugin version in NCMP

- Fallback to previous stable version of NCMP in order to stabilize the
  CPS-NCMP CSIT issue so that we are not blocked in our development
- Note : Issue at DMI plugin is still investigated

Issue-ID: CPS-2503
Change-Id: I060c89e927465f16ef979e45f18f98fe605d5b7f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Support alternate Id interface for ncmp inventory /ch/cmhandles endpoint"

Merge "[k6] Output git build info in k6 log"

Merge "Hashmark support in 3gpp objects"

[k6] Output git build info in k6 log

- output build info in k6 log using actuator endpoint
- use quiet output while pulling images for less log noise

Issue-ID: CPS-2445
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4464b70650828c842c94677dddcc4d112f9758e0

Fix for cps-master-merge-java job after removing oParent

- Added ecom repo. configuration into cps-aggregator
- Explicitly set onap.nexus.url

Issue-ID: CPS-2496
Change-Id: I010f97ea438bfbaa9cde81ef1a5cc9839b0d1121
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Fix for cps-master-merge-java job after removing oParent

Issue-ID: CPS-2496
Change-Id: I94eef4006b8c96db2c9d350c3330edf98924099c
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Support alternate Id interface for ncmp inventory /ch/cmhandles endpoint

Issue-ID: CPS-2481
Change-Id: I8a200495be1afb9a4f256127f886bed78c77f653
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Configure Maven Profile for Performance Tests"

Hashmark support in 3gpp objects

NCMP should cut off the part after the # of an alternateid
and use only the first part in CPS match check, but send the complete request to the DMI plugin.

Issue-ID: CPS-2485

Change-Id: Icc1442f2be9545036619043692c3559ffadecb0d
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Add index to yang_resource for faster registration"

Merge "CM Data Notifications RTD"

Configure Maven Profile for Performance Tests

- Enhance: Define global property for maven-resources-plugin and maven-failsafe-plugin version.
- Updated Maven configuration to include performance test cases
- Enable performance test inclusion in build with include-performance profile
- Configured build to run all performance tests with include-performance profile

Issue-ID: CPS-2491
Change-Id: Iecedfc0fce9ce8ed2bfab00784d22eb53cacd18a
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Support Alternate-Id for CPS-E05 data batch interface"

CM Data Notifications RTD

- Added RTD for CM Data Notifications and left a note about the key
  usage.

Issue-ID: CPS-2436
Change-Id: Id1592c85009b945d1785350d54ae8884fcc8bebd
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add index to yang_resource for faster registration

This doubles registration speed by adding a DB index
for yang resource module_name and revision.

Issue-ID: CPS-2478
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I747ac3c8d4a524082b08ab44417e913b163207ce

Merge "Cm Avc Event to have same key"

Merge "Removing ONAP O-Parent as parent from CPS"

Merge "XML content support on get a node"

Merge "Change the dmi address source from dmi-service-name to dmi-data-service-name for writeDataJob"

Change the dmi address source from dmi-service-name to dmi-data-service-name for writeDataJob

-Change implementation to convert datanode to yang model
-Change to resolve service name consistent with other implementations

Issue-ID: CPS-2455

Change-Id: I9cbe494b8c37eb963c42abee1ac5f04a3f695d07
Signed-off-by: egernug <gerard.nugent@est.tech>

Support Alternate-Id for CPS-E05 data batch interface

Issue-ID: CPS-2274
Change-Id: I75163bc7943fca5cbbe8c24601a2dfc184a9e6cc
Signed-off-by: seanbeirne <sean.beirne@est.tech>