Enhance batch operation performance with AlternateIdMatcher

  - used more efficient methos in AlternateIdMatcher to get cmHandleIds
  - removed getYangModelCmHandlesFromCmHandleReferences from InventoryPersistence class (unused + bad performance)

Issue-ID: CPS-2607
Change-Id: Ia1970435aec57cd12713958a910a9ced4511440b
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Add attribute-axis to CPS query nodes rest API"

Minor refactor of query parameters in FragmentQueryBuilder

Issue-ID: CPS-2623
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib0f39dd0aeb5f8f52b856ff7aede635f3061927e

Merge "Optimize Hazelcast usage in Trust Level Search"

Merge "Add documentation for attribute-axis"

Add documentation for attribute-axis

Issue-ID: CPS-2624
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iafa145d1fefbd26adc8786e4001d90883acf1463

Add attribute-axis to CPS query nodes rest API

Support attribute-axis in query nodes api for both JSON and XML:
  /cps/v2/dataspaces/{dataspace}/anchors/{anchor}/nodes/query

It allows such queries as:
  //books/@title
which returns a JSON response like: [{"title":"Matilda"},{"title":"Dune"}]
and an XML response like: <title>Matilda</title><title>Dune</title>

Issue-ID: CPS-2620
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iab51fbe76281740b8dbde373e11864d3509696ef

Batch fetch all CM-handles for faster data job

This optimizes the write data job for the use-case where
most there will be many write operations affecting many CM-handles.
It works by fetching ALL CM-handles into memory.

Issue-ID: CPS-2692
Change-Id: I3a51a9f799ff7521a2a3736440482538de6aa204
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Move CPS REST business logic to CPS-Service Layer
(scope limited to methods using PrefixResolver)

- Introduced CPSFacade (for methods invoking multiple CPS Services related to Prefix insertion)
- Introduced DataMapper to combine PrefixResolver & DataMapUtils
- Moved includeDecendants boolean to Enum conversion to Enum class
- Removed redundant tests from DataRestControllerSpec
- Removed redundant tests from QueryRestControllerSpec
- Cleaned up some legacy testware (adding assert etc)

Issue-ID: CPS-2428
Change-Id: Ib3b4dae941ada441be0dc76aaa5cd14e48685cf7
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Add prometheus metrics for searches and id-searches"

Add prometheus metrics for searches and id-searches

- Added counter to record the number of invocations for id-searches and
  searches endpoint for cm handle ids
- introducing a cps-interface tag to differentiate between inventory
  id-search and traditional id-search endpoints
- used AOP to have minimal code in the controller layers

Issue-ID: CPS-2611
Change-Id: Ib7db2a25f5f71d11872b779a23d38c1f7931410f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Optimize Hazelcast usage in Trust Level Search

Issue-ID: CPS-2674
Change-Id: I1f2fa5dce82eefbc99906bc468c6541f0d35851b
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Allow limiting results in queryDataLeaf"

Merge "Groovy performance test for attribute-axis"

Added performance test of DCM Write Operation

- Improved maintainability by making alternateId generation customizable via function parameters
- Extracted common logic into registerSequenceOfCmHandles to eliminate duplication.

Issue-ID: CPS-2691
Change-Id: I3b7788115a74a89a87b5cddc93f4c5861e9ccd93
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Increase healthcheck retries for cps-and-ncmp"

Merge "Set a permanent directory for the container logs"

Merge "Refactor buildDataNodes to a separate service"

Refactor buildDataNodes to a separate service

- Moved the code for buildDataNodes from CpsDataServiceImpl.java to a
  separate service named DataNodeBuilderService.java
- Renamed the methods to be clear and in-line with their intended use in
  DataNodeBuilderService class
- Moved ROOT_NODE_XPATH and NO_PARENT_PATH to CpsPathUtils

Issue-ID: CPS-2487
Change-Id: I46cf843ab79b1e2547d968fbd30528270b95cc16
Signed-off-by: Arpit Singh <AS00745003@techmahindra.com>

Set a permanent directory for the container logs

- Currently the container logs (cps-and-ncmp) being stored in the cps
  repository (in k6-tests/logs directory). In every build, cps code base
  being fetched freshly. Thus, the zipped container logs being lost.
- Now, by using the WORKSPACE variable set by Jenkins job, the logs will
  be stored under the root directory of WORKSPACE permanently.

Issue-ID: CPS-2676

Change-Id: I0f7f9a46b94fc3e438de39bbab04f9a59daf446b
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Increase healthcheck retries for cps-and-ncmp

- increase the healthcheck retries from 3 to 10

Issue-ID: CPS-2679

Change-Id: Idd541fd88eb804d552659c32f6c6c92a0919c405
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Refactor CM Handle Properties to be more realistic into K6 tests"

Merge "Zip and store logs for containers"

Allow limiting results in queryDataLeaf

This exposes queryResultLimit parameter in queryDataLeaf,
same as was implemented for queryDataNodes API.

Issue-ID: CPS-2680
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ieb922ac1acc91dbfd67fb5ade7856213a2f93ce8

Groovy performance test for attribute-axis

This adds a groovy performance for attribute-axis feature
(queryDataLeaf API).

Issue-ID: CPS-2635
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib7fe324897a3a829cac3ced3446b4d007dc2bee4

Merge "Added query limits to NCMP service methods"

Zip and store logs for containers

- keep console logs printed for k6 results
- zip and store container logs into jenkins' workspace so that it will
  be downloadable whenever needed

Issue-ID: CPS-2676

Change-Id: If2864c0c372d0b7319bba06a3732b49b53c371a4
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Optimize registration parameters"

Merge "Fix test-tools metrics script"

Refactor CM Handle Properties to be more realistic into K6 tests

Issue-ID: CPS-2637
Change-Id: I627cb8be0738e6b0f82dace361eb02889f193ace
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Omit decendents when resolving AlternateId"

Optimize registration parameters

- change internal batch size from 100 to 300
- change input batch size from 100 to 2000 in k6 tests

Issue-ID: CPS-2686

Change-Id: If9645facaee6c0d745a1e9dd12962a27e110f787
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Randomize cm handle ids in a legacy batch array"

Randomize cm handle ids in a legacy batch array

  - added new JS method to get a random list of CmHandle IDs

Issue-ID: CPS-2687
Change-Id: I3b02d4b7c03af3a05860e30b32877475b7e70dba
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Fix test-tools metrics script

The test script for generating spreadsheet report from prometheus
metrics is currently broken (produces garbage output).

- Issue is fixed by specifying space character as delimiter.
- Add more metrics to the report to make script more useful.

Issue-ID: CPS-2651
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I6347521f15bdfc1654243552bfe87190058bd8db

Fix degradation in (de)registration performance

- Disabled CPS notifications by default (in yaml and java)
- minor refactoring of related production code
- Improved unit test regarding notifications being enabled/disabled to get 100% coverage
- Removed now redundant test for enable/disable scenarios (2 replaced by 1 better test)

Issue-ID: CPS-2684
Change-Id: If43cd9c06c1655e1d49c70c55830c4e3a579a6d4
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Added query limits to NCMP service methods

  - modified CmHandleQueryService if
  - added limits to certain Impl methods

Issue-ID: CPS-2678
Change-Id: Ia5fd58afcd6f48404aeafba08ee2977c3efc6dcc
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Omit decendents when resolving AlternateId

Issue-ID: CPS-2652
Change-Id: Ifcaa62d251ab0e4c926f13180acde90a02778c74
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Add notes for request limitations"

Merge "Use attribute-axis in NCMP [#2]"

Merge "Add APIs to control notification subscription"

Merge "Configure allowed request size for Nginx"

Merge "Add conditionalProperty for DeviceTrustLevelMessageConsumer"

Add notes for request limitations

Issue-ID: CPS-2673
Change-Id: Ida88320ca3a5866933ee9b2303ad6bec6885c9c2
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Add APIs to control notification subscription

  - Add API for notification subscription
  - Add API for notification unsubscription
  - Add API for getting notification subscription information

Issue-ID: CPS-2428
Change-Id: I56c34400dc73c71b936a51260efd241224dccdba
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

Use attribute-axis in NCMP [#2]

- uses queryleaf API on the methods queryCmHandleAnyProperties

Issue-ID: CPS-2665
Change-Id: Ibad5888ae8ec8f23348d90d7c99871b075479e03
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Improved unit test related to cm handle reference lookup"

Improved unit test related to cm handle reference lookup

Issue-ID: CPS-2605
Change-Id: Iac36b4838f640fa0bb4bf6bcc41f8a72e8c3bd8e
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Use attribute-axis in NCMP [#1]"

Bump CPS to 3.6.2-SNAPSHOT

Issue-ID: CPS-2670

Change-Id: Ida5b74651cca38749c43bd21f410ba539539d914
Signed-off-by: egernug <gerard.nugent@est.tech>

Container yaml for 3.6.1

Issue-ID: CPS-2670

Change-Id: I260d97327063a7fb9d69fa7ec5df7e5d69900400
Signed-off-by: egernug <gerard.nugent@est.tech>

Adding maven stage yaml 3.6.1

Issue-ID: CPS-2670

Change-Id: If136f148a3762bc5bfbac92e0146844c6fb86701
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Release notes update for 3.6.1"

Release notes update for 3.6.1

Issue-ID: CPS-2670

Change-Id: I525976f68f69f1f8d9bfd81788cb332fdc5303f0
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "RTD update related to event schemas"

Add conditionalProperty for DeviceTrustLevelMessageConsumer

Issue-ID: CPS-2556
Change-Id: Id3be9bccdf40065794654cc414ae75a2184aebb8
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

RTD update related to event schemas

- moving the event schemas file to corresponding folder in the docs
  folder as it is in the cps-ncmp-events
- the files are updated as per the new event data schemas

Issue-ID: CPS-2645
Change-Id: Ibcc9b504c6db8a3556773eeaadebcf02f1a3bb96
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add CM Data Notification background Load to K6

- Implement Kafka message producer with controlled throughput
- Configured message rate to 1000 (default: 500).
- Implemented constant-arrival-rate scenario to maintain controlled throughput.
- Adjusted maxVUs from 1000 to prevent resource overload.
- Added graceful shutdown with a 10s stop period.
- Added it into main K6 suite

Issue-ID:CPS-2587
Change-Id: I75fd1fa83892fd4775b27132059f73e9c0ea4d75
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Change order of CM Handle Reference lookup depending on special character"

Configure allowed request size for Nginx

Issue-ID: CPS-2668
Change-Id: Ie7f1b2dcaa9883a40bc3e0e9c447b44ddf681f59
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Change order of CM Handle Reference lookup depending on special character

- implemented new algorithm using validator to rule out standard id / prefer alternate id
- moved validator imp to cps-service (not in RI) TBC!!!
- changed order of characters tested in validator to fail fast (on '=')
- added Boolean variation validator method to reduce overhead and prevent logic based on exceptions
- improved integration test to cover all scenarios
- add performance test for alternate id look up (report only)
- ensured all performance test use alternate ids it '='
- added small groovy tests to restore cps-ri code coverage to 0.31

Issue-ID: CPS-2605
Change-Id: Id9c22bb69904b7f5d376b7f8319332428435333e
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Event data schemas for NCMP"

Use attribute-axis in NCMP [#1]

- uses queryleaf API on the methods getCmHandleReferencesByTrustLevel,
getCmHandleReferencesByDmiPluginIdentifier

Issue-ID: CPS-2663
Change-Id: Ib9ff3ceb58b14664660f2a92b02e0bacf00bebda
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Event data schemas for NCMP

- Updated the schema id as NCMP has a master copy of all the schemas
  that are used
- Introduced an enum to keep track of the dataschemas at a single place.
- Refactored NcmpEvent builder class to take type and dataschema as a
  parameter
- Cleaned up dependencies
- Refactored testware to prove the changes
- Changes are according to the decisions recorded here https://lf-onap.atlassian.net/wiki/spaces/DW/pages/16554840/CPS-2425+Event+Schemas+in+ONAP#Agreed-Event-Schema-Names

Issue-ID: CPS-2425
Change-Id: Icbda1aa20e3c4b0f2b6797d25b59e52cf9237c92
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Change metric name for LCM state gauge

- change gauge name from cmHandlesByState to cps_ncmp_inventory_cm_handles_by_state

Issue-id: CPS-2662
Change-Id: I97a036b155b638cd6ed94a739e3dffb7b6f00172
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

retry before stopping in docker-compose

- configure restart policy as on-failure and set it to restart atmost 3
  times and then give up.
- prevents infinite restart
- gives an opportunity to the app to heal on its own

Issue-ID: CPS-2647
Change-Id: I6cd0c8601060ec518df1f10bcd0dac1b97f622d8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Handle duplicated yang resource exception when creating schema set"

Handle duplicated yang resource exception when creating schema set

- catch and log duplicated yang resource during schema set creation
- there may be other exception when the app started however there will
  be a tech. dept ticket for them thus please review this commit for
   only duplicated yang resource exception

Issue-ID: CPS-2647

Change-Id: Idf6063cb8328efc667516f09d25ad6c4c6fd8186
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Update packaged postman collection to include all rest endpoints"

Merge "Fix CpsSessionFactory for it to be used in prod code"

Merge "Add actuator port based on testProfile provided"

Enable the container logs and disable the container restart for
cps-and-ncmp

Issue-ID: CPS-2643

Change-Id: I57ba18dcaa71f4c2c5d985e9c870569e40d26880
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Update packaged postman collection to include all rest endpoints

- Bumped dmi version used by docker

Issue-ID: CPS-2504
Change-Id: I7b61aa692432ae79fc26b1c93f7f8a9981d9bcdd
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Add actuator port based on testProfile provided

- kpi uses 8883 port for healthcheck and endurance profile uses 8884
  port.

Issue-ID: CPS-2642
Change-Id: I0ee63f14e30141d894eb0e8b9a646a3e4112dac8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Fix CpsSessionFactory for it to be used in prod code

- Injecting SessionFactory bean from the spring container instead of
  manually creating it.
- Removing explicit addition of Annotated class as anyways the classes
  are Entity classes and added to the metadata. So no need to add it
  explicitly
- also removing the unused hibernate config file

Issue-ID: CPS-2629
Change-Id: Ife2ae3828d009893de70d9c755d6a07cef2f8d07
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Realistic Examples: NCMP Open API and Doc"

Merge "Add healthchecks for docker-compose for k6 and CSIT"

Merge "Fix WriteSubJobSpec test to support Windows"

Realistic Examples: NCMP Open API and Doc

- Updated resourceIdentifier query parameter to align with GNBDUFunctionConfig structure.
- Added examples for querying all GNBDUFunctions, specific gNB IDs, and sub-resources like RIM-RS reporting configurations.

Issue-ID: CPS-2483
Change-Id: Ibdd93f51debdd797e8cc809774b703c342052559
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Add healthchecks for docker-compose for k6 and CSIT

To improve reliability and consistency of healthchecks in
k6 and CSIT tests, they are implemented in docker-compose.
This commit adds fail-fast logic, where k6 and CSITs will
abort immediately if the containers won't start.

Implementation:
- Add healthchecks for docker containers used in tests.
- Change k6 & CSIT tests to use docker healthchecks.
- Tests will abort if containers are not healthy.
- Start-up timeout for CPS containers is 90 seconds
- Start-up timeout for other containers is 60 seconds

Other Improvements:
- Add --quiet-pull option to suppress junk output in Jenkins logs.
- Add kpi.env file containing environment variables for KPI pipeline,
  just like endurance.env. This allows same code to run either suite.
- Changed from port range to port number for Postgres exporter, since
  only a single instance runs, to be consistent with other containers

Issue-ID: CPS-2630
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I50929ca4061bb844fca87a0d6c3103aaa2c45e0b

Fix WriteSubJobSpec test to support Windows

- Added to test to support Windows/Kubernetes network resolution by MockWebServer

Issue-ID: CPS-2641

Change-Id: I1bfe1db66438bbbf7df9e94c8d42cfe84d68b220
Signed-off-by: egernug <gerard.nugent@est.tech>

Store yang resources with recommended RFC-6020 file-name

- Ignore input filename and create filename from module name and revision
- added integration test to verify names and edge cases (before and after change)
- Some code cleanup (vars etc)
- Implemented NB comments from last merge(https://gerrit.onap.org/r/c/cps/+/140180)
- fixed SQ warning
Out of scope:
- BLANK revision, test it but failed in ODL Yang Parser and many other places: not supported!

Issue-ID: CPS-138
Change-Id: I6fe6d0f8f3683196b183c6e6582ad8eefdfbb7d7
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Change Datajob Status return value"

Change Datajob Status return value

- Change to return entire JSON object instead of status string

Issue-ID: CPS-2613

Change-Id: I63d8a9d078f003fc06e301bf9921f7942b3603ab
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Query data nodes with limit"

Query data nodes with limit

  - added new methods to java interfaces
  - added integration test
  - removed unused methods

Issue-ID: CPS-2394
Change-Id: Iac4094a5daedbf593d17f55928136a80391c6d23
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Fix for intermittent failures of module sync tests

- Removed PollingConditions as ModuleSyncWatchdog is now synchronous
- Use Hazelcast IMap::delete instead of IMap::removeAsync to fix root
  cause of test failures: removeAsync may not be finished when module
  sync is re-run during tests.

Issue-ID: CPS-2615
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1786a1303606132218dc8e4e91fb58e6f6cc0bcb

Disallow docker-compose to use swap space

- if swap memory is active on any host, the docker-compose will add it
  on top of JVM process memory. This will exceed the total memory
   reservation of the container, eventually cause restart.
- swap limit can not be lower than the total memory limit, thus given
  3G. this will disallow docker-compose to use swap space

Issue-ID: CPS-2628

Change-Id: I01bd4a1fd3f4e894fe8236bbc38cd7718fb0b6fb
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Remove the profile from postgres-exporter service"

Merge "Fix duplicated yang resource references V2"

Fix duplicated yang resource references V2

- Store Yang module references using SchemaSetEntity instead of SQL
- Added integration test to check number of references
- Update dispatcher for integration test to only return yang resources requested modules
- refactor schema set create & upgrade methods for better re-uses and readability
- consistent naming in related methods like(new)yangResourceContentPerName
(the name can be filename, module name or schema set name) depending on the context
- replaced 'var' with actual class names in affected classes

Issue-ID: CPS-2605
Change-Id: I8870c70832ac533bd17ce8af409a071f659e4acf
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Remove the profile from postgres-exporter service

- The profile 'monitoring' prevents postgres-exporter service to run for
  both kpi and endurance pipelines. As a result, the postgres dashboard
   does not work on Nordix Grafana.

Issue-ID: CPS-2585

Change-Id: I272ab609c60094bb347ef405787679860cc43595
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Add Hikari dashboard to Grafana"

Merge "Remove multithreading from module sync watchdog"

Update deployment docs with minimum requirements

- Add minimum CPU and Memory Requirements for NCMP to the
  deployment documentation, for both 20K and 50K use-cases.
- Updated recommended heap allocation to 70%, based on
  analysis of JVM Process Memory metric in Grafana.

Issue-ID: CPS-2584
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Idb056eabf7529f1bc2288a3e07975f080f413c3f

Add Hikari dashboard to Grafana

- hikari dashboard will insight into db connection pool such as
  connection count e.g. min, max, and idle.
- change coloring for some panel from JVM dashboard
- add tags to the dashboards

Issue-ID: CPS-2592

Change-Id: Ibfb49ab5c1e338d04a7c8f18a413b5db7b8d5ad7
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Change event topic name for trust level"

Merge "Organise NCMP & CPS Event Schema Folders"

Merge "Fix deprecation issue related to KafkaContainer"

Merge "Simple implementation of attribute-axis"