Change Datajob Status return value

- Change to return entire JSON object instead of status string

Issue-ID: CPS-2613

Change-Id: I63d8a9d078f003fc06e301bf9921f7942b3603ab
Signed-off-by: egernug <gerard.nugent@est.tech>

Add "dataProducerId" and "dmiServiceName" values to SubJobWriteResponse in sendRequestsToDmi method

- DMI call only returns subJobId
- SubJobWriteResponse created using DMI response and request values

Issue-ID: CPS-2497

Change-Id: Ib38132f2337de6a12b0b05bc6eebeed99f8d435d
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Increase JVM heap to 75% again"

Increase JVM heap to 75% again

Heap percent was commented out by mistake leading to OutOfMemoryError
in endurance pipeline, due to only 25% of memory being used for heap.

Issue-ID: CPS-2570
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifbffe7222e38f017105cfac8bc8307255d28d11a

On demand heapdump and threaddump generation for cps-and-ncmp

- Generate the heapdump of a running application on demand using the
  /actuator/heapdump endpoint and threaddump using /actuator/threaddump
- RTD update as separate patch when the python issue is sorted

Issue-ID: CPS-2453
Change-Id: Ifcf4e7aecc1ee15f57011a1c4a4ec7bf67e45a6f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "[k6] Adjust thresholds"

[k6] Adjust thresholds

Some cases improved performance after introduction of
one schemaset per module set tag.

Issue-ID: CPS-2540
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib544d425758016df2fb3eeb1b0d0d2529b80c698

Merge "Realistic Examples: K6 Test-ware"

Merge "Moved impl package out from api package"

Merge "Make Response Timeout Configurable in WebClient Configuration"

Realistic Examples: K6 Test-ware

- Updated resourceIdentifier query parameter to align with GNBDUFunctionConfig structure.
- Introduced hierarchical notation (parent=..., child=...) for precise resource identification.
- Added examples for querying all GNBDUFunctions, specific gNB IDs, and sub-resources like RIM-RS reporting configurations.

Issue-ID: CPS-2482
Change-Id: I9e10db9bed7a3503f617a9f8dbd9fed8787402dc
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Moved impl package out from api package

 - refactored cps service packages and the architecture test

Issue-ID: CPS-2543
Change-Id: I0fab54cebd157b19ff6105b7d4b6d8265a1af485
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "One SchemaSet per moduleSetTag"

Merge "Add LCM State dashboard to Grafana"

Merge "Handle restart case for cps-ncmp gauge metrics"

Make Response Timeout Configurable in WebClient Configuration

- Added responseTimeoutInSeconds property in the ServiceConfig class to allow dynamic configuration of the timeout.
- Updated WebClientConfiguration to read the responseTimeoutInSeconds from ServiceConfig and set it in the HttpClient.

Issue-ID: CPS-2565
Change-Id: I096688319c55f0342b524511883ec0d33806b9b7
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Handle restart case for cps-ncmp gauge metrics

Issue-ID: CPS-2456
Change-Id: I9ac5d6774fcd745d8141551eeff8a1deb1938f57
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Add LCM State dashboard to Grafana

- adding a grafana dashboard for lcm state changes of
  cm handles

Issue-ID: CPS-2558

Change-Id: Ie00884736ffa5c08e1be150c71cf8ac603f2ab60
Signed-off-by: halil.cakal <halil.cakal@est.tech>

One SchemaSet per moduleSetTag

- Registration: create and upgrade cases.
- Handle moduleSetTag deletion (all orphans) for testware
- Unit tests updated
- additional logging of details for upgrade scenarios
- Integration Tests updated
- Remove cache for module sets being processed
- Removed DbCleaner (startup)
- Removed redundant methods in NCMP Inventory for deleting schema set(s)
- Removed validation check for all schema set interactions
- Updated some schema set tests to use special characters previously not allowed
- Checked integration test scenarios for upgrades with and without tags: all scenarios covered!

TODO
- REST endpoint to remove orphaned schema set data, separate story: CPS-2554
- Investigate exception handling regarding DuplicateYangResourceException: CPS-2555

Issue-ID: CPS-2540
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Iaa59cbdb86b7a4a8044624829bc002506ff40cc7

Merge "Resolve Nexus-IQ report issues"

Merge "Move LockReasonCategory under api package"

Merge "Realistic Examples: NCMP Open API and Doc"

Resolve Nexus-IQ report issues

- Upgrading postgres 42.5.1->42.5.5
- Upgrading spring-boot-dependencies & spring-boot-starter-cache
  3.2.12->3.4.1

Issue-ID: CPS-2550
Change-Id: I36ab8d72ff7c19e413b2ce0b8e12f4dbcc1c2441
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Add conditionalProperty in subscription consumers and producers"

Change image of Grafana in local docker-compose

- change image of grafana to grafana/grafana from grafana/grafana-oss
   in local docker-compose file

Issue-ID: CPS-2559

Change-Id: I03bf895c10a108c9aeae2db6b2dc6b39db505df5
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Move LockReasonCategory under api package

  - reafctored package structure

Issue-ID: CPS-2514
Change-Id: Id54cd652e147b585730caacbe550287ae2c329e1
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Update the cps's threshold for de-registration api

- Due to the performance improvment of de-registration flow
   updating the cps' limit to 120 cmhandles/second

Issue-ID: CPS-2192
Change-Id: Ia0224a585deba9181de89c6bb4600e8d5529df14
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Add conditionalProperty in subscription consumers and producers

Issue-ID: CPS-2556
Change-Id: Id6a70dbfabc9119727eb307f3c2928a13f3bf44a
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Realistic Examples: NCMP Open API and Doc

- Updated resourceIdentifier query parameter to align with GNBDUFunctionConfig structure.
- Introduced hierarchical notation (parent=..., child=...) for precise resource identification.
- Added examples for querying all GNBDUFunctions, specific gNB IDs, and sub-resources like RIM-RS reporting configurations.

Issue-ID: CPS-2483
Change-Id: I215944a45c754e43f61948464c5c8793c22e41c8
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Implement Integration Testcases for XML Supported API's"

Implement Integration Testcases for XML Supported API's

Issue-ID: CPS-2548
Change-Id: Icc7ffb66aabb03702355123c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

docs config files for oslo release v2

Issue-ID: DOC-826

Change-Id: I6f27294301724feb46b737094c95175a17c33dfc
Signed-off-by: thmsdt <thomas.kulik@telekom.de>

Merge "Resolve Nexus-IQ report issues"

Merge "Remove hypersistence dependency in cps"

Resolve Nexus-IQ report issues

- Upgrading Springboot 3.3.1->3.3.7
- Upgrading Springboot dependencies 3.2.4->3.2.12

Issue-ID: CPS-2550
Change-Id: I0630b4fbdcfe44cebc835ef7be0df1b306e801e5
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Add gauge metric for NCMP "cmhandle states""

Remove hypersistence dependency in cps

Issue-ID: CPS-2166
Change-Id: I543e32a97b84f87f9ec0bbb72e3883e7eea3c5e1
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Add gauge metric for NCMP "cmhandle states"

Issue-ID: CPS-2456
Change-Id: I1aebcc68dfdc9c48c230c74376742d67b05c0615
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Update docs related to lock

- added the distributed lock in the documentation as well
- updated the log level to debug to refrain printing every iteration of
  the scheduler

Issue-ID: CPS-2479
Change-Id: Ieeeff46168d70aca6f423e82bda15a12d6c405a5
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Add schema to persist notification subscription information"

Merge "Remove check before removing from hazelcast cache"

Add schema to persist notification subscription information

Add required schema to persist notification subscription information. It should contain
  - Schema yang file
  - New Dataspace, Anchors or any other database entity
  - Refactore duplicate code in NCMP

Issue-ID:CPS-2427
Change-Id: I56c34400dc73c71b936a51260efd300924ababdc
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

Merge "Cps and Ncmp distributed lock for various use cases"

Cps and Ncmp distributed lock for various use cases

- introduced cpsAndNcmpLock to be used for any use case needing
  coordination. Since it can be used for any use case hence placing the
  class accordingly.
- currently lock is being used for populating workQueue.
- Removed FencedLock as it was part of CPSubsystem which is moved to
  hazelcast-enterprise in 5.5.* version onwards.
- added info level logging statement to verify just one thread at a time
  in the critical section
- Note : integration test to be part of a separate patch.

Issue-ID: CPS-2479
Change-Id: I0f33c7232786c517383e5093fda91fd9a1839021
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "RTD docs for async use case"

Remove check before removing from hazelcast cache

Issue-ID: CPS-2420
Change-Id: I2299d5790792f7c2b2b1a6aa371b5ea43c6a9ee8
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

RTD docs for async use case

- Documented the suggestion to tune the kafka parameter for the case
  when client provides a non existent topic for the async batch usecase.

Issue-ID: CPS-2069
Change-Id: I93e1b3006c901b6b4fc3a61df16d3cb82e6c9906
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Hazelcast related code update

- this patch answers comments from 'Hazelcast Optimization'
  patch that was merged

Issue-ID: CPS-2420
Change-Id: Ic5cf005730f2a45eba553a7f6d32e9af6676821d
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Implementation of Data validation feature in CPS APIs"

Merge "Increase Test coverage for cps-ncmp-service"

Implementation of Data validation feature in CPS APIs

Added support to validate JSON/XML data without the need of persisting
it in the database.

 - added "dryRunInQuery" flag as a new query parameter in update/Replace/Add APIs
 - added new method as part of CpsDataService layer to perform data
   validation

Issue-ID: CPS-2516
Change-Id: I87bb33dd6021567d0fac606d5c4b0168d107311c
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Increase Test coverage for cps-ncmp-service

Issue-ID: CPS-475
Change-Id: I35f127540e0fe5d412a9f855b647fef30f47159f
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Policy Executor API Review Board Comments"

Merge "Extend the container-up time after the tests finished"

Policy Executor API Review Board Comments

- Implemented Guild review comments in API
- Updated Stub to reflect new API and 'support' all operations
- Updated production code to use new API
- Updated Semi-Integration Tests

Issue-ID: CPS-2479
Change-Id: Ibe307b0d859312b534009a384e9f71e1ea2affe0
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Extend the container-up time after the tests finished

- extend it 5 mins for kpi test suit
- extend it 7 mins for endurance test suit

Issue-ID: CPS-2535

Change-Id: Ifecf2cdea67c12ff671da5f90e6715de7089e755
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Separated inventoryFacade to Interface and Impl

  - created NetworkCmProxyInventoryFacade IF

Issue-ID: CPS-2513
Change-Id: Ibda2d7899514ee22d4b04cad971e107bfccce2df
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Hazelcast Optimisation"

Hazelcast Optimisation

Issue-ID: CPS-2420
Change-Id: I707e0fbbddeb4ddc7c573a2b3ebd8fbca08126a6
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "[k6] Use constant arrival rate"

[Module Sync] Store CM-handle IDs in work queue

This fixes bug CPS-2474, handling various edge cases, such as
CM handles being deleted during module sync.

- Change moduleSyncWorkQueue to store CmHandleId instead of DataNode.
- Freshly fetch Cm Handles in module sync task, so latest CM-handle
  state is used, and only process ADVISED CM handles in module sync.

Issue-ID: CPS-2474
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I53d5796c56014a2bfbe5b1c3f17d3991e4feef53

[k6] Use constant arrival rate

Currently, k6 KPI tests send requests using 'constant-vus' executor.
This continuously sends requests on different threads - as soon as
one request completes, another is sent. This leads to weird results
where improving performance of one operation ends up degrading other
test cases, due to more requests being sent per second.

This change makes KPI tests send requests at a constant rate,
making the mixed-load tests less prone to such anomalies.

- Send requests at constant rates for test cases 3, 4, 5, 6.
- Throughput tests 1, 2 & 7 still send at the fastest rate.
- Adjust expected performance timings.

Issue-ID: CPS-2519
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I641ead7d2d9d3b29116e1cf0d4bf8cd345b01a98

Moved common classes under the api package under api

  - moved common classes under the api package
  - moved Spec files

Issue-ID: CPS-2512
Change-Id: I88046280ce359ce8cc488ad37d4e6f85406b0dbf
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Add persistent storage to prometheus"

Inventory Persistance returns YangModelCmHandles for alternate Ids

-Remove getCmHandleDataNodeByAlternateId(s) methods and replace with
Yang Model methods

Issue-ID: CPS-2486
Change-Id: I2c9c96f033b3b1eefadb7eff14c91f9a936630e6
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "[BUG] Effective trust factors in DMI trust level"

Merge "Add tests of attribute-axis feature"

[BUG] Effective trust factors in DMI trust level

Effective trust of a CM handle should be the trust level of the
handle or the DMI, whichever is lower. Currently, effective trust
level of a CM handle is not reported correctly when the DMI is down,
as DMI trust level is not considered.

- Add DMI service names to NcmpServiceCmHandle
- Introduce new DmiServiceNameResolver class
- Correctly calculate effective trust level

Issue-ID: CPS-2375
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaded0fadad58d960eb76c69f79a308df8329e534

Add persistent storage to prometheus

- add healthcheck to ensure prometheus service is running correctly and
restarts it if it becomes unhealthy
- set the data retention time to 30d
- update readme

Issue-ID: CPS-2466

Change-Id: I0f6186f8577e8e0113831ed040298b823e33d624
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Plot metrics for each cps-and-ncmp instance separately in Grafana"

Plot metrics for each cps-and-ncmp instance separately in Grafana

- assing port range to cps-and-ncmp service to plot metrics
   separately

Issue-ID: CPS-2536

Change-Id: Ic097017bbcca25f28341e8e77f658a0a4e8964d7
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Improve test coverage trustlevel manager"

Merge "Add comments to (describe) all Liquibase steps"

Improve test coverage trustlevel manager

Issue-ID: CPS-475
Change-Id: I572227b4f6c61bd2286d8cb3fb85c3dc21142a47
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Add comments to (describe) all Liquibase steps

Issue-ID: CPS-776
Change-Id: I768da4e9d9a1e75d2cc1fa879a5237efb4c7421f
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Added performance section and updated api version

- Added a performance section to the release notes
- Populated the correct info.version for NCMP and CPS Rest interfaces

Issue-ID: CPS-2537
Change-Id: Iae07da57fc45100b4d250fcfb86a95079869b221
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add tests of attribute-axis feature

Following TDD, functional acceptance tests are added for
attribute-axis feature. This covers xpaths such as '//books/@title'

- Add stub to CpsQueryService throwing UnsupportedOperationException
- Add tests showing expected behaviour (tests currently ignored)
- Implementation will be provided in following commmit for CPS-2416

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I71817e66b28dfc21e7b75243fd0135f3cceddb8e

Merge "[Cps Path Parser] Introduce Attribute axis"

Merge "Faster CM-handle searches using Hazelcast optimization"

[k6] Adjust expectations

Some performance improvements were made over last months,
so this commit adjusts expected performance to match.

Issue-ID: CPS-1975
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iff6a303e8424a9d8d8b1effe27724844eadbf7fd

Update the minor version of CPS

- Update the minor version of cps.
- New version being 3.6.0-SNAPSHOT now.

Issue-ID: CPS-2488
Change-Id: I87fb29fe45dc942b258bc1d45e09a3351739539b
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Faster CM-handle searches using Hazelcast optimization

This uses IMap::getAll(setOfKeys) to bulk read trust levels.
This reduces CM-handle search time by a third.

Issue-ID: CPS-2420
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie63b45a76bee146def537b749074ecbb7715e6fc

[Cps Path Parser] Introduce Attribute axis

Add grammar and tests for attribute-axis to match cps paths like:

  //books/@title

which should return the titles of all books (a subsequent patch will
implement the logic). The syntax is compatible with XPath standard.

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I25164b23670147c504f0f0f6c0cc8ff15997f2a3

Bump CPS to 3.5.6-SNAPSHOT

Issue-ID: CPS-2488

Change-Id: Ib17e4283de959ec4aab3c68bb3ba8018a10a10b2
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Container yaml for 3.5.5"

Container yaml for 3.5.5

Issue-ID: CPS-2488

Change-Id: Ie09e3239e1bcb1878b43f8201595f0aea175bfa9
Signed-off-by: egernug <gerard.nugent@est.tech>

maven stage yaml for 3.5.5

Issue-ID: CPS-2488

Change-Id: I04d65ba05e24b64932c887eea039f3ab05157702
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Update release notes for OSLO"

Update release notes for OSLO

- Added release notes for the features that were delivered in 3.5.5
  version of CPS

Issue-ID: CPS-2488
Change-Id: I31e863430a5aff41814bed0a4d39ef8546b8e617
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "XML content support on Replace list content"

Merge "De-Registration without Orphaned Module Check"

De-Registration without Orphaned Module Check

- Testware updates to  measure time spent for de-registration
- Removed orphan check from module delete methods
- Using @scheduled to run Db Cleaner method once
(see https://lf-onap.atlassian.net/wiki/spaces/DW/pages/52494359/CPS-2478+Module+Sync+Inefficiencies#De-Registration:-Test-Measurements-With-and-Without-Orphanage-removal for reasoning)
- Updated integration tests to call orphan check where need (after schema set deletion)

Issue-ID: CPS-2478
Change-Id: I513af9d8bb88486a242284b58e0363a527346dd4
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

XML content support on Replace list content

Here to bring Support for XML Response Entity in Replace List content

- Add ContentTypeInheadr in cpsData.yml to support application/xml
- Add contentTypeInHeader parameter to accept xml  in DataRestController.java
- Modify the code return xml Data
- written testcase for above changes made

Issue-ID: CPS-2411
Change-Id: Ibb7ffb66ccdd03703266123c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Minor refactor of CPS rest controller

Use streams to simplify logic

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1c37ac9c2fa7543e94f8cd60447f4a879a7376f7

Merge "Implement ancestor axis in SQL"

Merge "Catch data validation exception in dmi data operation"

[CPS] Reverted ncmp-dmi-plugin version to latest

- Reverted DMI_VERSION to latest Ncmp-dmi-Plugin 1.6.0-SNAPSHOT-latest
  for CSIT.
- Corrected dmi-stub docker image name from "dmi-plugin-demo-and-csit-stub" to "dmi-stub"

Issue-ID: CPS-2499
Change-Id: I99087b7230a40e958b3b789549a4a8e4c9dd0341
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Implement ancestor axis in SQL

Currenty ancestor axis is implemented in Java using regex,
which then sends a second SQL query to fetch ancestors.
Implementing ancestor axis in SQL is more efficient, and is
needed for limiting/paginating Cps Path Query results.

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0d8933f86c5a422f366ad7c417a17e263a13960f

Don't handle root xpath in getFragmentEntity

getFragmentEntity is an internal method only used for resovling
parent xpaths. The root xpath handling is never reachable.

- Remove root xpath handling in getFragmentEntity
- Clean up unneeded FragmentRepository code

Issue-ID: CPS-2511
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I910065bdb2e7c5fbb7c67af87f3f68af6c0fd4e0

Merge "[Cps Path Parser] Don't quote numbers in comparison"