Store yang resources with recommended RFC-6020 file-name

- Ignore input filename and create filename from module name and revision
- added integration test to verify names and edge cases (before and after change)
- Some code cleanup (vars etc)
- Implemented NB comments from last merge(https://gerrit.onap.org/r/c/cps/+/140180)
- fixed SQ warning
Out of scope:
- BLANK revision, test it but failed in ODL Yang Parser and many other places: not supported!

Issue-ID: CPS-138
Change-Id: I6fe6d0f8f3683196b183c6e6582ad8eefdfbb7d7
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Change Datajob Status return value"

Change Datajob Status return value

- Change to return entire JSON object instead of status string

Issue-ID: CPS-2613

Change-Id: I63d8a9d078f003fc06e301bf9921f7942b3603ab
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Query data nodes with limit"

Query data nodes with limit

  - added new methods to java interfaces
  - added integration test
  - removed unused methods

Issue-ID: CPS-2394
Change-Id: Iac4094a5daedbf593d17f55928136a80391c6d23
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Fix for intermittent failures of module sync tests

- Removed PollingConditions as ModuleSyncWatchdog is now synchronous
- Use Hazelcast IMap::delete instead of IMap::removeAsync to fix root
  cause of test failures: removeAsync may not be finished when module
  sync is re-run during tests.

Issue-ID: CPS-2615
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1786a1303606132218dc8e4e91fb58e6f6cc0bcb

Disallow docker-compose to use swap space

- if swap memory is active on any host, the docker-compose will add it
  on top of JVM process memory. This will exceed the total memory
   reservation of the container, eventually cause restart.
- swap limit can not be lower than the total memory limit, thus given
  3G. this will disallow docker-compose to use swap space

Issue-ID: CPS-2628

Change-Id: I01bd4a1fd3f4e894fe8236bbc38cd7718fb0b6fb
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Remove the profile from postgres-exporter service"

Merge "Fix duplicated yang resource references V2"

Fix duplicated yang resource references V2

- Store Yang module references using SchemaSetEntity instead of SQL
- Added integration test to check number of references
- Update dispatcher for integration test to only return yang resources requested modules
- refactor schema set create & upgrade methods for better re-uses and readability
- consistent naming in related methods like(new)yangResourceContentPerName
(the name can be filename, module name or schema set name) depending on the context
- replaced 'var' with actual class names in affected classes

Issue-ID: CPS-2605
Change-Id: I8870c70832ac533bd17ce8af409a071f659e4acf
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Remove the profile from postgres-exporter service

- The profile 'monitoring' prevents postgres-exporter service to run for
  both kpi and endurance pipelines. As a result, the postgres dashboard
   does not work on Nordix Grafana.

Issue-ID: CPS-2585

Change-Id: I272ab609c60094bb347ef405787679860cc43595
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Add Hikari dashboard to Grafana"

Merge "Remove multithreading from module sync watchdog"

Update deployment docs with minimum requirements

- Add minimum CPU and Memory Requirements for NCMP to the
  deployment documentation, for both 20K and 50K use-cases.
- Updated recommended heap allocation to 70%, based on
  analysis of JVM Process Memory metric in Grafana.

Issue-ID: CPS-2584
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Idb056eabf7529f1bc2288a3e07975f080f413c3f

Add Hikari dashboard to Grafana

- hikari dashboard will insight into db connection pool such as
  connection count e.g. min, max, and idle.
- change coloring for some panel from JVM dashboard
- add tags to the dashboards

Issue-ID: CPS-2592

Change-Id: Ibfb49ab5c1e338d04a7c8f18a413b5db7b8d5ad7
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Change event topic name for trust level"

Merge "Organise NCMP & CPS Event Schema Folders"

Merge "Fix deprecation issue related to KafkaContainer"

Merge "Simple implementation of attribute-axis"

Merge "Realistic Examples: K6 Test-ware"

Merge "Enable filtering by instance"

Increase initial module processing delay to 3 mins

Issue-ID: CPS-2616
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie179c6e16cb9c49944b64665aba89c85029f4268

Simple implementation of attribute-axis

This minimally implements attribute-axis using existing
queryDataNodes API. Acceptance tests are un-ignored now.

Issue-ID: CPS-2416
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia06be3dd85dfce261d9d78529784d54d84b71bcd

Remove multithreading from module sync watchdog

After introduction of module set tag improvements, there is no need
to multithreading in module sync. Performance impact is minimal.

Issue-ID: CPS-2165
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1557fc8348d39da3654a1b92944c6ad49fa8670d

Realistic Examples: K6 Test-ware

- resourceIdentifiers must be url encoded fdns from ManagedElement.
  e.g.: ManagedElement=NRNode1/GNBDUFunction=1/NRCellDU=cell1

- resourceIdentifer refers to the object where the search starts from.
  This request will search for NRCellDUs and return their cellLocalId.
  The resourceIdentifier should be: ManagedElement=NRNode1/GNBDUFunction=1

Issue-ID: CPS-2482
Change-Id: Ic6ac360c71fcfc80f27367b626ad85d40a58a292
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Enable filtering by instance

- if kpi and endurance suits runing together at the same time,
   instance flag will help to filter either of them. otherwise the
    stats for both suits will be visible on a single plot together.

Issue-ID: CPS-2585

Change-Id: I422adb0afd3a618c477989a9396636f63808c275
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Organise NCMP & CPS Event Schema Folders

-Directories will reflect application.yml topic topology

Issue-ID: CPS-2590
Change-Id: I42bfa10c54ae79726b5ad0b4d60a0d9e826a34d5
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Fix deprecation issue related to KafkaContainer

- Replaced KafkaContainer with ConfluentKafkaContainer to fix the
  deprecation issue
- Bumped the version of cp-kafka and cp-zookeeper to 7.8.0
- Removing reference of registry.nordix as the NCMP internal pipeline is no
  longer used

Issue-ID: CPS-2608
Change-Id: Ic1f3edbc06d63c5f00c1ecb901e07a6bc17ae6eb
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add new dashboard to monitor some of the stats of PostgreSQL

- add postgres-exporter service to expose postgresql db metrics to prometheus
- add new job scraper to prometheus for both kpi and endurance jobs
- add new dashboard: postgresql-statistics to the grafana

Issue-ID: CPS-2585

Change-Id: Ia7ede41d00364918b1054d9b5a38e2feea4fc8e5
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Add Data dashboard to Grafana"

Remove deprecated Rest endpoints for hazelcast health

- removing the hazelcast cluster rest health check endpoints

Issue-ID: CPS-2612
Change-Id: I01ad0e4b4d8ad99ce7a6e4e4dc0f0a8272d39227
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Bump CPS-NCMP to 3.6.1-SNAPSHOT

Issue-ID: CPS-2610
Change-Id: I289fcbdc2df1de6d369cc6e01bdad26ec174b08f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Add container yaml"

Add container yaml

Issue-ID: CPS-2610
Change-Id: I2843e60ba07dcc02ce01ee35e4c6d6abf677bfcb
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Adding maven stage yaml

Issue-ID: CPS-2610
Change-Id: I30397648316bddfd412b9d532e14bcca2eaba9b8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Release notes update for 3.6.0"

Merge "Add "dataProducerId" and "dmiServiceName" values to SubJobWriteResponse in sendRequestsToDmi method"

Release notes update for 3.6.0

Issue-ID: CPS-2610
Change-Id: Iaa0997bb20acabb69933afa61618ff3d48f1c88f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add "dataProducerId" and "dmiServiceName" values to SubJobWriteResponse in sendRequestsToDmi method

- DMI call only returns subJobId
- SubJobWriteResponse created using DMI response and request values

Issue-ID: CPS-2497

Change-Id: Ib38132f2337de6a12b0b05bc6eebeed99f8d435d
Signed-off-by: egernug <gerard.nugent@est.tech>

Address sonar violations related to hazelcast

- Supressing warning caused by deprecation of RestApiConfig in hazelcast
  5.5 community version , which will be removed in 6.0 so created https://lf-onap.atlassian.net/browse/CPS-2599
  to address the issues
- Other sonar fixes

Issue-ID: CPS-2594
Change-Id: I2e95cd851eae74d8bbb4535cfbaed1dc1ef89543
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "RTD Updates for Policy Executor Integration"

Merge "Send new module set tag to DMI during model upgrade"

Merge "Moved CpsValidator under the utils package"

Send new module set tag to DMI during model upgrade

Previously, DMI would receive old module set tag in the
request body. The tag being upgrade to is the expected one.

Issue-ID: CPS-2589
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0554136f0d4c55d687b575313d932f6bcab15c92

RTD Updates for Policy Executor Integration

- Updated page describing Policy Executor feature
- Updated deployment page, added config parameters for Policy Executor
- Corrected release note: Jira for Policy Executor should not have been included before
- Clean up release note: removed redundant version mentioning
- Clean up tables on deployment page: removed redundant empty lines

Issue-ID: CPS-2443
Change-Id: I5750868b6c29e9de29cd08521b8efffff4f37eaf
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Moved CpsValidator under the utils package

Issue-ID: CPS-2515
Change-Id: I57f6c10c8596281aed686552ad16e1dd6c15ff98
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Change event topic name for trust level

- Seperate inventory related topics to cm data event topic

Issue-ID: CPS-2500
Change-Id: I41a2cda78568f9979fc9f030f076c295c8d6908b
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Less logging during registration

During investigation of CPS-2576 bug, stack traces were added to log
output (by logging the exception object). This produces massive log
output during registration, since all CM-handles fail to sync and go
to LOCKED state initially due to initial DMI delay.

This patch logs exception details at warning level but not stacktrace

Issue-ID: CPS-2576
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibb55991e75c058e9f4983bd876285b48917ee28e

Disable JVM process metrics by default

Issue-ID: CPS-2583
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9c7a543201a63c1f128737bb0995843af6075a6b

RTD supporting heapdump and threaddump exposure

- actuator endpoint now have support for heapdump via /actuator/heapdump
  and the dump will be downloaded on the machine
- threaddump is available on /actuator/threddump and will be available
  as response text

Issue-ID: CPS-2453
Change-Id: I263b39478bb953c70b2ffca09760c18d7e50da91
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add Data dashboard to Grafana

- data dashboard for NCMP Data operations
  (NetworkCmProxyController.java)

Issue-ID: CPS-2537

Change-Id: Ic518e9169057691702d0d760468e114f5a9fbd7d
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Add dashboard for Inventory REST interfaces"

Merge "Fix for cm handles stuck in LOCKED during registration"

Merge "[k6] 50000 CM-handles"

[k6] 50000 CM-handles

- Increase CM-handles to 50000 in k6 tests
- Increase container memory to 3GB (crashes with 2GB)
- Decrease max heap percentage to 70% to ensure container has
  at least 200MB free memory, to prevent JVM from crashing at
  higher peak loads.

Issue-ID: CPS-2584
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8daabff58723114bdc3838b379e83c3ffbbb0ba9

Merge "Incorrect Internal Error Code for duplicated registration"

Merge "Expose JVM process metrics"

Expose JVM process metrics

Currently, Grafana only shows memory used inside the JVM,
but not including memory used by the JVM process itself.
These metrics are needed for determining real memory usage.

Issue-ID: CPS-2583
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib77f9057c7301ea5afc2a621526736213ddd817a

Fix for cm handles stuck in LOCKED during registration

- Additional Error logging when cm handles fail module sync
- Swallow already defined exception upon schema and/or anchor creation
- Updated integration test to try to reproduce the problem (but couldn't)
- Ignored integration tests that depend/affected by race conditions
  (they are useful for troubleshooting but not for pipeline checks)
- Removed last remnants of springboot retry annotation option (incl dependencies)

Issue-ID: CPS-2576
Change-Id: I910e802268332f955134c043bd1b46a7ec57233b
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Add DB Clean-up to CPS Rest Interface"

Incorrect Internal Error Code for duplicated registration

-Deprectated 111 Alternate-Id already exists error code
-All dupication scenarios now return 109

Issue-ID: CPS-2563
Change-Id: Ic9b9df936eaf3795441f4dd1ec1cc73e39c9eae1
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "[Docs]: Add RTD documentation for ServiceConfig properties and WebClientConfiguration context"

Add DB Clean-up to CPS Rest Interface

- add dataspace filter to module cleanup impl
- updated integration test to only delete orphaned modules in relevant dataspaces
  (this also fixes CPS-2571)
- improved labels on admin controller test
- add dataspaces/../clean rest endpoint for cps core
- added 'Regular Maintenance' section to RTD Admin Guide
- consistent spelling of 'CM Handle' in RTD Docs

Issue-ID: CPS-2554
Change-Id: Ica70c3495758f073eaac9eeeadcc0e1be2c8cc1c
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Switching to LTS of hazelcast-spring"

Merge "Moved builders under impl in CPS Service"

[Docs]: Add RTD documentation for ServiceConfig properties and WebClientConfiguration context

- Added detailed RTD documentation for the ServiceConfig class properties, including connection pooling, timeout settings, and memory management.
- Documented the context and usage of WebClientConfiguration, explaining its role in configuring HTTP client behavior for services like Policy Executor and DMI.
- Included example configurations and best practices for tuning HTTP client performance.
- Improved clarity and accessibility of ServiceConfig-related configuration for future developers and administrators.

Issue-ID: CPS-2565
Change-Id: I84e612b2f56293c453884e341a516f55b2bb6b81
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Switching to LTS of hazelcast-spring

- Since we upgrade spring boot dependency to 3.4.1 , its better to
  upgrade hazelcast-spring as well
- hazelcast-spring 5.5.0 version has LTS as well

Issue-ID: CPS-2575
Change-Id: Ia31f571328cdf6fae05011068873e149cb609b51
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add 'Deleted' cm handle state for gauge

Issue-ID: CPS-2456
Change-Id: I2f7ff2dd18d164dbf685269fb2d2e47d08c3c5f5
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Add dashboard for Inventory REST interfaces

- rename lcm-state dashboard to inventory
- remove panels holding a single state of cm handle
- add panel for inventory APIs calls by URI and the STATUS

Issue-ID: CPS-2567

Change-Id: I374fa18b53d456519142cf059f74b2a070485355
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Remove retry mechanism for duplicate module(resource) errors

- CM Handle with problems will go into 'LOCKED' state and retried using existing business logic

Issue-ID: CPS-2555
Change-Id: I563f6bc536d8fd8c6675891c62318ff2fb43fea6
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Moved builders under impl in CPS Service

  - moved builders and fixed the Arch test

Issue-ID: CPS-2542
Change-Id: Iac9d47f20fff2e6fa415ada8bc17880b0b032591
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Increase JVM heap to 75% again"

Increase JVM heap to 75% again

Heap percent was commented out by mistake leading to OutOfMemoryError
in endurance pipeline, due to only 25% of memory being used for heap.

Issue-ID: CPS-2570
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifbffe7222e38f017105cfac8bc8307255d28d11a

On demand heapdump and threaddump generation for cps-and-ncmp

- Generate the heapdump of a running application on demand using the
  /actuator/heapdump endpoint and threaddump using /actuator/threaddump
- RTD update as separate patch when the python issue is sorted

Issue-ID: CPS-2453
Change-Id: Ifcf4e7aecc1ee15f57011a1c4a4ec7bf67e45a6f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "[k6] Adjust thresholds"

[k6] Adjust thresholds

Some cases improved performance after introduction of
one schemaset per module set tag.

Issue-ID: CPS-2540
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib544d425758016df2fb3eeb1b0d0d2529b80c698

Merge "Realistic Examples: K6 Test-ware"

Merge "Moved impl package out from api package"

Merge "Make Response Timeout Configurable in WebClient Configuration"

Realistic Examples: K6 Test-ware

- Updated resourceIdentifier query parameter to align with GNBDUFunctionConfig structure.
- Introduced hierarchical notation (parent=..., child=...) for precise resource identification.
- Added examples for querying all GNBDUFunctions, specific gNB IDs, and sub-resources like RIM-RS reporting configurations.

Issue-ID: CPS-2482
Change-Id: I9e10db9bed7a3503f617a9f8dbd9fed8787402dc
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Moved impl package out from api package

 - refactored cps service packages and the architecture test

Issue-ID: CPS-2543
Change-Id: I0fab54cebd157b19ff6105b7d4b6d8265a1af485
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "One SchemaSet per moduleSetTag"

Merge "Add LCM State dashboard to Grafana"

Merge "Handle restart case for cps-ncmp gauge metrics"

Make Response Timeout Configurable in WebClient Configuration

- Added responseTimeoutInSeconds property in the ServiceConfig class to allow dynamic configuration of the timeout.
- Updated WebClientConfiguration to read the responseTimeoutInSeconds from ServiceConfig and set it in the HttpClient.

Issue-ID: CPS-2565
Change-Id: I096688319c55f0342b524511883ec0d33806b9b7
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Handle restart case for cps-ncmp gauge metrics

Issue-ID: CPS-2456
Change-Id: I9ac5d6774fcd745d8141551eeff8a1deb1938f57
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Add LCM State dashboard to Grafana

- adding a grafana dashboard for lcm state changes of
  cm handles

Issue-ID: CPS-2558

Change-Id: Ie00884736ffa5c08e1be150c71cf8ac603f2ab60
Signed-off-by: halil.cakal <halil.cakal@est.tech>

One SchemaSet per moduleSetTag

- Registration: create and upgrade cases.
- Handle moduleSetTag deletion (all orphans) for testware
- Unit tests updated
- additional logging of details for upgrade scenarios
- Integration Tests updated
- Remove cache for module sets being processed
- Removed DbCleaner (startup)
- Removed redundant methods in NCMP Inventory for deleting schema set(s)
- Removed validation check for all schema set interactions
- Updated some schema set tests to use special characters previously not allowed
- Checked integration test scenarios for upgrades with and without tags: all scenarios covered!

TODO
- REST endpoint to remove orphaned schema set data, separate story: CPS-2554
- Investigate exception handling regarding DuplicateYangResourceException: CPS-2555

Issue-ID: CPS-2540
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Iaa59cbdb86b7a4a8044624829bc002506ff40cc7

Merge "Resolve Nexus-IQ report issues"

Merge "Move LockReasonCategory under api package"

Merge "Realistic Examples: NCMP Open API and Doc"

Resolve Nexus-IQ report issues

- Upgrading postgres 42.5.1->42.5.5
- Upgrading spring-boot-dependencies & spring-boot-starter-cache
  3.2.12->3.4.1

Issue-ID: CPS-2550
Change-Id: I36ab8d72ff7c19e413b2ce0b8e12f4dbcc1c2441
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Add conditionalProperty in subscription consumers and producers"

Change image of Grafana in local docker-compose

- change image of grafana to grafana/grafana from grafana/grafana-oss
   in local docker-compose file

Issue-ID: CPS-2559

Change-Id: I03bf895c10a108c9aeae2db6b2dc6b39db505df5
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Move LockReasonCategory under api package

  - reafctored package structure

Issue-ID: CPS-2514
Change-Id: Id54cd652e147b585730caacbe550287ae2c329e1
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Update the cps's threshold for de-registration api

- Due to the performance improvment of de-registration flow
   updating the cps' limit to 120 cmhandles/second

Issue-ID: CPS-2192
Change-Id: Ia0224a585deba9181de89c6bb4600e8d5529df14
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Add conditionalProperty in subscription consumers and producers

Issue-ID: CPS-2556
Change-Id: Id6a70dbfabc9119727eb307f3c2928a13f3bf44a
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Realistic Examples: NCMP Open API and Doc

- Updated resourceIdentifier query parameter to align with GNBDUFunctionConfig structure.
- Introduced hierarchical notation (parent=..., child=...) for precise resource identification.
- Added examples for querying all GNBDUFunctions, specific gNB IDs, and sub-resources like RIM-RS reporting configurations.

Issue-ID: CPS-2483
Change-Id: I215944a45c754e43f61948464c5c8793c22e41c8
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Implement Integration Testcases for XML Supported API's"

Implement Integration Testcases for XML Supported API's

Issue-ID: CPS-2548
Change-Id: Icc7ffb66aabb03702355123c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>