Merge "Fix vulnerabilities"

Fix K6 KPI Legacy Batch Reporting issues II

- Changed legacy batch consume to ran once per second (constant-arrival-rate) rather then only 1 big loop
- Updated k6 install to version 1.0.0 ! (old version cause most of the issue this patch took so long)
- Removed import of crypto as it is now part of k6 standard install
- No more checks on total messages, just recording message consumed every second
- Fixed 'timeout' configuration parameter, it is 'maxWait' !
- Fixed some incorrect casing on variables
- Added (now debug level) logging for troubleshooting produce/consume legacy batch events
- Improved name of config parameter: containerUpTime to containerCoolDownTime
- Reduce cool down time for kpi to 10s (its really only needed for endurance)
- Improved several variable names (consistency!)
- Reduced scope of data be passed on (to what is used) e.g. "data.metrics" instead of "data"
- Some formatting changes
TODO remove small test config

Issue-ID: CPS-2716
Change-Id: If95645f3eb90ff035a1add07b1e2117b7f944317
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Fix vulnerabilities

-Upgraded postgres to 42.7.7
-Upgraded springboot to 3.4.7
-Upgraded httpclient to 5.4.4

Issue-ID: CPS-89

Change-Id: I26c967eb305335fe7c36924122c28369d786503f
Signed-off-by: egernug <gerard.nugent@est.tech>

Ensure teardown.sh is alwasy executed

- Currently, on_exit() is advised to run by only 'EXIT' signal that is
  for gracefull termination
- Thus, on_exit() function might not run in cases where job terminates
  abruptly
- To guarantee on_exit() alwasy being called, then add other common
  termination signals: SIGINT, SIGTERM, and SIGQUIT
- This will allow the trap command to catch these signals and execute
  on_exit() before it terminates.

Definition of the signals:
- SIGINT: Interrupt signal
- SIGTERM: Termination signal, a generic signal used to request a
  process to terminate.
- SIGQUIT: Quit signal

Issue-ID: CPS-2821

Change-Id: I96e5d3d42fb26d5dbad75df63a23419914c44fa5
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Change DmiProperties class to DmiServiceAuthenicationProperties"

Minor improvements based on findings in PoC

Issue-ID: CPS-2840
Change-Id: I1aa414f98a432bb7cc0b2a1942694576971bbfb7
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Change DmiProperties class to DmiServiceAuthenicationProperties

Issue-ID: CPS-2855
Change-Id: Iada453d996ca2ff27cdfa91c517175f3842393a3
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Fix shell compatibility issue in run-all-tests.sh for endurance and kpi profile

- Added proper Bash shebang (`#!/bin/bash`) to ensure correct shell execution.
- Replaced Bash-specific arithmetic syntax `((...))` with POSIX-compliant `$((...))`.
- Fixed syntax error in `case` statement caused by unsupported token in `sh`.

Issue-ID: CPS-2844
Change-Id: Iaf8e225388f0e11223bed722fde72be5bf25bb0b
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Feature(setup): add Docker image digest verification before container startup"

Merge "Improve naming conventions for RestOutputPublicCmHandleProperties"

Feature(setup): add Docker image digest verification before container startup

- Integrated image validation into setup.sh using
  verify-docker-image-digests.sh
- Pre-checks Docker image digests before running docker-compose
- Logs detailed pull diagnostics, fallback to local images if pull fails

Issue-ID: CPS-2837
Change-Id: Iec5fb12091dcac853031fa8d083c51792f240eb4
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Update DMI demo stub version and container image configuration

- Updated the DMI_DEMO_STUB_VERSION to `1.8.0-SNAPSHOT` in `.env` and `test.properties`.
- Modified `ncmp-dmi-plugin-demo-and-csit-stub` Docker Compose service to reference:
    - Custom container name using `${NCMP_DMI_PLUGIN_DEMO_AND_CSIT_STUB_CONTAINER_NAME}`.
    - Image from `${DOCKER_REPO}/onap/dmi-stub:${DMI_DEMO_STUB_VERSION}`.
- Ensures consistent version control and improved flexibility in image source and container naming.

Issue-ID: CPS-2837
Change-Id: Ic2951dee646b900294e019a4fee021bf5d875b01
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Optimize healthcheck parameters for dbpostgres"

Improve naming conventions for RestOutputPublicCmHandleProperties

  - renamed methods and classes

Issue-Id: CPS-2834
Change-Id: Ia54dd98ddcfdef0a1c1b9152e1a76c790fbda8b8
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Optimize healthcheck parameters for dbpostgres

- provide db name and user to pg_isready in order to remove logs: FATAL:
  role "root" does not exist
- optimize the healthcheck parameters

Issue-ID: CPS-2694

Change-Id: I1aa6330909e3e4a1a0c0b486b2cd3603b743472c
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Part-2: Grouping of Data Nodes in Delta Report"

Use versioned ncmp-dmi-plugin image and remove unused authentication

- remove the unused environment variables for CPS_USERNAME and
  CPS_PASSWORD as we have removed spring security from CPS
- Updating the versioned image tag for ncmp-dmi-plugin i.e
  1.8.0-SNAPSHOT-latest instead of just latest

Issue-ID: CPS-2841
Change-Id: Icd955ec8a3be8e3ed31cb0ae6ddb0f9b586f6c55
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove excessive registration and de-registration logging"

Part-2: Grouping of Data Nodes in Delta Report

- Part two of new delta report format, proposed as an add-on feature to
  existing delta feature.
- Contains functionality of 'updated' and 'removed' delta report entries
  following the new Delta Report format
- The format for existing updated entries is modified as it is common
  between the two delta report formats
- A separate patch will be delivered in future to modify the format of
  existing delta report entries for added and removed data nodes to make
  it consistent with the new format.
- Documentation to Impacts and changes in old delta report format:
  https://lf-onap.atlassian.net/wiki/spaces/DW/pages/232194058/Proposed+changes+to+original+Delta+Report+Format

Issue-ID: CPS-2547
Change-Id: I489a5e8f0da7f012d5411870bccf886a987f600f
Signed-off-by: Arpit Singh <AS00745003@techmahindra.com>

Remove excessive registration and de-registration logging

- changed registration logging to debug level at one more spot

Issue-ID: CPS-2816
Change-Id: If495682890c66b0a0afd2ea4972521f32d039459
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Clean Up Groovy Test Graphs

- Remove (now redundant) short title and memory limit parameter (1st patch)
- Tweak (hitherto unplotted) graphs to get green line (expected average) correct
- Removed Pre-load test recordings as they lead to duplicate and unnecessary graphs

Issue-ID: CPS-2814
Change-Id: I100274a8920a7a33fb9a9c6b5e2728ba8ee4537c
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Remove excessive registration and de-registration logging

- changed registration logging to debug level places agreed with team
 (we now have instrumentation for all cm handle states to see similar info)

Issue-ID: CPS-2816
Change-Id: I85bd79ef38cda3bf755b4f8e97e61fa4f3d2b4b9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Refactor(utils): Consolidate response handling into utility functions

Abstracted common HTTP response validation and metric recording logic into reusable utility functions:

- Added `validateAndRecordMetric` for generalized response checks and metric recording.
- Introduced `processHttpResponseWithOverheadMetrics` to handle response times adjusted for known delays.
- Created `validateResponseAndRecordMetric` to validate JSON response lengths and record metrics.

These changes promote code reuse and maintain consistency across test scenarios.

Issue-ID: CPS-2690
Change-Id: Ie4dd1075c65e87c1b48225e096b2b781b098da0f
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Fetch Cm Handles with optional private properties"

Fetch Cm Handles with optional private properties

  - added output mapper
  - implemented endpoint to query cm handles on E-01
  - added unit tests
  - re-generated relevant docs

Issue-ID: CPS-1872
Change-Id: I18df1b151a6e818ee1c13b43a0c8e43ae9c22258
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "ProvMns interface generation using remote url"

ProvMns interface generation using remote url

- Referring to remote ProvMns spec file from the 3gpp sources
- Generating the interface without keeping a local copy of the spec file
- Excluding the files that are not needed in our ProvMnS implementation
  as those were causing issues while code generation
- Have one Resource interface in org.onap.cps.ncmp.rest.provmns.model
  package that is needed to compile the generated code
- Added exclusion in jacoco plugin for code coverage

Issue-ID: CPS-2817
Change-Id: Ie9801fac52850dbd50f975a9b65d36f818b2b474
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add CM Write Data Job Scenario to K6 Test Suite

- Added 'write_data_job_scenario' in the K6 test configuration for small
  and large data size.
- It helps to simulate lower / higher load and monitor system behavior under infrequent
  write operations.
- CSV report and other alignment.
- Created a test metadata json to refer from all the places.
- Script to generate trends and thresholds

Issue-ID: CPS-2716
Change-Id: I4ba5728a2738c3454f1652d6db88ad599f2192c9
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Fix intermittent failures on-demand KPI job"

Refactor the container startup process

- Echo build information of DMI container before proceeding.
- This enhances script efficiency and reduces unnecessary output, improving readability and maintainability.

Issue-ID: 2690
Change-Id: I3bda6433bd2126e180017db7d349fa1eeb33526a
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Clean up Groovy Graphs, part 1a, fixed NB comments

Issue-ID: CPS-2814
Change-Id: I5e3909938946939c05c52cff3ebd96b1eaf499a6
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Clean up Groovy Graphs, part 1, add CSV report"

Retain: allow flexible object for `value` field in SubjobWriteRequest

Reasons for retaining `additionalProperties: true`:
- Supports dynamic payloads as object. (e.g., add, replace, action)
- Rely on flexible schemas
- Avoids validation issues in polymorphic data use cases

Issue-ID: CPS-2832
Change-Id: I8e8f987756f8c36a8937338d998da1492230256c
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Fix intermittent failures on-demand KPI job

- On-demand KPI jobs fails frequently since cps-and-ncmp sometimes got
  "Connection refused" error that means the PostgreSQL isn't fully ready
 yet.
- Give more time to db to start (210s), previously it was 30s
- Change healthcheck interval from 10s to 2s
- Reduce the timeout of healtchecks from 10s to 1s
- Store db container logs to investigate further
- cps-and-ncmp waits for db until its fully ready before make connection

Issue-ID: CPS-2694

Change-Id: Ie6362741f98222eec58892734190b1ee0fff148e
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Clean up Groovy Graphs, part 1, add CSV report

- Overload report method with additional/alternate parameters for CSV
  (the idea is keep old txt report and CSV until enough data in CSV to swap over and remove the old reports/graphs)
- Update all reports with new titles, prefixed with CPS: or NCMP:
- (preliminary) flagged about 20 graphs for reference
- Removed overloaded version of resourceAssert method with extra parameter for exceeding normal expectations (no longer needed as graphs are more stable)

Issue-ID: CPS-2814
Change-Id: Ib57e5132cb2eaf29212ecc7a03d08b5fd58d719d
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Bump up minor version of CPS

- CPS version bumped up to 3.7.0-SNAPSHOT

Issue-ID: CPS-2828
Change-Id: I15b58e152fd57d203f32c46ec96ef40d028af6db
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Bump CPS to 3.6.4-SNAPSHOT

- prepare for next cps release

Issue-ID: CPS-2828
Change-Id: I62f2d37bcb3e62dc57361f3073b63e35cfa3f1eb
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add container yaml for release

- container yaml for release

Issue-ID: CPS-2828
Change-Id: I492a11312fabb738658bc491745131a1e0e78f20
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add maven stage yaml file

- maven stage yaml for 3.6.3 release

Issue-ID: CPS-2828
Change-Id: Ia8e92aff0212c312361acb1c2e88e9ea70cb2b59
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update release notes for CPS-NCMP

- info version updated to 3.6.3 as we will be releasing the same
- updated the release notes to add in the features we are releasing

Issue-ID: CPS-2828
Change-Id: If2bf522a653a73d37211a491011d15b695ad46bc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Make Groovy Performance Test Stable #7

- Last tweaks (I hope)
- Changed assert of 1 (ungraphed) test to use resource meter so it can be graphed in future

Issue-ID: CPS-2743
Change-Id: Ie4d480331964cd69d3e119fbd4bb9fdeb1499631
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Make Groovy Performance Test Stable #6

- Fixed many expectations again now Groovy Perf does not run at same time as KPI
  (strangely enough most create use cases got worse)
- Default margin now 100% instead of 50%
- Increased volume of 1 very fast test to get more stable measurements

Issue-ID:CPS-2743

Change-Id: I081d48926a9e283a429603bd78dcd79c5d8a2394
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Part 1: Grouping of Data Nodes in Delta Report"

Part 1: Grouping of Data Nodes in Delta Report

Add-on feature in delta report to generate condensed delta report by
grouping data nodes based on parent child relationship.

The patch adds grouping feature for "create" operation in delta report.

- Added boolean flag "groupingEnabled" to enable or disable grouping of
  data nodes in delta report. Default value is false.
- Added a method getCondensedAddedDeltaReports to generate condensed
  delta reports for create operation.
- Part 2 of this patch will have code for updated and removed delta
  report entries when grouping is enabled.
- A separate patch to add integration tests will be done after feature
  is implemented. This is done to keep patch sizes small

Issue-ID: CPS-2547
Change-Id: Ibb4d35b03098be7b57cb59852a87f6b4e0c7b706
Signed-off-by: Arpit Singh <AS00745003@techmahindra.com>

Merge "Make Groovy Performance Test Stable"

Fix maven merge master job

- distribution management section was incorrectly removed before,
  results in failure of maven merge master job

Issue-ID: CPS-2825
Change-Id: I5cf3e2b3344669b4f2dbb7c37a87c0903589a865
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Make Groovy Performance Test Stable

- use double-type on groovy method to prevent accidental conversion issues

Issue-ID:CPS-2743

Change-Id: I32e31df8d7cbc4e0268aff8a0fc052b030173aa4
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Make Groovy Performance Test Stable

- Increased threshold on some graphs to prevent failure when running parallel with endurance

Issue-ID: CPS-2743
Change-Id: Ic96dd1a29ca3046668b18195399be37786fb965a
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Added JettyConfig with support for ambiguous path separators

- Added JettyConfig to customize Jetty's HttpConfiguration
- For ambiguous path separators via UriCompliance settings.

Issue-ID: CPS-2819
Change-Id: I30cbb14cf31ac808a9a9761cf8dbf9ba0df870ae
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Make Groovy Performance Test Stable"

Make Groovy Performance Test Stable

- Removed average calculation where this lead to very small duration and therefore seemingly more variation
- Tweak a few expected duration to get closer to actual average
- Remove memory assertion from resource meter test since they are unreliable and cause the odd error
- Corrected wording on description related to limits

Issue-ID:CPS-2743
Change-Id: Id30bdbe7074297c32a236322fc66ee698fdd8e2b
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge openapi.yml and dmi-components.yml into one file

To aid downloading of Openapi spec for downloading in DMI-Plugin the spec and components file are bing combined.
This allows for the use of the existing openapi-generator-maven-pluginto be used to grab the file from CPS repo.

Issue-ID: CPS-2820

Change-Id: I08b4ae15fffb195e8bdd7a243de557f4b4fe9d60
Signed-off-by: egernug <gerard.nugent@est.tech>

Make Groovy Performance Test Stable

- Tweak/correct more graphs
- Fix functional issue in test for alt-id lookup

Issue-ID: CPS-2743
Change-Id: I6f7a8d7cdac5b32a0a988fdac88c33b36f621499
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Fix broken docker-compose link"

Fix broken docker-compose link

- There is still a link that point the old docker-compose file that
  should be updated in deployment.rst

Issue-ID: CPS-2730

Change-Id: I3c328435531f6e14b84f2f2cf2b8cd9934ae46b4
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Remove -quiet option on k6 run"

Remove -quiet option on k6 run

     - Removing -quiet option to unsuppressed the progress logs by k6

Issue-ID: CPS-2794
Change-Id: I5bd81b68cef41522433faba714f1427d5df05cbd
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Make Groovy Performance Test Stable"

Make Groovy Performance Test Stable

- Disable memory assertion
- Allow default 50% margin on expected time
- Allow 300% margin on very fast test < 1ms
- Extend resource meter method with optional exceptional margin for an unstable test
- Update all time limits on plotted test to be average (rather then limit)

Issue-ID: CPS-2743
Change-Id: Icdcbe01b048c2d04166684cda4bf341a204c9a1d
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Split big docker-compose into smaller ones

- split the big docker-compose and remove
- two new docker-compose: cps-base and dmi-services
- remove monitoring profile from: kafka-ui, prometheus, and grafana
  since they are not an overhead to performance
- kept 'tracing' profile for 'jaeger-service' because it reduced the
  performance by around 4 times (see the jira for more details)
- documentation updated

Issue-ID: CPS-2730

Change-Id: I4d9cdd82c96c2864c8eb7415b6857a4d2df898fc
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Fix component field in Datajobs API"

Merge "Use an environment variable for the on-demand KPI pipeline"

Fix component field in Datajobs API

When using an external component file it can be named anything but
an internal file must use components as the top level key

Issue-ID: CPS-2811

Change-Id: Id2e5ae24c9a78afe81b92fc972fcc2ffe38fab74
Signed-off-by: egernug <gerard.nugent@est.tech>

Use an environment variable for the on-demand KPI pipeline

- introduce an environment variable that can be set (export) from
  the onap-cps-kpi-on-demand job (jenkins)

Issue-ID: CPS-2694

Change-Id: I33a2e583e06c4b5cbafcdcf0d05e8cb89a573c8e
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge changes Ie80fdd4c,I1663d8aa

* changes:
  DCM Write optimization using batching
  Use Alternate Id to CM-handle ID map for DCM write datajobs

Merge "Update KPI Test load for 2 tests"

DCM Write optimization using batching

- Add method to AlternateIdMatcher to match a batch of paths and return the relevant yang model cm handles
- Extended inventory service to load cm handles without properties (i.e. descendants)
- Switch from NcmpServiceCmHandles to YangModel Cm Handles
- Preload required cm handles (without properties) using batching
- Removed (now) unused methods
- Improved test coverage on some legacy but related functionality

Issue-ID: CPS-2743
Change-Id: Ie80fdd4c12b72fc72ab1a87aa463ec0e6b664e3a
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Enhance the Multipart Delta API to support JSON file"

Merge "Move DMI-Plugin and DataJob API into CPS repo"

Update KPI Test load for 2 tests

- TODO Remove KPI test tweaks (for local testing)
- Removed storm load from CM AVC background load
- Changed Legacy Batch test to fixed rate of 200 request events per second
- Changed Legacy Batch test to fixed time of 15 min (=180,000 events)

Issue-ID: CPS-2743
Change-Id: Id1c795a56797637efc7cbd74b5c2bbb688648ac9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Use Alternate Id to CM-handle ID map for DCM write datajobs

Issue-Id: CPS-2743
Change-Id: I1663d8aab4a3d4cee898a3171dad926643ccbe79
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Enhance the Multipart Delta API to support JSON file

Here we upload Json file as payloads instead of  JSON data as text input

Issue-ID: CPS-2657
Change-Id: Ibc9bbb99aabb07302366321c6d5c2eade0e7e5fb
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Merge "Increase startup delay from 1 sec to 2 sec"

Increase startup delay from 1 sec to 2 sec

- if cps-ncmp-1 got a head start before cps-ncmp-0, and spin-off faster
  than cps-ncmp-0 the current delay '1 sec' is not enough to prevent race
condition between liquibase instances

Issue-ID: CPS-2807

Change-Id: I9ed5780daea4b95e6a2026e46427c7f4e464818e
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Test Cm Event Storm

- 6 minutes CM Event Background load to 26*500 = 13000 AVC/sec
- 8 minutes CM Event Background load to 6*500 = 3000 AVC/sec

Issue-ID: CPS-2743
Change-Id: Ide4201609e5d9766b3d3ab7c855dfd11159dafd0
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Move DMI-Plugin and DataJob API into CPS repo

Issue-ID: CPS-2811

Change-Id: Idc5931ab81c7d6b836e589a024cb7df153bd48c8
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Ensure teardown script removes all onap images"

Increase Kafka rate in KPI

Issue-ID: CPS-2805

Change-Id: I7c0feb72d844bfd251c5dea9d3d22c3c35645884
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Adjusted NCMP architecture rule"

Adjusted NCMP architecture rule

  - removed spi package from ncmp service test

Issue-ID: CPS-2767
Change-Id: I482685ef4f8760a3cff3f3a6dfca12298b467209
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Ensure teardown script removes all onap images

- ensure that script removes test profile containers, volumes
  and images
- add method to remove all onap images when
  testProfile=endurance
- add method to verify that no onap images is left dangling when
  endurance test profile is finished

Issue-ID: CPS-2802
Change-Id: Ib319f8595555d315c4ec97795827d99d22fb29af
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Revert "Add CM Write Data Job Scenario to K6 Test Suite""

Revert "Add CM Write Data Job Scenario to K6 Test Suite"

This reverts commit affb89aa97cc436d873065a5daec2fc3eb103f8f.

Reason for revert: Performance

Change-Id: Ic3a441f8d83ba2c347a23026348db09347956f85
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Extend CpsPathQuerySpec for dangerous SQLi characters"

Merge "Fix the tests that failing irregularly in groovy pipeline"

Add CM Write Data Job Scenario to K6 Test Suite

- Added 'write_data_job_scenario' in the K6 test configuration for small
  and large data size.
- It helps to simulate lower / higher load and monitor system behavior under infrequent
  write operations.

Issue-ID: CPS-2716
Change-Id: Ic5a5f3642ff57b294c822541dcc4b1458301ccac
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Fix the tests that failing irregularly in groovy pipeline

- Don't check if the key is present in the map anymore instead keep
  looking for if the key deleted after TTL period
- Optimize the test by reducing the max wait time from 10 seconds to 1
  second

Issue-ID: CPS-2798

Change-Id: Ibbd40e682c28fa0c52da3f07d3687927fa42aa02
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Inconsistency With JSON Response(List Items) Using GetANode API

Jira - https://lf-onap.atlassian.net/browse/CPS-2566
Documentation -https://lf-onap.atlassian.net/wiki/x/OQA1AQ

- Introduced versioned V3 approach to retrieve list elements
- added controller method getNodeByDataspaceAndAnchorV3
- Updated listelementAsMap,containerElementsAsMap to group list elements

Issue-ID: CPS-2566
Change-Id: Ice9ffb99aabb03702355321c6d5c2eade0e7ef5b
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Add non blocking comments from previous commit

- Adding non blocking comments changes from 140838: Increase CM Notification Event KPI Background Load | https://gerrit.onap.org/r/c/cps/+/140838

Issue-ID: CPS-2752
Change-Id: I14c28466f69d9ff83692075f4283b7631e947fd3
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Increase CM Notification Event KPI Background Load

- Update KPI script to send batches of messages
- Increased KPI load from 500 to 2,500 events/sec using 10 VUs and batchsize of 250
- Added instrumentation on cm avc forwarding method
- verified using Grafana (instrumentation) and kafka ui to confirm correct load of messages consumed and forwarded

Issue-ID: CPS-2752
Change-Id: I90951bf7844e087b908082c2609d0f3a564d50f9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Extend CpsPathQuerySpec for dangerous SQLi characters

Issue-ID: CPS-2781

Change-Id: Ic658028d0ed48c3345db218ab913732d7665e2c6
Signed-off-by: egernug <gerard.nugent@est.tech>

Control start-up delay: set host-names explicitly in docker compose

- Use sequenced hostnames for cps-ncmp  in docker compose based on a common template
- Use explicit port definitions for each instance instead of range (instrumentation/Grafana)
- Calculated startup delay as sequence number times 1 second when correct pattern used
- Fall back on hash code modulus 10 seconds otherwise
- clear logging which algorithm is used, why and outcome
- update kpi and endurance environment files to use correct instance names

Issue-ID:CPS-2752

Change-Id: Ie788aff60d6e9c470136b2a2051d0c5ccc173e9a
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Increase the setup timeout in k6"

Merge "Adjust KPI threshold and rate as per latest KPI agreement"

Increase the setup timeout in k6

- Since the new server for on demand KPI jobs is slower than our regular
  server and fails because of a limit on the set up time this patch is
to increase that

Issue-ID: CPS-2694

Change-Id: I406faadec474f3147eaedee67ba1137a82207ccb
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Adjust KPI threshold and rate as per latest KPI agreement

- CM Handle ID searches now can take 2.6 sec
- CM Handle searches now can take 24 sec
- Updated 'blue' lines to reflect KPI
- Updated 'green' lines to reflect current average (i.e. we expect measurements to be 'around' this)
- Experimental: increased cm notification forwarding by using more VUs
- Add timer metric to be able to check cm notification forwarding rate
- Temporary: removed redirecting of warning and errors to null device

Issue-ID: CPS-2793
Change-Id: I560985d4f9ce7a4c8aa27b3ae089a43a8a76b28a
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Fix legacy batch response with not found CM-handle"

Fix legacy batch response with not found CM-handle

An unhandled exception leads to the entire batch operation failing,
even if only a single CM handle in the batch was not found. This
fixes the issue by swallowing the exception. Note there is existing
logic in DmiDataOperationsHelper for reporting not-found CM handles.

Issue-ID: CPS-2769
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifff2c4bd291107480ca7462d721a02f8ea138e58

Remove Basic Authentication References

- Remove whole ‘security’ section from application.yml file(s) also in testware
- Remove whole ‘security’ section from  open api yml file(s) except Policy Executor
- Remove whole ‘component.securitySchemes’ section from  open api yml files
- Remove references to security.auth.username from xml config files
- Removed cps authentication details from Docker compose and readme files (tested)
- Removed authentication groovy test rom cps-application
- Side note: cps-application added test, coverage increased to 100%
- Updated Docker-Compose (CSIT & K6) to latest version
- Minor csit script updates to help troubleshooting
- Removed auth header from ALL csit tests files

Issue-ID: CPS-2600
Change-Id: Ie1cf02461943f4e43029a3dbfaef052e347a4d4d
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Automate the CPS-NCMP metrics scraping"