Refactored cps-ri package structure

  - fixed import order and moved package structure

Issue-ID: CPS-2293
Change-Id: Ie2f9f057f261577054530feee7480850ba4b41e1
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Fix violation reported by sonarqube"

Fix violation reported by sonarqube

Issue-ID: CPS-89

Change-Id: Ia6e3bb26ffb433f3610f53f408fad12489f2e3b3
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Add CPS limit to the plots

- as of now the cps limits given manually according to
  the latest result
- there will be another commit will change the plot
  job in cicd repo to reflect the values on the plots

Issue-ID: CPS-2350

Change-Id: Ic371f46894f1825dca1d26ec65ae0f62aa06c327
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Calculate throughput for legacy batch read data operations

- stress the cps-and-ncmp module for batch read data operation
- for this aim use shared-ireations during async http request
- as parallel to this, consume expected number of messages
  as fast as possible

Issue-ID: CPS-2268

Change-Id: I1b6724479dac7391cbb6407fda52d15176aa8985
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Renaming Delta Operations as per RFC 9144"

[k6] Fix incorrect results when errors occur in k6 tests (case 2)

De-registration is reported as 200,000 handles per second if all operations fail
- Added a running total for successful de-registrations of CM Handles

Issue-ID: CPS-2346

Change-Id: Ib4302d3b605ff1eaf4ecadac11b4e851a69210df
Signed-off-by: egernug <gerard.nugent@est.tech>

Merge "Fix high-cardinality metrics in k6, causing high memory use"

Merge "Uplift liquibase-core to 4.29.0"

Merge "NCMP should not use CPS SPI classes"

Renaming Delta Operations as per RFC 9144

RFC 9144 recommends naming convention for operations that can be performed on any datastore.
The recommended names are:
- create
- remove
- replace
Whereas in CPS Delta feature these operaitions were named:
- add
- remove
- update
So, "add" and "update" operations have been changed to "create" and "replace" respectively.

Issue-ID: CPS-2393
Change-Id: Ie39f5f8ccc91e96cf484ca7fbc833a6be8758054
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Fix high-cardinality metrics in k6, causing high memory use

- Added unique IDs as metric tags for all the endpoints.
- Re-arranged order of public and prive js methods.

Issue-ID: CPS-2331
Change-Id: Ib876a647fb35110c50670c7222986e8a8a6f5ca0
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Uplift liquibase-core to 4.29.0

- uplift liquibase-core to 4.29.0 to resolve the internal licensing
  issue

Issue-ID: CPS-2392
Change-Id: Ia06bbb095a480c910d0df3d23ac719a746508856
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Refactor FragmentQueryBuilder

This is a refactoring of FragmentQueryBuilder, there are
no functional changes. This refactoring is needed before
main patch of CPS-2365.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I648616159719e084ba0e7cb4b09649cd17560cab

NCMP should not use CPS SPI classes

CpsDataPersistenceService is an internal interface of CPS, part of
the SPI, intended only to be used by CPS. Instead, NCMP should use
the public API of CPS, i.e. CpsDataService and CpsQueryService.

This is an architectural issue, but it will affect upcoming changes,
where changes to the SPI implementation should not affect public API.

Issue-ID: CPS-2398
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I89339e1a3566a25e33168c24c8b8401ca52224e9

[k6] Minor correction to plot titles

Plot title say Module filter instead of Module and Property.

Issue-ID: CPS-2349
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie23080a6085960b89132ad38d07d0c2b6f12471b

Merge "[Cps Path Parser] Move NCMP-specific logic to NCMP"

Merge "[k6] Align tests with updated requirements"

[Cps Path Parser] Move NCMP-specific logic to NCMP

Some special case code to disable ancestor-axis was added for
CM-handle search (see CPS-2308). It is now relocated to NCMP.
This makes other needed improvements of Cps Path Parser easier.

- Move special case code into NCMP
- Add integration test to ensure CM-handle search works

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I168d6156be559166f115aa42e21cd987d98b7d41

Merge "Support alternate id for CPS-E05 GetCmHandleDetailsById"

Merge "[Cps Path Parser] Refactoring leaf conditions"

Merge "K6 Performance Graph fails frequently"

K6 Performance Graph fails frequently

- Overrides initial processing delay of every new module set tag for DMI plugin stub from 2 min (default) to 0 as a temp. solution.

Issue-ID: CPS-2395
Change-Id: Ic875262314406ec55457e31a69c00d55293c1b74
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

[Cps Path Parser] Remove unneeded validation in grammar

The invalid prefix/postfix is not needed; existing tests show
that PathParsingException is thrown in for invalid paths.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I202f0ca0bc5eb768fc3af711180405882dafc22d

[k6] Align tests with updated requirements

- Test load increased to 5 CM handle searches and 5 Id searches to
  reflect current requirements.
- CM handles searches now use a combined search filter including
  1 module and 1 public property, so we are testing with a heavier
  load than required, for early warning of trouble.
- Test load reduced for passthrough operations to 4 VUs per operation
  to reflect addition of batch operation.
- Added test of passthrough write operation with alternate ID.
- Additional refactoring.

Issue-ID: CPS-2349
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I88d2fe431f74821e8e0e976441efcf82aa320849

Merge "Support Alternate-id for CPS-E05 module search"

Merge "Remove event notifications when removing trust level entries"

Support Alternate-id for CPS-E05 module search

Issue-ID: CPS-2370
Change-Id: I0ca3a1df232ad9fd9f76695cd6ea21d36919130d
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Support Alternate-id for CPS-E05 module definition"

Support alternate id for CPS-E05 GetCmHandleDetailsById

- added support for alternate id when retreiving cmhandle details by id
- Note : The performance for alternate id fetching will be taken care as
  part of a separate story.

Issue-ID: CPS-2385
Change-Id: I019b85d128e4b0a1f1d61623c92e1a2381c406c0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove unused and duplicate dependencies in poms"

Merge "Fix huge logs produced when errors occur in k6"

Merge "[k6] Report failure rate for all tests in a single plot"

Remove event notifications when removing trust level entries

Issue-ID: CPS-2315

Change-Id: I4f0cb7c2066e0ab9c62ac9cdb0fc39ce7de7791b
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Support Alternate-id for CPS-E05 module definition

Issue-ID: CPS-2379
Change-Id: Idd180c5792575522ceaaa094b94c8f5b36790186
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Remove unused and duplicate dependencies in poms

- remove duplicate dependencies from cps-service pom
- remove unused spring security dependency from cps-application pom

Issue-ID: CPS-2390
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Id49705e8790df7d7e98d80fa0ccb639eb4f1995f

Policy Executor: pass Change request as Object

- Added unit test for new exception handling

Issue-ID: CPS-2335
Change-Id: I5517c91edf505932d0a94165c19420922b3f5f51
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Support alternate id interface for CPS-E-05 - publicProperties"

[Cps Path Parser] Refactoring leaf conditions

Instead of DataLeaf and ComparativeOperators classes,
we more simply have LeafConditions class with all info.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8fd18bb56b8ed9d26a3f9d36f487d00a9274c8bc

[k6] Report failure rate for all tests in a single plot

Instead of separate plots of test failures for each test case,
we have one single plot showing failures.

Issue-ID: CPS-2347
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie79b75c34903a7df2037474b3536d4867c1a61e0

Merge "Support 2 CPS instances in Prometheus/Grafana"

[k6] Fix k6 tests after DMI stub changes

A change to DMI stub has broken k6 module search due
to module rename and increased registration time.

- increase setupTimeout by 2 minutes to factor in DMI startup delay
- module search uses module common to all module set tags
- only record times for searches returning number of CM-handles

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9067dc73015cfb475cdce1e7a3cc2d5401449caf

Fix huge logs produced when errors occur in k6

 - Changed k6 config to ignore all the error logs.

Issue-ID: CPS-2344
Change-Id: Iad7be43ae5bb909518f9f7d8e386a97c96c349e3
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Support alternate id interface for CPS-E-05 - publicProperties

- added alternate id support for the existing endpoint
- Incorporated previous comments on the indendation
- Added new component cmHandleReferenceInPath in openapi docs to depict
  the correct example

Issue-ID: CPS-2378
Change-Id: I63e752fbb6cb0bde49d1ced53f063743d904d74e
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "[k6] Exclude timings when error occur"

Correctly report trust level if DMI is down

Current trust level should factor in both CM-handle
and DMI trust levels (effective trust level).

Issue-ID: CPS-2375
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib531633a0e79af2bf9cf73d2b0b02d7a58777458

Merge "Invoke Policy Executor and handle not-allowed response"

Invoke Policy Executor and handle not-allowed response

- Execute Policy Executor REST request
- Act (and log) on response from Policy Executor
- Add dispatcher(mock) in integration test FWK
- Add integration test for allow/non allowed and no authorization use cases
- disabled PolicyExecution feature by default (only enabled for testware)

Issue-ID: CPS-2247

Change-Id: I111ba9ba89cc91649b63b20f88414aa33721dbeb
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[k6] Exclude timings when error occur

If an error occurs during k6 test, e.g. tcp connection refused, the
timing of failed response is included in the average response time.
This can lead to incorrect plots when errors occur, e.g. operations
appear to be faster when really the operations are failing.

- use custom Trend metrics for all measurements
- only log results when operations return expected response codes

Issue-ID: CPS-2345
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iab1db5e5ca9530f33da239187348cabcd0605648

Merge "Plot request failures for each k6 test"

Merge "Cleanup unused yang models from CPS core"

Support for alternate-id for CPS-E-05 i/f

- Added support for alternateId for CREATE , UPDATE, DELETE and PATCH
  operation for CPS-E05 passthrough running datastores

Issue-ID: CPS-2362
Change-Id: Ie4db1d84dba795e9650949cab3374e0b2570beba
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Support for alternate-id CPS-E05 composite state

- Added support for alternate id for the composite state API for
  CPS-E05#15

Issue-ID: CPS-2377
Change-Id: I1af41efb8cec762be68250cae7c1e98fbc61a4f5
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove trust level from cache when cm handles deleted"

Merge "[k6] Always pull latest cps and dmi stub images"

Merge "Install dependencies for k6 and csit"

Cleanup unused yang models from CPS core

Yang models and generated CSVs are no longer used in CPS
liquibase, rather Inventory model loader does this.

Issue-ID: CPS-2382
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0944c3778716450a88355c669ac806fd07b85193

Install dependencies for k6 and csit

- install docker-compose in csit and k6 tests
- install k6 with kafka extension in k6 tests

Issue-ID: CPS-2376
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8a67813a96dc7f321d4abe0aa91e236fd1060f3e

Policy Executor, refactor(move) common http classes

Issue-ID: CPS-2343
Change-Id: Ia9655364462826a794a2af78214311cb38c40de9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Policy Executor and DMI WebClient configurations

- separated dmi and policy executor http client configuration

Issue-ID: CPS-2324
Change-Id: Ib4e757da188673e163abe6078dfd6ddae447eaab
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Plot request failures for each k6 test

- add request failures to plot for each tests
- simplify setup and teardown function

Issue-ID: CPS-2347

Change-Id: I81226518af7bda12b0489ec46de08e27c96cc16d
Signed-off-by: halil.cakal <halil.cakal@est.tech>

[k6] Always pull latest cps and dmi stub images

Presently, k6 tests are using old cached DMI stub version in the
Jenkins job. This commit ensures latest images are pulled by
cleaning old images if a variable is set.

Issue-ID: CPS-2368
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I66a749c7cdeb7daee06a00b06dff50ead6854f28

Remove trust level from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager

Issue-ID: CPS-2315

Change-Id: I605ed78f164d7534069de8352dc3b0a81a4ce22c
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Support 2 CPS instances in Prometheus/Grafana

- Specify both cps-and-ncmp instances in Prometheus config
- Add default JVM Micrometer dashboard to Grafana, taken from
  https://grafana.com/grafana/dashboards/4701-jvm-micrometer/

Issue-ID: CPS-2314
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I24a42b8b4771a7d9341e920fbd85fa72e1a3518e

Bump CPS to 3.5.3-SNAPSHOT

- bump CPS to 3.5.3-SNAPSHOT
- updated the release notes and prepared for the next release

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60ea5f5864f5818d1ed5078e375cf07b8d713dde

container yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Idb3ea5abce2a9bb56fa44408688a4bb87106d14b

maven stage yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1bc1458c91ce360c1f770790ad379821e32ce665

Update openapi for 3.5.2

- update info.version to 3.5.2 for openapi yamls
- update read-the-docs copies of openapi docs

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I7f726f610fe8eff43e281edfe2fc6d9b08f5fc15

Merge "Release notes for moduleSetTag perf improvement"

Merge "Release notes for Cm Subscriptions"

Merge "[BUG] Blank alternateId overwrites existing"

Merge "Revert "Remove trust level entries from cache when cm handles deleted""

Release notes for moduleSetTag perf improvement

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic6c281934c8be8f85cf20b6c65e447a31a35ecc3

Revert "Remove trust level entries from cache when cm handles deleted"

This reverts commit 77b8e25e14e698c853334ef57459c21d7813911a.

Reason for revert: Performance degredation

Change-Id: Ibd88e626189d821680568c63952b95e7d1e05dc4
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Release notes for Cm Subscriptions

- Added release notes for the CM Data Subscriptions epic for the
  positive scenarios.

Issue-ID: CPS-2324
Change-Id: I1b61113a6bfa365a5856b97433098420dbf59c90
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[BUG] Blank alternateId overwrites existing

During CM-handle update, a blank "" alternateId will overwrite
an already-set alternateId.
Additionally during registration, if an alternateId consisting of
whitespace is supplied, it will be persisted with whitespace.
This fixes both issues by using isBlank/isNotBlank consistently.

Issue-ID: CPS-2372
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I44e536cf87a31c6e975a82ed37769c1d2548653a

Merge "Faster alternate-id checks during registration (CPS-2366 #2)"

Merge "Refactoring alternate ID checker (CPS-2366 #1)"

Remove trust level entries from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager
- add get effective trust level function to trust level manager
  for get and query cm handle APIs (to set trust level on the return
   object)

Issue-ID: CPS-2315

Change-Id: I8daa4a2ad8310de10e35fdc50351deb85fd3ffd0
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Faster alternate-id checks during registration (CPS-2366 #2)

This improves performance when using alternate ID in registration.
Instead of one CPS path query for each alternate ID, it sends one
query for the whole batch using OR operator, e.g.

  /dmi-registry/cm-handles[@alternate-id='A' or @alternate-id='B']

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I5b10437f4a01c886b3c84e46ac727e0e79917589

Refactoring alternate ID checker (CPS-2366 #1)

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I07228a130ebdab0e2782e54255b5e8cc34c8d77e

Merge "Fix docker image for netconf-pnp-simulator to fix CSITs"

Fix docker image for netconf-pnp-simulator to fix CSITs

The image on onap nexus is missing.

Issue-ID: CPS-2313
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifd410de6d9607705857e4d98e2afab2556940f96

Merge "[k6] Fix teardown script shutting down all containers"

Merge "Fix intermittent test failure of Delta between anchors"

[k6] Fix teardown script shutting down all containers

The teardown script in k6 shuts down ALL docker containers when done.
This can cause failures in the groovy tests when running in parallel,
as the groovy test container for DB also shuts down.

This fix is to shut down using docker-compose.

Issue-ID: CPS-2367
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic55ca6396dfc3170e4a326f34214d3a819977f50

Merge "[k6] Remove incorrect passthrough rates"

Fix intermittent test failure of Delta between anchors

Test fails sometimes due to non-deterministic order of results.
The issue is fixed by sorting the delta reports.

Issue-ID: CPS-2369
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60fd459a482a7e3dc209ee3056794817d37f5149

Get data job result from DMI

- added DataJobResult interface
- extended the DmiRestClient to retrieve status
- added mock response to DmiDispatcher

Issue-ID: CPS-2296
Change-Id: I551afd827cccd91c5f9837bd4923b30320865d55
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Rearrange CSIT test order"

Merge "Upgrading robotframework confluentkafka lib"

[k6] Remove incorrect passthrough rates

Reported rates for passthrough operations is incorrectly reported,
due to it being averaged over whole test time including setup and
teardown. It was agreed to simply not report rates, and only report
NCMP overhead.

- remove http request rates for passthrough operations
- change VUs from passthrough read so that there are 10 total

Issue-ID: CPS-2264
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ida498955e69dffb332d6efeb8a8d73343565f9a1

Merge "Refactored Data Job interfaces"

Rearrange CSIT test order

- Waiting for Cmhandle to be ready before fetching the modules in the CSIT.
- Added condition to check size of the json array if it atleast has one
  item

Issue-ID: CPS-2313
Change-Id: Ib4f08069780c55a758ba976db5b96239c83ac990
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Integration test of registration with alternate ID

Add functional test of registering a batch of CM-handles with
a mixture of existing, duplicate, new and blank alternate IDs.

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaed5c47ca0e14583bea91ee74924f1b5c1f01cec

Fix syntax error on k6 test

Issue-ID: CPS-2357
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibbd32282608ff707c8030d43df3cf85043242218

Upgrading robotframework confluentkafka lib

- upgrading confluentkafka library for robotframework to 2.4.0-2
- reverted the change for the CSIT as the fix was done in the
  dmi-plugin-stub

Issue-ID: CPS-2363
Change-Id: I3f7cd622177485435566ef814ffb38d4a93ed0ad
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add moduleSetTag on k6 test

Issue-ID: CPS-2357
Change-Id: I21b980b1e36988d3b5daf07e4f6a14fe4309cd20
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "K6 performance test for Alternate Id Read"

Merge "Support alternate Id interface for CPS-E-05 #2"