Remove unused and duplicate dependencies in poms

- remove duplicate dependencies from cps-service pom
- remove unused spring security dependency from cps-application pom

Issue-ID: CPS-2390
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Id49705e8790df7d7e98d80fa0ccb639eb4f1995f

Merge "Support alternate id interface for CPS-E-05 - publicProperties"

Merge "Support 2 CPS instances in Prometheus/Grafana"

[k6] Fix k6 tests after DMI stub changes

A change to DMI stub has broken k6 module search due
to module rename and increased registration time.

- increase setupTimeout by 2 minutes to factor in DMI startup delay
- module search uses module common to all module set tags
- only record times for searches returning number of CM-handles

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9067dc73015cfb475cdce1e7a3cc2d5401449caf

Support alternate id interface for CPS-E-05 - publicProperties

- added alternate id support for the existing endpoint
- Incorporated previous comments on the indendation
- Added new component cmHandleReferenceInPath in openapi docs to depict
  the correct example

Issue-ID: CPS-2378
Change-Id: I63e752fbb6cb0bde49d1ced53f063743d904d74e
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "[k6] Exclude timings when error occur"

Correctly report trust level if DMI is down

Current trust level should factor in both CM-handle
and DMI trust levels (effective trust level).

Issue-ID: CPS-2375
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib531633a0e79af2bf9cf73d2b0b02d7a58777458

Merge "Invoke Policy Executor and handle not-allowed response"

Invoke Policy Executor and handle not-allowed response

- Execute Policy Executor REST request
- Act (and log) on response from Policy Executor
- Add dispatcher(mock) in integration test FWK
- Add integration test for allow/non allowed and no authorization use cases
- disabled PolicyExecution feature by default (only enabled for testware)

Issue-ID: CPS-2247

Change-Id: I111ba9ba89cc91649b63b20f88414aa33721dbeb
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[k6] Exclude timings when error occur

If an error occurs during k6 test, e.g. tcp connection refused, the
timing of failed response is included in the average response time.
This can lead to incorrect plots when errors occur, e.g. operations
appear to be faster when really the operations are failing.

- use custom Trend metrics for all measurements
- only log results when operations return expected response codes

Issue-ID: CPS-2345
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iab1db5e5ca9530f33da239187348cabcd0605648

Merge "Plot request failures for each k6 test"

Merge "Cleanup unused yang models from CPS core"

Support for alternate-id for CPS-E-05 i/f

- Added support for alternateId for CREATE , UPDATE, DELETE and PATCH
  operation for CPS-E05 passthrough running datastores

Issue-ID: CPS-2362
Change-Id: Ie4db1d84dba795e9650949cab3374e0b2570beba
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Support for alternate-id CPS-E05 composite state

- Added support for alternate id for the composite state API for
  CPS-E05#15

Issue-ID: CPS-2377
Change-Id: I1af41efb8cec762be68250cae7c1e98fbc61a4f5
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove trust level from cache when cm handles deleted"

Merge "[k6] Always pull latest cps and dmi stub images"

Merge "Install dependencies for k6 and csit"

Cleanup unused yang models from CPS core

Yang models and generated CSVs are no longer used in CPS
liquibase, rather Inventory model loader does this.

Issue-ID: CPS-2382
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0944c3778716450a88355c669ac806fd07b85193

Install dependencies for k6 and csit

- install docker-compose in csit and k6 tests
- install k6 with kafka extension in k6 tests

Issue-ID: CPS-2376
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8a67813a96dc7f321d4abe0aa91e236fd1060f3e

Policy Executor, refactor(move) common http classes

Issue-ID: CPS-2343
Change-Id: Ia9655364462826a794a2af78214311cb38c40de9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Policy Executor and DMI WebClient configurations

- separated dmi and policy executor http client configuration

Issue-ID: CPS-2324
Change-Id: Ib4e757da188673e163abe6078dfd6ddae447eaab
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Plot request failures for each k6 test

- add request failures to plot for each tests
- simplify setup and teardown function

Issue-ID: CPS-2347

Change-Id: I81226518af7bda12b0489ec46de08e27c96cc16d
Signed-off-by: halil.cakal <halil.cakal@est.tech>

[k6] Always pull latest cps and dmi stub images

Presently, k6 tests are using old cached DMI stub version in the
Jenkins job. This commit ensures latest images are pulled by
cleaning old images if a variable is set.

Issue-ID: CPS-2368
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I66a749c7cdeb7daee06a00b06dff50ead6854f28

Remove trust level from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager

Issue-ID: CPS-2315

Change-Id: I605ed78f164d7534069de8352dc3b0a81a4ce22c
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Support 2 CPS instances in Prometheus/Grafana

- Specify both cps-and-ncmp instances in Prometheus config
- Add default JVM Micrometer dashboard to Grafana, taken from
  https://grafana.com/grafana/dashboards/4701-jvm-micrometer/

Issue-ID: CPS-2314
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I24a42b8b4771a7d9341e920fbd85fa72e1a3518e

Bump CPS to 3.5.3-SNAPSHOT

- bump CPS to 3.5.3-SNAPSHOT
- updated the release notes and prepared for the next release

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60ea5f5864f5818d1ed5078e375cf07b8d713dde

container yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Idb3ea5abce2a9bb56fa44408688a4bb87106d14b

maven stage yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1bc1458c91ce360c1f770790ad379821e32ce665

Update openapi for 3.5.2

- update info.version to 3.5.2 for openapi yamls
- update read-the-docs copies of openapi docs

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I7f726f610fe8eff43e281edfe2fc6d9b08f5fc15

Merge "Release notes for moduleSetTag perf improvement"

Merge "Release notes for Cm Subscriptions"

Merge "[BUG] Blank alternateId overwrites existing"

Merge "Revert "Remove trust level entries from cache when cm handles deleted""

Release notes for moduleSetTag perf improvement

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic6c281934c8be8f85cf20b6c65e447a31a35ecc3

Revert "Remove trust level entries from cache when cm handles deleted"

This reverts commit 77b8e25e14e698c853334ef57459c21d7813911a.

Reason for revert: Performance degredation

Change-Id: Ibd88e626189d821680568c63952b95e7d1e05dc4
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Release notes for Cm Subscriptions

- Added release notes for the CM Data Subscriptions epic for the
  positive scenarios.

Issue-ID: CPS-2324
Change-Id: I1b61113a6bfa365a5856b97433098420dbf59c90
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[BUG] Blank alternateId overwrites existing

During CM-handle update, a blank "" alternateId will overwrite
an already-set alternateId.
Additionally during registration, if an alternateId consisting of
whitespace is supplied, it will be persisted with whitespace.
This fixes both issues by using isBlank/isNotBlank consistently.

Issue-ID: CPS-2372
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I44e536cf87a31c6e975a82ed37769c1d2548653a

Merge "Faster alternate-id checks during registration (CPS-2366 #2)"

Merge "Refactoring alternate ID checker (CPS-2366 #1)"

Remove trust level entries from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager
- add get effective trust level function to trust level manager
  for get and query cm handle APIs (to set trust level on the return
   object)

Issue-ID: CPS-2315

Change-Id: I8daa4a2ad8310de10e35fdc50351deb85fd3ffd0
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Faster alternate-id checks during registration (CPS-2366 #2)

This improves performance when using alternate ID in registration.
Instead of one CPS path query for each alternate ID, it sends one
query for the whole batch using OR operator, e.g.

  /dmi-registry/cm-handles[@alternate-id='A' or @alternate-id='B']

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I5b10437f4a01c886b3c84e46ac727e0e79917589

Refactoring alternate ID checker (CPS-2366 #1)

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I07228a130ebdab0e2782e54255b5e8cc34c8d77e

Merge "Fix docker image for netconf-pnp-simulator to fix CSITs"

Fix docker image for netconf-pnp-simulator to fix CSITs

The image on onap nexus is missing.

Issue-ID: CPS-2313
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifd410de6d9607705857e4d98e2afab2556940f96

Merge "[k6] Fix teardown script shutting down all containers"

Merge "Fix intermittent test failure of Delta between anchors"

[k6] Fix teardown script shutting down all containers

The teardown script in k6 shuts down ALL docker containers when done.
This can cause failures in the groovy tests when running in parallel,
as the groovy test container for DB also shuts down.

This fix is to shut down using docker-compose.

Issue-ID: CPS-2367
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic55ca6396dfc3170e4a326f34214d3a819977f50

Merge "[k6] Remove incorrect passthrough rates"

Fix intermittent test failure of Delta between anchors

Test fails sometimes due to non-deterministic order of results.
The issue is fixed by sorting the delta reports.

Issue-ID: CPS-2369
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60fd459a482a7e3dc209ee3056794817d37f5149

Get data job result from DMI

- added DataJobResult interface
- extended the DmiRestClient to retrieve status
- added mock response to DmiDispatcher

Issue-ID: CPS-2296
Change-Id: I551afd827cccd91c5f9837bd4923b30320865d55
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Rearrange CSIT test order"

Merge "Upgrading robotframework confluentkafka lib"

[k6] Remove incorrect passthrough rates

Reported rates for passthrough operations is incorrectly reported,
due to it being averaged over whole test time including setup and
teardown. It was agreed to simply not report rates, and only report
NCMP overhead.

- remove http request rates for passthrough operations
- change VUs from passthrough read so that there are 10 total

Issue-ID: CPS-2264
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ida498955e69dffb332d6efeb8a8d73343565f9a1

Merge "Refactored Data Job interfaces"

Rearrange CSIT test order

- Waiting for Cmhandle to be ready before fetching the modules in the CSIT.
- Added condition to check size of the json array if it atleast has one
  item

Issue-ID: CPS-2313
Change-Id: Ib4f08069780c55a758ba976db5b96239c83ac990
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Integration test of registration with alternate ID

Add functional test of registering a batch of CM-handles with
a mixture of existing, duplicate, new and blank alternate IDs.

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaed5c47ca0e14583bea91ee74924f1b5c1f01cec

Fix syntax error on k6 test

Issue-ID: CPS-2357
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibbd32282608ff707c8030d43df3cf85043242218

Upgrading robotframework confluentkafka lib

- upgrading confluentkafka library for robotframework to 2.4.0-2
- reverted the change for the CSIT as the fix was done in the
  dmi-plugin-stub

Issue-ID: CPS-2363
Change-Id: I3f7cd622177485435566ef814ffb38d4a93ed0ad
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add moduleSetTag on k6 test

Issue-ID: CPS-2357
Change-Id: I21b980b1e36988d3b5daf07e4f6a14fe4309cd20
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "K6 performance test for Alternate Id Read"

Merge "Support alternate Id interface for CPS-E-05 #2"

Merge "CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier"

new onap logo

Issue-ID: DOC-826

Change-Id: I7da5ba787243fb50a0f332e24825ae4967b5432c
Signed-off-by: thmsdt <thomas.kulik@telekom.de>

CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier

- Created a new repo. service for fragment table that executes a native
  sql query to find first ready cm handle id based on moduleset tag and
  then returns list of module references.
- Exposed a new interface into module service that is used by
  module sync service to get list of midule refs by module set tag.

Issue-ID: CPS-2353
Change-Id: I438dbd1ed37c1ff4e15f792e93a095aa604120bc
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Refactored Data Job interfaces

-modified writejob & status endpoints

Issue-ID: CPS-2360
Change-Id: I87647f59493886593825f5175c6ed708e55b3e30
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

K6 performance test for Alternate Id Read

Issue-Id: CPS-2279
Change-Id: Iade53a85afb183c0df259c5e7fc12fa0f6986218
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Support alternate Id interface for CPS-E-05 #2

- Supports Alternate Ids for getResourceDataForCmHandle

Issue-Id: CPS-2279
Change-Id: I1f145308cec5b545fab2d5c96efbc00fc3a110f4
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Fix CSIT build failure

- Doubling the CmHandle wait time to check for READY state
- commenting the data operations header condition to check for source and to be investigated separately

Issue-ID: CPS-2363
Change-Id: I1de8c61569444df7450af1142d8589e90d309340
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Refactoring of CPS Delta APIs"

Merge "Cm Subscriptions Docs"

Refactoring of CPS Delta APIs

Refactoring of CPS delta APIs from two separate endpoints to a single endpoint.
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaAnchors
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaByPayload
To new endpoint can perform two operatios as follows:
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta

Note: this patch only addresses the issue around refactoring of Delta
endpoint to a singular well defined endpoint. A separate patch will
be created to refactor the entire Delta feature out of CPS Data,
into a separate interface namely CPS Delta

Issue-ID: CPS-2310
Change-Id: Ic62c8308cf368b4378235597a11c476809a150b8
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Merge "Handle null NcmpOut event"

Handle null NcmpOut event

- Handling null event in the Cm Subscription delete use case.
- creating taskKey as concat of subscription-id and event type
- added relevant test case to cover the branch

Issue-ID: CPS-2351
Change-Id: I75a6fa9d4cddd24a5e288be065dffc46f6bbe886
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Remove dmi stub from CPS repo

DMI Stub has been relocated to the DMI Plugin repo. Removing from this repo

Issue-ID: CPS-2145

Change-Id: I957e89231d537985ff1b42cee611a6dac6ef93c4
Signed-off-by: egernug <gerard.nugent@est.tech>

Cm Subscriptions Docs

- Included documentation for an overview of Cm Data Subscription for the
  Create and Delete use case.
- Only included the json schemas for the events that are coming in and
  going out of NCMP.
- Not mentioning anything abt the internal events we use between DMIs.
- The docs can later be used to explain abt the notifications when they
  are implemented.

Issue-ID: CPS-2324
Change-Id: I2497656e0e56c93054b7e92b1742a668463c3ffc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Updating CM Data Notification Event Schema

- Updated "avc-event-schema" value attribute to accept type object.
- Modified cm avc event consumer to not wrap received event into another cloud event using "CloudEventBuilder.from"

Issue-ID: CPS-2299
Change-Id: I3b2acd53a3939d992b337e98debb7f62f3a528dd
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Handle duplicate targets NcmpOut event"

Update OpenAPI Policy Executor

- remove conflict error response in OpenAPI
(mistakenly added here but only need for NCMP interface)

Issue-ID: CPS-2335
Change-Id: Ib24a4d0853fff2104958879f7d247197725b5870
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Openapi specs update"

Openapi specs update

- Correcting the openapi info section for CPS-Core, NCMP and NCMP
  Inventory APIs to reflect the correct released version of the APIs
- Also correcting the specs for dataOperationForCmHandle which now
  handles 200 cmhandle operations instead of 50.

Issue-ID: CPS-2333
Change-Id: I8b0e055a8ee77ed86cee6cbfac3123634f7007ed
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

XML content support on add list element

Issue-ID: CPS-2287
Change-Id: Ibb7ffb66ccbb03703266132c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Merge "Fix DMI host/port and clean up Postman collection"

Merge "Refactor OpenAPI Policy Executor"

Refactor OpenAPI Policy Executor

- replace payload with request(s)
- replace payloadType with schema (one schema for each operation)
- include conflict error response in OpenAPI
- introduce 4 schemas in NCMP (doc module) for create, update, patch & delete
- udpate stub & test to follow new API and use one schema for testign purposes

Issue-ID: CPS-2335
Change-Id: Ifc40062ae83429a9ffba350ec3bcc28cb7147293
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Handle duplicate targets NcmpOut event

- Accpted , Rejected and Pending targets in the NcmpOut response to have
  unique values hence changing the datastructre to Set.

Issue-ID: CPS-2338
Change-Id: I24a109fad4c854eff1b052df38947cc121445bb9
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Effect changes on scheduled tasks (don't want scheduled tasks to be monitored)

- Applied a filter on tasks.scheduled.execution.
- It is configurable from application.ymal into cps.scheduled-task-names: - tasks.scheduled.execution by default.
- Added a new property configuration bean for open telemetry.
- Introduced new propery attribute that takes list of task names to be
  filtered.

Issue-ID: CPS-2250
Change-Id: I8e5334cd166343181df6dd1985471f5465f14f0e
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Add k6 for legacy async batch passthrough read operation"

Add k6 for legacy async batch passthrough read operation

- add kafka support to k6 codebase
- add two new tests: data operation batch passthrough read
   and data operation async batch read (from kafka)
- calculate the events/second via Trend
- add kafka ui support to docker-compose

Note: Before this commit being merged, the k6 executable
should have been compiled with the kafka extension of xk6-kafka

Issue-ID: CPS-2268

Change-Id: Ib7777b7bc9f15b210ea36d3541cba0e0c943f883
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Uplift liquibase-core dependency"

Fix DMI host/port and clean up Postman collection

Currently, Postman collection does not work out-of-the-box,
due to DMI host being incorrect. DMI Plugin URL supplied to
NCMP inventory must be accessible from inside the docker network.
Using localhost does not work, as it will point to NCMP itself.

Issue-ID: CPS-2336
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I2870ef4dd966a26e5931c95ce74a2125dc857f16

Fix ordering issue in QueryServiceIntegrationSpec

A test intermittently fails due to comparing unordered list.
Fix is to compare as a set.

Issue-ID: CPS-2337
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I84bc4f7d9ff01ca7b36ecb56835387dbea6b24d1

Uplift liquibase-core dependency

- upgraded from 4.21.0 to 4.28.0
- updated the release notes

Issue-ID: CPS-2326
Change-Id: I8734fd8005438ec682e8b2f458ec84bbabb4be56
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Delete Subscription method"

Merge "[k6] Fix response code check for passthrough write test"

Delete Subscription method

Issue-ID: CPS-2253
Change-Id: I30768dc431e13d0bac0dcc7b9b16cb0854f06702
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Added missing authorization header to DataJobService"

Added missing authorization header to DataJobService

- added auth header to the interface & updated testware

Issue-ID: CPS-2330
Change-Id: I091fc5c3c3fa323024f55055129cc7240732479a
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Integration test to validate DMI service URL

- New groovy test is written to validate if dmi service url is encoded
  correctly.

Issue-ID: CPS-2317
Change-Id: I75023a0bd2c41c832177edf062c694bb0d9b14b8
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

[k6] Fix response code check for passthrough write test

The POST operation returns 201, not 200.
This causes checks to fail when running k6 manually.

Issue-ID: CPS-2267
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3c0e771b89aa09e41c9dbdf1c532599e1ab5440d

Get data job status from DMI Plugin

    - added java interface
    - extended DmiRestClient to get data job status
    - added testware

Issue-ID: CPS-2296
Change-Id: If9006bba06397724c15bdc3bdf1bd52a0188f002
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>