Fix intermittent test failure of Delta between anchors

Test fails sometimes due to non-deterministic order of results.
The issue is fixed by sorting the delta reports.

Issue-ID: CPS-2369
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60fd459a482a7e3dc209ee3056794817d37f5149

Get data job result from DMI

- added DataJobResult interface
- extended the DmiRestClient to retrieve status
- added mock response to DmiDispatcher

Issue-ID: CPS-2296
Change-Id: I551afd827cccd91c5f9837bd4923b30320865d55
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Rearrange CSIT test order"

Merge "Upgrading robotframework confluentkafka lib"

Merge "Refactored Data Job interfaces"

Rearrange CSIT test order

- Waiting for Cmhandle to be ready before fetching the modules in the CSIT.
- Added condition to check size of the json array if it atleast has one
  item

Issue-ID: CPS-2313
Change-Id: Ib4f08069780c55a758ba976db5b96239c83ac990
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Integration test of registration with alternate ID

Add functional test of registering a batch of CM-handles with
a mixture of existing, duplicate, new and blank alternate IDs.

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaed5c47ca0e14583bea91ee74924f1b5c1f01cec

Fix syntax error on k6 test

Issue-ID: CPS-2357
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibbd32282608ff707c8030d43df3cf85043242218

Upgrading robotframework confluentkafka lib

- upgrading confluentkafka library for robotframework to 2.4.0-2
- reverted the change for the CSIT as the fix was done in the
  dmi-plugin-stub

Issue-ID: CPS-2363
Change-Id: I3f7cd622177485435566ef814ffb38d4a93ed0ad
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add moduleSetTag on k6 test

Issue-ID: CPS-2357
Change-Id: I21b980b1e36988d3b5daf07e4f6a14fe4309cd20
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "K6 performance test for Alternate Id Read"

Merge "Support alternate Id interface for CPS-E-05 #2"

Merge "CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier"

new onap logo

Issue-ID: DOC-826

Change-Id: I7da5ba787243fb50a0f332e24825ae4967b5432c
Signed-off-by: thmsdt <thomas.kulik@telekom.de>

CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier

- Created a new repo. service for fragment table that executes a native
  sql query to find first ready cm handle id based on moduleset tag and
  then returns list of module references.
- Exposed a new interface into module service that is used by
  module sync service to get list of midule refs by module set tag.

Issue-ID: CPS-2353
Change-Id: I438dbd1ed37c1ff4e15f792e93a095aa604120bc
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Refactored Data Job interfaces

-modified writejob & status endpoints

Issue-ID: CPS-2360
Change-Id: I87647f59493886593825f5175c6ed708e55b3e30
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

K6 performance test for Alternate Id Read

Issue-Id: CPS-2279
Change-Id: Iade53a85afb183c0df259c5e7fc12fa0f6986218
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Support alternate Id interface for CPS-E-05 #2

- Supports Alternate Ids for getResourceDataForCmHandle

Issue-Id: CPS-2279
Change-Id: I1f145308cec5b545fab2d5c96efbc00fc3a110f4
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Fix CSIT build failure

- Doubling the CmHandle wait time to check for READY state
- commenting the data operations header condition to check for source and to be investigated separately

Issue-ID: CPS-2363
Change-Id: I1de8c61569444df7450af1142d8589e90d309340
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Refactoring of CPS Delta APIs"

Merge "Cm Subscriptions Docs"

Refactoring of CPS Delta APIs

Refactoring of CPS delta APIs from two separate endpoints to a single endpoint.
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaAnchors
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaByPayload
To new endpoint can perform two operatios as follows:
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta

Note: this patch only addresses the issue around refactoring of Delta
endpoint to a singular well defined endpoint. A separate patch will
be created to refactor the entire Delta feature out of CPS Data,
into a separate interface namely CPS Delta

Issue-ID: CPS-2310
Change-Id: Ic62c8308cf368b4378235597a11c476809a150b8
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Merge "Handle null NcmpOut event"

Handle null NcmpOut event

- Handling null event in the Cm Subscription delete use case.
- creating taskKey as concat of subscription-id and event type
- added relevant test case to cover the branch

Issue-ID: CPS-2351
Change-Id: I75a6fa9d4cddd24a5e288be065dffc46f6bbe886
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Remove dmi stub from CPS repo

DMI Stub has been relocated to the DMI Plugin repo. Removing from this repo

Issue-ID: CPS-2145

Change-Id: I957e89231d537985ff1b42cee611a6dac6ef93c4
Signed-off-by: egernug <gerard.nugent@est.tech>

Cm Subscriptions Docs

- Included documentation for an overview of Cm Data Subscription for the
  Create and Delete use case.
- Only included the json schemas for the events that are coming in and
  going out of NCMP.
- Not mentioning anything abt the internal events we use between DMIs.
- The docs can later be used to explain abt the notifications when they
  are implemented.

Issue-ID: CPS-2324
Change-Id: I2497656e0e56c93054b7e92b1742a668463c3ffc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Updating CM Data Notification Event Schema

- Updated "avc-event-schema" value attribute to accept type object.
- Modified cm avc event consumer to not wrap received event into another cloud event using "CloudEventBuilder.from"

Issue-ID: CPS-2299
Change-Id: I3b2acd53a3939d992b337e98debb7f62f3a528dd
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Handle duplicate targets NcmpOut event"

Update OpenAPI Policy Executor

- remove conflict error response in OpenAPI
(mistakenly added here but only need for NCMP interface)

Issue-ID: CPS-2335
Change-Id: Ib24a4d0853fff2104958879f7d247197725b5870
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Openapi specs update"

Openapi specs update

- Correcting the openapi info section for CPS-Core, NCMP and NCMP
  Inventory APIs to reflect the correct released version of the APIs
- Also correcting the specs for dataOperationForCmHandle which now
  handles 200 cmhandle operations instead of 50.

Issue-ID: CPS-2333
Change-Id: I8b0e055a8ee77ed86cee6cbfac3123634f7007ed
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

XML content support on add list element

Issue-ID: CPS-2287
Change-Id: Ibb7ffb66ccbb03703266132c6d5c2eade0e7cb4a
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Merge "Fix DMI host/port and clean up Postman collection"

Merge "Refactor OpenAPI Policy Executor"

Refactor OpenAPI Policy Executor

- replace payload with request(s)
- replace payloadType with schema (one schema for each operation)
- include conflict error response in OpenAPI
- introduce 4 schemas in NCMP (doc module) for create, update, patch & delete
- udpate stub & test to follow new API and use one schema for testign purposes

Issue-ID: CPS-2335
Change-Id: Ifc40062ae83429a9ffba350ec3bcc28cb7147293
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Handle duplicate targets NcmpOut event

- Accpted , Rejected and Pending targets in the NcmpOut response to have
  unique values hence changing the datastructre to Set.

Issue-ID: CPS-2338
Change-Id: I24a109fad4c854eff1b052df38947cc121445bb9
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Effect changes on scheduled tasks (don't want scheduled tasks to be monitored)

- Applied a filter on tasks.scheduled.execution.
- It is configurable from application.ymal into cps.scheduled-task-names: - tasks.scheduled.execution by default.
- Added a new property configuration bean for open telemetry.
- Introduced new propery attribute that takes list of task names to be
  filtered.

Issue-ID: CPS-2250
Change-Id: I8e5334cd166343181df6dd1985471f5465f14f0e
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Add k6 for legacy async batch passthrough read operation"

Add k6 for legacy async batch passthrough read operation

- add kafka support to k6 codebase
- add two new tests: data operation batch passthrough read
   and data operation async batch read (from kafka)
- calculate the events/second via Trend
- add kafka ui support to docker-compose

Note: Before this commit being merged, the k6 executable
should have been compiled with the kafka extension of xk6-kafka

Issue-ID: CPS-2268

Change-Id: Ib7777b7bc9f15b210ea36d3541cba0e0c943f883
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Uplift liquibase-core dependency"

Fix DMI host/port and clean up Postman collection

Currently, Postman collection does not work out-of-the-box,
due to DMI host being incorrect. DMI Plugin URL supplied to
NCMP inventory must be accessible from inside the docker network.
Using localhost does not work, as it will point to NCMP itself.

Issue-ID: CPS-2336
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I2870ef4dd966a26e5931c95ce74a2125dc857f16

Fix ordering issue in QueryServiceIntegrationSpec

A test intermittently fails due to comparing unordered list.
Fix is to compare as a set.

Issue-ID: CPS-2337
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I84bc4f7d9ff01ca7b36ecb56835387dbea6b24d1

Uplift liquibase-core dependency

- upgraded from 4.21.0 to 4.28.0
- updated the release notes

Issue-ID: CPS-2326
Change-Id: I8734fd8005438ec682e8b2f458ec84bbabb4be56
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Delete Subscription method"

Merge "[k6] Fix response code check for passthrough write test"

Delete Subscription method

Issue-ID: CPS-2253
Change-Id: I30768dc431e13d0bac0dcc7b9b16cb0854f06702
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Added missing authorization header to DataJobService"

Added missing authorization header to DataJobService

- added auth header to the interface & updated testware

Issue-ID: CPS-2330
Change-Id: I091fc5c3c3fa323024f55055129cc7240732479a
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Integration test to validate DMI service URL

- New groovy test is written to validate if dmi service url is encoded
  correctly.

Issue-ID: CPS-2317
Change-Id: I75023a0bd2c41c832177edf062c694bb0d9b14b8
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

[k6] Fix response code check for passthrough write test

The POST operation returns 201, not 200.
This causes checks to fail when running k6 manually.

Issue-ID: CPS-2267
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3c0e771b89aa09e41c9dbdf1c532599e1ab5440d

Get data job status from DMI Plugin

    - added java interface
    - extended DmiRestClient to get data job status
    - added testware

Issue-ID: CPS-2296
Change-Id: If9006bba06397724c15bdc3bdf1bd52a0188f002
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Release notes update for CPS-2306 and CPS-2319

Issue-ID: CPS-2319
Change-Id: I2ab58437c133521fdce10ade61b16e34cfdec0bc
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Integration test for the writeDataJob

    - added Stub controller
    - created integration test for writeDataJob

Issue-ID: CPS-2236
Change-Id: I067a11dc5bfe629d50128cf303b2a81abc75a348
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Fix "Create a node" and "Add List Elements" APIs response code"

Merge "Fix NCMP CSITs by using new TLS certificates"

Merge "Fix dataProducerId in SubJobWriteRequest"

Fix NCMP CSITs by using new TLS certificates

TLS certs for SDNC and PNF simulators have expired, causing CSITs
to fail. The new certificates are valid until 22/07/2034

- Add new certificates, valid for 10 years
- Re-enable NCMP CSITs

Issue-ID: CPS-2327
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I6c4361da9f8aaf1449a2ba22e701f1c0ec33a34b

Fix timing issue for data sync CSIT

The default data sync watchdog sleep time is 30 seconds, while
the CSIT only waits 10 seconds for data sync to run. This is
leading to intermittent failures.

- increase CSIT time out to 40 seconds for data sync operation
- adjust log levels for data sync so that issues are easier to debug

Issue-ID: CPS-2313
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3ceb9097bf357f47e5d49f84c70b1c711b52171a

Fix dataProducerId in SubJobWriteRequest

Issue-ID: CPS-2322
Change-Id: I7bfdfd05ffacb085ac056707d477f348cb5bd64f
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Update response message for data validation failure

- Make the response message more informative and cleaner in case of data
  validation failure.
- Updated message body will not contain the entire jsonData as part of
  response sent back to the user

Issue-ID: CPS-2306
Change-Id: I28aab1450779af98ccdd11701e78bdfcdbc18cf0
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Fix "Create a node" and "Add List Elements" APIs response code

Create a node and Add list elements APIs would return a 500 response
code when a JSON payload mismatching the Schema was sent as part of
the request body.

Updated the code to return response code 400.

Issue-ID: CPS-2319
Change-Id: I86d6af446966790d9e45045b330f0c411fcd0f1d
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Disable NCMP CSITs

- comment the CSITs temporarily until the SDNC certs are corrected.

Issue-ID: CPS-2325
Change-Id: I335b17e4f148ff838301fb511656da1068d124b4
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Integration test to validate DMI service URL"

[k6] Measure NCMP overhead for passthrough operations

Measure NCMP overhead by subtracting DMI delay from request duration.

Issue-ID: CPS-2269
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ieb4758e9f7cab119da4c28e4a3febfa1361b2613

Integration test to validate DMI service URL

- New groovy test is written to validate if dmi service url is encoded
  correctly.

Issue-ID: CPS-2317
Change-Id: I048bf37dd3ba4f37df7dace927f55bf8dd899922
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "CPS NCMP: Add state tags to cps.ncmp.lcm.events.publish metrics"

Merge "XML content support on replace a node with descendants"

Merge "Report throughput for passthrough read operation"

Separate dmi delay for passthrough operations

- set dmi delay to 670 ms for passthrough write (CUD)
- set dmi delay to 300 ms for passthrough read

Issue-ID:CPS-2285

Change-Id: I7a4294d3ed04c89aeb5988a9975516135317af12
Signed-off-by: halil.cakal <halil.cakal@est.tech>

CPS NCMP: Add state tags to cps.ncmp.lcm.events.publish metrics

- Added cm handle state into micrometer Timer as an extra tags while capturing total time taken to publish a LCM events for publishLcmEvent method.

Issue-ID: CPS-2123
Change-Id: I6357c628496700fee7448dbc381a7e0e62d8b540
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

XML content support on replace a node with descendants

Issue-ID: CPS-2282
Change-Id: Ibb7ffb65ccbb03703266712c6d5c2eade0e7ab4b
Signed-off-by: Rudrangi Anupriya <ra00745022@techmahindra.com>

Report throughput for passthrough read operation

- change threshold from avg duration to req per second
- the delay for dmi has been hanlded in seprate commit
   in dmi repository
- add delays through docker-compose env variables

Issue-ID:CPS-2285

Change-Id: I35978b21c208fdb4209b1610160dc5545ee22965
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Add passthrough write (CUD) operations to k6"

Mapper to group Subscription Details for DMI

- introduced a mapper to group a collection of subscription
  keys(datastore cmhandle and xpath ) based on datastore and xpath
- the information will be used to send out to the dmi plugin

Issue-ID: CPS-2312
Change-Id: I99f509eb5b4a8c3a7fb1078ae86490d894f22b6c
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Bump CPS to 3.5.2 Snapshot

- bump CPS to 3.5.2-SNAPSHOT
- updated the release notes and prepared for the next release

Issue-ID: CPS-2318
Change-Id: I584faf6218e60ad62e32ef8c3cb0deb4047149a2
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

container yaml for CPS 3.5.1

- adding container yaml for CPS release 3.5.1

Issue-ID: CPS-2318
Change-Id: Iba39b49c46c30f917e526cdf716b963dc1e139d4
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

maven stage yaml for 3.5.1

- adding maven stage yaml for CPS 3.5.1 release

Issue-ID: CPS-2318
Change-Id: I14f4f8a890fbab80497696907fde4fd22601a562
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Release notes CPS 3.5.1"

Release notes CPS 3.5.1

- Added release notes and syncd the openapi files.

Issue-ID: CPS-2318
Change-Id: I1982e31f3bcb9337ed9814cb55a4db885b157158
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Print DMI stub logs in CSITs

Issue-ID: CPS-2313
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4ecb5ce1713666b5e90b90eba3c98b737fd91896

Add passthrough write (CUD) operations to k6

- the delay for dmi has been hanlded in seprate commit
- for simplicity only the POST request is considered

Issue-ID: CPS-2267

Change-Id: I62ede04dd8e2744fc723566742396df31c42ea5d
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Print docker logs in CSITs for 2 cps-and-ncmp instances

Following introduction of 2 instances of cps-and-ncmp,
CSIT logs show an error "No such container: cps-and-ncmp".
This commit prints docker logs for each cps-and-ncmp container.

Issue-ID: CPS-2038
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: If3ed4590cef0f5b59d74e62c84f6c6e72edfd411

Merge "Policy Executor Feature Toggle"

Policy Executor Feature Toggle

- defined config parameters for feature toggle and server details
- log request details when feature enabled
- improved JavaDoc in Controller
- improved configuration properties checks in HttpClientConfigurationSpec

Issue-ID: CPS-2311
Change-Id: I1ff4bd3592ce2570ac74f9ec6e62b75001cb611a
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Fix timing issue in CmHandleCreateSpec"

Fix timing issue in CmHandleCreateSpec

The test for module sync retry on LOCKED handles has a timing issue,
due the ordering of the steps. After a LOCKED handle gets reset to
ADVISED state (but DMI is not yet set to available), the Module Sync
Watchdog may wake up and put it back into LOCKED state again.

This fix is to first make the DMI available before waiting for the
LOCKED handle to reset.

Issue-ID: CPS-2304
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9d33b0eeea1e0a2e163489130c928b4d03182774

Documentation updated in docs/ncmp-inventory-querying.rst

- Existing API docs in docs/ncmp-cmhandle-querying.rst is updated where
  CPS Path is now supported as ancestor axis.

Issue-ID: CPS-2289
Change-Id: I065179fe7c294588580448a8467765e9d116d33a
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "NCMP inventory cm handle search should support cps path query"

Remove nginx logs that not being used anywhere

Issue-ID: CPS-2038

Change-Id: Iba8950db4f3fcfc13f32bf915189f5fcb2ccee90
Signed-off-by: halil.cakal <halil.cakal@est.tech>

NCMP inventory cm handle search should support cps path query

- Added cps path query conditions for inventory search api

Issue-ID: CPS-2289
Change-Id: I0bcc9a45af65ad9d41c4d4cf79b35bfb95f50cff
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Split integration tests into cps and ncmp packages

Issue-ID: CPS-2309
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie97c1430d1121c4c68b3fc6dacbc2466d48e1017

Policy Executor API, make Authorization header optional

Issue-ID: CPS-22291
Change-Id: I2b8f9b97c92dfc640c8b40b7053c609bbdcb2f6e
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

NCMP: NCMP search API fixed to handle cps path that is ancestor axis as
well

- Cps path builder is fixed to handle ancestor axis that is target as well while quering.

Issue-ID: CPS-2308
Change-Id: Iaf215851ada17d21516ae83fa142ac77ff1c6c19
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Refactor remaining classes package structure

-Introduced org.onap.cps.ncmp.config for all config type classes like http, kafka etc.
-Introduced org.onap.cps.ncmp.impl.dmi for dmi specif classes like DmiRestClient etc.
-Moved most exception classes to org.onap.cps.ncmp.api.exceptions
(only two were 'internal' i.e. NOT used in REST so left in org.onap.cps.ncmp.exceptions)
-Deleted unused DateNodeHelper class (and related testware)
-Moved some classes to org.onap.cps.ncmp.impl.utils
-Moved messaging test base classes to org.onap.cps.ncmp.impl.utils.events
-All imports were reorganised automatically by IntelliJ
-did NOT update any copyright dates (seems incorrect to me anyway)

Issue-ID: CPS-2257
Change-Id: Ie28b1777ea278064b46c6a1c3a28f4d0696565e2
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Increase module sync wait time in tests to 10 seconds

Too small timeout is causing intermittant test failures.

Issue-ID: CPS-2304
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib6a25cb2f44e9a65b8f7d2d98e8d5e7dfe1f9ceb

Merge "Create PolicyExecutor Stub"

Merge "Setup automated tests with two replicas of cps-and-ncmp"

Merge "[k6] Measure CM-handle (de)registration in CM-handles/sec"

Merge "Remove forced module sync from NCMP integration tests"

Merge "Refactor integration tests so only one DmiDispatcher is used"