Refactor FragmentQueryBuilder

This is a refactoring of FragmentQueryBuilder, there are
no functional changes. This refactoring is needed before
main patch of CPS-2365.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I648616159719e084ba0e7cb4b09649cd17560cab

[k6] Minor correction to plot titles

Plot title say Module filter instead of Module and Property.

Issue-ID: CPS-2349
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie23080a6085960b89132ad38d07d0c2b6f12471b

Merge "[Cps Path Parser] Move NCMP-specific logic to NCMP"

Merge "[k6] Align tests with updated requirements"

[Cps Path Parser] Move NCMP-specific logic to NCMP

Some special case code to disable ancestor-axis was added for
CM-handle search (see CPS-2308). It is now relocated to NCMP.
This makes other needed improvements of Cps Path Parser easier.

- Move special case code into NCMP
- Add integration test to ensure CM-handle search works

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I168d6156be559166f115aa42e21cd987d98b7d41

Merge "Support alternate id for CPS-E05 GetCmHandleDetailsById"

Merge "[Cps Path Parser] Refactoring leaf conditions"

Merge "K6 Performance Graph fails frequently"

K6 Performance Graph fails frequently

- Overrides initial processing delay of every new module set tag for DMI plugin stub from 2 min (default) to 0 as a temp. solution.

Issue-ID: CPS-2395
Change-Id: Ic875262314406ec55457e31a69c00d55293c1b74
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

[Cps Path Parser] Remove unneeded validation in grammar

The invalid prefix/postfix is not needed; existing tests show
that PathParsingException is thrown in for invalid paths.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I202f0ca0bc5eb768fc3af711180405882dafc22d

[k6] Align tests with updated requirements

- Test load increased to 5 CM handle searches and 5 Id searches to
  reflect current requirements.
- CM handles searches now use a combined search filter including
  1 module and 1 public property, so we are testing with a heavier
  load than required, for early warning of trouble.
- Test load reduced for passthrough operations to 4 VUs per operation
  to reflect addition of batch operation.
- Added test of passthrough write operation with alternate ID.
- Additional refactoring.

Issue-ID: CPS-2349
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I88d2fe431f74821e8e0e976441efcf82aa320849

Merge "Support Alternate-id for CPS-E05 module search"

Merge "Remove event notifications when removing trust level entries"

Support Alternate-id for CPS-E05 module search

Issue-ID: CPS-2370
Change-Id: I0ca3a1df232ad9fd9f76695cd6ea21d36919130d
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Support Alternate-id for CPS-E05 module definition"

Support alternate id for CPS-E05 GetCmHandleDetailsById

- added support for alternate id when retreiving cmhandle details by id
- Note : The performance for alternate id fetching will be taken care as
  part of a separate story.

Issue-ID: CPS-2385
Change-Id: I019b85d128e4b0a1f1d61623c92e1a2381c406c0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove unused and duplicate dependencies in poms"

Merge "Fix huge logs produced when errors occur in k6"

Merge "[k6] Report failure rate for all tests in a single plot"

Remove event notifications when removing trust level entries

Issue-ID: CPS-2315

Change-Id: I4f0cb7c2066e0ab9c62ac9cdb0fc39ce7de7791b
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Support Alternate-id for CPS-E05 module definition

Issue-ID: CPS-2379
Change-Id: Idd180c5792575522ceaaa094b94c8f5b36790186
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Remove unused and duplicate dependencies in poms

- remove duplicate dependencies from cps-service pom
- remove unused spring security dependency from cps-application pom

Issue-ID: CPS-2390
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Id49705e8790df7d7e98d80fa0ccb639eb4f1995f

Policy Executor: pass Change request as Object

- Added unit test for new exception handling

Issue-ID: CPS-2335
Change-Id: I5517c91edf505932d0a94165c19420922b3f5f51
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Support alternate id interface for CPS-E-05 - publicProperties"

[Cps Path Parser] Refactoring leaf conditions

Instead of DataLeaf and ComparativeOperators classes,
we more simply have LeafConditions class with all info.

Issue-ID: CPS-2365
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8fd18bb56b8ed9d26a3f9d36f487d00a9274c8bc

[k6] Report failure rate for all tests in a single plot

Instead of separate plots of test failures for each test case,
we have one single plot showing failures.

Issue-ID: CPS-2347
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie79b75c34903a7df2037474b3536d4867c1a61e0

Merge "Support 2 CPS instances in Prometheus/Grafana"

[k6] Fix k6 tests after DMI stub changes

A change to DMI stub has broken k6 module search due
to module rename and increased registration time.

- increase setupTimeout by 2 minutes to factor in DMI startup delay
- module search uses module common to all module set tags
- only record times for searches returning number of CM-handles

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9067dc73015cfb475cdce1e7a3cc2d5401449caf

Fix huge logs produced when errors occur in k6

 - Changed k6 config to ignore all the error logs.

Issue-ID: CPS-2344
Change-Id: Iad7be43ae5bb909518f9f7d8e386a97c96c349e3
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Support alternate id interface for CPS-E-05 - publicProperties

- added alternate id support for the existing endpoint
- Incorporated previous comments on the indendation
- Added new component cmHandleReferenceInPath in openapi docs to depict
  the correct example

Issue-ID: CPS-2378
Change-Id: I63e752fbb6cb0bde49d1ced53f063743d904d74e
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "[k6] Exclude timings when error occur"

Correctly report trust level if DMI is down

Current trust level should factor in both CM-handle
and DMI trust levels (effective trust level).

Issue-ID: CPS-2375
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib531633a0e79af2bf9cf73d2b0b02d7a58777458

Merge "Invoke Policy Executor and handle not-allowed response"

Invoke Policy Executor and handle not-allowed response

- Execute Policy Executor REST request
- Act (and log) on response from Policy Executor
- Add dispatcher(mock) in integration test FWK
- Add integration test for allow/non allowed and no authorization use cases
- disabled PolicyExecution feature by default (only enabled for testware)

Issue-ID: CPS-2247

Change-Id: I111ba9ba89cc91649b63b20f88414aa33721dbeb
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[k6] Exclude timings when error occur

If an error occurs during k6 test, e.g. tcp connection refused, the
timing of failed response is included in the average response time.
This can lead to incorrect plots when errors occur, e.g. operations
appear to be faster when really the operations are failing.

- use custom Trend metrics for all measurements
- only log results when operations return expected response codes

Issue-ID: CPS-2345
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iab1db5e5ca9530f33da239187348cabcd0605648

Merge "Plot request failures for each k6 test"

Merge "Cleanup unused yang models from CPS core"

Support for alternate-id for CPS-E-05 i/f

- Added support for alternateId for CREATE , UPDATE, DELETE and PATCH
  operation for CPS-E05 passthrough running datastores

Issue-ID: CPS-2362
Change-Id: Ie4db1d84dba795e9650949cab3374e0b2570beba
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Support for alternate-id CPS-E05 composite state

- Added support for alternate id for the composite state API for
  CPS-E05#15

Issue-ID: CPS-2377
Change-Id: I1af41efb8cec762be68250cae7c1e98fbc61a4f5
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Remove trust level from cache when cm handles deleted"

Merge "[k6] Always pull latest cps and dmi stub images"

Merge "Install dependencies for k6 and csit"

Cleanup unused yang models from CPS core

Yang models and generated CSVs are no longer used in CPS
liquibase, rather Inventory model loader does this.

Issue-ID: CPS-2382
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0944c3778716450a88355c669ac806fd07b85193

Install dependencies for k6 and csit

- install docker-compose in csit and k6 tests
- install k6 with kafka extension in k6 tests

Issue-ID: CPS-2376
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8a67813a96dc7f321d4abe0aa91e236fd1060f3e

Policy Executor, refactor(move) common http classes

Issue-ID: CPS-2343
Change-Id: Ia9655364462826a794a2af78214311cb38c40de9
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Policy Executor and DMI WebClient configurations

- separated dmi and policy executor http client configuration

Issue-ID: CPS-2324
Change-Id: Ib4e757da188673e163abe6078dfd6ddae447eaab
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Plot request failures for each k6 test

- add request failures to plot for each tests
- simplify setup and teardown function

Issue-ID: CPS-2347

Change-Id: I81226518af7bda12b0489ec46de08e27c96cc16d
Signed-off-by: halil.cakal <halil.cakal@est.tech>

[k6] Always pull latest cps and dmi stub images

Presently, k6 tests are using old cached DMI stub version in the
Jenkins job. This commit ensures latest images are pulled by
cleaning old images if a variable is set.

Issue-ID: CPS-2368
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I66a749c7cdeb7daee06a00b06dff50ead6854f28

Remove trust level from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager

Issue-ID: CPS-2315

Change-Id: I605ed78f164d7534069de8352dc3b0a81a4ce22c
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Support 2 CPS instances in Prometheus/Grafana

- Specify both cps-and-ncmp instances in Prometheus config
- Add default JVM Micrometer dashboard to Grafana, taken from
  https://grafana.com/grafana/dashboards/4701-jvm-micrometer/

Issue-ID: CPS-2314
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I24a42b8b4771a7d9341e920fbd85fa72e1a3518e

Bump CPS to 3.5.3-SNAPSHOT

- bump CPS to 3.5.3-SNAPSHOT
- updated the release notes and prepared for the next release

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60ea5f5864f5818d1ed5078e375cf07b8d713dde

container yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Idb3ea5abce2a9bb56fa44408688a4bb87106d14b

maven stage yaml for 3.5.2

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1bc1458c91ce360c1f770790ad379821e32ce665

Update openapi for 3.5.2

- update info.version to 3.5.2 for openapi yamls
- update read-the-docs copies of openapi docs

Issue-ID: CPS-2374
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I7f726f610fe8eff43e281edfe2fc6d9b08f5fc15

Merge "Release notes for moduleSetTag perf improvement"

Merge "Release notes for Cm Subscriptions"

Merge "[BUG] Blank alternateId overwrites existing"

Merge "Revert "Remove trust level entries from cache when cm handles deleted""

Release notes for moduleSetTag perf improvement

Issue-ID: CPS-2353
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic6c281934c8be8f85cf20b6c65e447a31a35ecc3

Revert "Remove trust level entries from cache when cm handles deleted"

This reverts commit 77b8e25e14e698c853334ef57459c21d7813911a.

Reason for revert: Performance degredation

Change-Id: Ibd88e626189d821680568c63952b95e7d1e05dc4
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Release notes for Cm Subscriptions

- Added release notes for the CM Data Subscriptions epic for the
  positive scenarios.

Issue-ID: CPS-2324
Change-Id: I1b61113a6bfa365a5856b97433098420dbf59c90
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[BUG] Blank alternateId overwrites existing

During CM-handle update, a blank "" alternateId will overwrite
an already-set alternateId.
Additionally during registration, if an alternateId consisting of
whitespace is supplied, it will be persisted with whitespace.
This fixes both issues by using isBlank/isNotBlank consistently.

Issue-ID: CPS-2372
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I44e536cf87a31c6e975a82ed37769c1d2548653a

Merge "Faster alternate-id checks during registration (CPS-2366 #2)"

Merge "Refactoring alternate ID checker (CPS-2366 #1)"

Remove trust level entries from cache when cm handles deleted

- handle removal of device trust levels from the cache when
  cm handles deleted
- handle initial dmi registration inside trust level manager
- add get effective trust level function to trust level manager
  for get and query cm handle APIs (to set trust level on the return
   object)

Issue-ID: CPS-2315

Change-Id: I8daa4a2ad8310de10e35fdc50351deb85fd3ffd0
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Faster alternate-id checks during registration (CPS-2366 #2)

This improves performance when using alternate ID in registration.
Instead of one CPS path query for each alternate ID, it sends one
query for the whole batch using OR operator, e.g.

  /dmi-registry/cm-handles[@alternate-id='A' or @alternate-id='B']

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I5b10437f4a01c886b3c84e46ac727e0e79917589

Refactoring alternate ID checker (CPS-2366 #1)

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I07228a130ebdab0e2782e54255b5e8cc34c8d77e

Merge "Fix docker image for netconf-pnp-simulator to fix CSITs"

Fix docker image for netconf-pnp-simulator to fix CSITs

The image on onap nexus is missing.

Issue-ID: CPS-2313
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ifd410de6d9607705857e4d98e2afab2556940f96

Merge "[k6] Fix teardown script shutting down all containers"

Merge "Fix intermittent test failure of Delta between anchors"

[k6] Fix teardown script shutting down all containers

The teardown script in k6 shuts down ALL docker containers when done.
This can cause failures in the groovy tests when running in parallel,
as the groovy test container for DB also shuts down.

This fix is to shut down using docker-compose.

Issue-ID: CPS-2367
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic55ca6396dfc3170e4a326f34214d3a819977f50

Merge "[k6] Remove incorrect passthrough rates"

Fix intermittent test failure of Delta between anchors

Test fails sometimes due to non-deterministic order of results.
The issue is fixed by sorting the delta reports.

Issue-ID: CPS-2369
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I60fd459a482a7e3dc209ee3056794817d37f5149

Get data job result from DMI

- added DataJobResult interface
- extended the DmiRestClient to retrieve status
- added mock response to DmiDispatcher

Issue-ID: CPS-2296
Change-Id: I551afd827cccd91c5f9837bd4923b30320865d55
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Rearrange CSIT test order"

Merge "Upgrading robotframework confluentkafka lib"

[k6] Remove incorrect passthrough rates

Reported rates for passthrough operations is incorrectly reported,
due to it being averaged over whole test time including setup and
teardown. It was agreed to simply not report rates, and only report
NCMP overhead.

- remove http request rates for passthrough operations
- change VUs from passthrough read so that there are 10 total

Issue-ID: CPS-2264
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ida498955e69dffb332d6efeb8a8d73343565f9a1

Merge "Refactored Data Job interfaces"

Rearrange CSIT test order

- Waiting for Cmhandle to be ready before fetching the modules in the CSIT.
- Added condition to check size of the json array if it atleast has one
  item

Issue-ID: CPS-2313
Change-Id: Ib4f08069780c55a758ba976db5b96239c83ac990
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Integration test of registration with alternate ID

Add functional test of registering a batch of CM-handles with
a mixture of existing, duplicate, new and blank alternate IDs.

Issue-ID: CPS-2366
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaed5c47ca0e14583bea91ee74924f1b5c1f01cec

Fix syntax error on k6 test

Issue-ID: CPS-2357
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibbd32282608ff707c8030d43df3cf85043242218

Upgrading robotframework confluentkafka lib

- upgrading confluentkafka library for robotframework to 2.4.0-2
- reverted the change for the CSIT as the fix was done in the
  dmi-plugin-stub

Issue-ID: CPS-2363
Change-Id: I3f7cd622177485435566ef814ffb38d4a93ed0ad
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add moduleSetTag on k6 test

Issue-ID: CPS-2357
Change-Id: I21b980b1e36988d3b5daf07e4f6a14fe4309cd20
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "K6 performance test for Alternate Id Read"

Merge "Support alternate Id interface for CPS-E-05 #2"

Merge "CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier"

new onap logo

Issue-ID: DOC-826

Change-Id: I7da5ba787243fb50a0f332e24825ae4967b5432c
Signed-off-by: thmsdt <thomas.kulik@telekom.de>

CPS-NCMP: Slow cmHandle registration when we use moduleSetTag, alternateId and dataProducerIdentifier

- Created a new repo. service for fragment table that executes a native
  sql query to find first ready cm handle id based on moduleset tag and
  then returns list of module references.
- Exposed a new interface into module service that is used by
  module sync service to get list of midule refs by module set tag.

Issue-ID: CPS-2353
Change-Id: I438dbd1ed37c1ff4e15f792e93a095aa604120bc
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Refactored Data Job interfaces

-modified writejob & status endpoints

Issue-ID: CPS-2360
Change-Id: I87647f59493886593825f5175c6ed708e55b3e30
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

K6 performance test for Alternate Id Read

Issue-Id: CPS-2279
Change-Id: Iade53a85afb183c0df259c5e7fc12fa0f6986218
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Support alternate Id interface for CPS-E-05 #2

- Supports Alternate Ids for getResourceDataForCmHandle

Issue-Id: CPS-2279
Change-Id: I1f145308cec5b545fab2d5c96efbc00fc3a110f4
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Fix CSIT build failure

- Doubling the CmHandle wait time to check for READY state
- commenting the data operations header condition to check for source and to be investigated separately

Issue-ID: CPS-2363
Change-Id: I1de8c61569444df7450af1142d8589e90d309340
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Refactoring of CPS Delta APIs"

Merge "Cm Subscriptions Docs"

Refactoring of CPS Delta APIs

Refactoring of CPS delta APIs from two separate endpoints to a single endpoint.
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaAnchors
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{anchor-name}/deltaByPayload
To new endpoint can perform two operatios as follows:
  - GET: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta
  - POST: /v2/dataspaces/{dataspace-name}/anchors/{source-anchor-name}/delta

Note: this patch only addresses the issue around refactoring of Delta
endpoint to a singular well defined endpoint. A separate patch will
be created to refactor the entire Delta feature out of CPS Data,
into a separate interface namely CPS Delta

Issue-ID: CPS-2310
Change-Id: Ic62c8308cf368b4378235597a11c476809a150b8
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>

Merge "Handle null NcmpOut event"

Handle null NcmpOut event

- Handling null event in the Cm Subscription delete use case.
- creating taskKey as concat of subscription-id and event type
- added relevant test case to cover the branch

Issue-ID: CPS-2351
Change-Id: I75a6fa9d4cddd24a5e288be065dffc46f6bbe886
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Remove dmi stub from CPS repo

DMI Stub has been relocated to the DMI Plugin repo. Removing from this repo

Issue-ID: CPS-2145

Change-Id: I957e89231d537985ff1b42cee611a6dac6ef93c4
Signed-off-by: egernug <gerard.nugent@est.tech>

Cm Subscriptions Docs

- Included documentation for an overview of Cm Data Subscription for the
  Create and Delete use case.
- Only included the json schemas for the events that are coming in and
  going out of NCMP.
- Not mentioning anything abt the internal events we use between DMIs.
- The docs can later be used to explain abt the notifications when they
  are implemented.

Issue-ID: CPS-2324
Change-Id: I2497656e0e56c93054b7e92b1742a668463c3ffc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>