Release notes for the bugs

- Release notes

Issue-ID: CPS-1541
Change-Id: I0339dff64c695cb0c9b605a38572696895a09683
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Bug:SubscriptionModelLoader.getFileContentAsString

Issue-ID: CPS-1537
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Icc88a8bf40830853a208e79658f3c590185ad051

Merge "Create Base and Sample Performance Integration Tests"

Create Base and Sample Performance Integration Tests

- added data (folders) for different models and json data
- added base and data for cps-ncmp (registry) specific test cases
- integrated Ahila's (large) openroadm model and data
  (corrected version provided by Lee Anjella)
- created profiles to exclude/include *PerfTest
- fixed dependency test check
- included integration test for overall coverage
- increased margings in existing perf test to reduce nordix intermitten failures

Issue-ID: CPS-1516
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ia82826f610636c14aa7e8939b385c278e5039817

Merge "[CPS] Add configurable params for topic"

[CPS] Add configurable params for topic

- Configurable parameter for topic dmi-cm-events

Issue-ID: CPS-1538
Change-Id: I5396ee8f50f33ea3c117291a314f10c1870966bc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Add index to schema_set_yang_resources table"

Merge "Update CPSarchitecture release notes"

Add index to schema_set_yang_resources table

Currently, the database is sequentially scanning when deleting from
schema_set_yang_resources table as there are no indexes on the table.
Adding an index doubles performance of NCMP CM-handle deregistration.

Issue-ID: CPS-1535
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia6ac7ef95d1662f49a77fc72112f1e29a67079ff

Drop temp table when transaction finishes

By default, temp tables are persisted until the end of the session.
This causes "Out of shared memory" errors in the database, which then
auto-vacuums the orphaned temp tables to free memory. To fix this, we
drop temp tables when the transaction finishes, using ON COMMIT DROP.

Issue-ID: CPS-1533
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iac47d85e9621531a4a95b99c4becc8cc95242721

Release process stage 7

Issue-ID: CPS-1529
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: Ie6c6276f4612b919762479d2461b4e72cb886245

Release process stage 6

Issue-ID: CPS-1529
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I32fd42c2fc11279710f9d88b8c41df5e8b3a6d1b

Release process step 5

Issue-ID: CPS-1529
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I338f7bbaea92a4e6bdbbb6f632976ac81a6f5c63

Update CPSarchitecture release notes

Issue-ID: CPS-1532
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: If82b02e7ee4d28299f0c362ad483988a6358c1aa

Merge "JAVA onboarding of YANG model"

JAVA onboarding of YANG model

- removed docker compose init container
- removed init container script files
- created new model loader class to onboard YANG model which
  runs after the application has set up
- new model loader class is created in new package in
  cps-service (org.onap.cps.ncmp.init)

Issue-ID: CPS-1467
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I35fe82817aff7783520acf8db66ad504271026bd

Refactor cmHandle(ID) queries

- first execute cm-handle id search only
- get cm handles for ids only when needed using multiple-get-method
- use Collection interface where posisble (instead of Set)
- use java Function to combine multiple queries in a more genric way

Issue-ID: CPS-1494
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: Icfcb8ec94f75e261303aaee5c9034b920c01f3c4

Add DataNodeNotFoundException to deleteDataNodes

Current implementation of NCMP handle de-registration relies on
DataNodeNotFoundException being thrown to report errors.

- Make deleteDataNodes throw DataNodeFoundExceptionBatch
- Update performance test timings

Issue-ID: CPS-1481
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib833bdb4a23d24e1784bdaf4e5e5e8a9acb41c54

Skip deleting list xpaths that are list elements

List elements cannot be lists. Filtering list elements before trying
to delete lists by xpaths doubles performance when deleting list
elements (which doubles performance of CM handle de-registration).

Issue-ID: CPS-1511
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ieb6002212d006396d468f27f853708b5aa1e31f2

Merge "Expand CPS Service Integration Test (framework)"

Expand CPS Service Integration Test (framework)

- Created package structure
- Created several test bases
- Created complete test set for Admin service
- Created first test for Data service
- Added human-readable toString() to FetchDescendantsOption for test reporting and debuging purposes
- Renamed fetch descendants (enum) direct children option for consistency with others options
- TODO: Add sample performance test (and base)

Issue-ID: CPS-475
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I75317686161be41662b6bf81314a9cd425ddd6eb

Improve performance for update data nodes

- Extract method getFragmentEntities from getDataNodes
- Remove unused code from getFragmentEntity
- Use bulk getFragmentEntities in updateDataNodesAndDescendants
- Update performance test timings

Issue-ID: CPS-1504
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Icd2c6a0e6009e152de43090cbc23a21349703da2

Revert "Omit descendants when not need in ncmp inventory queries"

This reverts commit eba77598601a7e3430f9582dfe433495ded3244c.

Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I76a0d1252177c4115de9190ee7f3bb6d15c4e19a

Add performance tests for update data nodes

Issue-ID: CPS-1504
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1356e4a67a40d03cd71a98dad1571583229f414d

Merge "Improve performance of deleteDataNodes SQL"

Omit descendants when not need in ncmp inventory queries

-Seperated tests by Id and details

Issue-ID: CPS-1494
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: Ia1c2b637aa5ab2ffe3a92930d74af1dd7d0dbe92

Improve performance of deleteDataNodes SQL

- Use SQL IN operator instead of temp table when deleting nodes
- Use Postgresql LIKE ANY array operator when deleting lists
- Update delete perf test timings
- Refactor adding cascade delete constraint

Issue-ID: CPS-1502
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ic90b867e7c71ec1981f05a9122322ece84dd8bde

Merge "Fix sonar code smell"

Merge "Update performance test timings"

Merge "FragmentEntity stuck in memory on "Already exists" error"

Update performance test timings

- Tighten delete perf test timings
- Fix timings for getDataNodes

Issue-ID: CPS-1502
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib89a70ef90b1b30e2720e48ebfb66650a2fafa12

Fix sonar code smell

Issue-ID: CPS-475
Change-Id: I6c213090862b68ccf44fb95395c57c717f52a9b2
Signed-off-by: halil.cakal <halil.cakal@est.tech>

RTD support to get all data nodes under an anchor

Signed-off-by: arpitsingh <as00745003@techmahindra.com>
Change-Id: I118b6475d2e8c5953b520112deb79869802bac7a

Merge "CPS-1401 Implement V2 of GET Data Node API"

CPS-1401 Implement V2 of GET Data Node API

- Modified the GET Data Node API so it returns all the data nodes when
  xpath set to root "/"
- Fragment Repository now returns a collection of Fragment Entities
- Instead of returning only the first Fragment Entity now all fragment
  entities are returned when xpath is set to root
- The Fragemnt Entities are further processed to a Collection of Data
  Nodes. As opposed to singular Data Node in current implementation.
- Finally the DataRestController also returns a Collection of Data
  Nodes when xpath is set to root and valid data is present
- Response body changed from JSON object to JSON Array.
- Exception handling for invalid xpath and non-existing xpath is now
  done separately at persistence layer.
- Refactored code against CPS-1422
- Deprecated getDataNode method from Service and Persistence layer
- Modified V1 of Get Data Node API to use the getDataNodes method and
  get the first data node from the collection returned.
- Modified NCMP to use getDataNodes method
- NCMP still does not support multiple data nodes. It retrieves the
  first data node from the collection returned by getDataNodes

Signed-off-by: arpitsingh <as00745003@techmahindra.com>
Change-Id: I494a5740a53f65376d135fcb9f1e2e8900a2803e

FragmentEntity stuck in memory on "Already exists" error

- exclude childFragments from toString method

Issue-ID: CPS-1493
Change-Id: I3d0c7ef601f06ed36265d88cadb6fb0ab0cb6ea2
Signed-off-by: kissand <andras.zoltan.kiss@est.tech>

Improve batch delete schemasets performance

- Bulk delete anchors and datanodes associated with schemasets.
  Improves de-registration performance by approx 10%

Issue-ID: CPS-1423
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie38e8b4c64356bf5935d8c7a5d3f5bfa73fb1714

Bulk delete schemasets in CM handle deregistration

- Batch delete schema sets in single query
- Call deleteUnusedYangResourceModules once per batch, not per CM handle
- Results for deregistering 10k: 14 mins before; 6 mins after

Issue-ID: CPS-1423
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia3a86a0dc88677323e2f386253a99022a7f02603

Merge "Use getDataNodes (plural version) into NCMP to get CM handles Performance improvement"

Introducing Grafana

- Added profiles to docker compose: dmi-service/dmi-stub, monitoring
- NOTE: now need to add  '--profile dmi-service' to enable dm-plugin (e.g. for csit)
- using container names to resolve hosts for prometheus

Issue-ID: CPS-1465

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I5d7365a3f789cc698e2702d72700a002cf03eaef

Use getDataNodes (plural version) into NCMP to get CM handles Performance improvement

- Code clean-up on existing classes
- Removed duplicate code

Issue-ID: CPS-1426
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I3e2ce5b804d7a6e87838490d970cde3cd563f06b

Merge "Test for yang file archive limitation"

Merge "Generate report of Instrumentation Metrics"

Test for yang file archive limitation

- add new test
- fixed misleading method names

Issue-ID: CPS-1480
Change-Id: I9dd8f41d0acfc8b1c063aab65567d619670f4905
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Generate report of Instrumentation Metrics

Generate a tab-seperated-value report of Prometheus metrics.
By default, assume CPS/NCMP is running on localhost:8887,
and output file named metrics-YYYY-MM-DDThh:mm:ss+00:00.tsv

Issue-ID: CPS-1488
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8bb356a1b6caacaec4a025a7d6d29cd34420e6c9

Use getDataNodes (plural) in CmHandle deregistration

Issue-ID: CPS-1426
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0ad79bf36840cdecc13898e185dc618cedafd529

Merge "Produce subscription create event for subscription-topic: cm-avc-subscription"

Merge "Update CmHandleState on deregistration response"

Produce subscription create event for subscription-topic: cm-avc-subscription

- Groovy Kafka (component level) : Produce subscription create event.

Issue-ID: CPS-1394

Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: Ib020c0a4458406925792fc074afd998aa09af158
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Correct calculation of zip archive size for schemaset upload"

Use getDataNodes (plural version) into NCMP to get CM handles

- Use plural getYangModelCmHandles get YangModelCmHandles by CmHandles in batches.

Issue-ID: CPS-1426

Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: Ie175b471bd98b02b572ca4a3ff699d721b5b782a
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Release Process Step 7

- updated pom to 3.2.3-SNAPSHOT
- updated version.properties and updated the release notes to properly
  depict the correct version

Issue-ID: CPS-1476
Change-Id: Ied60194c6dd4153b58a43715cb729ad75b8e12bf
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Release Step 6

- adding container yaml file for the release

Issue-ID: CPS-1476
Change-Id: Ib61a14591b9fe62e96d24ae3c557f720a23217c7
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Release process Step 4

- adding maven stage yaml file

Issue-ID: CPS-1476
Change-Id: Iafbc5ed63cf4edc275e5b4087c154439c5c5ac55
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Release Steps 1 and 2

- added the jira ticket as part of step1
- copied the changes of openapi.yaml as part of step2 of release process

Issue-ID: CPS-1476
Change-Id: I877757e0396e6349b1ab5e966ae4440c4fead829
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Correct calculation of zip archive size for schemaset upload

Correct calculation of zip archive size for schemaset upload

Issue-ID: CPS-1477
Change-Id: I73f97f986a817d423f93a8d922dcd9647b0203ab
Signed-off-by: Arne Chrestin <arne.chrestin@telekom.de>

Update CmHandleState on deregistration response

Current implementation incorrectly sets CmHandleState to DELETED for
CM handles that were not deleted.
- Update CmHandleState to DELETED only for deleted CM handles
- Minor test refactoring

Issue-ID: CPS-1471
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibf8b6d2b87d46a7633f0497b065e3d4099851fd6

Merge "Descendants description changed in openApi"

Descendants description changed in openApi

Issue-ID: CPS-1381
Change-ID: I73f97f986a817d423f93a8d922dcd9647b0203aa
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

CmHandle batch deletion

- Use plural deleteDataNodes to remove CmHandles in batches,
  falling back to individual delete on error
- Use single deleteDataNode instead of deleteListOrListElement for
  individual delete

Issue-ID: CPS-1464
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: If09f22478df8703290c8fc24aa6fe2a11c90788a

Modify CSIT script to have absolute root path env

        - change set up to call docker compose for cps-ncmp
        - add root as a property in 'test.properties'
        - root is specified to be root directory folder for the current
          project
        - modified docker compose init container to use ROOT env var

Issue-ID: CPS-1472
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ie5ac6bbff7cb1e761501bd0db8447f86af06b95f

Create plural version of deleteDataNode

- Add method to CpsDataService to batch delete data nodes and lists
- Use native queries to batch delete fragment entities by xpaths,
  for data nodes and lists
- Add performance tests for batch delete
- Refactor FragmentNativeRepository
- Add single-column version of createTemporaryTable
- Renamed metric cps.data.service.datanode.batch.delete
  to cps.data.service.datanode.all.delete

Issue-ID: CPS-1438
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1851f9c7ef0b1be4bd421b3352d9697a2dd23f79

Merge "Introduce Instrumentation"

Introduce Instrumentation

- Add instrumentation related dependency
- Added Timed Instrumentation
- CPS-Service Crud methods
      - CPS Yang parsing
      - NCMP Registration methods
      - NCMP Events handling
- Remove manual Gauge for YanResources Cache
 as (better!) instrumentation is already built into the 3PP
- Sorted dependecies alphabetically (as we used to enforce, to prevent duplicates)
- Added ##  P E R F O R M A N C E   T E S T   R E S U L T S  ### mini report
- (unrelated) test improvement (because of bug that turned out to be invalid)
Reviewers: Sourabh,Priyank, Luke

Issue-ID: CPS-1457

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I34b20bece2f59488b022b8effa9470704c57be4d

Edit example given for ncmp datastore

Issue-ID: CPS-1468
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: Id746604fca83333f4ee186ce96ea80cb779c4ac2

Fix for integration test module tests

Added Fragment Native Repository to test config
Removed test profile

Issue-ID: CPS-1466
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Id845b713e760801be480aa9aea6cb304decd05b9

Update version files for release process

- Updated version.properties
- Updated release-notes
- Updated pom files

Issue-ID: CPS-1835
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I0f837ac41d24b41d7c2b9e3dfe2dacc550c0aafa

Create release container yaml file for release process

Issue-ID: CPS-1385
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I95f3f76c49ea9eb9556fb4b32dbe10dc3e8283ad

Merge "Create release yaml file for release process"

Merge "Release Note Update"

Release Note Update

Added Query large outputs using limit/depth/pagination
Reordered existing items in ascending Jira number order
Added missing Jiras

Issue-ID: CPS-1381
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I1a124db8d8a4adffc7807aecddb378876b732cd7

Create release yaml file for release process

Issue-ID: CPS-1385
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I98c7cafb3b850ef6a419c87c242e1f469ccf600e

Merge "Define and onboard model for subscription events"

Define and onboard model for subscription events

- created new yang model for subscription events; added in
  ncmp-service
- created new container/service to run an init container
- added script file to the container
- added Dockerfile to be the base image of the init container
- health check for CPS added as part of script
- removed previous patch modification in setup
- changed path of models and dockerfile to main project
- latest patch: changed connection to external ports of CPS

Issue-ID: CPS-1393
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I2367020e57b34a669dda93050eeaeede5846304e

Merge "NCMP De-Register response payload and status is invalid"

Merge "Disable persistence integration tests"

Disable persistence integration tests

Disable tests for deploy
Enable tests in Nordix jobs

Issue-ID: CPS-1466
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I2aa4952ea800d3499ea7380faefdcac1d8955cb4

NCMP De-Register response payload and status is invalid

-Refactored "DELETING" and "DELETED" update state to avoid wrong
response code.

Issue-ID: CPS-1463

Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I639ba94986c4ffe48d2d42f14f6a6b4e2bd2713e
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Springboot Integration tests improvements"

Update openAPI documentation for release process

Issue-ID: CPS-1385
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: Ia0b011d4497e7d95f9b625514e8b3216575df044

Springboot Integration tests improvements

Creation of CpsIntegrationSpecBase
Demonstration of test class implementing CpsIntegrationSpecBase in CpsPersistenceSpec
Tests use reduced liquibase steps, basic bookstore yang model and bookstore json payload

Issue-ID: CPS-1379
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I38202d0888808d08d85fce1aab45fc43e8b0cec3

Merge "Update INFO.yaml Committers"

Update INFO.yaml Committers

Issue-ID: CPS-1462
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I0b5bd7baffc03ae8c91a73926c4fa7596dba1a96

Handle root xpaths in getDataNodes

Issue-ID: CPS-1458
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I64abf97317afe4335c8d04169689ee1396e75860

Merge "Use native query to delete data nodes"

Use native query to delete data nodes

- Used hashcode to remove child fragment based on it's xpath
- Used native query to delete fragment by altering fragment_parent_id_fkey CONSTRAINT.

Issue-ID: CPS-1439

Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: If19c449818e18f8fd666503b7346704eeb4a95d0
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Further TTL increase"

Increase duration for CpsPathUtilPerfTest

Issue-ID: CPS-1460
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I47f226c44351513b77b5cbb9b7d91e13f8bf4db6

Merge "Added depth parameter in query nodes API."

Merge "[NCMP] Consume & Forward to client topic"

[NCMP] Consume & Forward to client topic

-Consumes event from dmi-cm-events
-Immediately forwards to static topic (topic selection for events comes
later from subscription information)
-Added Kafka test
-SHOULD BE MERGED BEFORE DMI PART

Issue-ID: CPS-138
Signed-off-by: JosephKeenan <joseph.keenan@est.tech>
Change-Id: I0a426381e2c3f9173b8d3916960c05722ad4f77d
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Added depth parameter in query nodes API.

Issue-ID: CPS-1381
Change-ID: I73f97f986a817d423f93a8d922dcd9647b1206bb
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

Further TTL increase

- increased TTL to 10mins or 600secs now.
- Added few more log informations.

Issue-ID: CPS-1446
Change-Id: Ie0508b426fb8d1232f0cc3c1d428a27178294323
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Normalize xpaths for getDataNodes

Issue-ID: CPS-1457
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I93d19666c168aa69da73eadbfef0fc54181aec52

Optimal TTL value for Module Sync WD

- setting optimal value for TTL to 120secs from 200secs.
- Since the retry parameter is configurable , not changing the same in
  patch , but can be set as per the environment we are working on

Issue-ID: CPS-1446
Change-Id: Ifaca07ad1a049a88b2609fd7a1a8e1e2fa478dd9
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Bug Analysis for LOCKED cmHandles"

Bug Analysis for LOCKED cmHandles

- Increased TTL time from 60secs to 200secs
- Added few info level logs to analyze more

Issue-ID: CPS-1446
Change-Id: If4456040e51bd33a5bf321f48440e44af7698154
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add delete performance tests

- move existing delete tests to new class
- add tests for deleting lists and list elements
- add test for deleting root node

Issue-ID: CPS-1437
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I81228aa9473ed28d550db64b28c38abb1c1016f5

Merge "Fetch CM handles by collection of xpaths"

Merge "Updating CmHandleStates using batch operation"