Merge "Updated release notes with limitation related to cps path"

Updated release notes with limitation related to cps path

Issue-ID: CPS-1179
Signed-off-by: puthuparambil.aditya <aditya.puthuparambil@bell.ca>
Change-Id: I9fa7799e5a54b82b280606a14d09ce2256b844f2

Robustness cleaning of in progress cache

- Removed cm handle entry from in progress map while moving from locked
  to advised and de-registration
- Fixed groovy tests

Issue-ID: CPS-1239
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: Ic527c7b5d209e0c7788888942e95ce0c2c59f7c6

Merge "Add NCMP tag in properties"

Create dmi-plugin performance stub

Issue-ID: CPS-1270
Change-Id: I0252a693a5209434fa2a2ada83d404ee658b5a48
Signed-off-by: kissand <andras.zoltan.kiss@est.tech>

Merge "Updated README to correct local deployment details"

Add NCMP tag in properties

- Added back NCMP tag back as part of the comment in patch https://gerrit.onap.org/r/c/cps/+/129274
- Added parallelism level under ncmp as well.
- Correcting env variable in the docker compose file for local run as
  well as the CSITs.

Issue-ID: CPS-1279
Change-Id: I1f2993ac66f47ee2e5e7db0c4a6aac113a714d2a
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Xpath to NodeId invalid"

Updated README to correct local deployment details

Issue-ID: CPS-1263
Change-ID: I73f97f986a817d423f93a8d922dcd9647b0908aa
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

Merge "Get Node API fix for attribute values with '/'"

Merge "Update INFO.yaml"

Get Node API fix for attribute values with '/'

Issue-ID: CPS-1179
Signed-off-by: puthuparambil.aditya <aditya.puthuparambil@bell.ca>
Change-Id: Iae53dbd2c6b421633355958aee3f2bbe321501a2

Merge "Add docker stage yaml for 3.1.0 version"

Update INFO.yaml

Removed Renu as committer

Issue-ID: CPS-1252
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Idd6f93630409e2aafb513f22ddb54af8b33144e3

Add docker stage yaml for 3.1.0 version

- Step 6 from https://wiki.onap.org/display/DW/CPS+Release+Process
- Change for CPS Core Only
- Took containers.version from log https://jenkins.onap.org/job/cps-maven-docker-stage-master/690/consoleFull
- Took ref from the latest commited change in CPS Repo https://gerrit.onap.org/r/c/cps/+/130923

Issue-ID: CPS-1278
Change-Id: I9d77c306da9649bf898a9ac405fcae56b1762da9
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add maven stage yaml for 3.1.0 version

- Step 5 from https://wiki.onap.org/display/DW/CPS+Release+Process
- Change for CPS Core Only

Issue-ID: CPS-1277
Change-Id: I8819f6a73ab84f6e4794181920a903d36e107479
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Database tuning for cps

- Reverted leakDetectionThreshold to its previous working value

Issue-ID: CPS-1126
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: Ia43f164d2e24874ca09d3faad918020828661bef

handle partial failure on batch state update

- catching of failures on retry of individual nodes on batch update
- test scenarios for the same

Issue-ID: CPS-1232
Issue-ID: CPS-1126
Change-Id: I9dc13e7bbe44673f8ac14fbde08a85d6a5142487
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

CmHandle registration/module sync watchdog performance improvment

- Tuned CPS DB parameters
- Removed deprecated CPS DB parameter
- Modified module sync watch logic
- Added aditional logs
- Removed logic to get FragmentEntities as stream
- Removed detaching of fragment entity as it was causing NCMP to break with an exception "SQLSTATE(08006)"

Issue-ID: CPS-1126
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I0bde11895f754602dece132efde701d82b377f12

Handle partial failure (improvements)

- catching of failures on retry of individual nodes
- extract cm handle id from xpaths (can only report xpaths in cps core)
- add test for same

Issue-ID: CPS-1232
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ice2032c8b15fea97ae0aaa4d1ed642b3499228fa

Merge "Handle partial failure"

Handle partial failure

- Removing the transaction boundaries as it was getting rollbacked on
  partial failures
- Handled adding the elements in batch and if it fails try them
  individually
- Refactored code a bit and when there is partial failure we try one
  more time in sequence and even if there are failures we collect the
  failures

Issue-ID: CPS-1232
Issue-ID: CPS-1126
Change-Id: I7824c9f37f80cbaeedd5dc06d598ca0e3a69c59b
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update doc and release notes after endpoint merge

- Update generated swagger files according to changes
- Add release notes for the parent ticket

Issue-ID: CPS-1001
Issue-ID: CPS-1256
Change-Id: I09aaec26971ae89f4588bfc80d2b80cc4778dfc8
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Handle invalid operations on merged datastore endpoint

- Move the other endpoints under the same thats handling the get
- Add exceptions to handle invalid cases
- Add new tests for testing the invalid cases

Issue-ID: CPS-1001
Issue-ID: CPS-1219
Change-Id: I26fd57b5921f976cde7089b4cf1e8c0e5d8dc43b
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Code to Interface : InventoryPersistence"

Minor code change from POC ||

-Explicitly use YangModelCmHandle#id to computing equals and hashcode

Issue-ID: CPS-1126
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: Ib5332843c71522a85640f225298b680d4cd29557

Xpath to NodeId invalid

Issue-ID: CPS-1244
Signed-off-by: Gandhapu, Yashwanth <gandhapu.yashwanth@wipro.com>
Change-Id: Ib091de1247cb0bb48d3157bf2c5becfc9189b773

Code to Interface : InventoryPersistence

- Extracted interface for InventoryPersistence using automatic
  extraction of IDE.
- We call the InventoryPersistence to InventoryPersistenceImpl
- Used the correct type in the test

Issue-ID: CPS-1241
Change-Id: Ieceaec69c1063d7762abc7d8e389d36011a93860
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Performance Improvement: Fix Insert Yang Resource IDs (Schemset)

- Add robustness to handle insertion/get of empty collection
- Fix business logic to pass down ALL module references during module Sync
- Update Java doc etc to clarify ALL module references are needed (not just new)

Issue-ID: CPS-1246
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ic8ff4bdfef646e98ef61a6732c6d5ecb4b762e29

Merge "Update documentation for NCMP inventory openAPI"

Update documentation for NCMP inventory openAPI

- added JIRA (CPS-1136) to release notes
- updated RTD copies of open api documentation for both cps-rest and cps-ncmp-rest
   - files were updated by copying the generated sources as outlined on https://wiki.onap.org/display/DW/CPS+Release+Process

Issue-ID: CPS-1136
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I929e0e774d8a42ad943eaf8a6ccf4e8891da4b77

Logging: get resource ids

- Added logging while fetching resource ids using Module references.
- Minor refactoring related to stream and forEach
- Fixed minor sonar violations

Issue-ID: CPS-1246
Change-Id: I631d7acd3f29e6bdc2995726e17f40bd7de118b1
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Performance Improvement: Use save batches of cmhandles

-Used cm handle batch to persist from state handler.

Issue-ID: CPS-1230
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I68b7fde7dc85818b818f1af588344c26b549d87b

Merge "Implement merging all ncmp datastore endpoints into one"

Merge "Code to Interface: CmHandleQueries"

Code to Interface: CmHandleQueries

- Extracting the interface CmHandleQueries using IDE intelligence
- Used intreface when mocking in the tests

Issue-ID: CPS-1240
Change-Id: I5f537eaac992c68b65468e344830a04f1dda7e45
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Adding config for RTD"

Implement merging all ncmp datastore endpoints into one

- Merging all endpoints
under /v1/ch/{cm-handle}/data/ds/ncmp-datastore:*
to /v1/ch/{cm-handle}/data/ds/{ncmp-datastore-name}

- Implementing missing tests from parent
- Introducing abstract class to keep the common code and just pass in
  the supplier to be executed in sync or async manner
- Removed the existing get endpoints for passthrough-running,
  passthrough-operational and operational and merged them into a common
  get endpoint

Issue-ID: CPS-1178
Issue-ID: CPS-1001
Change-Id: I6956c81d5acfa8fb11217bcc16cb795b62070fa3
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Get all cm handles by DMI plugin Identifier"

Adding config for RTD

-added config to files related to https://gerrit.onap.org/r/c/cps/+/130246/29

Issue-ID: CPS-1237
Signed-off-by: JosephKeenan <joseph.keenan@est.tech>
Change-Id: Ia2fe7d2ecf3bb33608139c5fbf1328dc211f5629

Merge "Performance Improvement: Enhance state handler"

Performance Improvement: Enhance state handler

- Introduced batch handling capability to state handler
- Refactored methods in CompositeStateUtils
- Renamed saveCmHandleStates to saveCmHandleStateBatch
- Decoupled processing of events in bulk
- Test scenarios for the new functionality

Issue-ID: CPS-1231
Issue-ID: CPS-1126
Change-Id: Ifacdeb7bbed14712ecf4f5e2a4d9b324bae278d8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Get all cm handles by DMI plugin Identifier

- api added to get cm handles by dmi plugin identifier
- response object refactored from RestOutputCmHandle to collection of
  Strings (cm handle ids)
- added public and private methods in CmHandleQueries to get cm handle ID by dmi plugin
- added unit tests including test to show that there are no duplicates
  on response

Issue-ID: CPS-1136
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ia3bdc16172a90ad3a3f9ae11cddcad1352188726

Merge "Fixing more RTD warnings"

Performance Improvement: Watchdog Parallel execution with configuration

- Introduced AsyncSyncExecutor to get task and execute it with
  configured number of parallel threads.
- Number of parallel thread can be configured from application.yml.
- AsyncTaskExecutorSpec is added
- Fixed existing grovvy test now async task would be submitted.

Issue-ID: CPS-1200
Change-Id: I58c0368b945c90e619c2acfc7458ba58de047484
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Fixing more RTD warnings

Issue-ID: CPS-1237
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ic2ccad169b9ca96ab1788d2ae33d7ead8180b968

Fixing RTD warnings

Issue-ID: CPS-1237
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I0f09d6355d23451207d2d937fbda155b1407fb5a

Force py3.8 in tox.ini

It allows leveraging on OpenStack Yoga's upper-contraints
without any exception.

Issue-ID: DOC-782

Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I02b6a9c1595248e5d7e79a4a6ceb2cd38b5cc6ee

Merge "Update CM Handle Query RTD with Casing Convention"

Performance Improvement:save cmhandles capability

- add saveCmHandleBatch in InventoryPersistence
- add saveListElementsBatch in CpsDataService
- have addListElementsBatch in CpsDataPersistenceService
- Test scenarios for the same

Issue-ID: CPS-1229
Issue-ID: CPS-1126
Change-Id: I0a1401818da5a4e523d7d0751cac6a526d1611b2
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update CM Handle Query RTD with Casing Convention

Details the casing differences between the response body and CPS Path querying

Issue-ID: CPS-1211
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Iec46df1401df4647cd324eea0e0e5f305b5cdbcc

Merge "Performance Improvement: Use hazelcast blocking queue"

Performance Improvement: Use hazelcast blocking queue

- Introducing hazelcast for queue and progress map
- process batch of 100 at the time
- decreased module sync watchdog sleeptime to 5 seconds
- separate module sync tasks in new class and some other async preparations and easier testing
- tests for batching in module sync watchdog
- remove qualifiers annotation (support) where no longer needed

Issue-ID: CPS-1210
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I0a7d3755bf774e27c5688741bddb01f427d4a8a7

Merge "Added eventSchemaVersion for async schema"

Merge "Performance Improvement: Batch Update DataNodes"

Performance Improvement: Batch Update DataNodes

Implemented methods to perform a batch operation on updating datanodes
Refactored replace data node(s) tree methods to update data node(s) and descendants

Issue-ID: CPS-1203
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I365d657422b19c9ce384110c9a23d041eaed06f4

Added eventSchemaVersion for async schema

- Added event schema version in the request and response schema.
- Enhanced the mapper to adhere to new field.

Issue-ID: CPS-1145
Change-Id: I408f73adefc2104b2e421bc3a3fe8f78dcba80f0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Performance Improvement: LCM Events

- Changed scope of method responsible for creating and publishing the
  LCM events.
- Use a dedicated thread pool for publishing the LCM events.

Issue-ID: CPS-1223
Change-Id: Ib46e3c1ff8d80f724ad9db30fca6e8125ca0775a
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Move Advised CM Handles Log to debug level

Issue-ID: CPS-1218
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I77a799cfb86fe98e526519c7555bbbd85d289f04

Merge "Distributed datastore solution for Data Sync Watchdog"

Merge "Performance Improvement: Insert Yang Resources"

Distributed datastore solution for Data Sync Watchdog

- update lombok config to handle Qualifier annotation
- update Semaphore config to use ConcurrentMap
- update SyncUtils to return a list of cm handles
- update DataSyncWatchdog and ModuleSyncWatchdog with Qualifier
- update DataSyncWatchdog to handle a list of cm handles
- Use get with xpath to check cm handle state

Issue-ID: CPS-1015
Change-Id: Icb39bd29f89e0020d49a1f8960476ffe81b12362
Signed-off-by: kissand <andras.zoltan.kiss@est.tech>

Merge "Performance Improvement: Retreive Yang Resources"

Performance Improvement: Insert Yang Resources

Insert batches of yang resources for a schema set into one operation
add batch-sized tests to ensure batch-size logic is covered for all branches
fixed legacy issues in changed test classes

Issue-ID: CPS-1208
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I5b2a54ed0895999079975d777ba89d589ed4688b

Performance Improvement: Retreive Yang Resources

Native query to more efficiently get all yangResourceIds
Combined Hibernate Fragment Repository with Native impl.

Issue-ID: CPS-1206
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I93fbd5347dd8f9fc48d44e69e47e8aed2d7ac030

Merge "Performance Improvement: Detach FragmentEntities"

Performance Improvement: Detach FragmentEntities

- Querying fragment entities and moving them to detached state as they
  are not needed to be managed by the JPA provider.
- Addressed legacy change to provide actual type instead of var generic
  type.

Issue-ID: CPS-1126
Issue-ID: CPS-1207
Change-Id: Ibbdbb197a6d480a8b2f7b9cae6052b82ea3686c6
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Fix: CM Handles for only hasAllModules Query"

Fix: CM Handles for only hasAllModules Query

hasAllModules was returning no CMHandles when queried by itself, only when paired with another query condition e.g. hasAllProperties
This fix means endpoint works as expected.
Reverted null check

Issue-ID: CPS-977
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Idafad4c9877941d121f5cbb98617c56a35a1cc94

Merge "Performance Improvement: Temporal event"

Performance Improvement: Temporal event

- Call the admin service in the async pool thread to fetch the anchor
  details in case of raising event on save, update and delete a node or
  delete list elements
- Admin service is still called in the main thread in case of
  DeleteNodes method as we require to have anchor as we are deleting all
  the anchors.
- Fixed the test scenarios related to processing async event
- Rearranged method formal params

Issue-ID: CPS-1126
Issue-ID: CPS-1209
Change-Id: Ibd8f001c4d7c7de63914f6de24042aaf01a063b2
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Update Cps Events LCM RTD"

Update Cps Events LCM RTD

Issue-ID: CPS-1196
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I6f3588e072faba5fd35bbca92990f68dd70322c8

Merge "Ensure Additional Properties for CM Handles are included"

Merge "Performance Improvement: Async Notification Pool Configuration"

Merge "Update info.yml for new Committer"

Merge "Performance Improvement: Tune Resttemplate"

Merge "Set Sleep Times as Environment Variable in CSIT"

Performance Improvement: Async Notification Pool Configuration

Reduce threads available for notifications
 to allow more resources for module sync

Issue-ID: CPS-1199
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Iff56dd614ea0074a1b6aa08b81e324e2d0ce33c1

Performance Improvement: Tune Resttemplate

- Increase connection and read timeout for Resttemplate to a higer value

Issue-ID: CPS-1201
Change-Id: Ia159b022698ff60dbd02a5877899f520b91bf883
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Ensure Additional Properties for CM Handles are included

- seems like bug is not present on master
- modified test to ensure the behavior is tested now
- (intelliJ) cleaned up so unused stuff

Issue-ID: CPS-1212

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I6882df4277e50ef869c6a1e9b093ee83dbcdf78e

Performance Improvement: Postgres Pool Configuration

Issue-ID: CPS-1198
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I6e1e6b28cd8e20800df61deae1826ecc2db2945e

Update info.yml for new Committer

- Updating INFO.yaml to include new committer for CPS (Sourabh)

Issue-ID: CPS-1213
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: If0260910ab903e0cd064ed0bbc5de79309cd1e40

Set Sleep Times as Environment Variable in CSIT

Sleep times for Model and Data sync were being set to 2 seconds in the docker-compose file so that it may be used in CSIT tests
This change defaults them to 30 seconds and adds environment variables which are overridden by the test.properties for CSIT tests

Issue-ID: CPS-1195
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Id254e3ec82fb4685fd6678d1a345b16f108b2707

Merge "CmHandleState transition using state handler"

Merge "Get Node API fix"

Get Node API fix

Issue-ID: CPS-1179
Signed-off-by: puthuparambil.aditya <aditya.puthuparambil@bell.ca>
Change-Id: I1450ed5d05afd6dd30484eaf19b1e40fd586df8e

Merge "Chore: Fix typo in INFO.yaml file"

CmHandleState transition using state handler

- Raise LCM Event when state transition happens.
- Raised events for ADVISED to READY, ADVISED to LOCKED, LOCKED to
  ADVISED.
- Refactor existing code to raise the events correctly.
- Refactored existing test scenarios to comply with the code change.

Issue-ID: CPS-1034
Change-Id: Ie548e644f6133304d7fa36c892ca2bec7393c074
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "CSITs for DataStore SyncState"

CSITs for DataStore SyncState

- add new test for dataSyncEnabled API
- verify data sync follows after setting dataSyncEnabled flag

Issue-ID: CPS-1168
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ie22a6b8d6be15a05bfa3ee90218af27fe7092dd0

Chore: Fix typo in INFO.yaml file

Remove duplicate on PTL, and fix his UserID.

Signed-off-by: Bengt Thuree <bthuree@linuxfoundation.org>
Change-Id: I3ed42eac79e16690f930a65687fd1e88030644c8

Module Sync, Data Sync, Retry Mechanism RTD

- Add Documentation for Module Sync, Data Sync,
  and Retry Mechanism Proccesses for RTD
- Update CPS-Core header on the Index to just CPS
- Add Cps-NCMP Customizations for retry mechanism and
  data sync

Issue-ID: CPS-1181
Change-Id: Idb76de380e49e42ca337cabcf2708b940e15f46f
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Merge "Rename name column in yang resource table"

Merge "Upgrade Postgres Cps-Core"

Rename name column in yang resource table

- Rename name column in yang_resource table to file_name
- Refactor instances where it occures in code and tests
- Add new changelog file to rename occurance

Issue-ID: CPS-529
Change-Id: I2aff97410bdb041b90d8ceaeff75e562ef8d9238
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Upgrade Postgres Cps-Core

Upgrade postgres version to 14 in accordance with Seccom

Issue-ID: CPS-897
Change-Id: I332c88f3c3e1ec3dd55afe31af5714b690b6bd07
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

State Model RTD

Add Read The Doc documentation for CM-Handle state model
Briefly explain all 5 potnetial cm handle states

Issue-ID: CPS-1162
Change-Id: Iee52f9c280929337abf4aac2f5c9bbfb1edde30f
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Document DataStore Sync State(RTD)

Added a CM-Handle data sync state description section under
Cps-Modelling -> NCMP-Modelling -> Basic Concepts -> Cm Handle

Issue-ID: CPS-1164
Change-Id: Ia53a1ccbacda388ec98a3de936af0913edad1c58
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Query CM Handles RTD"