Merge "Code to Interface: CmHandleQueries"

Code to Interface: CmHandleQueries

- Extracting the interface CmHandleQueries using IDE intelligence
- Used intreface when mocking in the tests

Issue-ID: CPS-1240
Change-Id: I5f537eaac992c68b65468e344830a04f1dda7e45
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Adding config for RTD"

Merge "Get all cm handles by DMI plugin Identifier"

Adding config for RTD

-added config to files related to https://gerrit.onap.org/r/c/cps/+/130246/29

Issue-ID: CPS-1237
Signed-off-by: JosephKeenan <joseph.keenan@est.tech>
Change-Id: Ia2fe7d2ecf3bb33608139c5fbf1328dc211f5629

Merge "Performance Improvement: Enhance state handler"

Performance Improvement: Enhance state handler

- Introduced batch handling capability to state handler
- Refactored methods in CompositeStateUtils
- Renamed saveCmHandleStates to saveCmHandleStateBatch
- Decoupled processing of events in bulk
- Test scenarios for the new functionality

Issue-ID: CPS-1231
Issue-ID: CPS-1126
Change-Id: Ifacdeb7bbed14712ecf4f5e2a4d9b324bae278d8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Get all cm handles by DMI plugin Identifier

- api added to get cm handles by dmi plugin identifier
- response object refactored from RestOutputCmHandle to collection of
  Strings (cm handle ids)
- added public and private methods in CmHandleQueries to get cm handle ID by dmi plugin
- added unit tests including test to show that there are no duplicates
  on response

Issue-ID: CPS-1136
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ia3bdc16172a90ad3a3f9ae11cddcad1352188726

Merge "Fixing more RTD warnings"

Performance Improvement: Watchdog Parallel execution with configuration

- Introduced AsyncSyncExecutor to get task and execute it with
  configured number of parallel threads.
- Number of parallel thread can be configured from application.yml.
- AsyncTaskExecutorSpec is added
- Fixed existing grovvy test now async task would be submitted.

Issue-ID: CPS-1200
Change-Id: I58c0368b945c90e619c2acfc7458ba58de047484
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Fixing more RTD warnings

Issue-ID: CPS-1237
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ic2ccad169b9ca96ab1788d2ae33d7ead8180b968

Fixing RTD warnings

Issue-ID: CPS-1237
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I0f09d6355d23451207d2d937fbda155b1407fb5a

Force py3.8 in tox.ini

It allows leveraging on OpenStack Yoga's upper-contraints
without any exception.

Issue-ID: DOC-782

Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
Change-Id: I02b6a9c1595248e5d7e79a4a6ceb2cd38b5cc6ee

Merge "Update CM Handle Query RTD with Casing Convention"

Performance Improvement:save cmhandles capability

- add saveCmHandleBatch in InventoryPersistence
- add saveListElementsBatch in CpsDataService
- have addListElementsBatch in CpsDataPersistenceService
- Test scenarios for the same

Issue-ID: CPS-1229
Issue-ID: CPS-1126
Change-Id: I0a1401818da5a4e523d7d0751cac6a526d1611b2
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update CM Handle Query RTD with Casing Convention

Details the casing differences between the response body and CPS Path querying

Issue-ID: CPS-1211
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Iec46df1401df4647cd324eea0e0e5f305b5cdbcc

Merge "Performance Improvement: Use hazelcast blocking queue"

Performance Improvement: Use hazelcast blocking queue

- Introducing hazelcast for queue and progress map
- process batch of 100 at the time
- decreased module sync watchdog sleeptime to 5 seconds
- separate module sync tasks in new class and some other async preparations and easier testing
- tests for batching in module sync watchdog
- remove qualifiers annotation (support) where no longer needed

Issue-ID: CPS-1210
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I0a7d3755bf774e27c5688741bddb01f427d4a8a7

Merge "Added eventSchemaVersion for async schema"

Merge "Performance Improvement: Batch Update DataNodes"

Performance Improvement: Batch Update DataNodes

Implemented methods to perform a batch operation on updating datanodes
Refactored replace data node(s) tree methods to update data node(s) and descendants

Issue-ID: CPS-1203
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I365d657422b19c9ce384110c9a23d041eaed06f4

Added eventSchemaVersion for async schema

- Added event schema version in the request and response schema.
- Enhanced the mapper to adhere to new field.

Issue-ID: CPS-1145
Change-Id: I408f73adefc2104b2e421bc3a3fe8f78dcba80f0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Performance Improvement: LCM Events

- Changed scope of method responsible for creating and publishing the
  LCM events.
- Use a dedicated thread pool for publishing the LCM events.

Issue-ID: CPS-1223
Change-Id: Ib46e3c1ff8d80f724ad9db30fca6e8125ca0775a
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Move Advised CM Handles Log to debug level

Issue-ID: CPS-1218
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I77a799cfb86fe98e526519c7555bbbd85d289f04

Merge "Distributed datastore solution for Data Sync Watchdog"

Merge "Performance Improvement: Insert Yang Resources"

Distributed datastore solution for Data Sync Watchdog

- update lombok config to handle Qualifier annotation
- update Semaphore config to use ConcurrentMap
- update SyncUtils to return a list of cm handles
- update DataSyncWatchdog and ModuleSyncWatchdog with Qualifier
- update DataSyncWatchdog to handle a list of cm handles
- Use get with xpath to check cm handle state

Issue-ID: CPS-1015
Change-Id: Icb39bd29f89e0020d49a1f8960476ffe81b12362
Signed-off-by: kissand <andras.zoltan.kiss@est.tech>

Merge "Performance Improvement: Retreive Yang Resources"

Performance Improvement: Insert Yang Resources

Insert batches of yang resources for a schema set into one operation
add batch-sized tests to ensure batch-size logic is covered for all branches
fixed legacy issues in changed test classes

Issue-ID: CPS-1208
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I5b2a54ed0895999079975d777ba89d589ed4688b

Performance Improvement: Retreive Yang Resources

Native query to more efficiently get all yangResourceIds
Combined Hibernate Fragment Repository with Native impl.

Issue-ID: CPS-1206
Issue-ID: CPS-1126
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I93fbd5347dd8f9fc48d44e69e47e8aed2d7ac030

Merge "Performance Improvement: Detach FragmentEntities"

Performance Improvement: Detach FragmentEntities

- Querying fragment entities and moving them to detached state as they
  are not needed to be managed by the JPA provider.
- Addressed legacy change to provide actual type instead of var generic
  type.

Issue-ID: CPS-1126
Issue-ID: CPS-1207
Change-Id: Ibbdbb197a6d480a8b2f7b9cae6052b82ea3686c6
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Fix: CM Handles for only hasAllModules Query"

Fix: CM Handles for only hasAllModules Query

hasAllModules was returning no CMHandles when queried by itself, only when paired with another query condition e.g. hasAllProperties
This fix means endpoint works as expected.
Reverted null check

Issue-ID: CPS-977
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Idafad4c9877941d121f5cbb98617c56a35a1cc94

Merge "Performance Improvement: Temporal event"

Performance Improvement: Temporal event

- Call the admin service in the async pool thread to fetch the anchor
  details in case of raising event on save, update and delete a node or
  delete list elements
- Admin service is still called in the main thread in case of
  DeleteNodes method as we require to have anchor as we are deleting all
  the anchors.
- Fixed the test scenarios related to processing async event
- Rearranged method formal params

Issue-ID: CPS-1126
Issue-ID: CPS-1209
Change-Id: Ibd8f001c4d7c7de63914f6de24042aaf01a063b2
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Update Cps Events LCM RTD"

Update Cps Events LCM RTD

Issue-ID: CPS-1196
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I6f3588e072faba5fd35bbca92990f68dd70322c8

Merge "Ensure Additional Properties for CM Handles are included"

Merge "Performance Improvement: Async Notification Pool Configuration"

Merge "Update info.yml for new Committer"

Merge "Performance Improvement: Tune Resttemplate"

Merge "Set Sleep Times as Environment Variable in CSIT"

Performance Improvement: Async Notification Pool Configuration

Reduce threads available for notifications
 to allow more resources for module sync

Issue-ID: CPS-1199
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Iff56dd614ea0074a1b6aa08b81e324e2d0ce33c1

Performance Improvement: Tune Resttemplate

- Increase connection and read timeout for Resttemplate to a higer value

Issue-ID: CPS-1201
Change-Id: Ia159b022698ff60dbd02a5877899f520b91bf883
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Ensure Additional Properties for CM Handles are included

- seems like bug is not present on master
- modified test to ensure the behavior is tested now
- (intelliJ) cleaned up so unused stuff

Issue-ID: CPS-1212

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I6882df4277e50ef869c6a1e9b093ee83dbcdf78e

Performance Improvement: Postgres Pool Configuration

Issue-ID: CPS-1198
Issue-ID: CPS-1126

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I6e1e6b28cd8e20800df61deae1826ecc2db2945e

Update info.yml for new Committer

- Updating INFO.yaml to include new committer for CPS (Sourabh)

Issue-ID: CPS-1213
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: If0260910ab903e0cd064ed0bbc5de79309cd1e40

Set Sleep Times as Environment Variable in CSIT

Sleep times for Model and Data sync were being set to 2 seconds in the docker-compose file so that it may be used in CSIT tests
This change defaults them to 30 seconds and adds environment variables which are overridden by the test.properties for CSIT tests

Issue-ID: CPS-1195
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: Id254e3ec82fb4685fd6678d1a345b16f108b2707

Merge "CmHandleState transition using state handler"

Merge "Get Node API fix"

Get Node API fix

Issue-ID: CPS-1179
Signed-off-by: puthuparambil.aditya <aditya.puthuparambil@bell.ca>
Change-Id: I1450ed5d05afd6dd30484eaf19b1e40fd586df8e

Merge "Chore: Fix typo in INFO.yaml file"

CmHandleState transition using state handler

- Raise LCM Event when state transition happens.
- Raised events for ADVISED to READY, ADVISED to LOCKED, LOCKED to
  ADVISED.
- Refactor existing code to raise the events correctly.
- Refactored existing test scenarios to comply with the code change.

Issue-ID: CPS-1034
Change-Id: Ie548e644f6133304d7fa36c892ca2bec7393c074
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "CSITs for DataStore SyncState"

CSITs for DataStore SyncState

- add new test for dataSyncEnabled API
- verify data sync follows after setting dataSyncEnabled flag

Issue-ID: CPS-1168
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ie22a6b8d6be15a05bfa3ee90218af27fe7092dd0

Chore: Fix typo in INFO.yaml file

Remove duplicate on PTL, and fix his UserID.

Signed-off-by: Bengt Thuree <bthuree@linuxfoundation.org>
Change-Id: I3ed42eac79e16690f930a65687fd1e88030644c8

Module Sync, Data Sync, Retry Mechanism RTD

- Add Documentation for Module Sync, Data Sync,
  and Retry Mechanism Proccesses for RTD
- Update CPS-Core header on the Index to just CPS
- Add Cps-NCMP Customizations for retry mechanism and
  data sync

Issue-ID: CPS-1181
Change-Id: Idb76de380e49e42ca337cabcf2708b940e15f46f
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Merge "Rename name column in yang resource table"

Merge "Upgrade Postgres Cps-Core"

Rename name column in yang resource table

- Rename name column in yang_resource table to file_name
- Refactor instances where it occures in code and tests
- Add new changelog file to rename occurance

Issue-ID: CPS-529
Change-Id: I2aff97410bdb041b90d8ceaeff75e562ef8d9238
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Upgrade Postgres Cps-Core

Upgrade postgres version to 14 in accordance with Seccom

Issue-ID: CPS-897
Change-Id: I332c88f3c3e1ec3dd55afe31af5714b690b6bd07
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

State Model RTD

Add Read The Doc documentation for CM-Handle state model
Briefly explain all 5 potnetial cm handle states

Issue-ID: CPS-1162
Change-Id: Iee52f9c280929337abf4aac2f5c9bbfb1edde30f
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Document DataStore Sync State(RTD)

Added a CM-Handle data sync state description section under
Cps-Modelling -> NCMP-Modelling -> Basic Concepts -> Cm Handle

Issue-ID: CPS-1164
Change-Id: Ia53a1ccbacda388ec98a3de936af0913edad1c58
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Query CM Handles RTD"

Query CM Handles RTD

Updates to RTD for CM Handles Querying
Removed documented limitation in CPS path which has since been implemeneted
Updated dmi-registry file in RTD modeling

Issue-ID: CPS-1161
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I19ff09dadb43a46e14844e198278949f059c6e68

LcmEvent state handler refactoring

- State handler will now handle new structure of LcmEvent.
- We have 3 types of events i.e create, update and delete.
- Introduced the LcmEventCreatorHelper to delegate some of the
  responsibility of event creation based on event type and the state.
- New tests and existing refactoring
- Code rebased
- Refactored name as per group code review
- Code rebase with other commits
- Used copy constructor for deep copy operation of NcmpServiceCmhandle
  and CompositeState
- UPCOMING : Related user stories to trigger the event publishing using
  state handler.

Issue-ID: CPS-1128
Change-Id: I94b5a87d37d6a174c017ee0aa37cd0f0f74ba084
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Enable/Disable Data Sync for Cm Handle"

Merge "Incorrect response to {} for cmhandle id-searches"

Merge "Query CmHandles using CPS path"

Incorrect response to {} for cmhandle id-searches

An empty body for the CmHandles id-searches api returns an anchor instead of all cm-handles
Now returns all childnode ids for the dmi-registry

Issue-ID: CPS-1175
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I358970170a4eb7905e9646605f0f373fbcd78945

Merge "Upgrade Liquibase to Version 4.14.0"

Merge "LCM events RTD"

LCM events RTD

Issue-ID: CPS-1165
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ib6743bc73b260b4345a1bedf0de2ef892a6b3c87

Query CmHandles using CPS path

Added withCpsPath condition parameter
Validated to prevent misuse and blocking of querying using private properties
Updated OpenAPI with examples and links to documentation
Moved methods related to cmHandle querying using cps path from InventoryPersistence to CmHandleQueries
Renamed private method deleteSchemaSetAndListElementByCmHandleId to deleteCmHandleByCmHandleId

Issue-ID: CPS-977
Change-Id: I83827215b7e58de74f8f62cd0140516d217d93f1
Signed-off-by: lukegleeson <luke.gleeson@est.tech>

Enable/Disable Data Sync for Cm Handle

-Create API Which will enable/disable data sync enabled flag
-Default functionality of module sync watchdog is to set to false
-Remove global config param
-Will set initial sync state based on data sync enabled flag
-Throws an Exception if the same data sync enabled flag tries
to be set
-Throws Exception if state is not in READY
-Data Sync enabled must be true to complete data sync process
- Delete all resource data within fragment table related
to synced cm handle when data sync is set to false

Issue-ID: CPS-1133
Change-Id: Ib47bbd8293f083c1d705d91bd0def74e6a105c72
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Upgrade Liquibase to Version 4.14.0

liquibase-core 4.14.0 has been separated from commercial liquibase
As such, license should be resolved

Issue-ID: CPS-963
Signed-off-by: lukegleeson <luke.gleeson@est.tech>
Change-Id: I319c4e33741164b509ed770b1ca095a763ef9fcb

Distributed datastore solution for Module Sync Watchdog

- use semaphore map in ModuleSyncWatchdog
- increase test timeout, because it needs more time for hazelcast
initialization

Issue-ID: CPS-1015
Change-Id: I71feed8fbbd047af9fabba29a5f762a1f17a1c78
Signed-off-by: kissand <andras.zoltan.kiss@est.tech>

CmHandle creation performance degradation

- Created a dedicated threadpool for scheduler.
- Tuned async threadpool of notification executor from setting RejectedExecutionHandler and application.yml.

Issue-ID: CPS-1126
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I2afe3c76c1aec78751777df0d2f08ddb8dcee102

De-registration: send event(s) using central state

- refactored method "parseAndRemoveCmHandlesInDmiRegistration"
- added method to send events for DELETING and DELETED
- introduced private method in state handler
- updated unit tests for registration spec
- added unit test to cover new private method in state handler

Issue-ID: CPS-1003
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Ifc1d1e94b7103d85b6352b196edf7075257c211a
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Refractor code to use the new LcmEvent schema

-Old schema deleted and comments from tests are removed
-EventDateTimeFormatter utility added
-From LcmEventsCreator.populateLcmEvent the NcmpServiceCmHandle param
removed and tests are fixed accordingly
-Changes made in test of the LcmEventsCreator for payload testing
to make it more clear

Issue-ID: CPS-1147
Change-Id: Id87c81f2755a6617a0fc68ba92a3d0e3170fd20f
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Update dependencies (release task)

Removed unnecessary direct dependency
- spring-context

Issue-ID: CPS-1106

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I4c3b2e8ffb16504f442f2eda5553c185dc290f4b

Update dependencies (release task)

Update to latest dependencies (minor) releases
-spring-boot-dependencies 2.6.9
-spring-cloud-dependencies 2021.0.3

Issue-ID: CPS-1106

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I4780ca9a6f87d257d430b6c6fefd2c0621aeeec4

Remove ALL Docker File Versions

Issue-ID: CPS-1095
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I11790e271ec784dfa9dbdaea497d50e95f884600

Merge "Code Refactoring Ncmp* to Lcm* as per new scope"

Merge "Refactor unit test for Notification Error Handler"

Code Refactoring Ncmp* to Lcm* as per new scope

- Refactored code to reflect the LcmEvents scope now.
- Test cases updated and dependencies reviewed.
- You can find few occurences of NcmpEvent for now but that will be
  cleaned up once we implement CPS-1104 which is for LcmEvent schema
- UPCOMING: LcmEvent schema and then the code to publish the events on
  cmHandleStates
- LATER : LcmEvents based on public properties update.

Issue-ID: CPS-1137
Change-Id: I9f395ed733b4028e706205894c36a38412e3452e
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Refactor unit test for Notification Error Handler

Issue-ID: CPS-1146
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: Idd1c1236b9574c1d070c3dc4111ebcce8d800b23

Agree LCM Event Schema(s)

New schema was created according to discussion
with minor fixes 2

Issue-ID: CPS-1104
Change-Id: I1809b679b2cc4d17c278f9e3a6fbd477ea2f3c84
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Updating docker-compose version from 3.3 to 3.8"

Updating docker-compose version from 3.3 to 3.8

Issue-ID: CPS-1095
Signed-off-by: JosephKeenan <joseph.keenan@est.tech>
Change-Id: I31601a1f486a4925ed880283c160cd827fe2255b

CmHandleState Handler

- State handler taking care of ADVISED, READY and LOCKED state
  transition at the moment.
- For now I have not removed the actual code but eventually state
  handler will take care of persisting the state and publishing of the
  events
- Rebased code to add the global parameter related to dataSyncCache
- UPCOMING : The classes will be prefixed/renamed with LCM once we have the
  LcmEvent created with new schema

Issue-ID: CPS-1118
Change-Id: Ic45d95169eb0c06cfb35c907d34380dbcbf2da11
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Define Initial Data Sync Enabled Flag and state"

Define Initial Data Sync Enabled Flag and state

- Define the initial Data Sync Cache enabled through
configuration parameter
- Set the data sync enabled flag based on this
- And in turn define the initial sync state of the
Data Sync

Issue-ID: CPS-1119
Change-Id: I43bf03c79481291bf47c9b672f7bf408d789df61
Signed-off-by: DylanB95EST <dylan.byrne@est.tech>

Merge "Improve test coverage on CompositeStateBuilder"

Update cps-ncmp info.yaml

Issue-ID: CPS-1134
Change-Id: I093eeb6e6f70bf82ba7868eb8985be91eb1d1c24
Signed-off-by: JosephKeenan <joseph.keenan@est.tech>

Improve test coverage on CompositeStateBuilder

Issue-ID: CPS-475
Change-Id: Id24f2b0c6fe95ca9c7559a8dbd160c4566ddc32f
Signed-off-by: bmiklos <miklos.baranyak@est.tech>

Merge "Move persistence methods from NCMPproperty handler"

Merge "Distributed map setup for Module and Data Sync"

Distributed map setup for Module and Data Sync

- Introduce the hazelcast dependency and check how the builds react to
  it.
- Data Sync and Module Sync Map config.
- Added basic test scenarios.
- Updating the artifact-id from hazelcast-all to hazelcast-spring and
  version is 4.2.5. (5.1.2 is latest but has known vulnerabilities)
- Refactored the code as per the onsite review session
- Upcoming : Actual sub-task which will use the distributed maps in
  respective use cases.

Issue-ID: CPS-1050
Change-Id: I60314c4ff95c267b186b20862aef93a5c389a971
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>