Merge "Add integration test for extending API: Get Module Definitions"

Merge "Add maven classifier to Spring Boot JAR"

Merge "[BUG] Retry interval for kafka consumer"

Merge "Limit heap size in Groovy integration tests"

Merge "CmSubscription service layer method #1"

Merge "CmSubscription validate datastore"

Merge "moduleSetTag and cmhandle upgrade functionalities fix"

[BUG] Retry interval for kafka consumer

- added retry interval of 10 seconds in case of any auth exception when
  consuming kafka messages.
- This fix prevents us from restarting the whole app inorder to restart
  the consumer.

Issue-ID: CPS-2070
Change-Id: Ie02d3cb686741cd92dd006dab1d49c3480d58720
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

moduleSetTag and cmhandle upgrade functionalities fix

- Insert only unmapped yang resources
- In case of removed module call dmi plugin service to get modules.

Issue-ID: CPS-2027
Change-Id: Ic1903c20169a913c835a3eee909357daec45f51e
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Add maven classifier to Spring Boot JAR

Use a classifier so that both thin jar and spring boot jar are built.

Issue-ID: CPS-2072
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iafa35992db09abf01b82668cde0eb75f12db7258

Merge "Set resource limits of docker-compose containers"

CmHandle delete is failing with InternalServerError: Null key is not allowed

   - added null check to alt id removal from cache

Issue-ID: CPS-2064
Change-Id: Iee484b96f505106613ce2d646898ca7ee3873f28
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

CmSubscription service layer method #1

- adding a service layer method to check if we have an ongoing
  cmsubscription or not.
- test scenario for the same.
- Other service layer method to be introduced in the subsequent patches.

Issue-ID: CPS-2042
Change-Id: I33637138457a0c5d49b80dd4967057bd5bfa69d4
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Documentation update for Delta Feature

 - Documantation about Delta Feature
 - Documantation on API 1: Delta between 2 anchors

Issue-ID: CPS-2056
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>
Change-Id: I9841ea166f7c57ab6218fefa5b577b4053e39490

Add integration test for extending API: Get Module Definitions

- Add new module: bookstore-types
- Import the new module from stores module
- Change integration testwares to comply with
  the new module
- Add new integration test for retrieving module
  definition

Issue-ID: CPS-1135
Change-Id: Ib51c998ceeab50d3fcea212ed55c8ab50ca09257
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Extend API: Get Module Definitions"

Extend API: Get Module Definitions

- add query parameters: module-name and revision to OpenAPI
- extend the controller method to hande the new parameters
- add the new method stack to the service layer
- extend the SQL query to support the new parameters
- add unit and integration testwares

Issue-ID: CPS-1135
Change-Id: I089ad2ad71effb58ac0ba809e9f441d6cdb59c4f
Signed-off-by: halil.cakal <halil.cakal@est.tech>

CmSubscription validate datastore

- introduced isValidDatastore to check the incoming datastore against
  the valid datastore for this use case.
- Testware added

Issue-ID: CPS-2059
Change-Id: I2602396fe2f404789fc4e0f01850eeba2a75bd21
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Limit heap size in Groovy integration tests

Configure maven to limit heap size in integration tests to
help detect OutOfMemory errors in groovy tests.
The figure 512MB was chosen as this is 25% of 2GB
(JVM by default uses 25% of total memory for heap).

Issue-ID: CPS-2052
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie1160f85ba3970e4c43fccee41c2821dc83a8e53

Set resource limits of docker-compose containers

Without explicit limits, docker will use all available system
resources for containers. In order to better detect/reproduce
performance issues, limits are set to reflect those used in our
production deployment.

Issue-ID: CPS-2048
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0549b7f9e57dff10c8b09d839ffb4979d66c643e

Introduce Hazelcast for alternateId-cmHandle relation

    - added new Hazelcast config
    - added cache initialization in CmHandleIdMapper
    - added unit tests
    - updated deployment.rst
    - refactored cache updating

Issue-ID: CPS-1988
Change-Id: Iea6f884e584bf8cea8612ddbced4329e783c60a5
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Fix: Add six as dependency for sphinxcontrib-swaggerdoc

Issue-ID: CIMAN-33
Change-Id: Ic9f1fcc4e220163e20bf61da0511d7479eb4f180
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Merge "Correct datastore names via DatastoreType Enum"

Correct datastore names via DatastoreType Enum

- Use existing DatastoreType enum in defining datastore name

Issue-ID: CPS-2046
Change-Id: I6f2f77c96b239546f7141267c0c01edfc599b445
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

CloudEvents support for cps-core

- Moving cloud events dependencies to the cps-service module instead of
  cps-ncmp-service
- Testware has moved and new tests also introduced
- EventsPublisher also moved

Issue-ID: CPS-2040
Change-Id: Ibafb15e7e9efbdbe1e00e2b4f0da820bbcead004
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Omitting the basic auth header in healthcheck test"

Omitting the basic auth header in healthcheck test

as it is not required and adding v3 to uri of api-docs

Issue-ID: CPS-2045
Change-Id: If229bbd46a5c5187ddac242f8bfda00d5c951995
Signed-off-by: waqas.ikram <waqas.ikram@est.tech>

Merge "CPS 1824: Delta Between 2 Anchors release notes"

Merge "Add retry mechanism instead of sleep"

Add retry mechanism instead of sleep

- replaced sleeps with retry mechanism
- removed unnecessary sleeps before polling
- changed formatting

Issue-ID: CPS-1093
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I7e26570eeedea09fd36f9c9bce87c4cd45906aa9

CmSubscription review comments

- Removed the old deprecated cmSubscription json examples
- Incorporated minor review comments from myself

Issue-ID: CPS-1951
Change-Id: Ifadaa186cc210b81bb1b27f73f537e1c11bf461d
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Read and validate incoming sub create request from Kafka

Issue-ID: CPS-1951
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I402dacc47c93e77a4ca63598acebe27c780951de

Merge "Remove Lambda & Restructure File"

Merge "Use PollingConditions to improve intermittent test failure"

Merge "Remove onboarding of old solution subscription model"

Remove Lambda & Restructure File

-Removed Lambda from CompositeStateUtils
-Restructured CpsDataPersistenceServiceImpl to more logical layout

Issue-ID: CPS-1238
Change-Id: I09096dab474230d04b15c204cbea95a2f1285366
Signed-off-by: seanbeirne <sean.beirne@est.tech>

CPS 1824: Delta Between 2 Anchors release notes

Updated release notes for Delta Feature

Issue-ID: CPS-1824
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>
Change-Id: I1c2403391e85aec6a9e34f0ff616c17b100bf6a9

Remove onboarding of old solution subscription model

-Remove onboarding of old subscription model
-Remove initial solution subscription model

Change-Id: Id930dcfd078d71e7c275d0a3ef1117f8fed2e9d3
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "CPS Delta API: Update action for delta service"

Merge "Create datastores for NCMP w/subscription model"

Use PollingConditions to improve intermittent test failure

Set timeOutInMilliSeconds to 100 (default was 0)

Issue-ID: CPS-1950
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I0028f0cd5e5e89d979d4200df77dbd7a42105622

Merge "Remove deprecated cmSubscription code"

Create datastores for NCMP w/subscription model

Issue-ID: CPS-2035
Change-Id: I80234c7ca93c5774ee50082803cdc102f693a5a7
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Remove deprecated cmSubscription code

- Newer approach for cm subscription is in progress so removing the
  deprecated code now
- Also deleted the old cache config
- Changes to trust level csit to fix the kafka unknown partition issue

Issue-ID: CPS-2028
Change-Id: Ieb19669e53f3f64cca876fa67d0b6409a97b2a09
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Clear instance based Schema Context Cache upon validation errors

- retry yang parser exceptions one time by clearing cache
- split yangUtils into YangParserHelper (instance based) and YangUtils for non-parsering static methods
- removed public methods only used from test. Refactored to use variation with (empty) parent path
- removed use of optional for parentPath, easier to handle with just an empty string!
- make methods no longer used in production code in YangUtils are private
- udpate testware to use proper public methods instead of private methods of yang utils / parser (helper)

Issue-ID:CPS-2000

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I0c7590a5e1495d047006e7136f1bd873be37f7b0

CPS Delta API: Update action for delta service

- Added code for Update action in Delta service
- added method to get updated Leaf data: getUpdatedLeavesBetweenSourceAndTargetDataNode
- added method to compare Leaf data common in source and target data
  node
- added method to process leaves unique to target data node
- added method to compare leaves: compareLeaves
- added method to store updated data to a DeltaReport: addUpdatedLeavesToDeltaReport
- Added corresponding testware

Issue-ID: CPS-1824
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>
Change-Id: I3de07ea3227988784a0892f6a92c238ecf00a7fa

Add CSIT test for CPS Swagger UI

- Test that CPS Swagerr UI is accessible.

Issue-ID: CPS-1916
Signed-off-by: halil.cakal <halil.cakal@est.tech>
Change-Id: Id8dba21f400412fc8b81892e29454f8606e53008

Testing for jenkins plugin

Issue-ID: CPS-1953
Change-Id: I3ee12576e75449c90c789de32a50f9b8e8757ff7
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Create tests for EventPublisher error scenarios"

Bump CPS to 3.4.3-SNAPSHOT

- bump CPS to 3.4.3-SNAPSHOT and update the docs

Issue-ID: CPS-2026
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: If0036c6245ddbae2a401b712cc13e3208491ed2f

Add container yaml for CPS 3.4.2

- added container yaml to release the docker images for CPS 3.4.2

Issue-ID: CPS-2026
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I6970a99894ceed26a982350663533cb344ec3e50

Add maven stage yaml for CPS 3.4.2

- maven stage yaml to release 3.4.2

Issue-ID: CPS-2026
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibe7d85c81383e678783c10383bf142523c8cdf51

Create tests for EventPublisher error scenarios

  - Added tests for error scenarios
  - Added tests for expected scenarios

Issue-ID: CPS-1978
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I6ba19ac456098f074e634f7cf70fdc141491c635

Merge "Improve dmi plugin csit stub   - Modified dmi plugin stub to return diff. modules based on cm handle     id"

Update release notes for 3.4.2

- Add Trust Level epic to the release notes

Issue-ID: CPS-2024
Change-Id: Ie5425bca6e3d48b957c703af50c7542c4401d1b4
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Improve dmi plugin csit stub
  - Modified dmi plugin stub to return diff. modules based on cm handle
    id

Issue-ID: CPS-2006
Change-Id: I61a0fd11b8f41ceb69dac296ad3570b91137cdcd
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Enable hibernate write batching"

Merge "Remove inefficient saveListElementsBatch API"

Introduce cmSubscriptionEventCache

- inmemory datastructure to keep track of the ongoing subscriptions
- Test cases to cover cache config and sample data test
- Use of cache will be in other patchsets after this

Issue-ID: CPS-2022
Change-Id: Ic6cd22cceaeacb9c7184f42c1ebfac28303f2c26
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Enable hibernate write batching

- Implement fragment ID sequence generator with allocation size of 100
- Enable write batching for insert and update, with batch size of 100
- Write performance is over 2x faster

Issue-ID: CPS-1795
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I7ebd0f834abb57c593603e2cd3fafc7e3425ab1e

Remove inefficient saveListElementsBatch API

CpsDataService::saveListElementsBatch method is not needed as
saveListElements supports saving multiple list elements in a single
operation. This both simplifies implementation and greatly improves
performance when saving list elements, as the Yang parser need only
run once for the whole batch.

- Change InventoryPersistence to save CM-handles in batches of 100
  using existing CpsDataService::saveListElements method.
- Remove not needed CpsDataService::saveListElementBatch.

Issue-ID: CPS-2019
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8b74dda2917e094d064b42f2c0e4d57029b90395

Clean up  cps temporal related notification code

  - remove 'test' level folder
  - remove schemas but leave structure
  - remove 'data-updated' from test application.yaml
  - remove NOTIFICATION_DATASPACE_FILTER_PATTERNS from docker-compose

Issue-ID: CPS-2005
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I3962d795c760de6ba5ff353e85894895437ad5e7

Merge "Allow updating of cmHandles with an alternateId"

Allow updating of cmHandles with an alternateId

  - added methods to update alternate id
  - fixed unit tests
  - added new unit test for coverage

Issue-ID: CPS-1986
Change-Id: I9ef717c5f2c405482e0a5bb70f94f465ba1ff64f
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Normalize JSON attributes during update"

Merge "Add performance tests for saveListElements"

Merge "Amend http status for CM Handles Data Enpoints in Documentation"

Amend http status for CM Handles Data Enpoints in Documentation

Change-Id: I4b2778e9e1107fc2934df292bee99d36030c8093
Signed-off-by: david.mcweeney <david.mcweeney@est.tech>
Issue-ID: CPS-1998

Add performance tests for saveListElements

Add performance tests for CpsDataService methods:
- saveListElements
- saveListElementsBatch

Results show that saveListElementsBatch (used only by NCMP for
saving CM-handles) has extremely poor performance compared to
saveListElements, which is over 4x faster and uses less memory.

Issue-ID: CPS-2019
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I89d634c69b3790f1e1a79e2ff5392db5a45c761b

Normalize JSON attributes during update

This change fixes a few issues related to JSON encoding of
FragmentEntity attributes (data leaves). This significantly
improves update performance in cases of partial updates.

- Normalize JSON and order leaves by name when comparing
  data leaves during update operations.
- Update performance test timings.

Issue-ID: CPS-2018
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia764a353bf96c05758827845e1358745247ee237

CpsDataService Update performance tests

Test suite for CpsDataService update methods:
  - updateDataLeaves
  - updateDataNodeAndDescendants
  - replaceListContent
Added JVM warmup for update tests

Issue-ID: CPS-1674
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia07d792bef63fbe2d376a16c210d9d0c4425e302

Fix performance tests after anchor/dataspace split

CpsAdminService was split into CpsDataspaceService and CpsAnchorService.
One test has incorrect changes.

Issue-ID: CPS-871
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8013c4d9d17a5846d183e1c06bc11fa5ef9b4c4d

Deprecate use of basic subscription model

- Deprecate json files in resources

Issue-ID: CPS-1973
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I3bf59807f740e3e6f19af0cf0d418edb4f961328

Bump CPS to 3.4.2-SNAPSHOT

- bump CPS to 3.4.2-SNAPSHOT and update the docs

Issue-ID: CPS-2017
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iea58c1134bc9d25c76ef7ccc2c1d2de1c7aa0bfd

Add container yaml for CPS 3.4.1

- added container yaml to release the docker images for CPS 3.4.1

Issue-ID: CPS-2017
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3b2cd6bc16131506c482bb0ac78768b747b764c3

Add maven stage yaml for CPS 3.4.1

- maven stage yaml to release 3.4.1

Issue-ID: CPS-2017
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4c0006ff971ce5acb9c79ade67576ef33d06853b

Release notes and OpenAPI docs updated for 3.4.1

- Update release notes
- Update OpenAPI docs
- Made RST files not executable

Issue-ID: CPS-2017
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I85bd7cb68d960c9522b80048007cfe913cd49ed4

Documenting optional properties for the HTTP client

Issue-ID: CPS-2016
Change-Id: Iae3d612548032dfbb4a7d4325eb3fbed4f20ab78
Signed-off-by: waqas.ikram <waqas.ikram@est.tech>

Updating config variable names for HttpClient

for DMI

Issue-ID: CPS-2016
Change-Id: Ief5428e6e4afc8309ceed2a8221365e2fab31686
Signed-off-by: waqas.ikram <waqas.ikram@est.tech>

Deprecate use of basic subscription model

- Checked all subscription related files and Removed use of basic subscription model as much as possible
  that will not break the entire code,
  other files still has references on it but will and shall be removed on
  further implementation of the subscription epic story
- Created new YangModel Event (YangModelCmDataSubscriptionEvent.java)for the new model as changing the old one affects many files

Issue-ID: CPS-1973
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I7d3866780261110d3bb71c4807f39edc2703d0dc

Improve naming of csit test

Issue-ID: CPS-2002
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I7e6bfdad866fbf0dad442209f78e738bb056c5dc

Merge "Move mount node after cps test during CSITs"

Remove the dependency-cycle between beans

- Splitting admin service into AnchorService and DataspaceService
  (this resolves the cyclic dependency)
- Improved Delete dataspace integration error tests
  (were depending on execution order, now independent)

Issue-ID: CPS-871
Change-Id: I47efedb6eb4bd2900f72d689616b7b7b62df2938
Signed-off-by: halil.cakal <halil.cakal@est.tech>
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>

Merge "Remove Notification code for updated events"

Remove Notification code for updated events

- removed existing code for sending notifications to topic
  cps.dataupdated events formerly used by cps-temporal
- corresponding testware removed or updated
- unnecessary to fetch anchor details for delete and replace operation
  removed which might gain minor performance boost
- yaml configurations , documentation removal and update
- Added missing test for AsyncConfig to comply with coverage check

Issue-ID: CPS-2005
Change-Id: I1848f7f229cb713fe8c0302ea50328e7451652ee
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Enhancing the REST template with HttpClient5

for better performance and allowing users to configure timeouts as per their requirements

Issue-ID: CPS-1994
Change-Id: I9fa94fb3923a50e33b3850ec0f190a51e278698f
Signed-off-by: waqas.ikram <waqas.ikram@est.tech>

Merge "Update Model to allow Persisting of alternateId"

Move mount node after cps test during CSITs

* Split test plans into cps and ncmp
* Check sdnc moved to after cps tests
* Moved mounting of node to after cps tests

Issue-ID: CPS-2001
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I5a36238d8ee6c91087cd2712c69e169257d48faa

Moving and Renaming eexisting subscription impl

      -renamed the existing subscription related packages to have 'deprecated' on its name as this shall be removed with new implementation of the subscription positive cases
      - replaced the existing schemas with the new ones

Issue-ID: CPS-1991
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Change-Id: I8f27861b80756540477e03971c53219ea589975c

Update Model to allow Persisting of alternateId

    - added new dmi model registry and modified tests

Issue-ID: CPS-1989
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>
Change-Id: I576a5a0704fe28924dcc304c276fec5665b52764

Merge "Modify cmHandle registration for alternateId"

Introduce Schema Set upgrade method

- Incl. integration test
- Prod code is changed to use new method that update yand module.
- updated module resource to return multiple modules.

Issue-ID: CPS-1806
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Change-Id: I751d9393ce78a3be9daeaff6d0252738c02115e0
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Modify cmHandle registration for alternateId

    - added alternate id to the interface for persisting the new value
    - updated unit tests to validate the new field

Issue-ID: CPS-1985
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>
Change-Id: I81e61f2ea2ecc5d8c0938af00fa81a99e27e2e23

Merge "Clean up CSIT Test"

Fix typo in DMI liveness Spring variable name

Issue-ID: CPS-1993
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I44457b35ae639f8dcbab26989c5d1e6e1144d076

Clean up CSIT Test

- Removed gitignore from csit and made it top level
- Removed tabs from all files
- Created sub-folder for cps-core and ncmp in the data folder
- Deleted csit/data/postModuleRequestBody.json, was not used
- Removed setting variable for most response.json() calls

Issue-Id: CPS-734
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I32fd5b4f5a0132987a4684c336846b86df7b49e7

Uplift Guava dependency

- upgrade Guava to the latest version
  to fix critial vulnerability

Issue-ID: CPS-1987
Change-Id: I6ea314407133dea229e9626fdf2d9c938f7c7e08
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Uplift Onap dmi version to 1.5.0-SNAPSHOT

Issue-ID: CPS-1987
Change-Id: I22b123a5df5ec9340c6303d7dfbaf981857f4a0c
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "[BUG] Dminame to valid topic suffix"

Merge "[Bug] LogLvl to debug DataOperationEventConsumer"