Add container yaml for CPS 3.4.4

- added container yaml to release the docker images for CPS 3.4.4

Issue-ID: CPS-2120
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I9786dd5a3fc4d1597e24304236c427c0658c44b1

Add maven stage yaml for CPS 3.4.4

- maven stage yaml to release 3.4.4

Issue-ID: CPS-2120
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iad423641f9fb214d195a6376d5c0496dff52bc79

Update release notes for CPS 3.4.4

- updated release notes for 3.4.4
- no openapi changes

Issue-ID: CPS-2120
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1634ed15b058e50c205dcf15ad59c21cce0e4972

Merge "CmNotificationSubscription event from Dmi Plugin"

Error reporting when registering cm handle with alternate id

- refactored registration code all use cases; 1 method for each action
- introduce new cps error code; 111

- TODO: error reporting registration, UPDATE

Issue-ID: CPS-2100

Change-Id: I5049777ee4e08fdc94aa1db09e668e952ed8e1c3
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "NCMP to DMI CmSubscription Event"

Merge "NCMP to Client Cm Subscription Event"

Introduce class for Module Delta during module sync

Removed ImmutableTriple<String, Map<String, String>, Collection<ModuleReference>>
and replaced it with a ModuleDelta class to hold results.

Split syncAndCreateOrUpgradeSchemaSetAndAnchor into methods
syncAndCreateSchemaSetAndAnchor and syncAndUpgradeSchemaSet

Issue-ID: CPS-2027
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I95462ab55dcae7d98b9e2671fc278c4ded45f3fc

Improve performance of moduleSetTag lookup

- Using absolute cps-path /dmi-registry/cm-handles is faster
  than descendant cps-path //cm-handles due to CPS-2087.
- Converting DataNodes to YangModelCmHandle allows checking if
  the handles are READY without needing to send additional DB
  queries via cmHandleQueries::cmHandleHasState.

Issue-ID: CPS-2027
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ied7e884b0f779f394854603a7f8b186d09eb5be8

Merge "Refactor YangDataConverter.convertCmHandleToYangModel"

Refactor check for no new modules in Module Sync

This change moves the check for no new module references into
DmiModelOperations::getNewYangResourcesFromDmi
(The method is only used by ModuleSyncService)

Issue-ID: CPS-2027
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3cc65e7a327148ebe01b98b61dc64b70872e2cf5

Refactor YangDataConverter.convertCmHandleToYangModel

This method redundantly takes cmHandleId as a parameter, even though
the DataNode representing a CM-handle is guaranteed to have the ID
in a leaf called 'id'.

Issue-ID: CPS-245
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib10097b6e13f7188fd933d6f6913110ec664273e

Improve unit test for regsitration, upgrade

- verify schema set is created
- add test case for upgarde to same tag

Issue-ID: CPS-2027
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Id853f477d2a90a86d13828a27b9269c62e1d9462

Merge "adding isUniqueSubscriptionId method"

Upgrade yang modules using module set tag

- New algorithm is implemented as per the pseudo code -> https://wiki.onap.org/display/DW/CPS-1733%3A+Upgrade+YANG+Schema-Set+for+CM+Handle+Using+a+Module+Set+Tag

Issue-ID: CPS-2027
Change-Id: I78fc1c8f927de1a1b814c3c1c62351dda58f2139
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>

NCMP to Client Cm Subscription Event

- CmNotificationSubscriptionNcmpOut event to inform the client about the
  subscription he requested
- Testware for the same
- Code to provide the data to this producer will be part of other
  patches

Issue-ID: CPS-2108
Change-Id: Ic302e798a20da54dd3c56d2cb792b800446cc2d3
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Fix handling of blank moduleSetTag

Handling of blank moduleSetTag is very inconsistent.
Sometimes it will be returned as null, '' or 'not-specified'.
Specifically in the case of MODULE_UPGRADE_FAILED, on the retry,
a blank moduleSetTag will be returned as 'not-specified', leading
to incorrect upgrade.

Issue-ID: CPS-2027
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I3f4290dc5659c386c7b2b924325da2560d00d73b

Add moduleSetTag when getting a CM handle

Test changes:
- Check moduleSetTag (and alternateId) in unit test of get CM handle.
- Verify moduleSetTag is updated in tests of CM handle upgrade.

Code changes:
- Set moduleSetTag when converting a YangModelCmHandle to
  NcmpServiceCmHandle.
- Set moduleSetTag in YangModelCmHandle copy constructor.
- Minor refactor using StringUtils::isBlank.

Issue-ID: CPS-2027
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I6a9a92aa58d15c6ecf5a6bb21aa5c9d6ec8dc817

Remove alternate ID caches

    - removed alternate id cache related classes and updated deployment.rst

Issue-ID: CPS-2107
Change-Id: I567af7b2f44107fceffaef370205b00a5cf79522
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

CmNotificationSubscription event from Dmi Plugin

- Added infrastructure related code to read event from the dmi plugin
- Just consuming and reading the message.
- Core logic to introduced to be part of subsequent patches

Issue-ID: CPS-2106
Change-Id: Ic58f4f80b3dded32df95daecac42315fa9212f58
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Use DB for checking Alternate IDs"

adding isUniqueSubscriptionId method

Issue-ID: CPS-2044
Change-Id: I26b209ead80add7e60b4de9257a9f5c326ddea6f
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

NCMP to DMI CmSubscription Event

- Ncmp to have a producer which converts
  CmNotificationSubscriptionDmiInEvent to Cloud event and then publishes
  it
- For now , using the old topic prefix as topic name. Once topic names
  are finalized then they can be configured
- Testware for the publishing code

Issue-ID: CPS-2103
Change-Id: I83b6ce5b6647e92313839b25492cb076e528ce3e
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Tests of CM-handle module upgrade & moduleSetTag

Integration tests covering scenarios of the creation and upgrade of
CM-handles with:
- no moduleSetTag
- new moduleSetTag
- existing moduleSetTag
Failing tests are marked @Ignore.

Issue-ID: CPS-2102
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Id5567e08a13d8c26dc7b6458f0af8449bef6f082

Use DB for checking Alternate IDs

- do NOT use hazelcast cache
- introduced AlternateIcChecker
- use checks during Inital registration

- TODO: remvoe Hazalcast Cache (once perf test are OK)
- TODO: use checks during UPDATE registration
- TODO: error reporting during registration

Issue-Id: CPS-2049

Change-Id: I0adcac52a7a49e26301758eafc4684152ddfcaf5
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Add NCMP to integration-test module

- Add NCMP to integration test base class
- Use MockRestServiceServer to mock DMI responses in groovy tests
- Added tests for CM-handle registration to READY and LOCKED states
- Add test of CM-handle deregistration

Issue-ID: CPS-2033
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I89f9f8aab2bba9d4eb5b3136a2feb238e7cf1b06

Merge "Mapper to form event for DMI Plugin"

Merge "Clean up of integration-test base classes"

Merge "Faster absolute xpath query using parent path lookup"

Clean up of integration-test base classes

- Remove TestConfig and instead use auto-configuration
- Add needed application.yml config
- Refactor helper methods for creating JSON

Issue-ID: CPS-2090
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4f618a1d4a83e9c75e468928c257b817d449c22f

Merge "Remove liquibase test changelog"

Faster absolute xpath query using parent path lookup

Issue-ID: CPS-2087
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I62b452f34f08a32a6d80671c7af560fbceec1285

Merge "Update release notes for Extending Module API retrieval"

Remove liquibase test changelog

Complete liquibase changelog takes under 1 second to run,
so having separate changelog for integration tests offers
no benefit.

Issue-ID: CPS-2090
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib0e928f35d401b91c23dfcb5dc82c77778a044dc

Mapper to form event for DMI Plugin

- cmSubscriptionPredicate to CmNotificationSubscriptionDmiInEvent mapper code and
  testware.
- Based on the delta we find , we will be sending the events to the dmi
  plugins. Finding delta code will be separate patchset

Issue-ID: CPS-2060
Change-Id: If1e15679b72c39352e3cf166651226df7e207ce0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update release notes for Extending Module API retrieval

- Add the user story: CPS-1135 for CPS version 3.4.3

Issue-ID: CPS-1135

Change-Id: I9e9cdc5f648d38eb4dbd76cc98a884fed03a28b2
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Prefix with CmNotificationSubscription refactoring

- event schemas are now suffixed with CmNotificationSubscription
- testware updated appropriately

Issue-ID: CPS-2091
Change-Id: I9d0c4bdfaf7ea94812d35b071824d0fb083aa845
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Update cm-data-subscriptions model"

Merge "Add a configurable delay to the DMI stub"

Merge "Fix test failure by ordering leaf-lists"

Merge "Create schemas for notification service in cps-core"

Update cm-data-subscriptions model

- rename leaf-list subscribers to subscriptionIds
- code using the same also updated
- not creating a new version of model as nobody is using it at the
  moment

Issue-ID: CPS-2088
Change-Id: I43d679047bdfc665b56f262757acc4bbaba2733f
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

CmSubscription minor code refactoring

- As per discusstion , refactoring the naming of the classes and caches
- Combining the validation service with CmSubscriptionPersistence
  service
- removed dmiCmNotificationScopeFilter class and the attributes are part
  of Predicates only

Issue-ID: CPS-2078
Change-Id: Ic2b3ee28a150f3ae6e0911e88296f01e22604ef5
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Fix test failure by ordering leaf-lists

YANG specifies two ways that leaf-lists can be ordered:
- ordered-by user: original order in JSON is preserved
- ordered-by system (default): it is up to the system how to order

For leaf-lists to preserve same order as the JSON, the Yang module
must specify 'ordered-by user'. To ensure consistent behaviour even
when system ordering is used, the leaf-list is sorted during parsing.

- Add 'ordered-by user' to authors field in bookstore.yang
- Sort leaf-list during parsing when using 'ordered-by system'
- Add new tests to verify ordering

Issue-ID: CPS-2057
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I6ab688ec2fa4a22182e853d1a8b26642f278c40a

Include integration test results in Jacoco

integration-test module is not recording code coverage due to
incorrectly overriding the maven surefire config from parent pom.

Issue-ID: CPS-2086
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I774c64acedca546f5c01403597bd9f5010de73d2

Add a configurable delay to the DMI stub

Added realistic default delay to application.yaml
Added realistic default delay to docker-compose.yml

Issue-ID: CPS-2053
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I756774e9538926aa341f1338fcb6882951ce3e69

Create schemas for notification service in cps-core

Add schema files for notification service

Issue-ID:CPS-2066
Change-Id: I56c34400dc73c71b936a51260efd230205abbacd
Signed-off-by: rajesh.kumar <rk00747546@techmahindra.com>

Merge "Add CSIT test: Delete CM Handle"

Merge "Correct use of Spock setup and cleanup methods (no need for @Before @After)"

Merge "Revert "Introduce Hazelcast for alternateId-cmHandle relation pt. 2 - error collection""

Revert "Introduce Hazelcast for alternateId-cmHandle relation pt. 2 - error collection"

This reverts commit 67681820f2a7fea88cbc6cbe5b3d483dae506d55.

Reason for revert: does not work

Change-Id: I92c063b59261d25774ee34664d834399c269f0c2
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Introduce Hazelcast for alternateId-cmHandle relation pt. 2 - error collection"

Introduce Hazelcast for alternateId-cmHandle relation pt. 2 - error collection

    - added business logic to check duplicated ids (create and update scenarios)
    - added new unit test for CmHandleIdMapperSpec
    - added test for the new registration scenario

Issue-ID: CPS-1988
Change-Id: I4bf2e25c87c57938d336f2fe70378b400bab07b0
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Correct use of Spock setup and cleanup methods (no need for @Before @After)

- unfortunately we copied the bad test code for logging about 4 times alraedy...
- simplified setup for WatchdogSchedulingConfigurerSpec

Issue-ID:CPS-465

Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I8d068541263272fdf99a6e30d365d85e31726432

Merge "CmHandle delete is failing with InternalServerError: Null key is not allowed - add missing unit test"

Add alternateId to legacy lcm-event

Issue-ID: CPS-2039
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I03863e986ea6b847fd7d25e55a24f948ca9a983d

Merge "Replace sleep with PollingConditions"

Merge "Orphaned modules are removed from the DB before cmhandle removal"

Bump CPS to 3.4.4-SNAPSHOT

- bump CPS to 3.4.4-SNAPSHOT and update the docs

Issue-ID: CPS-2077
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I1658c83642c8e64903f4bc03b74b6f5726d0227e

Add CSIT test: Delete CM Handle

- Add new csit test to ncmp inventory

Issue-ID: CPS-2073
Change-Id: Ie683f043b2dc1cc742945a4874f19688a8702009
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Add container yaml for CPS 3.4.3

- added container yaml to release the docker images for CPS 3.4.3

Issue-ID: CPS-2077
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I2e0563a1942d571135ce688c1a339cd4a56f7458

Add maven stage yaml for CPS 3.4.3

- maven stage yaml to release 3.4.3

Issue-ID: CPS-2077
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iaef72394a7ddc64999c95c96aed9873a6487be77

Update release notes for CPS 3.4.3

- updated release notes for 3.4.3
- updated openapi files

Issue-ID: CPS-2077
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I2ded94a243dbe93885525d73f90dde3dbbb79696

Replace sleep with PollingConditions

Issue-ID: CPS-1950
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I0e23c697ef6b5a134295728f352f2dff7be05a62

Orphaned modules are removed from the DB before cmhandle removal

- changed sequence of delete schema set by cascade to remove unused yang
  resource modules at last.

Issue-ID: CPS-2031
Change-Id: Icefc075165231cc4b9b170e04a2d12af645529e9
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

CmHandle delete is failing with InternalServerError: Null key is not allowed - add missing unit test

Issue-ID: CPS-2064
Change-Id: If765c25cae8d69796fff219fc39ab27455bfd957
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Fix: Documentation for Delta Feature"

Merge "Add integration test for extending API: Get Module Definitions"

Merge "Add maven classifier to Spring Boot JAR"

Merge "[BUG] Retry interval for kafka consumer"

Fix: Documentation for Delta Feature

Issue-ID: CPS-2074
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>
Change-Id: Ib32b4c75f7eb5402367f69a077c447a3eb062b0b

Merge "Limit heap size in Groovy integration tests"

Merge "CmSubscription service layer method #1"

Merge "CmSubscription validate datastore"

Merge "moduleSetTag and cmhandle upgrade functionalities fix"

[BUG] Retry interval for kafka consumer

- added retry interval of 10 seconds in case of any auth exception when
  consuming kafka messages.
- This fix prevents us from restarting the whole app inorder to restart
  the consumer.

Issue-ID: CPS-2070
Change-Id: Ie02d3cb686741cd92dd006dab1d49c3480d58720
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

moduleSetTag and cmhandle upgrade functionalities fix

- Insert only unmapped yang resources
- In case of removed module call dmi plugin service to get modules.

Issue-ID: CPS-2027
Change-Id: Ic1903c20169a913c835a3eee909357daec45f51e
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Add maven classifier to Spring Boot JAR

Use a classifier so that both thin jar and spring boot jar are built.

Issue-ID: CPS-2072
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Iafa35992db09abf01b82668cde0eb75f12db7258

Merge "Set resource limits of docker-compose containers"

CmHandle delete is failing with InternalServerError: Null key is not allowed

   - added null check to alt id removal from cache

Issue-ID: CPS-2064
Change-Id: Iee484b96f505106613ce2d646898ca7ee3873f28
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

CmSubscription service layer method #1

- adding a service layer method to check if we have an ongoing
  cmsubscription or not.
- test scenario for the same.
- Other service layer method to be introduced in the subsequent patches.

Issue-ID: CPS-2042
Change-Id: I33637138457a0c5d49b80dd4967057bd5bfa69d4
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Documentation update for Delta Feature

 - Documantation about Delta Feature
 - Documantation on API 1: Delta between 2 anchors

Issue-ID: CPS-2056
Signed-off-by: Arpit Singh <as00745003@techmahindra.com>
Change-Id: I9841ea166f7c57ab6218fefa5b577b4053e39490

Add integration test for extending API: Get Module Definitions

- Add new module: bookstore-types
- Import the new module from stores module
- Change integration testwares to comply with
  the new module
- Add new integration test for retrieving module
  definition

Issue-ID: CPS-1135
Change-Id: Ib51c998ceeab50d3fcea212ed55c8ab50ca09257
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Extend API: Get Module Definitions"

Extend API: Get Module Definitions

- add query parameters: module-name and revision to OpenAPI
- extend the controller method to hande the new parameters
- add the new method stack to the service layer
- extend the SQL query to support the new parameters
- add unit and integration testwares

Issue-ID: CPS-1135
Change-Id: I089ad2ad71effb58ac0ba809e9f441d6cdb59c4f
Signed-off-by: halil.cakal <halil.cakal@est.tech>

CmSubscription validate datastore

- introduced isValidDatastore to check the incoming datastore against
  the valid datastore for this use case.
- Testware added

Issue-ID: CPS-2059
Change-Id: I2602396fe2f404789fc4e0f01850eeba2a75bd21
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Limit heap size in Groovy integration tests

Configure maven to limit heap size in integration tests to
help detect OutOfMemory errors in groovy tests.
The figure 512MB was chosen as this is 25% of 2GB
(JVM by default uses 25% of total memory for heap).

Issue-ID: CPS-2052
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie1160f85ba3970e4c43fccee41c2821dc83a8e53

Set resource limits of docker-compose containers

Without explicit limits, docker will use all available system
resources for containers. In order to better detect/reproduce
performance issues, limits are set to reflect those used in our
production deployment.

Issue-ID: CPS-2048
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I0549b7f9e57dff10c8b09d839ffb4979d66c643e

Introduce Hazelcast for alternateId-cmHandle relation

    - added new Hazelcast config
    - added cache initialization in CmHandleIdMapper
    - added unit tests
    - updated deployment.rst
    - refactored cache updating

Issue-ID: CPS-1988
Change-Id: Iea6f884e584bf8cea8612ddbced4329e783c60a5
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Fix: Add six as dependency for sphinxcontrib-swaggerdoc

Issue-ID: CIMAN-33
Change-Id: Ic9f1fcc4e220163e20bf61da0511d7479eb4f180
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Merge "Correct datastore names via DatastoreType Enum"

Correct datastore names via DatastoreType Enum

- Use existing DatastoreType enum in defining datastore name

Issue-ID: CPS-2046
Change-Id: I6f2f77c96b239546f7141267c0c01edfc599b445
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

CloudEvents support for cps-core

- Moving cloud events dependencies to the cps-service module instead of
  cps-ncmp-service
- Testware has moved and new tests also introduced
- EventsPublisher also moved

Issue-ID: CPS-2040
Change-Id: Ibafb15e7e9efbdbe1e00e2b4f0da820bbcead004
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Omitting the basic auth header in healthcheck test"

Omitting the basic auth header in healthcheck test

as it is not required and adding v3 to uri of api-docs

Issue-ID: CPS-2045
Change-Id: If229bbd46a5c5187ddac242f8bfda00d5c951995
Signed-off-by: waqas.ikram <waqas.ikram@est.tech>

Merge "CPS 1824: Delta Between 2 Anchors release notes"

Merge "Add retry mechanism instead of sleep"

Add retry mechanism instead of sleep

- replaced sleeps with retry mechanism
- removed unnecessary sleeps before polling
- changed formatting

Issue-ID: CPS-1093
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I7e26570eeedea09fd36f9c9bce87c4cd45906aa9

CmSubscription review comments

- Removed the old deprecated cmSubscription json examples
- Incorporated minor review comments from myself

Issue-ID: CPS-1951
Change-Id: Ifadaa186cc210b81bb1b27f73f537e1c11bf461d
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Read and validate incoming sub create request from Kafka

Issue-ID: CPS-1951
Signed-off-by: seanbeirne <sean.beirne@est.tech>
Change-Id: I402dacc47c93e77a4ca63598acebe27c780951de