Faster module searches (CPS-2190 #3)

This greatly improves performance of module searches by eliminating
unneeded SQL queries via Hibernate lazy fetching.

Issue-ID: CPS-2190
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie9e65017d0027366456f1741cc37b10679317b25

[BUG] Remove slow validation check during module search (CPS-2190 #2)

The check for existing modules is extremely slow, being dependent on
the file sizes of the Yang modules being queries.
The validation check is also completely unnecessary, since it simply
ignores any exceptions and returns an empty set, which the main logic
does implicitly. (The Dataspace check is also not needed, as the NCMP
dataspace is guaranteed to exist.)

Issue-ID: CPS-2190
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I329c1f8aac3f50bda0333e6c9c686f47af2e009f

Perf Test for Module Search is dependent on module size (CPS-2190 #1)

Add a new test showing that Yang module search is dependent on the
 file size of the Yang modules being searched for.

Issue-ID: CPS-2190
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I8fd28f4c91be11ef7428251397a887af17649015

Replace RestTemplate with WebClient in synchronous DMI calls

    - added DmiWebClientConfiguration
    - use WebClient in DmiRestClient
    - fixed unit tests
    - ingnored failing NCMP related integration tests (related to WebClient, will be fixed in a future patch)
    - encode query params for DMI requests

Issue-ID:CPS-989
Change-Id: I26434568f68266e95669a51c134978ddd197d802
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "Reject create request with duplicated subscriptionId"

Reject create request with duplicated subscriptionId

Issue-ID: CPS-2184
Change-Id: I1bddb02239e6a2d3f47aa731eb24a9f1f64e63b5
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>
Signed-off-by: seanbeirne <sean.beirne@est.tech>

NcmpCloudEventBuilder refactoring

- Builder named as NcmpEvent and we have specialised method to build the
  NcmpEvent as cloud event now
- Introduced source as the builder default property

Issue-ID: CPS-2191
Change-Id: I51c571313091ce9a4d10f4e1af7423eee999cea8
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

[BUG] Make failed async task report failure on Kafka topic

- In event of async task timeout, error code 102
  (DMI_SERVICE_NOT_RESPONDING) is sent to client topic.
- In event of unexpected error (such as database unavailable),
  error code 108 (UNKNOWN_ERROR) is sent to client topic.
- The default timeouts have been adjusted so that the task
  timeout (60s) is longer than the HTTP and Database timeouts (30s),
  so that expected codes are returned.

Issue-ID: CPS-2186
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I84c3447a625e084c445ab2f5c01e2b32a0c971ac

Temporary dsiable Operation Too Large Exception

- settign limit to 50000 to efftively disable it
- ericsson is not ready and wil infrom us when it can be enabled again

Issue-ID: CPS-2164
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ib1a8308a20bd77fcba9c4c9fc94739d5dd731b1f

Fix build issue with subscription

Issue-ID: CPS-2164
Change-Id: I49a18df0927b5beff62a12f9bc2a2e8e486537c9
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Cm Subscription: Remove subscription method"

Cm Subscription: Remove subscription method

- method to remove a subscription Id from leaflist
- condition if subscription list is empty, remove subscription
  all together

Issue-ID: CPS-2164
Change-Id: Id694f441f9675fa9a048e3b824e1f02fae73f87e
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Handle Subscription Response from DMI"

Handle Subscription Response from DMI

Issue-ID: CPS-1972
Change-Id: Idb8ad14f06e365707404d099a4581282d4a0add9
Signed-off-by: seanbeirne <sean.beirne@est.tech>

Merge "Update depcrecated method in KafaConfig"

Update depcrecated method in KafaConfig

Issue-ID: CPS-2179
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I882746a68f2d32f07fbcfeeac1f45b9dbbb8c62e

Define a java based datastructure for DataJob and interface

- Defined java interface to handle datajob
- Defined all the modules needed to process data job request
- data jon response module id also defined
- dummy impl. of java interface

Issue-ID: CPS-2155
Change-Id: I20c7b621aa4bd40fe7758cb19b8720fc7cf5164c
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Introduce and handle Operation Too Large Exception for batch operations

Issue-ID: CPS-2164
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Iec05d2013be4f971309f0e75d84dc5d0936eb8ef

Document new NCMP Status Code: 112, message too large

- Updated RTD
- Added new value to relevant Enum (although not used in our code)

Issue-ID: CPS-2178
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: I4ba8c1622921919ae253a292d96307439ef20e2a

Add OpenSFF ScoreCard Action to GitHub

Issue-ID: CPS-2158
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Idf4f29756317591b616e776b750aca3340e428f1

Merge "Remove old committers from INFO.yaml"

Merge "Add integration tests of NCMP REST API"

Remove old committers from INFO.yaml

Issue-ID: CPS-1887
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ic147dc498307fa24ce5953ba39df0f4e3a2e6a13

Merge "Add moduleSetTag to the request towards dmi plugin"

Merge "Modify INFO.yaml for committer rights"

Add moduleSetTag to the request towards dmi plugin

    - mapping module set tag to DmiRequest

Issue-ID: CPS-2030
Change-Id: I487e48baf98919d3ff5e25d2428a065dd3a30335
Signed-off-by: leventecsanyi <levente.csanyi@est.tech>

Merge "[BUG] Mock DMI will respond to Health Checks during tests"

Bump CPS version

- bump cps to 3.4.8-SNAPSHOT
- also updated the release notes

Issue-ID: CPS-2168
Change-Id: Iee7f1e2febbf28b0d5a2855d3128d9eb8bb3c490
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Container YAML for CPS

- added container yaml for cps 3.4.7

Issue-ID: CPS-2168
Change-Id: Ieb3afc2eb7f62e20bedef28cd5da3a2e7731bfa0
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Maven stage yaml for 3.4.7

- added maven stage yaml to release CPS 3.4.7 version

Issue-ID: CPS-2168
Change-Id: Id139fcf1c19acb2ffdd0a9e39066dc961158159b
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Release notes for 3.4.7 CPS

 - updated release notes for CPS 3.4.7 version

Issue-ID: CPS-2168
Change-Id: I3a6689234e63db301787d49a5c76063c0b6203ae
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Uplift Spring boot 3.2.4"

Uplift Spring boot 3.2.4

- uplifted spring boot from 3.1.2 to 3.2.4
- removed redundant dependencies
- upgraded relevant dependencies
- use of @Bean(some_name) is give a specific bean name
- using @Bean(some_name) with @Qualifier so on the injection point to specify which bean to actually inject, this is used as we deal with multiple beans of the same type.

Issue-ID: CPS-2101
Change-Id: I64d5bf567b9eb03fb39034a46528d0160b332715
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Add integration tests of NCMP REST API

Add some tests using MockMvc of NCMP REST API:
- CM handle registration
- CM handle ID searches
- CM handle deregistration

Issue-ID: CPS-2033
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I493aca8c3f8c263f5a50f6a2c66e317b9a6e08aa

[BUG] Mock DMI will respond to Health Checks during tests

Health Check for DMI is sometimes running during integration tests,
causing the mockDmiServer to fail due to unexpected Rest requests.
As a fix, the mock DMI will respond to health checks.

Issue-ID: CPS-2167
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie4a0059583e66dfcc00e1aa998671a662ccf053a

Modify INFO.yaml for committer rights

Issue-ID: CPS-1887
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ibe95eaf58679fc4c2d7486f1402d922d1264b450

Merge "Scheduled task for Subscription Response"

Fix code smell

- change string to formatted

Issue-ID: CPS-475
Change-Id: I59271c63f244c4d6684b145b1afe2356668e6fd8
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Scheduled task for Subscription Response

- Need to send the response back to the client in max 30 secs
- Also have the capability to send the response right away
- Testware added for the same
- Also added code to cancel the scheduled task
- Added state for cancelling the task

Issue-ID: CPS-2140
Change-Id: I3ab321d8221cd8f697c26be46d2e63d89b360923
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Condense Liquibase steps"

Condense Liquibase steps

Change-Id: I1493f49bb93c359df3ff7d4f928f9a94fb8b2604
Signed-off-by: david.mcweeney <david.mcweeney@est.tech>
Issue-ID: CPS-2061

Merge "Code review cleanup for: Add kafka messaging support to integration test module"

Code review cleanup for: Add kafka messaging support to integration test module

- Address code review on commit which already merged
  https://gerrit.onap.org/r/c/cps/+/137496

Issue-ID: CPS-2152

Change-Id: I7a46dd08c919227c37fdeacf4763d0ab364c88c1
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Save new cm notification subscription"

Save new cm notification subscription

Issue-ID: CPS-2043
Change-Id: If1c066a7d1c1f7e1c154714fe06f2566b727634c
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Add kafka messaging support to integration test module"

Merge "Update deployment docs for Postgres shared_buffers value"

Add kafka messaging support to integration test module

- add ncmp test using kafka to integration test suite

Issue-ID: CPS-2152

Change-Id: Ia486bbcf1590ecf3ec6cbc2f513b74d55e4d6a31
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Merge "Fix SonarQube warnings"

Update deployment docs for Postgres shared_buffers value

- update deployment.rst to include info on Postgres shared_buffers

Issue-ID: CPS-2156
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ia6e896e066227477a4824c03336de270800698d2

Fix SonarQube warnings

targetted:
- Introduced CmResourceAddress (name agreed with Daniel and Priyank)
- Extracted out private method in AltenateIdChecker to reduce complexity
side effects:
- use 'record' java feature as suggested by ItelliJ
- had to uprade spotbugs version to avoid incorrect warning on 'record' equeals method
- convention: added missing 'asserts' in affected testware
- my preference: removed a lot of unnecessary linebreaks in affected testware
- removed redunfant (variation) of a 'delegation' test

Issue-ID: CPS-475
Signed-off-by: ToineSiebelink <toine.siebelink@est.tech>
Change-Id: Ie0c9d5ebc33196ae14ed6c226843095a2a040d1d

Set Postgres shared_buffers in docker-compose

By default, Postgres uses value of 128MB for shared_buffers,
regardless of available memory. It is recommended to use
between 25% and 40% of memory for shared_buffers in Postgres.
Current value can be checked in SQL using 'SHOW shared_buffers'.

Issue-ID: CPS-2156
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib20502f159f005ba941f39758555551f447d2b67

Configure Hazelcast to have 1 backup to reduce memory

Currently Hazelcast is configured to have 3 synchronous backups
and 3 asynchronous backups. These are separate, meaning there will
be 7 copies in the cluster (1 original + 3 sync + 3 async backups).
Even if only 1 instance of CPS/NCMP is running, it will have 7 copies
in memory.

Given that CPS/NCMP is typically only deployed using 1 or 2 instances,
the settings are changed to 1 synchronous backup (same as Hazelcast's
default configuration). This change has been tested and shown to reduce
heap usage by around 100MB during 20K CM-handle registration.

Issue-ID: CPS-2146
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4a5f6d83bc35e2c13cfb32002e38dc365da34c8e

Merge "[Bug] Removing inner TaskExecutor to call DMI"

Merge "Performance tests of alternate-id/module-set-tag lookup"

[Bug] Removing inner TaskExecutor to call DMI

- Removing TaskExecutor from cps-ncmp-service package as anyways the
  call coming over from the cps-ncmp-rest layer is managed by a
  different thread executor(CpsNcmpTaskExecutor)
- Provided 60secs timeout value.
- Spawning new thread from a different executor might not be needed
- Removing @Async from a non spring managed method as its of no use

Issue-ID: CPS-2150
Change-Id: Ic99632983aff2c40df81421d782cf98ec600fc41
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Modify lcm events to include dataProducerIdentifier and moduleSetTag (CPS-1964 3)

Issue-ID: CPS-2114
Change-Id: I52ae18fe849801706491742818b316df9f8cb554
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>

Modify the get cmHandle api to return dataProducerIdentifier, moduleSetTag, and alternateId (CPS-1964 2)

Issue-ID: CPS-2113
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I672e5c8408e77a5fa15d6fc2f41438aca705484c

Provide support for data producer identifier during registration (CPS-1964 1)

- Added support for the dataProducerIdentifier to be added,
and updated from blank to something once
- The dataProducerIdentifier is persisted in the DB

Issue-ID: CPS-2105
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>
Change-Id: I1c230be8f9402154a761e8c2ba4d8a6331965b3c

Performance tests of alternate-id/module-set-tag lookup

- Add some tests of CPS get/query operations comparing
  look up of cm-handle id vs alternate-id
- Add test of querying all CM handles by module-set-tag
- Test accuracy is improved by performing warmup operations
  (reported results are faster with more warmup iterations)

Issue-ID: CPS-2087
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I4214e157ccf93f751c69b8a17d55f4185749ca90

Mapper to form CmNotificationSubscriptionNcmpOutEvent

- mapper to be used in the subsequent patches
- test case to support the mapping of
  CmNotificationSubscriptionNcmpOutEvent

Issue-ID: CPS-2147
Change-Id: I7f0be81941b774a27ddc343ed304a68c23796a60
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Advance DMI Stub to change module set (tags) used by cm handle"

Merge "Test of retry of failed module sync"

Advance DMI Stub to change module set (tags) used by cm handle

- Renamed json response file name based on module set tag into Dmi plugin stub.
- Added in memory map to hold the information of cm handle per
  module set tag int dmi plugin stub.
- Exposed a REST api to perform diff. operations on memory map to replicate dmi plugin stub.

Issue-ID: CPS-2079
Change-Id: I7818fa4c47be9a02068976fd116a1dbc36b134ef
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Merge "Log all incoming HTTP requests to NCMP with Authorization Header"

Merge "Update postman collection to utilize newest yang files"

Merge "Error reporting when registering cm handle with alternate id 2 - update scenario"

Error reporting when registering cm handle with alternate id 2 - update scenario

    - added error collection to cmhandle update

Issue-ID: CPS-2109
Change-Id: I751cad7c35ec53e914888760dd66eb52054da36e
Signed-off-by: halil.cakal <halil.cakal@est.tech>

Integration test of Bearer Token pass-through (CPS-2126 #5)

This covers REST endpoints of GET, POST, PUT, PATCH, DELETE
of /ncmp/v1/ch/{cmHandleId}/data/ds/{datastoreName}
and the async REST endpoint of POST /ncmp/v1/data

It verifies that:
- bearer token is passed from NCMP to DMI
- basic auth header is not passed from NCMP to DMI

Issue-ID: CPS-2137
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ie4761a848904175a9d8cd5b917817e85f5b69813

Bump CPS to 3.4.7-SNAPSHOT

- bump cps to 3.4.7-snapshot
- updated the relese notes

Issue-ID: CPS-2135
Change-Id: Ib166ebae2e3de9a727b3d0d4d21832c8858f4108
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Add container yaml for release"

Add container yaml for release

- add container yaml to relase CPS 3.4.6 version

Issue-ID: CPS-2135
Change-Id: Iabf6b3de1e29c894e95bb5659c0a357dd9876991
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add maven stage yaml

- maven stage yaml to release 3.4.6 version of CPS

Issue-ID: CPS-2135
Change-Id: Icce73ceece62c889596bd757abe74844cd2f9531
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Merge "Release notes added for 3.4.6"

Add bearer token to NCMP async batch data passthrough (CPS-2126 #4)

Async processing was not passing bearer token.

Issue-ID: CPS-2128
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I75da35cce555c49cca638b68f106a9daba79c24a

Release notes added for 3.4.6

- added the release notes and openapi documentation

Issue-ID: CPS-2135
Change-Id: Ib224353ca5a529b6788ecb67c6432b806acdf557
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Update postman collection to utilize newest yang files

Issue-ID: CPS-2054
Change-Id: Id7aec68922157b1e662418de880742114b6ccc9e
Signed-off-by: JvD_Ericsson <jeff.van.dam@est.tech>

Add bearer token to NCMP passthrough operations (CPS-2126 #2)

For NCMP resource data passthrough operations, accept an
authorization header and propagate it to outgoing DMI request
if it has a bearer token, otherwise use same behaviour as before

Issue-ID: CPS-2128
Change-Id: Ib3bf401abce4221a8b706989fb6f07618aa33fe2
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>

Merge "Remove Http Status 401 for cps core and NCMP(CPS-2126 #3)"

Remove Http Status 401 for cps core and NCMP(CPS-2126 #3)

- Removing Unauthorized Http Status code 401 from the repo for CPS-Core
  and NCMP

Issue-ID: CPS-2134
Change-Id: I535156fa30dd4292ad390177c217ddb3e8942d34
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Disable Spring Security and HTTP Basic Auth (CPS-2126 #1)

This allows any authorization header to be passed in.

Issue-ID: CPS-2127
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: Ib1c5bd7024eed39afd1ae6e19325ed4733c853d4

Revert Spring Boot Uplift

- reverting back to spring 3.1.2
- manual changes to revert as other apps not fully ready for the
  delivery

Issue-ID: CPS-2133
Change-Id: I670b67916fa4a5d4e5bced6548b7fcd5ee12e855
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Log all incoming HTTP requests to NCMP with Authorization Header

- Enabled configuration to log NCMP request header and payload.
- Enabled the DEBUG level log into application.yml.

Issue-ID: CPS-2131

Change-Id: I458b1148894b8f460b013f0fa93032231ac47938
Signed-off-by: sourabh_sourabh <sourabh.sourabh@est.tech>

Bump CPS to 3.4.6-SNAPSHOT

- bumping CPS to 3.4.6-SNAPSHOT
- updated the release notes

Issue-ID: CPS-2124
Change-Id: Id28af9340da9c1ce118b2122e97b8717860c7932
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add maven container yaml

- maven container yaml for the cps 3.4.5 release

Issue-ID: CPS-2124
Change-Id: I185562247b39b7eed0f489be2f1cabd432a53a9b
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Add maven stage yaml

- maven stage yaml for 3.4.5 version of CPS

Issue-ID: CPS-2124
Change-Id: I61aadcf6400ba47ee511b4da1e324909473d6860
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

Test of retry of failed module sync

A new integration test verifies that LOCKED handles that failed
module sync will be retried after a few minutes.

Issue-ID: CPS-2033
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: If194daeb315090f2710a017270875b6301f7140a

Release notes update

- Added the spring boot uplift ticket

Issue-ID: CPS-2124
Change-Id: I55b1e246d5bce92ed0a34deb19afe4903db4a7bc
Signed-off-by: mpriyank <priyank.maheshwari@est.tech>

update link to upper-constraints.txt

Issue-ID: DOC-823

Change-Id: I797b8e1058e8afe511bb9b140c75c887728ba311
Signed-off-by: thmsdt <thomas.kulik@telekom.de>

Merge "Populate cmSubscription cache"

Merge "Create shared postman collections"

Merge "Add passthrough read operation (synchronous) to DMI stub"

Populate cmSubscription cache

       - Create subscription cache handler
       - Add unit tests

Issue-ID: CPS-2025
Change-Id: I54d505369a8429d6f6a87a2af0b169f9530622c3
Signed-off-by: emaclee <lee.anjella.macabuhay@est.tech>

Merge "Get Subscription Delta"

Merge "Limit max connections in DMI stub"

Merge "Use default values for timers in docker-compose"

Add passthrough read operation (synchronous) to DMI stub

- Implement DMI stub endpoint needed for for NCMP passthrough data
  operation, returning a fixed JSON response and adding delay.
    POST /dmi/v1/ch/{cmHandleId}/data/ds/{datastoreName}
- Add script to measure average overhead for many requests

Test results indicate the NCMP adds up to 150ms per request.

Issue-ID: CPS-2099
Signed-off-by: danielhanrahan <daniel.hanrahan@est.tech>
Change-Id: I2aba8285f8a52f3570fc1699a8687caffa9d9c77

Merge "Remove subscriptionModelLoader flag"

Merge "Uplift Spring Boot to 3.2.2"

Merge "Add health check endpoint to DMI stub"