cps-ri/src/test/groovy/org/onap/cps/spi/performance/CpsDataPersistenceServicePerfTest.groovy

   1 /*
   2  *  ============LICENSE_START=======================================================
   3  *  Copyright (C) 2022 Nordix Foundation
   4  *  ================================================================================
   5  *  Licensed under the Apache License, Version 2.0 (the "License");
   6  *  you may not use this file except in compliance with the License.
   7  *  You may obtain a copy of the License at
   8  *
   9  *        http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  *  Unless required by applicable law or agreed to in writing, software
  12  *  distributed under the License is distributed on an "AS IS" BASIS,
  13  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  *  See the License for the specific language governing permissions and
  15  *  limitations under the License.
  16  *
  17  *  SPDX-License-Identifier: Apache-2.0
  18  *  ============LICENSE_END=========================================================
  19  */
  20
  21 package org.onap.cps.spi.performance
  22
  23 import org.springframework.util.StopWatch
  24 import org.onap.cps.spi.CpsDataPersistenceService
  25 import org.onap.cps.spi.impl.CpsPersistenceSpecBase
  26 import org.onap.cps.spi.model.DataNode
  27 import org.onap.cps.spi.model.DataNodeBuilder
  28 import org.onap.cps.spi.repository.AnchorRepository
  29 import org.onap.cps.spi.repository.DataspaceRepository
  30 import org.onap.cps.spi.repository.FragmentRepository
  31 import org.springframework.beans.factory.annotation.Autowired
  32 import org.springframework.test.context.jdbc.Sql
  33
  34 import java.util.concurrent.TimeUnit
  35
  36 import static org.onap.cps.spi.FetchDescendantsOption.INCLUDE_ALL_DESCENDANTS
  37 import static org.onap.cps.spi.FetchDescendantsOption.OMIT_DESCENDANTS
  38
  39 class CpsDataPersistenceServicePerfTest extends CpsPersistenceSpecBase {
  40
  41     static final String PERF_TEST_DATA = '/data/perf-test.sql'
  42
  43     @Autowired
  44     CpsDataPersistenceService objectUnderTest
  45
  46     @Autowired
  47     DataspaceRepository dataspaceRepository
  48
  49     @Autowired
  50     AnchorRepository anchorRepository
  51
  52     @Autowired
  53     FragmentRepository fragmentRepository
  54
  55     static def PERF_TEST_PARENT = '/perf-parent-1'
  56     static def NUMBER_OF_CHILDREN = 200
  57     static def NUMBER_OF_GRAND_CHILDREN = 50
  58     static def TOTAL_NUMBER_OF_NODES = 1 + NUMBER_OF_CHILDREN + (NUMBER_OF_CHILDREN * NUMBER_OF_GRAND_CHILDREN)  //  Parent + Children +  Grand-children
  59     static def ALLOWED_SETUP_TIME_MS = TimeUnit.SECONDS.toMillis(10)
  60     static def ALLOWED_READ_TIME_AL_NODES_MS = 500
  61
  62     def stopWatch = new StopWatch()
  63     def readStopWatch = new StopWatch()
  64     static def xpathsToAllGrandChildren = []
  65
  66     @Sql([CLEAR_DATA, PERF_TEST_DATA])
  67     def 'Create a node with many descendants (please note, subsequent tests depend on this running first).'() {
  68         given: 'a node with a large number of descendants is created'
  69             stopWatch.start()
  70             createLineage()
  71             stopWatch.stop()
  72             def setupDurationInMillis = stopWatch.getTotalTimeMillis()
  73         and: 'setup duration is under #ALLOWED_SETUP_TIME_MS milliseconds'
  74             assert setupDurationInMillis < ALLOWED_SETUP_TIME_MS
  75     }
  76
  77     def 'Get data node with many descendants by xpath #scenario'() {
  78         when: 'get parent is executed with all descendants'
  79             stopWatch.start()
  80             def result = objectUnderTest.getDataNode('PERF-DATASPACE', 'PERF-ANCHOR', xpath, INCLUDE_ALL_DESCENDANTS)
  81             stopWatch.stop()
  82             def readDurationInMillis = stopWatch.getTotalTimeMillis()
  83         then: 'read duration is under 500 milliseconds'
  84             assert readDurationInMillis < ALLOWED_READ_TIME_AL_NODES_MS
  85         and: 'data node is returned with all the descendants populated'
  86             assert countDataNodes(result) == TOTAL_NUMBER_OF_NODES
  87         where: 'the following xPaths are used'
  88             scenario || xpath
  89             'parent' || PERF_TEST_PARENT
  90             'root'   || ''
  91     }
  92
  93     def 'Query parent data node with many descendants by cps-path'() {
  94         when: 'query is executed with all descendants'
  95             stopWatch.start()
  96             def result = objectUnderTest.queryDataNodes('PERF-DATASPACE', 'PERF-ANCHOR', '//perf-parent-1' , INCLUDE_ALL_DESCENDANTS)
  97             stopWatch.stop()
  98             def readDurationInMillis = stopWatch.getTotalTimeMillis()
  99         then: 'read duration is under 500 milliseconds'
 100             assert readDurationInMillis < ALLOWED_READ_TIME_AL_NODES_MS
 101         and: 'data node is returned with all the descendants populated'
 102             assert countDataNodes(result) == TOTAL_NUMBER_OF_NODES
 103     }
 104
 105     def 'Performance of finding multiple xpaths'() {
 106         when: 'we query for all grandchildren (except 1 for fun) with the new native method'
 107             xpathsToAllGrandChildren.remove(0)
 108             readStopWatch.start()
 109             def result = objectUnderTest.getDataNodes('PERF-DATASPACE', 'PERF-ANCHOR', xpathsToAllGrandChildren, INCLUDE_ALL_DESCENDANTS)
 110             readStopWatch.stop()
 111             def readDurationInMillis = readStopWatch.getTotalTimeMillis()
 112         then: 'the returned number of entities equal to the number of children * number of grandchildren'
 113             assert result.size() == xpathsToAllGrandChildren.size()
 114         and: 'it took less then 4000ms'
 115             assert readDurationInMillis < 4000
 116     }
 117
 118     def 'Query many descendants by cps-path with #scenario'() {
 119         when: 'query is executed with all descendants'
 120             stopWatch.start()
 121             def result = objectUnderTest.queryDataNodes('PERF-DATASPACE', 'PERF-ANCHOR',  '//perf-test-grand-child-1', descendantsOption)
 122             stopWatch.stop()
 123             def readDurationInMillis = stopWatch.getTotalTimeMillis()
 124         then: 'read duration is under 500 milliseconds'
 125             assert readDurationInMillis < alowedDuration
 126         and: 'data node is returned with all the descendants populated'
 127             assert result.size() == NUMBER_OF_CHILDREN
 128         where: 'the following options are used'
 129             scenario                                        | descendantsOption        || alowedDuration
 130             'omit descendants                             ' | OMIT_DESCENDANTS         || 150
 131             'include descendants (although there are none)' | INCLUDE_ALL_DESCENDANTS  || 150
 132     }
 133
 134     def 'Delete 50 grandchildren (that have no descendants)'() {
 135         when: 'target nodes are deleted'
 136             stopWatch.start()
 137             (1..NUMBER_OF_GRAND_CHILDREN).each {
 138                 def grandchildPath = "${PERF_TEST_PARENT}/perf-test-child-1/perf-test-grand-child-${it}".toString();
 139                 objectUnderTest.deleteDataNode('PERF-DATASPACE', 'PERF-ANCHOR', grandchildPath)
 140             }
 141             stopWatch.stop()
 142             def deleteDurationInMillis = stopWatch.getTotalTimeMillis()
 143         then: 'delete duration is under 1000 milliseconds'
 144             assert deleteDurationInMillis < 1000
 145     }
 146
 147     def 'Delete 5 children with grandchildren'() {
 148         when: 'child nodes are deleted'
 149             stopWatch.start()
 150             (1..5).each {
 151                 def childPath = "${PERF_TEST_PARENT}/perf-test-child-${it}".toString();
 152                 objectUnderTest.deleteDataNode('PERF-DATASPACE', 'PERF-ANCHOR', childPath)
 153             }
 154             stopWatch.stop()
 155             def deleteDurationInMillis = stopWatch.getTotalTimeMillis()
 156         then: 'delete duration is under 10000 milliseconds'
 157             assert deleteDurationInMillis < 10000
 158     }
 159
 160     def 'Delete 1 large data node with many descendants'() {
 161         when: 'parent node is deleted'
 162             stopWatch.start()
 163             objectUnderTest.deleteDataNode('PERF-DATASPACE', 'PERF-ANCHOR', PERF_TEST_PARENT)
 164             stopWatch.stop()
 165             def deleteDurationInMillis = stopWatch.getTotalTimeMillis()
 166         then: 'delete duration is under 5000 milliseconds'
 167             assert deleteDurationInMillis < 5000
 168     }
 169
 170     def createLineage() {
 171         (1..NUMBER_OF_CHILDREN).each {
 172             def childName = "perf-test-child-${it}".toString()
 173             def child = goForthAndMultiply(PERF_TEST_PARENT, childName)
 174             objectUnderTest.addChildDataNode('PERF-DATASPACE', 'PERF-ANCHOR', PERF_TEST_PARENT, child)
 175         }
 176     }
 177
 178     def goForthAndMultiply(parentXpath, childName) {
 179         def grandChildren = []
 180         (1..NUMBER_OF_GRAND_CHILDREN).each {
 181             def grandChild = new DataNodeBuilder().withXpath("${parentXpath}/${childName}/perf-test-grand-child-${it}").build()
 182             xpathsToAllGrandChildren.add(grandChild.xpath)
 183             grandChildren.add(grandChild)
 184         }
 185         return new DataNodeBuilder().withXpath("${parentXpath}/${childName}").withChildDataNodes(grandChildren).build()
 186     }
 187
 188     def countDataNodes(dataNodes) {
 189         int nodeCount = 1
 190         for (DataNode parent : dataNodes) {
 191             for (DataNode child : parent.childDataNodes) {
 192                 nodeCount = nodeCount + (countDataNodes(child))
 193             }
 194         }
 195         return nodeCount
 196     }
 197 }