models-provider/src/test/java/org/onap/policy/models/provider/impl/PolicyToscaPersistenceTest.java

   1 /*-
   2  * ============LICENSE_START=======================================================
   3  *  Copyright (C) 2019-2020 Nordix Foundation.
   4  * ================================================================================
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at
   8  *
   9  *      http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  *
  17  * SPDX-License-Identifier: Apache-2.0
  18  * ============LICENSE_END=========================================================
  19  */
  20
  21 package org.onap.policy.models.provider.impl;
  22
  23 import static org.junit.Assert.assertEquals;
  24 import static org.junit.Assert.assertNotNull;
  25
  26 import java.net.URISyntaxException;
  27 import java.util.Base64;
  28 import java.util.LinkedHashMap;
  29 import java.util.List;
  30 import java.util.Map;
  31 import java.util.Set;
  32
  33 import lombok.NonNull;
  34
  35 import org.junit.After;
  36 import org.junit.Before;
  37 import org.junit.Test;
  38 import org.onap.policy.common.utils.coder.CoderException;
  39 import org.onap.policy.common.utils.coder.StandardCoder;
  40 import org.onap.policy.common.utils.coder.YamlJsonTranslator;
  41 import org.onap.policy.common.utils.resources.ResourceUtils;
  42 import org.onap.policy.models.base.PfModelException;
  43 import org.onap.policy.models.provider.PolicyModelsProvider;
  44 import org.onap.policy.models.provider.PolicyModelsProviderFactory;
  45 import org.onap.policy.models.provider.PolicyModelsProviderParameters;
  46 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicy;
  47 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicyFilter;
  48 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicyTypeFilter;
  49 import org.onap.policy.models.tosca.authorative.concepts.ToscaServiceTemplate;
  50 import org.slf4j.Logger;
  51 import org.slf4j.LoggerFactory;
  52
  53 /**
  54  * Test persistence of monitoring policies to and from the database.
  55  *
  56  * @author Liam Fallon (liam.fallon@est.tech)
  57  */
  58 public class PolicyToscaPersistenceTest {
  59     private static final Logger LOGGER = LoggerFactory.getLogger(PolicyToscaPersistenceTest.class);
  60
  61     private YamlJsonTranslator yamlJsonTranslator = new YamlJsonTranslator();
  62     private StandardCoder standardCoder = new StandardCoder();
  63
  64     private PolicyModelsProvider databaseProvider;
  65
  66     /**
  67      * Initialize provider.
  68      *
  69      * @throws PfModelException on exceptions in the tests
  70      * @throws CoderException on JSON encoding and decoding errors
  71      */
  72     @Before
  73     public void setupParameters() throws Exception {
  74         // H2, use "org.mariadb.jdbc.Driver" and "jdbc:mariadb://localhost:3306/policy" for locally installed MariaDB
  75
  76         PolicyModelsProviderParameters parameters = new PolicyModelsProviderParameters();
  77         parameters.setDatabaseDriver("org.h2.Driver");
  78         parameters.setDatabaseUrl("jdbc:h2:mem:testdb");
  79         parameters.setDatabaseUser("policy");
  80         parameters.setDatabasePassword(Base64.getEncoder().encodeToString("P01icY".getBytes()));
  81         parameters.setPersistenceUnit("ToscaConceptTest");
  82
  83         databaseProvider = new PolicyModelsProviderFactory().createPolicyModelsProvider(parameters);
  84
  85         createPolicyTypes();
  86     }
  87
  88     @After
  89     public void teardown() throws Exception {
  90         databaseProvider.close();
  91     }
  92
  93     @Test
  94     public void testToscaPolicyPersistence() throws Exception {
  95         Set<String> policyResources = ResourceUtils.getDirectoryContents("policies");
  96
  97         for (String policyResource : policyResources) {
  98             if (!policyResource.contains("\\.tosca\\.")) {
  99                 continue;
 100             }
 101
 102             String policyString = ResourceUtils.getResourceAsString(policyResource);
 103
 104             if (policyResource.endsWith("yaml")) {
 105                 testPolicyPersistence(yamlJsonTranslator.fromYaml(policyString, ToscaServiceTemplate.class));
 106             } else {
 107                 testPolicyPersistence(standardCoder.decode(policyString, ToscaServiceTemplate.class));
 108             }
 109         }
 110     }
 111
 112     @Test
 113     public void testHpaPolicyTypeGet() throws PfModelException {
 114         long getStartTime = System.currentTimeMillis();
 115         ToscaServiceTemplate hpaServiceTemplate =
 116             databaseProvider.getPolicyTypes("onap.policies.optimization.resource.HpaPolicy", "1.0.0");
 117         LOGGER.trace("HPA policy normal get time (ms): {}", System.currentTimeMillis() - getStartTime);
 118
 119         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 120         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 121
 122         getStartTime = System.currentTimeMillis();
 123         ToscaPolicyTypeFilter hpaFilter = ToscaPolicyTypeFilter.builder()
 124             .name("onap.policies.optimization.resource.HpaPolicy").version("1.0.0").build();
 125         hpaServiceTemplate = databaseProvider.getFilteredPolicyTypes(hpaFilter);
 126         LOGGER.trace("HPA policy filter name version get time (ms): {}", System.currentTimeMillis() - getStartTime);
 127
 128         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 129         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 130
 131         getStartTime = System.currentTimeMillis();
 132         hpaFilter = ToscaPolicyTypeFilter.builder().name("onap.policies.optimization.resource.HpaPolicy").build();
 133         hpaServiceTemplate = databaseProvider.getFilteredPolicyTypes(hpaFilter);
 134         LOGGER.trace("HPA policy filter name only get time (ms): {}", System.currentTimeMillis() - getStartTime);
 135
 136         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 137         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 138     }
 139
 140     @Test
 141     public void testNamingPolicyGet() throws PfModelException {
 142         String policyYamlString = ResourceUtils.getResourceAsString("policies/sdnc.policy.naming.input.tosca.yaml");
 143         ToscaServiceTemplate serviceTemplate =
 144             yamlJsonTranslator.fromYaml(policyYamlString, ToscaServiceTemplate.class);
 145
 146         long createStartTime = System.currentTimeMillis();
 147         databaseProvider.createPolicies(serviceTemplate);
 148         LOGGER.trace("Naming policy create time (ms): {}", System.currentTimeMillis() - createStartTime);
 149
 150         long getStartTime = System.currentTimeMillis();
 151         ToscaServiceTemplate namingServiceTemplate =
 152             databaseProvider.getPolicies("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", "1.0.0");
 153         LOGGER.trace("Naming policy normal get time (ms): {}", System.currentTimeMillis() - getStartTime);
 154
 155         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 156         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 157         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 158
 159         getStartTime = System.currentTimeMillis();
 160         ToscaPolicyFilter filter =
 161             ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").version("1.0.0").build();
 162         namingServiceTemplate = databaseProvider.getFilteredPolicies(filter);
 163         LOGGER.trace("Naming policy filtered get time (ms): {}", System.currentTimeMillis() - getStartTime);
 164
 165         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 166         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 167         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 168
 169         getStartTime = System.currentTimeMillis();
 170         filter = ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").build();
 171         namingServiceTemplate = databaseProvider.getFilteredPolicies(filter);
 172         LOGGER.trace("Naming policy filtered name only get time (ms): {}", System.currentTimeMillis() - getStartTime);
 173
 174         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 175         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 176         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 177
 178         long deleteStartTime = System.currentTimeMillis();
 179         databaseProvider.deletePolicy("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", "1.0.0");
 180         LOGGER.trace("Naming policy delete time (ms): {}", System.currentTimeMillis() - deleteStartTime);
 181     }
 182
 183     @Test
 184     public void testNamingPolicyVersions() throws PfModelException {
 185         String policyYamlString = ResourceUtils.getResourceAsString("policies/sdnc.policy.naming.input.tosca.yaml");
 186         ToscaServiceTemplate serviceTemplate =
 187             yamlJsonTranslator.fromYaml(policyYamlString, ToscaServiceTemplate.class);
 188
 189         // Create policy types and data types
 190         List<Map<String, ToscaPolicy>> policyMapList = serviceTemplate.getToscaTopologyTemplate().getPolicies();
 191         databaseProvider.createPolicies(serviceTemplate);
 192
 193         // Clear the policy map list so we start from afresh with versions
 194         ToscaPolicy namingPolicy = policyMapList.get(0).values().iterator().next();
 195         policyMapList.clear();
 196
 197         // Create 21 more versions of the policy
 198         for (int i = 2; i < 22; i++) {
 199             ToscaPolicy clonedNamingPolicy = new ToscaPolicy(namingPolicy);
 200             clonedNamingPolicy.setVersion(i + ".0.0");
 201             Map<String, ToscaPolicy> policyMap = new LinkedHashMap<>(1);
 202             policyMap.put(clonedNamingPolicy.getName(), clonedNamingPolicy);
 203             policyMapList.add(policyMap);
 204         }
 205
 206         databaseProvider.createPolicies(serviceTemplate);
 207
 208         for (int i = 1; i < 22; i++) {
 209             ToscaServiceTemplate namingServiceTemplate =
 210                 databaseProvider.getPolicies("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", i + ".0.0");
 211             assertEquals(i + ".0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values()
 212                 .iterator().next().getVersion());
 213
 214             ToscaPolicyFilter policyFilter =
 215                 ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").version(i + ".0.0").build();
 216             namingServiceTemplate = databaseProvider.getFilteredPolicies(policyFilter);
 217             assertEquals(i + ".0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values()
 218                 .iterator().next().getVersion());
 219         }
 220
 221         ToscaPolicyFilter policyFilter = ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP")
 222             .version(ToscaPolicyFilter.LATEST_VERSION).build();
 223         ToscaServiceTemplate namingServiceTemplate = databaseProvider.getFilteredPolicies(policyFilter);
 224         assertEquals("21.0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values().iterator()
 225             .next().getVersion());
 226
 227         for (int i = 1; i < 22; i++) {
 228             databaseProvider.deletePolicy("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", i + ".0.0");
 229         }
 230     }
 231
 232     /**
 233      * Check persistence of a policy.
 234      *
 235      * @param serviceTemplate the service template containing the policy
 236      * @throws Exception any exception thrown
 237      */
 238     public void testPolicyPersistence(@NonNull final ToscaServiceTemplate serviceTemplate) throws Exception {
 239         assertNotNull(serviceTemplate);
 240
 241         databaseProvider.createPolicies(serviceTemplate);
 242         databaseProvider.updatePolicies(serviceTemplate);
 243
 244         for (Map<String, ToscaPolicy> policyMap : serviceTemplate.getToscaTopologyTemplate().getPolicies()) {
 245             for (ToscaPolicy policy : policyMap.values()) {
 246                 ToscaServiceTemplate gotToscaServiceTemplate =
 247                     databaseProvider.getPolicies(policy.getName(), policy.getVersion());
 248
 249                 assertEquals(policy.getType(), gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0)
 250                     .get(policy.getName()).getType());
 251
 252                 gotToscaServiceTemplate = databaseProvider.getFilteredPolicies(ToscaPolicyFilter.builder().build());
 253
 254                 assertEquals(policy.getType(),
 255                     getToscaPolicyFromMapList(gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies(),
 256                         policy.getName()).getType());
 257
 258                 gotToscaServiceTemplate = databaseProvider.getFilteredPolicies(
 259                     ToscaPolicyFilter.builder().name(policy.getName()).version(policy.getVersion()).build());
 260
 261                 assertEquals(policy.getType(), gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0)
 262                     .get(policy.getName()).getType());
 263             }
 264         }
 265     }
 266
 267     private ToscaPolicy getToscaPolicyFromMapList(List<Map<String, ToscaPolicy>> toscaPolicyMapList,
 268         String policyName) {
 269         ToscaPolicy toscaPolicy = new ToscaPolicy();
 270         for (Map<String, ToscaPolicy> policyMap : toscaPolicyMapList) {
 271             toscaPolicy = policyMap.get(policyName);
 272             if (toscaPolicy != null) {
 273                 break;
 274             }
 275         }
 276         return toscaPolicy;
 277     }
 278
 279     private void createPolicyTypes() throws CoderException, PfModelException, URISyntaxException {
 280         Set<String> policyTypeResources = ResourceUtils.getDirectoryContents("policytypes");
 281
 282         for (String policyTypeResource : policyTypeResources) {
 283             String policyTypeYamlString = ResourceUtils.getResourceAsString(policyTypeResource);
 284             ToscaServiceTemplate toscaServiceTemplatePolicyType =
 285                 yamlJsonTranslator.fromYaml(policyTypeYamlString, ToscaServiceTemplate.class);
 286
 287             assertNotNull(toscaServiceTemplatePolicyType);
 288             databaseProvider.createPolicyTypes(toscaServiceTemplatePolicyType);
 289         }
 290     }
 291 }