models-provider/src/test/java/org/onap/policy/models/provider/impl/PolicyToscaPersistenceTest.java

   1 /*-
   2  * ============LICENSE_START=======================================================
   3  *  Copyright (C) 2019-2020 Nordix Foundation.
   4  * ================================================================================
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at
   8  *
   9  *      http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  *
  17  * SPDX-License-Identifier: Apache-2.0
  18  * ============LICENSE_END=========================================================
  19  */
  20
  21 package org.onap.policy.models.provider.impl;
  22
  23 import static org.assertj.core.api.Assertions.assertThatCode;
  24 import static org.junit.Assert.assertEquals;
  25 import static org.junit.Assert.assertNotNull;
  26
  27 import java.net.URISyntaxException;
  28 import java.util.Base64;
  29 import java.util.LinkedHashMap;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Set;
  33 import java.util.concurrent.CountDownLatch;
  34 import java.util.concurrent.TimeUnit;
  35
  36 import lombok.NonNull;
  37
  38 import org.junit.After;
  39 import org.junit.Before;
  40 import org.junit.Test;
  41 import org.onap.policy.common.utils.coder.CoderException;
  42 import org.onap.policy.common.utils.coder.StandardCoder;
  43 import org.onap.policy.common.utils.coder.YamlJsonTranslator;
  44 import org.onap.policy.common.utils.resources.ResourceUtils;
  45 import org.onap.policy.models.base.PfModelException;
  46 import org.onap.policy.models.provider.PolicyModelsProvider;
  47 import org.onap.policy.models.provider.PolicyModelsProviderFactory;
  48 import org.onap.policy.models.provider.PolicyModelsProviderParameters;
  49 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicy;
  50 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicyFilter;
  51 import org.onap.policy.models.tosca.authorative.concepts.ToscaPolicyTypeFilter;
  52 import org.onap.policy.models.tosca.authorative.concepts.ToscaServiceTemplate;
  53 import org.slf4j.Logger;
  54 import org.slf4j.LoggerFactory;
  55
  56 /**
  57  * Test persistence of monitoring policies to and from the database.
  58  *
  59  * @author Liam Fallon (liam.fallon@est.tech)
  60  */
  61 public class PolicyToscaPersistenceTest {
  62     private static final Logger LOGGER = LoggerFactory.getLogger(PolicyToscaPersistenceTest.class);
  63
  64     private YamlJsonTranslator yamlJsonTranslator = new YamlJsonTranslator();
  65     private StandardCoder standardCoder = new StandardCoder();
  66
  67     private PolicyModelsProvider databaseProvider;
  68
  69     /**
  70      * Initialize provider.
  71      *
  72      * @throws PfModelException on exceptions in the tests
  73      * @throws CoderException on JSON encoding and decoding errors
  74      */
  75     @Before
  76     public void setupParameters() throws Exception {
  77         // H2, use "org.mariadb.jdbc.Driver" and "jdbc:mariadb://localhost:3306/policy" for locally installed MariaDB
  78
  79         PolicyModelsProviderParameters parameters = new PolicyModelsProviderParameters();
  80         parameters.setDatabaseDriver("org.h2.Driver");
  81         parameters.setDatabaseUrl("jdbc:h2:mem:testdb");
  82         parameters.setDatabaseUser("policy");
  83         parameters.setDatabasePassword(Base64.getEncoder().encodeToString("P01icY".getBytes()));
  84         parameters.setPersistenceUnit("ToscaConceptTest");
  85
  86         databaseProvider = new PolicyModelsProviderFactory().createPolicyModelsProvider(parameters);
  87
  88         createPolicyTypes();
  89     }
  90
  91     @After
  92     public void teardown() throws Exception {
  93         databaseProvider.close();
  94     }
  95
  96     @Test
  97     public void testToscaPolicyPersistence() throws Exception {
  98         Set<String> policyResources = ResourceUtils.getDirectoryContents("policies");
  99
 100         for (String policyResource : policyResources) {
 101             if (!policyResource.contains("\\.tosca\\.")) {
 102                 continue;
 103             }
 104
 105             String policyString = ResourceUtils.getResourceAsString(policyResource);
 106
 107             if (policyResource.endsWith("yaml")) {
 108                 testPolicyPersistence(yamlJsonTranslator.fromYaml(policyString, ToscaServiceTemplate.class));
 109             } else {
 110                 testPolicyPersistence(standardCoder.decode(policyString, ToscaServiceTemplate.class));
 111             }
 112         }
 113     }
 114
 115     @Test
 116     public void testHpaPolicyTypeGet() throws PfModelException {
 117         long getStartTime = System.currentTimeMillis();
 118         ToscaServiceTemplate hpaServiceTemplate =
 119             databaseProvider.getPolicyTypes("onap.policies.optimization.resource.HpaPolicy", "1.0.0");
 120         LOGGER.trace("HPA policy normal get time (ms): {}", System.currentTimeMillis() - getStartTime);
 121
 122         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 123         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 124
 125         getStartTime = System.currentTimeMillis();
 126         ToscaPolicyTypeFilter hpaFilter = ToscaPolicyTypeFilter.builder()
 127             .name("onap.policies.optimization.resource.HpaPolicy").version("1.0.0").build();
 128         hpaServiceTemplate = databaseProvider.getFilteredPolicyTypes(hpaFilter);
 129         LOGGER.trace("HPA policy filter name version get time (ms): {}", System.currentTimeMillis() - getStartTime);
 130
 131         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 132         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 133
 134         getStartTime = System.currentTimeMillis();
 135         hpaFilter = ToscaPolicyTypeFilter.builder().name("onap.policies.optimization.resource.HpaPolicy").build();
 136         hpaServiceTemplate = databaseProvider.getFilteredPolicyTypes(hpaFilter);
 137         LOGGER.trace("HPA policy filter name only get time (ms): {}", System.currentTimeMillis() - getStartTime);
 138
 139         assertEquals(3, hpaServiceTemplate.getPolicyTypesAsMap().size());
 140         assertEquals(5, hpaServiceTemplate.getDataTypesAsMap().size());
 141     }
 142
 143     @Test
 144     public void testNamingPolicyGet() throws PfModelException {
 145         String policyYamlString = ResourceUtils.getResourceAsString("policies/sdnc.policy.naming.input.tosca.yaml");
 146         ToscaServiceTemplate serviceTemplate =
 147             yamlJsonTranslator.fromYaml(policyYamlString, ToscaServiceTemplate.class);
 148
 149         long createStartTime = System.currentTimeMillis();
 150         databaseProvider.createPolicies(serviceTemplate);
 151         LOGGER.trace("Naming policy create time (ms): {}", System.currentTimeMillis() - createStartTime);
 152
 153         long getStartTime = System.currentTimeMillis();
 154         ToscaServiceTemplate namingServiceTemplate =
 155             databaseProvider.getPolicies("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", "1.0.0");
 156         LOGGER.trace("Naming policy normal get time (ms): {}", System.currentTimeMillis() - getStartTime);
 157
 158         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 159         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 160         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 161
 162         getStartTime = System.currentTimeMillis();
 163         ToscaPolicyFilter filter =
 164             ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").version("1.0.0").build();
 165         namingServiceTemplate = databaseProvider.getFilteredPolicies(filter);
 166         LOGGER.trace("Naming policy filtered get time (ms): {}", System.currentTimeMillis() - getStartTime);
 167
 168         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 169         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 170         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 171
 172         getStartTime = System.currentTimeMillis();
 173         filter = ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").build();
 174         namingServiceTemplate = databaseProvider.getFilteredPolicies(filter);
 175         LOGGER.trace("Naming policy filtered name only get time (ms): {}", System.currentTimeMillis() - getStartTime);
 176
 177         assertEquals(1, namingServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 178         assertEquals(1, namingServiceTemplate.getPolicyTypesAsMap().size());
 179         assertEquals(3, namingServiceTemplate.getDataTypesAsMap().size());
 180
 181         long deleteStartTime = System.currentTimeMillis();
 182         ToscaServiceTemplate deletedServiceTemplate =
 183             databaseProvider.deletePolicy("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", "1.0.0");
 184         LOGGER.trace("Naming policy delete time (ms): {}", System.currentTimeMillis() - deleteStartTime);
 185
 186         assertEquals(1, deletedServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 187     }
 188
 189     @Test
 190     public void testNamingPolicyVersions() throws PfModelException {
 191         String policyYamlString = ResourceUtils.getResourceAsString("policies/sdnc.policy.naming.input.tosca.yaml");
 192         ToscaServiceTemplate serviceTemplate =
 193             yamlJsonTranslator.fromYaml(policyYamlString, ToscaServiceTemplate.class);
 194
 195         // Create policy types and data types
 196         List<Map<String, ToscaPolicy>> policyMapList = serviceTemplate.getToscaTopologyTemplate().getPolicies();
 197         databaseProvider.createPolicies(serviceTemplate);
 198
 199         // Clear the policy map list so we start from afresh with versions
 200         ToscaPolicy namingPolicy = policyMapList.get(0).values().iterator().next();
 201         policyMapList.clear();
 202
 203         // Create 21 more versions of the policy
 204         for (int i = 2; i < 22; i++) {
 205             ToscaPolicy clonedNamingPolicy = new ToscaPolicy(namingPolicy);
 206             clonedNamingPolicy.setVersion(i + ".0.0");
 207             Map<String, ToscaPolicy> policyMap = new LinkedHashMap<>(1);
 208             policyMap.put(clonedNamingPolicy.getName(), clonedNamingPolicy);
 209             policyMapList.add(policyMap);
 210         }
 211
 212         databaseProvider.createPolicies(serviceTemplate);
 213
 214         for (int i = 1; i < 22; i++) {
 215             ToscaServiceTemplate namingServiceTemplate =
 216                 databaseProvider.getPolicies("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", i + ".0.0");
 217             assertEquals(i + ".0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values()
 218                 .iterator().next().getVersion());
 219
 220             ToscaPolicyFilter policyFilter =
 221                 ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP").version(i + ".0.0").build();
 222             namingServiceTemplate = databaseProvider.getFilteredPolicies(policyFilter);
 223             assertEquals(i + ".0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values()
 224                 .iterator().next().getVersion());
 225         }
 226
 227         ToscaPolicyFilter policyFilter = ToscaPolicyFilter.builder().name("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP")
 228             .version(ToscaPolicyFilter.LATEST_VERSION).build();
 229         ToscaServiceTemplate namingServiceTemplate = databaseProvider.getFilteredPolicies(policyFilter);
 230         assertEquals("21.0.0", namingServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0).values().iterator()
 231             .next().getVersion());
 232
 233         for (int i = 1; i < 22; i++) {
 234             ToscaServiceTemplate deletedServiceTemplate =
 235                 databaseProvider.deletePolicy("SDNC_Policy.ONAP_NF_NAMING_TIMESTAMP", i + ".0.0");
 236             assertEquals(1, deletedServiceTemplate.getToscaTopologyTemplate().getPoliciesAsMap().size());
 237         }
 238     }
 239
 240     /**
 241      * Check persistence of a policy.
 242      *
 243      * @param serviceTemplate the service template containing the policy
 244      * @throws Exception any exception thrown
 245      */
 246     public void testPolicyPersistence(@NonNull final ToscaServiceTemplate serviceTemplate) throws Exception {
 247         assertNotNull(serviceTemplate);
 248
 249         CountDownLatch threadCountDownLatch = new CountDownLatch(10);
 250
 251         for (int i = 0; i < 10; i++) {
 252             new Thread() {
 253                 public void run() {
 254                     assertThatCode(() -> databaseProvider.createPolicies(serviceTemplate)).doesNotThrowAnyException();
 255                     assertThatCode(() -> databaseProvider.updatePolicies(serviceTemplate)).doesNotThrowAnyException();
 256                     threadCountDownLatch.countDown();
 257                 }
 258             }.start();
 259         }
 260
 261         threadCountDownLatch.await(10, TimeUnit.SECONDS);
 262
 263         for (Map<String, ToscaPolicy> policyMap : serviceTemplate.getToscaTopologyTemplate().getPolicies()) {
 264             for (ToscaPolicy policy : policyMap.values()) {
 265                 ToscaServiceTemplate gotToscaServiceTemplate =
 266                     databaseProvider.getPolicies(policy.getName(), policy.getVersion());
 267
 268                 assertEquals(policy.getType(), gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0)
 269                     .get(policy.getName()).getType());
 270
 271                 gotToscaServiceTemplate = databaseProvider.getFilteredPolicies(ToscaPolicyFilter.builder().build());
 272
 273                 assertEquals(policy.getType(),
 274                     getToscaPolicyFromMapList(gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies(),
 275                         policy.getName()).getType());
 276
 277                 gotToscaServiceTemplate = databaseProvider.getFilteredPolicies(
 278                     ToscaPolicyFilter.builder().name(policy.getName()).version(policy.getVersion()).build());
 279
 280                 assertEquals(policy.getType(), gotToscaServiceTemplate.getToscaTopologyTemplate().getPolicies().get(0)
 281                     .get(policy.getName()).getType());
 282             }
 283         }
 284     }
 285
 286     private ToscaPolicy getToscaPolicyFromMapList(List<Map<String, ToscaPolicy>> toscaPolicyMapList,
 287         String policyName) {
 288         ToscaPolicy toscaPolicy = new ToscaPolicy();
 289         for (Map<String, ToscaPolicy> policyMap : toscaPolicyMapList) {
 290             toscaPolicy = policyMap.get(policyName);
 291             if (toscaPolicy != null) {
 292                 break;
 293             }
 294         }
 295         return toscaPolicy;
 296     }
 297
 298     private void createPolicyTypes() throws CoderException, PfModelException, URISyntaxException {
 299         Set<String> policyTypeResources = ResourceUtils.getDirectoryContents("policytypes");
 300
 301         for (String policyTypeResource : policyTypeResources) {
 302             String policyTypeYamlString = ResourceUtils.getResourceAsString(policyTypeResource);
 303             ToscaServiceTemplate toscaServiceTemplatePolicyType =
 304                 yamlJsonTranslator.fromYaml(policyTypeYamlString, ToscaServiceTemplate.class);
 305
 306             assertNotNull(toscaServiceTemplatePolicyType);
 307             databaseProvider.createPolicyTypes(toscaServiceTemplatePolicyType);
 308         }
 309     }
 310 }