ice_validator/tests/test_initial_configuration.py

   1 # -*- coding: utf8 -*-
   2 # ============LICENSE_START=======================================================
   3 # org.onap.vvp/validation-scripts
   4 # ===================================================================
   5 # Copyright © 2017 AT&T Intellectual Property. All rights reserved.
   6 # ===================================================================
   7 #
   8 # Unless otherwise specified, all software contained herein is licensed
   9 # under the Apache License, Version 2.0 (the "License");
  10 # you may not use this software except in compliance with the License.
  11 # You may obtain a copy of the License at
  12 #
  13 #             http://www.apache.org/licenses/LICENSE-2.0
  14 #
  15 # Unless required by applicable law or agreed to in writing, software
  16 # distributed under the License is distributed on an "AS IS" BASIS,
  17 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  18 # See the License for the specific language governing permissions and
  19 # limitations under the License.
  20 #
  21 #
  22 #
  23 # Unless otherwise specified, all documentation contained herein is licensed
  24 # under the Creative Commons License, Attribution 4.0 Intl. (the "License");
  25 # you may not use this documentation except in compliance with the License.
  26 # You may obtain a copy of the License at
  27 #
  28 #             https://creativecommons.org/licenses/by/4.0/
  29 #
  30 # Unless required by applicable law or agreed to in writing, documentation
  31 # distributed under the License is distributed on an "AS IS" BASIS,
  32 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  33 # See the License for the specific language governing permissions and
  34 # limitations under the License.
  35 #
  36 # ============LICENSE_END============================================
  37 #
  38 from os import path
  39
  40 import pytest
  41 from yaml import YAMLError
  42 from yaml.constructor import ConstructorError
  43
  44 from tests import cached_yaml as yaml
  45 from tests.utils import yaml_custom_utils
  46
  47 from tests.helpers import validates, load_yaml
  48 from tests.utils.nested_files import check_for_invalid_nesting
  49 from tests.utils.nested_iterables import find_all_get_resource_in_yml
  50 from tests.utils.nested_iterables import find_all_get_param_in_yml
  51
  52
  53 @pytest.mark.base
  54 @validates("R-95303")
  55 def test_00_valid_yaml(filename):
  56     if path.splitext(filename)[-1].lower() not in (".yml", ".yaml", ".env"):
  57         pytest.skip("Not a YAML file")
  58     try:
  59         load_yaml(filename)
  60     except YAMLError as e:
  61         assert False, (
  62             "Invalid YAML detected: {} "
  63             "NOTE: Online YAML checkers such as yamllint.com "
  64             "can helpful in diagnosing errors in YAML"
  65         ).format(str(e).replace("\n", " "))
  66
  67
  68 def check_duplicate_keys(yaml_path):
  69     import yaml as normal_yaml
  70
  71     try:
  72         with open(yaml_path) as fh:
  73             normal_yaml.load(fh, yaml_custom_utils.UniqueKeyLoader)  # nosec
  74     except ConstructorError as e:
  75         pytest.fail("{} {}".format(e.problem, e.problem_mark))
  76
  77
  78 @pytest.mark.base
  79 @validates("R-92635")
  80 def test_02_no_duplicate_keys_in_file(yaml_file):
  81     check_duplicate_keys(yaml_file)
  82
  83
  84 @pytest.mark.base
  85 @validates("R-92635")
  86 def test_02a_no_duplicate_keys_in_env(env_file):
  87     check_duplicate_keys(env_file)
  88
  89
  90 @pytest.mark.base
  91 @validates("R-92635")
  92 def test_03_all_referenced_resources_exists(yaml_file):
  93     """
  94     Check that all resources referenced by get_resource
  95     actually exists in all yaml files
  96     """
  97     with open(yaml_file) as fh:
  98         yml = yaml.safe_load(fh)
  99
 100     # skip if resources are not defined
 101     if "resources" not in yml:
 102         pytest.skip("No resources specified in the yaml file")
 103
 104     resources = yml.get("resources")
 105     if resources:
 106         resource_ids = resources.keys()
 107         referenced_resource_ids = find_all_get_resource_in_yml(yml)
 108
 109         missing_referenced_resources = set()
 110         for referenced_resource_id in referenced_resource_ids:
 111             if referenced_resource_id not in resource_ids:
 112                 missing_referenced_resources.add(referenced_resource_id)
 113
 114         assert not missing_referenced_resources, (
 115             "Unable to resolve get_resource for the following "
 116             "resource IDS: {}. Please ensure the resource ID is defined and "
 117             "nested under the resources section of the template".format(
 118                 ", ".join(missing_referenced_resources)
 119             )
 120         )
 121
 122
 123 @pytest.mark.base
 124 @validates("R-92635")
 125 def test_04_valid_nesting(yaml_file):
 126     """
 127     Check that the nesting is following the proper format and
 128     that all nested files exists and are parsable
 129     """
 130     invalid_nesting = []
 131
 132     with open(yaml_file) as fh:
 133         yml = yaml.load(fh)
 134     if "resources" in yml:
 135         try:
 136             invalid_nesting.extend(
 137                 check_for_invalid_nesting(
 138                     yml["resources"], yaml_file, path.dirname(yaml_file)
 139                 )
 140             )
 141         except Exception:
 142             invalid_nesting.append(yaml_file)
 143
 144     assert not invalid_nesting, "invalid nested file detected in file {}\n\n".format(
 145         invalid_nesting
 146     )
 147
 148
 149 @pytest.mark.base
 150 @validates("R-92635")
 151 def test_05_all_get_param_have_defined_parameter(yaml_file):
 152     """
 153     Check that all referenced parameters are actually defined
 154     as parameters
 155     """
 156     invalid_get_params = []
 157     with open(yaml_file) as fh:
 158         yml = yaml.load(fh)
 159
 160     resource_params = find_all_get_param_in_yml(yml)
 161
 162     parameters = set(yml.get("parameters", {}).keys())
 163     if not parameters:
 164         pytest.skip("no parameters detected")
 165
 166     for rp in resource_params:
 167         if rp not in parameters:
 168             invalid_get_params.append(rp)
 169
 170     assert (
 171         not invalid_get_params
 172     ), "get_param reference detected without corresponding parameter defined {}".format(
 173         invalid_get_params
 174     )
 175
 176
 177 @validates("R-90152")
 178 @pytest.mark.base
 179 def test_06_heat_template_resource_section_has_resources(heat_template):
 180
 181     found_resource = False
 182
 183     with open(heat_template) as fh:
 184         yml = yaml.load(fh)
 185
 186     resources = yml.get("resources")
 187     if resources:
 188         for k1, v1 in yml["resources"].items():
 189             if not isinstance(v1, dict):
 190                 continue
 191
 192             found_resource = True
 193             break
 194
 195     assert found_resource, "Heat templates must contain at least one resource"