Remove hardcoded SDNC pod name in vcpe scripts
[integration.git] / test / vcpe / vcpecommon.py
index b45f10e..e34eebe 100755 (executable)
@@ -10,17 +10,29 @@ import mysql.connector
 import requests
 import commands
 import time
+from novaclient import client as openstackclient
+from kubernetes import client, config
+from netaddr import IPAddress, IPNetwork
 
+######################################################################
+# Parts which must be updated / cross-checked during each deployment #
+# are marked as CHANGEME                                             #
+######################################################################
 
 class VcpeCommon:
     #############################################################################################
-    #     Start: configurations that you must change for a new ONAP installation
+    # Set network prefix of k8s host external address; it's used for pod public IP autodetection
+    # but can be overriden from user in case of autodetection failure
     external_net_addr = '10.12.0.0'
     external_net_prefix_len = 16
+
     #############################################################################################
     # set the openstack cloud access credentials here
     oom_mode = True
 
+    ###########################
+    # set Openstack credentials
+    # CHANGEME part
     cloud = {
         '--os-auth-url': 'http://10.12.25.2:5000',
         '--os-username': 'kxi',
@@ -33,18 +45,24 @@ class VcpeCommon:
         '--os-identity-api-version': '3'
     }
 
+    ############################################################################
+    # set oam and public network which must exist in openstack before deployment
+    # CHANGEME part
     common_preload_config = {
         'oam_onap_net': 'oam_network_2No2' if oom_mode else 'oam_onap_lAky',
         'oam_onap_subnet': 'oam_network_2No2' if oom_mode else 'oam_onap_lAky',
         'public_net': 'external',
         'public_net_id': '971040b2-7059-49dc-b220-4fab50cb2ad4'
     }
-    sdnc_controller_pod = 'dev-sdnc-sdnc-0'
 
-    #############################################################################################
+    #############################################################################
+    # set name of sdnc controller pod, prefix is taken from helm environment name
+    # CHANGEME part
+    sdnc_controller_pod = 'dev-sdnc-sdnc-0'
 
     template_variable_symbol = '${'
     cpe_vm_prefix = 'zdcpe'
+
     #############################################################################################
     # preloading network config
     #  key=network role
@@ -65,25 +83,31 @@ class VcpeCommon:
 
     def __init__(self, extra_host_names=None):
         self.logger = logging.getLogger(__name__)
+        self.logger.setLevel(logging.DEBUG)
         self.logger.info('Initializing configuration')
 
-        # CHANGEME: vgw_VfModuleModelInvariantUuid is in rescust service csar, look in service-VcpesvcRescust1118-template.yml for groups vgw module metadata. TODO: read this value automcatically
+        ##################################################################################################################################
+        # following param must be updated e.g. from csar file (grep for VfModuleModelInvariantUuid string) before vcpe.py customer call !!
+        # vgw_VfModuleModelInvariantUuid is in rescust service csar,
+        # look in service-VcpesvcRescust1118-template.yml for groups vgw module metadata. TODO: read this value automatically
+        # CHANGEME part
         self.vgw_VfModuleModelInvariantUuid = '26d6a718-17b2-4ba8-8691-c44343b2ecd2'
-        # CHANGEME: OOM: this is the address that the brg and bng will nat for sdnc access - 10.0.0.x address of k8 host for sdnc-0 container
-        self.sdnc_oam_ip = '10.0.0.18'
-        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP 
-        self.oom_so_sdnc_aai_ip = '10.12.6.236'
-        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
-        self.oom_dcae_ves_collector = '10.12.6.236'
-        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
-        self.mr_ip_addr = '10.12.6.236'
+
+        # OOM: this is the address that the brg and bng will nat for sdnc access - 10.0.0.x address of k8 host for sdnc-0 container
+        self.sdnc_oam_ip = self.get_pod_node_oam_ip(self.sdnc_controller_pod)
+        # OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
+        self.oom_so_sdnc_aai_ip = self.get_pod_node_public_ip(self.sdnc_controller_pod)
+        # OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
+        self.oom_dcae_ves_collector = self.oom_so_sdnc_aai_ip
+        # OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
+        self.mr_ip_addr = self.oom_so_sdnc_aai_ip
         self.mr_ip_port = '30227'
         self.so_nbi_port = '30277' if self.oom_mode else '8080'
         self.sdnc_preloading_port = '30202' if self.oom_mode else '8282'
         self.aai_query_port = '30233' if self.oom_mode else '8443'
         self.sniro_port = '30288' if self.oom_mode else '8080'
 
-        self.host_names = ['so', 'sdnc', 'robot', 'aai-inst1', self.dcae_ves_collector_name]
+        self.host_names = ['sdc', 'so', 'sdnc', 'robot', 'aai-inst1', self.dcae_ves_collector_name]
         if extra_host_names:
             self.host_names.extend(extra_host_names)
         # get IP addresses
@@ -104,7 +128,12 @@ class VcpeCommon:
             'vfmodule': 'vcpe_vfmodule'
         }
         self.aai_userpass = 'AAI', 'AAI'
+
+        ############################################################################################################
+        # following key is overriding public key from vCPE heat templates, it's important to use correct one in here
+        # CHANGEME part
         self.pub_key = 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDKXDgoo3+WOqcUG8/5uUbk81+yczgwC4Y8ywTmuQqbNxlY1oQ0YxdMUqUnhitSXs5S/yRuAVOYHwGg2mCs20oAINrP+mxBI544AMIb9itPjCtgqtE2EWo6MmnFGbHB4Sx3XioE7F4VPsh7japsIwzOjbrQe+Mua1TGQ5d4nfEOQaaglXLLPFfuc7WbhbJbK6Q7rHqZfRcOwAMXgDoBqlyqKeiKwnumddo2RyNT8ljYmvB6buz7KnMinzo7qB0uktVT05FH9Rg0CTWH5norlG5qXgP2aukL0gk1ph8iAt7uYLf1ktp+LJI2gaF6L0/qli9EmVCSLr1uJ38Q8CBflhkh'
+
         self.os_tenant_id = self.cloud['--os-tenant-id']
         self.os_region_name = self.cloud['--os-region-name']
         self.common_preload_config['pub_key'] = self.pub_key
@@ -118,6 +147,21 @@ class VcpeCommon:
             "customerName": "some_company"
         }
 
+        #############################################################################################
+        # SDC urls
+        self.sdc_be_port = '30205'
+        self.sdc_be_request_userpass = 'vid', 'Kp8bJ4SXszM0WXlhak3eHlcse2gAw84vaoGGmJvUy2U'
+        self.sdc_be_request_headers = {'X-ECOMP-InstanceID': 'VID'}
+        self.sdc_be_url_prefix = 'http://' + self.hosts['sdc'] + ':' + self.sdc_be_port
+        self.sdc_service_list_url = self.sdc_be_url_prefix + '/sdc/v1/catalog/services'
+
+        self.sdc_fe_port = '30206'
+        self.sdc_fe_request_userpass = 'beep', 'boop'
+        self.sdc_fe_request_headers = {'USER_ID': 'demo', 'Content-Type': 'application/json'}
+        self.sdc_fe_url_prefix = 'http://' + self.hosts['sdc'] + ':' + self.sdc_fe_port
+        self.sdc_get_category_list_url = self.sdc_fe_url_prefix + '/sdc1/feProxy/rest/v1/categories'
+        self.sdc_create_allotted_resource_subcategory_url = self.sdc_fe_url_prefix + '/sdc1/feProxy/rest/v1/category/resources/resourceNewCategory.allotted%20resource/subCategory'
+
         #############################################################################################
         # SDNC urls
         self.sdnc_userpass = 'admin', 'Kp8bJ4SXszM0WXlhak3eHlcse2gAw84vaoGGmJvUy2U'
@@ -144,7 +188,7 @@ class VcpeCommon:
         self.so_headers = {'Content-Type': 'application/json', 'Accept': 'application/json'}
         self.so_db_name = 'catalogdb'
         self.so_db_user = 'root'
-        self.so_db_pass = 'password'
+        self.so_db_pass = 'secretpassword'
         self.so_db_port = '30252' if self.oom_mode else '32769'
 
         self.vpp_inf_url = 'http://{0}:8183/restconf/config/ietf-interfaces:interfaces'
@@ -321,15 +365,64 @@ class VcpeCommon:
 
     def get_pod_node_oam_ip(self, pod):
         """
-        :Assuming kubectl is available
-        :param pod: pod name as a string, e.g. 'dev-sdnc-sdnc-0'
-        :return pod's node oam ip (10.0.0.0/16)
+        :Assuming kubectl is available and configured by default config (~/.kube/config) 
+        :param pod: pod name substring, e.g. 'sdnc-sdnc-0'
+        :return pod's cluster node oam ip (10.0.0.0/16)
+        """
+        ret = None
+        config.load_kube_config()
+        api = client.CoreV1Api()
+        kslogger = logging.getLogger('kubernetes')
+        kslogger.setLevel(logging.INFO)
+        res = api.list_pod_for_all_namespaces()
+        for i in res.items:
+            if pod in i.metadata.name:
+                self.logger.debug("found {0}\t{1}\t{2}".format(i.metadata.name, i.status.host_ip, i.spec.node_name))
+                ret = i.status.host_ip
+                break
+
+        if ret is None:
+            ret = raw_input("Enter " + self.sdnc_controller_pod + " pod cluster node OAM IP address(10.0.0.0/16): ")
+        return ret
+
+    def get_pod_node_public_ip(self, pod):
+        """
+        :Assuming kubectl is available and configured by default config (~/.kube/config) 
+        :param pod: pod name substring, e.g. 'sdnc-sdnc-0'
+        :return pod's cluster node public ip (i.e. 10.12.0.0/16)
         """
-        cmd = "kubectl -n onap describe pod {0} |grep Node:|cut -d'/' -f2".format(pod)
-        ret = commands.getstatusoutput(cmd)
-        self.logger.debug("cmd = %s, ret = %s", cmd, ret)
+        ret = None
+        config.load_kube_config()
+        api = client.CoreV1Api()
+        kslogger = logging.getLogger('kubernetes')
+        kslogger.setLevel(logging.INFO)
+        res = api.list_pod_for_all_namespaces()
+        for i in res.items:
+            if pod in i.metadata.name:
+                ret = self.get_vm_public_ip_by_nova(i.spec.node_name)
+                self.logger.debug("found node {0} public ip: {1}".format(i.spec.node_name, ret))
+                break
+
+        if ret is None:
+            ret = raw_input("Enter " + self.sdnc_controller_pod + " pod cluster node public IP address(i.e. " + self.external_net_addr + "): ")
         return ret
 
+    def get_vm_public_ip_by_nova(self, vm):
+        """
+        This method uses openstack nova api to retrieve vm public ip
+        :param vm: vm name
+        :return vm public ip
+        """
+        subnet = IPNetwork('{0}/{1}'.format(self.external_net_addr, self.external_net_prefix_len))
+        nova = openstackclient.Client(2, self.cloud['--os-username'], self.cloud['--os-password'], self.cloud['--os-tenant-id'], self.cloud['--os-auth-url']) 
+        for i in nova.servers.list():
+            if i.name == vm:
+                for k, v in i.networks.items():
+                    for ip in v:
+                        if IPAddress(ip) in subnet:
+                            return ip
+        return None
+
     def get_vm_ip(self, keywords, net_addr=None, net_addr_len=None):
         """
         :param keywords: list of keywords to search for vm, e.g. ['bng', 'gmux', 'brg']
@@ -358,13 +451,13 @@ class VcpeCommon:
         if len(ip_dict) != len(keywords):
             self.logger.error('Cannot find all desired IP addresses for %s.', keywords)
             self.logger.error(json.dumps(ip_dict, indent=4, sort_keys=True))
-            self.logger.error('Temporarily continue.. remember to check back vcpecommon.py line: 316')
+            self.logger.error('Temporarily continue.. remember to check back vcpecommon.py line: 396')
 #            sys.exit()
         return ip_dict
 
     def get_oom_onap_vm_ip(self, keywords):
         vm_ip = {}
-        onap_vm_list = set(['so', 'sdnc', 'aai-inst1', 'robot', self.dcae_ves_collector_name])
+        onap_vm_list = set(['sdc', 'so', 'sdnc', 'aai-inst1', 'robot', self.dcae_ves_collector_name])
         for vm in keywords:
             if vm in onap_vm_list:
                 vm_ip[vm] = self.oom_so_sdnc_aai_ip