Merge "Add allotted resource subcategory BRG in SDC"
[integration.git] / test / vcpe / vcpecommon.py
index f5e1b30..47ba238 100755 (executable)
@@ -10,7 +10,9 @@ import mysql.connector
 import requests
 import commands
 import time
-
+from novaclient import client as openstackclient
+from kubernetes import client, config
+from netaddr import IPAddress, IPNetwork
 
 class VcpeCommon:
     #############################################################################################
@@ -26,16 +28,16 @@ class VcpeCommon:
         '--os-username': 'kxi',
         '--os-user-domain-id': 'default',
         '--os-project-domain-id': 'default',
-        '--os-tenant-id': 'b8ad3842ab3642f7bf3fbe4e4d3b9f86' if oom_mode else '1e097c6713e74fd7ac8e4295e605ee1e',
+        '--os-tenant-id': 'bc43d50ffcb84750bac0c1707a9a765b' if oom_mode else '1e097c6713e74fd7ac8e4295e605ee1e',
         '--os-region-name': 'RegionOne',
         '--os-password': 'n3JhGMGuDzD8',
-        '--os-project-domain-name': 'Integration-SB-05' if oom_mode else 'Integration-SB-07',
+        '--os-project-domain-name': 'Integration-SB-03' if oom_mode else 'Integration-SB-07',
         '--os-identity-api-version': '3'
     }
 
     common_preload_config = {
-        'oam_onap_net': 'oam_network_0qV7' if oom_mode else 'oam_onap_lAky',
-        'oam_onap_subnet': 'oam_network_0qV7' if oom_mode else 'oam_onap_lAky',
+        'oam_onap_net': 'oam_network_2No2' if oom_mode else 'oam_onap_lAky',
+        'oam_onap_subnet': 'oam_network_2No2' if oom_mode else 'oam_onap_lAky',
         'public_net': 'external',
         'public_net_id': '971040b2-7059-49dc-b220-4fab50cb2ad4'
     }
@@ -61,27 +63,39 @@ class VcpeCommon:
     global_subscriber_id = 'SDN-ETHERNET-INTERNET'
     project_name = 'Project-Demonstration'
     owning_entity_id = '520cc603-a3c4-4ec2-9ef4-ca70facd79c0'
-    owning_entity_name = 'OE-Demonstration'
+    owning_entity_name = 'OE-Demonstration1'
 
     def __init__(self, extra_host_names=None):
+        rootlogger = logging.getLogger()
+        handler = logging.StreamHandler()
+        formatter = logging.Formatter('%(asctime)s %(levelname)s %(name)s.%(funcName)s(): %(message)s')
+        handler.setFormatter(formatter)
+        rootlogger.addHandler(handler)
+        rootlogger.setLevel(logging.INFO)
+
         self.logger = logging.getLogger(__name__)
+        self.logger.propagate = False
+        self.logger.addHandler(handler)
+        self.logger.setLevel(logging.DEBUG)
         self.logger.info('Initializing configuration')
 
-        # OOM: this is the address that the brg and bng will nat for config of brg - 10.0.0.x address of k8 host for sdnc
-        self.sdnc_brg_bng_ip = self.get_pod_node_oam_ip(self.sdnc_controller_pod)[1]
-        # OOM: this is a k8 host external IP 
-        self.oom_so_sdnc_aai_ip = '10.12.5.18'
-        # OOM: this is a k8 host external IP  can be same as oom_so_sdnc_aai_ip
-        self.oom_dcae_ves_collector = '10.12.5.18'
-        # OOM: this is a k8 host external IP  can be same as oom_so_sdnc_aai_ip
-        self.mr_ip_addr = '10.12.5.18'
+        # CHANGEME: vgw_VfModuleModelInvariantUuid is in rescust service csar, look in service-VcpesvcRescust1118-template.yml for groups vgw module metadata. TODO: read this value automcatically
+        self.vgw_VfModuleModelInvariantUuid = '26d6a718-17b2-4ba8-8691-c44343b2ecd2'
+        # CHANGEME: OOM: this is the address that the brg and bng will nat for sdnc access - 10.0.0.x address of k8 host for sdnc-0 container
+        self.sdnc_oam_ip = self.get_pod_node_oam_ip('sdnc-sdnc-0')
+        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP 
+        self.oom_so_sdnc_aai_ip = self.get_pod_node_public_ip('sdnc-sdnc-0')
+        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
+        self.oom_dcae_ves_collector = self.oom_so_sdnc_aai_ip
+        # CHANGEME: OOM: this is a k8s host external IP, e.g. oom-k8s-01 IP
+        self.mr_ip_addr = self.oom_so_sdnc_aai_ip
         self.mr_ip_port = '30227'
         self.so_nbi_port = '30277' if self.oom_mode else '8080'
         self.sdnc_preloading_port = '30202' if self.oom_mode else '8282'
         self.aai_query_port = '30233' if self.oom_mode else '8443'
         self.sniro_port = '30288' if self.oom_mode else '8080'
 
-        self.host_names = ['so', 'sdnc', 'robot', 'aai-inst1', self.dcae_ves_collector_name]
+        self.host_names = ['sdc', 'so', 'sdnc', 'robot', 'aai-inst1', self.dcae_ves_collector_name]
         if extra_host_names:
             self.host_names.extend(extra_host_names)
         # get IP addresses
@@ -116,6 +130,21 @@ class VcpeCommon:
             "customerName": "some_company"
         }
 
+        #############################################################################################
+        # SDC urls
+        self.sdc_be_port = '30205'
+        self.sdc_be_request_userpass = 'vid', 'Kp8bJ4SXszM0WXlhak3eHlcse2gAw84vaoGGmJvUy2U'
+        self.sdc_be_request_headers = {'X-ECOMP-InstanceID': 'VID'}
+        self.sdc_be_url_prefix = 'http://' + self.hosts['sdc'] + ':' + self.sdc_be_port
+        self.sdc_service_list_url = self.sdc_be_url_prefix + '/sdc/v1/catalog/services'
+
+        self.sdc_fe_port = '30206'
+        self.sdc_fe_request_userpass = 'beep', 'boop'
+        self.sdc_fe_request_headers = {'USER_ID': 'demo', 'Content-Type': 'application/json'}
+        self.sdc_fe_url_prefix = 'http://' + self.hosts['sdc'] + ':' + self.sdc_fe_port
+        self.sdc_get_category_list_url = self.sdc_fe_url_prefix + '/sdc1/feProxy/rest/v1/categories'
+        self.sdc_create_allotted_resource_subcategory_url = self.sdc_fe_url_prefix + '/sdc1/feProxy/rest/v1/category/resources/resourceNewCategory.allotted%20resource/subCategory'
+
         #############################################################################################
         # SDNC urls
         self.sdnc_userpass = 'admin', 'Kp8bJ4SXszM0WXlhak3eHlcse2gAw84vaoGGmJvUy2U'
@@ -136,7 +165,7 @@ class VcpeCommon:
         #############################################################################################
         # SO urls, note: do NOT add a '/' at the end of the url
         self.so_req_api_url = {'v4': 'http://' + self.hosts['so'] + ':' + self.so_nbi_port + '/onap/so/infra/serviceInstantiation/v7/serviceInstances',
-                           'v5': 'http://' + self.hosts['so'] + ':' + self.so_nbi_port + '/onap/so/infraserviceInstantiation/v7/serviceInstances'}
+                           'v5': 'http://' + self.hosts['so'] + ':' + self.so_nbi_port + '/onap/so/infra/serviceInstantiation/v7/serviceInstances'}
         self.so_check_progress_api_url = 'http://' + self.hosts['so'] + ':' + self.so_nbi_port + '/onap/so/infra/orchestrationRequests/v6'
         self.so_userpass = 'InfraPortalClient', 'password1$'
         self.so_headers = {'Content-Type': 'application/json', 'Accept': 'application/json'}
@@ -319,15 +348,64 @@ class VcpeCommon:
 
     def get_pod_node_oam_ip(self, pod):
         """
-        :Assuming kubectl is available
-        :param pod: pod name as a string, e.g. 'dev-sdnc-sdnc-0'
-        :return pod's node oam ip (10.0.0.0/16)
+        :Assuming kubectl is available and configured by default config (~/.kube/config) 
+        :param pod: pod name substring, e.g. 'sdnc-sdnc-0'
+        :return pod's cluster node oam ip (10.0.0.0/16)
+        """
+        ret = None
+        config.load_kube_config()
+        api = client.CoreV1Api()
+        kslogger = logging.getLogger('kubernetes')
+        kslogger.setLevel(logging.INFO)
+        res = api.list_pod_for_all_namespaces()
+        for i in res.items:
+            if pod in i.metadata.name:
+                self.logger.debug("found {0}\t{1}\t{2}".format(i.metadata.name, i.status.host_ip, i.spec.node_name))
+                ret = i.status.host_ip
+                break
+
+        if ret is None:
+            ret = raw_input("Enter sdnc-sdnc-0 pod cluster node OAM IP address(10.0.0.0/16): ")
+        return ret
+
+    def get_pod_node_public_ip(self, pod):
+        """
+        :Assuming kubectl is available and configured by default config (~/.kube/config) 
+        :param pod: pod name substring, e.g. 'sdnc-sdnc-0'
+        :return pod's cluster node public ip (i.e. 10.12.0.0/16)
         """
-        cmd = "kubectl -n onap describe pod {0} |grep Node:|cut -d'/' -f2".format(pod)
-        ret = commands.getstatusoutput(cmd)
-        self.logger.debug("cmd = %s, ret = %s", cmd, ret)
+        ret = None
+        config.load_kube_config()
+        api = client.CoreV1Api()
+        kslogger = logging.getLogger('kubernetes')
+        kslogger.setLevel(logging.INFO)
+        res = api.list_pod_for_all_namespaces()
+        for i in res.items:
+            if pod in i.metadata.name:
+                ret = self.get_vm_public_ip_by_nova(i.spec.node_name)
+                self.logger.debug("found node {0} public ip: {1}".format(i.spec.node_name, ret))
+                break
+
+        if ret is None:
+            ret = raw_input("Enter sdnc-sdnc-0 pod cluster node public IP address(i.e. 10.12.0.0/16): ")
         return ret
 
+    def get_vm_public_ip_by_nova(self, vm):
+        """
+        This method uses openstack nova api to retrieve vm public ip
+        :param vm: vm name
+        :return vm public ip
+        """
+        subnet = IPNetwork('{0}/{1}'.format(self.external_net_addr, self.external_net_prefix_len))
+        nova = openstackclient.Client(2, self.cloud['--os-username'], self.cloud['--os-password'], self.cloud['--os-tenant-id'], self.cloud['--os-auth-url']) 
+        for i in nova.servers.list():
+            if i.name == vm:
+                for k, v in i.networks.items():
+                    for ip in v:
+                        if IPAddress(ip) in subnet:
+                            return ip
+        return None
+
     def get_vm_ip(self, keywords, net_addr=None, net_addr_len=None):
         """
         :param keywords: list of keywords to search for vm, e.g. ['bng', 'gmux', 'brg']
@@ -356,13 +434,13 @@ class VcpeCommon:
         if len(ip_dict) != len(keywords):
             self.logger.error('Cannot find all desired IP addresses for %s.', keywords)
             self.logger.error(json.dumps(ip_dict, indent=4, sort_keys=True))
-            self.logger.error('Temporarily continue.. remember to check back vcpecommon.py line: 316')
+            self.logger.error('Temporarily continue.. remember to check back vcpecommon.py line: 396')
 #            sys.exit()
         return ip_dict
 
     def get_oom_onap_vm_ip(self, keywords):
         vm_ip = {}
-        onap_vm_list = set(['so', 'sdnc', 'aai-inst1', 'robot', self.dcae_ves_collector_name])
+        onap_vm_list = set(['sdc', 'so', 'sdnc', 'aai-inst1', 'robot', self.dcae_ves_collector_name])
         for vm in keywords:
             if vm in onap_vm_list:
                 vm_ip[vm] = self.oom_so_sdnc_aai_ip