osdfapp.py

   1 # -------------------------------------------------------------------------
   2 #   Copyright (c) 2015-2017 AT&T Intellectual Property
   3 #
   4 #   Licensed under the Apache License, Version 2.0 (the "License");
   5 #   you may not use this file except in compliance with the License.
   6 #   You may obtain a copy of the License at
   7 #
   8 #       http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 #   Unless required by applicable law or agreed to in writing, software
  11 #   distributed under the License is distributed on an "AS IS" BASIS,
  12 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 #   See the License for the specific language governing permissions and
  14 #   limitations under the License.
  15 #
  16 # -------------------------------------------------------------------------
  17 #
  18
  19 """
  20 OSDF Manager Main Flask Application
  21 """
  22
  23 import sys
  24 from threading import Thread  # for scaling up, may need celery with RabbitMQ or redis
  25
  26 from flask import Flask, request, Response, g
  27
  28 import osdf
  29 import pydevd
  30 import json
  31 import osdf.adapters.policy.interface
  32 import osdf.config.credentials
  33 import osdf.config.loader
  34 # import osdf.datasources.aai.aai_local_cached_data
  35 import osdf.operation.error_handling
  36 import osdf.operation.responses
  37 import traceback
  38 from osdf.adapters.policy.interface import get_policies
  39 from osdf.config.base import osdf_config
  40 from osdf.optimizers.placementopt.conductor.remote_opt_processor import process_placement_opt
  41 from osdf.webapp.appcontroller import auth_basic
  42 from optparse import OptionParser
  43 from osdf.operation.exceptions import BusinessException
  44 from osdf.operation.error_handling import request_exception_to_json_body, internal_error_message
  45 from requests import RequestException
  46 from schematics.exceptions import DataError
  47 from osdf.logging.osdf_logging import MH, audit_log, error_log
  48 from osdf.models.api.placementRequest import PlacementAPI
  49
  50 ERROR_TEMPLATE = osdf.ERROR_TEMPLATE
  51
  52 app = Flask(__name__)
  53
  54
  55
  56 BAD_CLIENT_REQUEST_MESSAGE = 'Client sent an invalid request'
  57
  58 # An exception explicitly raised due to some business rule
  59 @app.errorhandler(BusinessException)
  60 def handle_business_exception(e):
  61     error_log.error("Synchronous error for request id {} {}".format(g.request_id, traceback.format_exc()))
  62     err_msg = ERROR_TEMPLATE.render(description=str(e))
  63     response = Response(err_msg, content_type='application/json; charset=utf-8')
  64     response.status_code = 400
  65     return response
  66
  67 # Returns a detailed synchronous message to the calling client when osdf fails due to a remote call to another system
  68 @app.errorhandler(RequestException)
  69 def handle_request_exception(e):
  70     error_log.error("Synchronous error for request id {} {}".format(g.request_id, traceback.format_exc()))
  71     err_msg = request_exception_to_json_body(e)
  72     response = Response(err_msg, content_type='application/json; charset=utf-8')
  73     response.status_code = 400
  74     return response
  75
  76 # Returns a detailed message to the calling client when the initial synchronous message is invalid
  77 @app.errorhandler(DataError)
  78 def handle_data_error(e):
  79     error_log.error("Synchronous error for request id {} {}".format(g.request_id, traceback.format_exc()))
  80
  81     body_dictionary = {
  82         "serviceException": {
  83             "text": BAD_CLIENT_REQUEST_MESSAGE,
  84             "exceptionMessage": str(e.messages),
  85             "errorType": "InvalidClientRequest"
  86         }
  87     }
  88
  89     body_as_json = json.dumps(body_dictionary)
  90     response = Response(body_as_json, content_type='application/json; charset=utf-8')
  91     response.status_code = 400
  92     return response
  93
  94
  95 @app.route("/osdf/api/v2/placement", methods=["POST"])
  96 @auth_basic.login_required
  97 def do_placement_opt():
  98     """Perform placement optimization after validating the request and fetching policies
  99     Make a call to the call-back URL with the output of the placement request.
 100     Note: Call to Conductor for placement optimization may have redirects, so account for them
 101     """
 102     request_json = request.get_json()
 103     req_id = request_json['requestInfo']['requestId']
 104     g.request_id = req_id
 105     audit_log.info(MH.received_request(request.url, request.remote_addr, json.dumps(request_json)))
 106
 107     PlacementAPI(request_json).validate()
 108
 109     # Currently policies are being used only during placement, so only fetch them if placement demands is not empty
 110     policies = {}
 111
 112     if 'placementDemand' in request_json['placementInfo']['demandInfo']:
 113         policies, prov_status = get_policies(request_json, "placement")
 114
 115     audit_log.info(MH.new_worker_thread(req_id, "[for placement]"))
 116     t = Thread(target=process_placement_opt, args=(request_json, policies, osdf_config, prov_status))
 117     t.start()
 118     audit_log.info(MH.accepted_valid_request(req_id, request))
 119     return osdf.operation.responses.osdf_response_for_request_accept(
 120         req_id=req_id, text="Accepted placement request. Response will be posted to callback URL")
 121
 122
 123 # Returned when unexpected coding errors occur during initial synchronous processing
 124 @app.errorhandler(500)
 125 def internal_failure(error):
 126     error_log.error("Synchronous error for request id {} {}".format(g.request_id, traceback.format_exc()))
 127     response = Response(internal_error_message, content_type='application/json; charset=utf-8')
 128     response.status_code = 500
 129     return response
 130
 131
 132 def getOptions(argv):
 133     program_version_string = '%%prog %s' % ("v1.0")
 134     #program_usage = '''usage: spam two eggs''' # optional - will be autogenerated by optparse
 135     program_longdesc = ""
 136     program_license = ""
 137
 138     # setup option parser
 139     parser = OptionParser(version=program_version_string, epilog=program_longdesc, description=program_license)
 140     parser.add_option("-l", "--local", dest="local", help="run locally", action="store_true", default=False)
 141     parser.add_option("-t", "--devtest", dest="devtest", help="run in dev/test environment", action="store_true", default=False)
 142     parser.add_option("-d", "--debughost", dest="debughost", help="IP Address of host running debug server", default='')
 143     parser.add_option("-p", "--debugport", dest="debugport", help="Port number of debug server", type=int, default=5678)
 144     (opts, args) = parser.parse_args(argv)
 145     if (opts.debughost != ''):
 146         print('pydevd.settrace(%s, port=%s)' % (opts.debughost, opts.debugport))
 147         pydevd.settrace(opts.debughost, port=opts.debugport)
 148     return opts
 149
 150
 151 if __name__ == "__main__":
 152
 153     sys_conf = osdf_config['core']['osdf_system']
 154     ports = sys_conf['osdf_ports']
 155     internal_port, external_port = ports['internal'], ports['external']
 156     ssl_context = tuple(sys_conf['ssl_context'])
 157
 158     common_app_opts = dict(host='0.0.0.0', threaded=True, use_reloader=False)
 159
 160     opts = getOptions(sys.argv)
 161     if (opts.local == False and opts.devtest == False):  # normal deployment
 162         app.run(port=internal_port, ssl_context=ssl_context, debug=False, **common_app_opts)
 163     else:
 164         port = internal_port if opts.local == True else external_port
 165         app.run(port=port, debug=True, **common_app_opts)