docs/integration-s3p.rst

   1 .. _integration-s3p:
   2
   3 ONAP Maturity Testing Notes
   4 ---------------------------
   5
   6 For the Casablanca release, ONAP continues to improve in multiple
   7 areas of Scalability, Security, Stability and Performance (S3P)
   8 metrics.
   9
  10
  11
  12 Stability
  13 =========
  14 Integration Stability Testing verifies that the ONAP platform remains fully functional after running for an extended amounts of time.  This is done by repeated running tests against an ONAP instance for a period of 72 hours.
  15
  16 Methodology
  17 ~~~~~~~~~~~
  18
  19 The Stability Test has two main components:
  20
  21 - Running "ete stability72hr" Robot suite periodically.  This test suite verifies that ONAP can instantiate vDNS, vFWCL, and VVG.
  22 - Set up vFW Closed Loop to remain running, then check periodically that the closed loop functionality is still working.
  23
  24 Detailed instructions on how these tests are run can be found at https://wiki.onap.org/display/DW/Casablanca+Stability+Testing+Instructions .
  25
  26 Results: 100% PASS
  27 ~~~~~~~~~~~~~~~~~~
  28 =================== ======== ========= =========
  29 Test Case           Attempts Successes Pass Rate
  30 =================== ======== ========= =========
  31 Stability 72 hours   65       65        100%
  32 vFW Closed Loop      71       71        100%
  33 **Total**            136      136       **100%**
  34 =================== ======== ========= =========
  35
  36 Detailed results can be found at https://wiki.onap.org/display/DW/Casablanca+Release+Stability+Testing+Status .
  37
  38 .. note::
  39  - The Wind River lab OpenStack instance sporadically returns authentication failures or dropped network connections under load.  The
  40    Stability 72 hours test runs that failed due to these known infrastructure issues were discarded.
  41  - The Packet Generator VNF used in the vFW Closed Loop test becomes unstable after long run-times.  The vFWCL test runs that failed
  42    due to Packet Generator failures (which are not ONAP platform failures) were discarded.
  43
  44
  45 Resilience
  46 ==========
  47
  48 Integration Resilience Testing verifies that ONAP can automatically recover from failures of any of its components.  This is done by deleting the ONAP pods that are involved in each particular Use Case flow and then checking that the Use Case flow can again be executed successfully after ONAP recovers.
  49
  50 Methodology
  51 ~~~~~~~~~~~
  52 For each Use Case, a list of the ONAP components involved is identified.  The pods of each of those components are systematically deleted one-by-one; after each pod deletion, we wait for the pods to recover, then execute the Use Case again to verify successful ONAP platform recovery.
  53
  54
  55 Results: 96.9% PASS
  56 ~~~~~~~~~~~~~~~~~~~
  57 =============================== ======== ========= =========
  58 Use Case                        Attempts Successes Pass Rate
  59 =============================== ======== ========= =========
  60 VNF Onboarding and Distribution 45       44        97.8%
  61 VNF Instantiation               54       52        96.3%
  62 vFW Closed Loop                 61       59        96.7%
  63 **Total**                       160      155       **96.9%**
  64 =============================== ======== ========= =========
  65
  66 Detailed results can be found at https://wiki.onap.org/display/DW/Casablanca+Release+Stability+Testing+Status .
  67
  68
  69 Deployability
  70 =============
  71
  72 Smaller ONAP container images footprint reduces resource consumption,
  73 time to deploy, time to heal, as well as scale out resources.
  74
  75 Minimizing the footprint of ONAP container images reduces resource
  76 consumption, time to deploy, time and time to heal. It also reduces
  77 the resources needed to scale out and time to scale in. For those
  78 reasons footprint minimization postively impacts the scalability of
  79 the ONAP platform.  Smaller ONAP container images footprint reduces
  80 resource consumption, time to deploy, time to heal, as well as scale
  81 out resources.