docs/integration-s3p.rst

   1 .. _integration-s3p:
   2
   3 ONAP Maturity Testing Notes
   4 ---------------------------
   5
   6 For the El Alto release, ONAP continues to improve in multiple
   7 areas of Scalability, Security, Stability and Performance (S3P)
   8 metrics.
   9
  10
  11
  12 Stability
  13 =========
  14 Integration Stability Testing verifies that the ONAP platform remains fully
  15 functional after running for an extended amounts of time.
  16 This is done by repeated running tests against an ONAP instance for a period of
  17 72 hours.
  18
  19 Methodology
  20 ~~~~~~~~~~~
  21
  22 The Stability Test has two main components:
  23
  24 - Running "ete stability72hr" Robot suite periodically.  This test suite
  25   verifies that ONAP can instantiate vDNS, vFWCL, and VVG.
  26 - Set up vFW Closed Loop to remain running, then check periodically that the
  27   closed loop functionality is still working.
  28
  29
  30 Results: 100% PASS
  31 ~~~~~~~~~~~~~~~~~~
  32 =================== ======== ========== ======== ========= =========
  33 Test Case           Attempts Env Issues Failures Successes Pass Rate
  34 =================== ======== ========== ======== ========= =========
  35 Stability 72 hours  72       34         0        38        100%
  36 vFW Closed Loop     75       7          0        68        100%
  37 **Total**           147      41         0        106       **100%**
  38 =================== ======== ========== ======== ========= =========
  39
  40 Detailed results can be found at https://wiki.onap.org/display/DW/Dublin+Release+Stability+Testing+Status .
  41
  42 .. note::
  43  - Overall results were good. All of the test failures were due to
  44    issues with the unstable environment and tooling framework.
  45  - JIRAs were created for readiness/liveness probe issues found while
  46    testing under the unstable environment. Patches applied to oom and
  47    testsuite during the testing helped reduce test failures due to
  48    environment and tooling framework issues.
  49  - The vFW Closed Loop test was very stable and self recovered from
  50    environment issues.
  51
  52
  53 Resilience
  54 ==========
  55
  56 Integration Resilience Testing verifies that ONAP can automatically recover
  57 from failures of any of its components.
  58 This is done by deleting the ONAP pods that are involved in each particular Use
  59 Case flow and then checking that the Use Case flow can again be executed
  60 successfully after ONAP recovers.
  61
  62 Methodology
  63 ~~~~~~~~~~~
  64 For each Use Case, a list of the ONAP components involved is identified.
  65 The pods of each of those components are systematically deleted one-by-one;
  66 after each pod deletion, we wait for the pods to recover, then execute the Use
  67 Case again to verify successful ONAP platform recovery.
  68
  69
  70 Results: 99.4% PASS
  71 ~~~~~~~~~~~~~~~~~~~
  72 =============================== ======== ========== ======== ========= =========
  73 Use Case                        Attempts Env Issues Failures Successes Pass Rate
  74 =============================== ======== ========== ======== ========= =========
  75 VNF Onboarding and Distribution 49       0          0        49        100%
  76 VNF Instantiation               64       19         1        44        97.8%
  77 vFW Closed Loop                 66       0          0        66        100%
  78 **Total**                       179      19         1        159       **99.4%**
  79 =============================== ======== ========== ======== ========= =========
  80
  81 Detailed results can be found at https://wiki.onap.org/display/DW/Dublin+Release+Resilience+Testing+Status .
  82
  83
  84 Deployability
  85 =============
  86
  87 Smaller ONAP container images footprint reduces resource consumption,
  88 time to deploy, time to heal, as well as scale out resources.
  89
  90 Minimizing the footprint of ONAP container images reduces resource
  91 consumption, time to deploy, time and time to heal. It also reduces
  92 the resources needed to scale out and time to scale in. For those
  93 reasons footprint minimization postively impacts the scalability of
  94 the ONAP platform.  Smaller ONAP container images footprint reduces
  95 resource consumption, time to deploy, time to heal, as well as scale
  96 out resources.