Merge "Remove all trailing whitespaces in docs/*.rst"
[vnfrqts/requirements.git] / docs / Chapter7.rst
1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
2 .. http://creativecommons.org/licenses/by/4.0
3 .. Copyright 2017 AT&T Intellectual Property.  All rights reserved.
4
5
6 **ONAP Management Requirements**
7 =====================================
8
9 The ONAP platform is the part of the larger Network Function
10 Virtualization/Software Defined Network (NFV/SDN) ecosystem that
11 is responsible for the efficient control, operation and management
12 of Virtual Network Function (VNF) capabilities and functions. It
13 specifies standardized abstractions and interfaces that enable
14 efficient interoperation of the NVF/SDN ecosystem components. It
15 enables product/service independent capabilities for design, creation
16 and runtime lifecycle management (includes all aspects of installation,
17 change management, assurance, and retirement) of resources in NFV/SDN
18 environment (see ECOMP white paper ). These capabilities are provided
19 using two major architectural frameworks: (1) a Design Time Framework
20 to design, define and program the platform (uniform onboarding), and
21 (2) a Runtime Execution Framework to execute the logic programmed in
22 the design environment (uniform delivery and runtime lifecycle
23 management). The platform delivers an integrated information model
24 based on the VNF package to express the characteristics and behavior
25 of these resources in the Design Time Framework. The information model
26 is utilized by Runtime Execution Framework to manage the runtime
27 lifecycle of the VNFs. The management processes are orchestrated
28 across various modules of ONAP to instantiate, configure, scale,
29 monitor, and reconfigure the VNFs using a set of standard APIs
30 provided by the VNF developers.
31
32 Although the guidelines and requirements specified in this document
33 were originally driven by the need to standardize and automate the
34 management of the virtualized environments (with VNFs) operated by
35 Service Providers, we believe that most of the requirements are equally
36 applicable to the operation of the physical network functions (PNFs),
37 those network functions provided by traditional physical network
38 elements (e.g. whitebox switches) or customized peripherals (e.g. a
39 video rendering engine for augmented reality). The primary area of
40 difference will be in how the network function is orchestrated into
41 place – VNFs can be much more dynamically created & placed by ONAP
42 to support varying geographic, availability and scalability needs,
43 whereas the PNFs have to be deployed a priori in specific locations
44 based on planning and engineering – their availability and scalability
45 will be determined by the capabilities offered by the PNFs.
46
47 **PNF** is a vendor-provided Network Function(s) implemented using a
48 bundled set of hardware and software while VNFs utilize cloud resources
49 to provide Network Functions through virtualized software modules.  PNF
50 can be supplied by a vendor as a Black BOX (provides no knowledge of its
51 internal characteristics, logic, and software design/architecture) or as
52 a White Box (provides detailed knowledge and access of its internal
53 components and logic) or as a Grey Box (provides limited knowledge and
54 access to its internal components).
55
56 * Requirements that equally apply to both VNFs and PNFs are defined as
57   "The xNF MUST/SHOULD/..."
58 * Requirements that only apply to VNFs are defined as "The VNF MUST/SHOULD/..."
59 * Requirements that only apply to PNFs are defined as "The PNF MUST/SHOULD/..."
60
61
62 Service Design
63 ------------------------------------
64
65 This section, Service Design, has been left intentionally blank. It
66 is out-of-scope for the VNF Requirements project for the Amsterdam
67 release and no numbered requirements are expected. Content may be
68 added in future updates of this document.
69
70 VNF On-boarding and package management
71 -----------------------------------------------------------------------------
72
73 Design Definition
74 ^^^^^^^^^^^^^^^^^^
75
76 The ONAP Design Time Framework provides the ability to design NFV
77 resources including VNFs, Services, and products. The VNF provider must
78 provide VNF packages that include a rich set of recipes, management and
79 functional interfaces, policies, configuration parameters, and
80 infrastructure requirements that can be utilized by the ONAP Design
81 module to onboard and catalog these resources. Initially this
82 information may be provided in documents, but in the near future a
83 method will be developed to automate as much of the transfer of data as
84 possible to satisfy its long term requirements.
85
86 The current VNF Package Requirement is based on a subset of the
87 Requirements contained in the ETSI Document: ETSI GS NFV-MAN 001 v1.1.1
88 and GS NFV IFA011 V0.3.0 (2015-10) - Network Functions Virtualization
89 (NFV), Management and Orchestration, VNF Packaging Specification.
90
91 Resource Description
92 ^^^^^^^^^^^^^^^^^^^^^^
93
94 * R-77707 The VNF provider **MUST** include a Manifest File that
95   contains a list of all the components in the VNF package.
96 * R-66070 The xNF Package **MUST** include xNF Identification Data to
97   uniquely identify the resource for a given xNF provider. The identification
98   data must include: an identifier for the xNF, the name of the xNF as was
99   given by the xNF provider, xNF description, xNF provider, and version.
100 * R-69565 The xNF Package **MUST** include documentation describing
101   xNF Management APIs. The document must include information and
102   tools for:
103
104  - ONAP to deploy and configure (initially and ongoing) the xNF
105    application(s) (e.g., NETCONF APIs). Includes description of
106    configurable parameters for the xNF and whether the parameters
107    can be configured after xNF instantiation.
108  - ONAP to monitor the health of the xNF (conditions that require
109    healing and/or scaling responses). Includes a description of:
110
111   - Parameters that can be monitored for the xNF and event records
112     (status, fault, flow, session, call, control plane, etc.) generated
113     by the xNF after instantiation.
114   - Runtime lifecycle events and related actions (e.g., control
115     responses, tests) which can be performed for the xNF.
116
117 * R-84366 The xNF Package **MUST** include documentation describing
118   xNF Functional APIs that are utilized to build network and
119   application services. This document describes the externally exposed
120   functional inputs and outputs for the xNF, including interface
121   format and protocols supported.
122 * R-36280 The xNF provider **MUST** provide documentation describing
123   xNF Functional Capabilities that are utilized to operationalize the
124   xNF and compose complex services.
125 * R-98617 The xNF provider **MUST** provide information regarding any
126   dependency (e.g., affinity, anti-affinity) with other xNFs and resources.
127
128 Resource Configuration
129 ^^^^^^^^^^^^^^^^^^^^^^^
130
131 * R-89571 The xNF **MUST** support and provide artifacts for
132   configuration management using at least one of the following
133   technologies:
134
135  - Netconf/YANG
136  - Chef
137  - Ansible
138
139  Note: The requirements for Netconf/YANG, Chef, and Ansible protocols
140  are provided separately and must be supported only if the corresponding
141  protocol option is provided by the xNF providor.
142
143 Configuration Management via Netconf/YANG
144 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
145
146  * R-30278 The xNF provider **MUST** provide a Resource/Device YANG model
147    as a foundation for creating the YANG model for configuration. This will
148    include xNF attributes/parameters and valid values/attributes configurable
149    by policy.
150
151 Configuration Management via Chef
152 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
153
154  * R-13390 The xNF provider **MUST** provide cookbooks to be loaded
155    on the appropriate Chef Server.
156  * R-18525 The xNF provider **MUST** provide a JSON file for each
157    supported action for the xNF.  The JSON file must contain key value
158    pairs with all relevant values populated with sample data that illustrates
159    its usage. The fields and their description are defined in Appendix A.
160
161  Note: Chef support in ONAP is not currently available and planned for 4Q 2017.
162
163 Configuration Management via Ansible
164 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
165
166  * R-75608 The xNF provider **MUST** provide playbooks to be loaded
167    on the appropriate Ansible Server.
168  * R-16777 The xNF provider **MUST** provide a JSON file for each
169    supported action for the xNF.  The JSON file must contain key value
170    pairs with all relevant values populated with sample data that illustrates
171    its usage. The fields and their description are defined in Appendix B.
172
173 * R-46567 The xNF Package **MUST** include configuration scripts
174   for boot sequence and configuration.
175 * R-16065 The xNF provider **MUST** provide configurable parameters
176   (if unable to conform to YANG model) including xNF attributes/parameters
177   and valid values, dynamic attributes and cross parameter dependencies
178   (e.g., customer provisioning data).
179
180 Resource Control Loop
181 ^^^^^^^^^^^^^^^^^^^^^^^
182
183 * R-22888 The xNF provider **MUST** provide documentation for the xNF
184   Policy Description to manage the xNF runtime lifecycle. The document
185   must include a description of how the policies (conditions and actions)
186   are implemented in the xNF.
187 * R-01556 The xNF Package **MUST** include documentation describing the
188   fault, performance, capacity events/alarms and other event records that
189   are made available by the xNF. The document must include:
190
191  - A unique identification string for the specific xNF, a description
192    of the problem that caused the error, and steps or procedures to
193    perform Root Cause Analysis and resolve the issue.
194  - All events, severity level (e.g., informational, warning, error)
195    and descriptions including causes/fixes if applicable for the event.
196  - All events (fault, measurement for xNF Scaling, Syslogs, State Change and Mobile Flow), that need to be collected at each VM, VNFC (defined in `VNF Guidelines <http://onap.readthedocs.io/en/latest/submodules/vnfrqts/guidelines.git/docs/vnf_guidelines/vnf_guidelines.html#a-glossary>`__ ) and for the overall xNF.
197
198 * R-27711 The xNF provider **MUST** provide an XML file that contains a
199   list of xNF error codes, descriptions of the error, and possible
200   causes/corrective action.
201 * R-01478 The xNF Package **MUST** include documentation describing all
202   parameters that are available to monitor the xNF after instantiation
203   (includes all counters, OIDs, PM data, KPIs, etc.) that must be collected
204   for reporting purposes. The documentation must include a list of:
205
206  - Monitoring parameters/counters exposed for virtual resource
207    management and xNF application management.
208  - KPIs and metrics that need to be collected at each VM for capacity
209    planning and performance management purposes.
210  - The monitoring parameters must include latencies, success rates,
211    retry rates, load and quality (e.g., DPM) for the key
212    transactions/functions supported by the xNF and those that must
213    be exercised by the xNF in order to perform its function.
214  - For each KPI, provide lower and upper limits.
215  - When relevant, provide a threshold crossing alert point for
216    each KPI and describe the significance of the threshold crossing.
217  - For each KPI, identify the suggested actions that need to be
218    performed when a threshold crossing alert event is recorded.
219  - Describe any requirements for the monitoring component of tools
220    for Network Cloud automation and management to provide these records
221    to components of the xNF.
222  - When applicable, provide calculators needed to convert raw data
223    into appropriate reporting artifacts.
224
225 * R-56815 The xNF Package **MUST** include documentation describing
226   supported xNF scaling capabilities and capacity limits (e.g., number
227   of users, bandwidth, throughput, concurrent calls).
228 * R-48596 The xNF Package **MUST** include documentation describing
229   the characteristics for the xNF reliability and high availability.
230 * R-74763 The xNF provider **MUST** provide an artifact per xNF that contains
231   all of the xNF Event Records supported. The artifact should include
232   reference to the specific release of the xNF Event Stream Common Event
233   Data Model document it is based on. (e.g.,
234   `VES Event Listener <https://github.com/att/evel-test-collector/tree/master/docs/att_interface_definition>`__)
235
236 Compute, Network, and Storage Requirements
237 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
238
239 * R-35851 The xNF Package **MUST** include xNF topology that describes
240   basic network and application connectivity internal and external to the
241   xNF including Link type, KPIs, Bandwidth, latency, jitter, QoS (if
242   applicable) for each interface.
243 * R-97102 The VNF Package **MUST** include VM requirements via a Heat
244   template that provides the necessary data for:
245
246  - VM specifications for all VNF components - for hypervisor, CPU,
247    memory, storage.
248  - Network connections, interface connections, internal and external to VNF.
249  - High availability redundancy model.
250  - Scaling/growth VM specifications.
251
252  Note: Must comply with the *Heat requirements in 5.b*.
253
254 * R-26881 The xNF provider **MUST** provide the binaries and images
255   needed to instantiate the xNF (xNF and VNFC images).
256 * R-96634 The VNF provider **MUST** describe scaling capabilities
257   to manage scaling characteristics of the VNF.
258
259
260 Testing
261 ^^^^^^^^^^
262
263 * R-43958 The xNF Package **MUST** include documentation describing
264   the tests that were conducted by the xNF providor and the test results.
265 * R-04298 The xNF provider **MUST** provide their testing scripts to
266   support testing.
267 * R-58775 The xNF provider **MUST** provide software components that
268   can be packaged with/near the xNF, if needed, to simulate any functions
269   or systems that connect to the xNF system under test. This component is
270   necessary only if the existing testing environment does not have the
271   necessary simulators.
272
273 Licensing Requirements
274 ^^^^^^^^^^^^^^^^^^^^^^^
275
276 * R-85653 The xNF **MUST** provide metrics (e.g., number of sessions,
277   number of subscribers, number of seats, etc.) to ONAP for tracking
278   every license.
279 * R-44125 The xNF provider **MUST** agree to the process that can
280   be met by Service Provider reporting infrastructure. The Contract
281   shall define the reporting process and the available reporting tools.
282 * R-40827 The xNF provider **MUST** enumerate all of the open
283   source licenses their xNF(s) incorporate.
284 * R-97293 The xNF provider **MUST NOT** require audits of
285   Service Provider’s business.
286 * R-44569 The xNF provider **MUST NOT** require additional
287   infrastructure such as a xNF provider license server for xNF provider
288   functions and metrics.
289 * R-13613 The VNF **MUST** provide clear measurements for licensing
290   purposes to allow automated scale up/down by the management system.
291 * R-27511 The VNF provider **MUST** provide the ability to scale
292   up a VNF provider supplied product during growth and scale down a
293   VNF provider supplied product during decline without “real-time”
294   restrictions based upon VNF provider permissions.
295 * R-85991 The xNF provider **MUST** provide a universal license key
296   per xNF to be used as needed by services (i.e., not tied to a VM
297   instance) as the recommended solution. The xNF provider may provide
298   pools of Unique xNF License Keys, where there is a unique key for
299   each xNF instance as an alternate solution. Licensing issues should
300   be resolved without interrupting in-service xNFs.
301 * R-47849 The xNF provider **MUST** support the metadata about
302   licenses (and their applicable entitlements) as defined in this
303   document for xNF software, and any license keys required to authorize
304   use of the xNF software.  This metadata will be used to facilitate
305   onboarding the xNF into the ONAP environment and automating processes
306   for putting the licenses into use and managing the full lifecycle of
307   the licenses. The details of this license model are described in
308   Appendix C. Note: License metadata support in ONAP is not currently
309   available and planned for 1Q 2018.
310
311 Configuration Management
312 ---------------------------------------------------
313
314 ONAP interacts directly with VNFs through its Network and Application
315 Adapters to perform configuration activities within NFV environment.
316 These activities include service and resource
317 configuration/reconfiguration, automated scaling of resources, service
318 and resource removal to support runtime lifecycle management of VNFs and
319 services. The Adapters employ a model driven approach along with
320 standardized APIs provided by the VNF developers to configure resources
321 and manage their runtime lifecycle.
322
323 Additional details can be found in the `ONAP Application Controller (APPC) API Guide <http://onap.readthedocs.io/en/latest/submodules/appc.git/docs/APPC%20API%20Guide/APPC%20API%20Guide.html>`_, `ONAP VF-C project <http://onap.readthedocs.io/en/latest/submodules/vfc/nfvo/lcm.git/docs/index.html>`_ and the `ONAP SDNC project <http://onap.readthedocs.io/en/latest/submodules/sdnc/northbound.git/docs/index.html>`_.
324
325 NETCONF Standards and Capabilities
326 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
327
328 ONAP Controllers and their Adapters utilize device YANG model and
329 NETCONF APIs to make the required changes in the VNF state and
330 configuration. The VNF providers must provide the Device YANG model and
331 NETCONF server supporting NETCONF APIs to comply with target ONAP and
332 industry standards.
333
334 VNF Configuration via NETCONF Requirements
335 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
336
337 Configuration Management
338 +++++++++++++++++++++++++++
339
340 * R-88026 The xNF **MUST** include a NETCONF server enabling
341   runtime configuration and lifecycle management capabilities.
342 * R-95950 The xNF **MUST** provide a NETCONF interface fully defined
343   by supplied YANG models for the embedded NETCONF server.
344
345 NETCONF Server Requirements
346 ++++++++++++++++++++++++++++++
347
348 * R-73468 The xNF **MUST** allow the NETCONF server connection
349   parameters to be configurable during virtual machine instantiation
350   through Heat templates where SSH keys, usernames, passwords, SSH
351   service and SSH port numbers are Heat template parameters.
352 * R-90007 The xNF **MUST** implement the protocol operation:
353   **close-session()**- Gracefully close the current session.
354 * R-70496 The xNF **MUST** implement the protocol operation:
355   **commit(confirmed, confirm-timeout)** - Commit candidate
356   configuration datastore to the running configuration.
357 * R-18733 The xNF **MUST** implement the protocol operation:
358   **discard-changes()** - Revert the candidate configuration
359   datastore to the running configuration.
360 * R-44281 The xNF **MUST** implement the protocol operation:
361   **edit-config(target, default-operation, test-option, error-option,
362   config)** - Edit the target configuration datastore by merging,
363   replacing, creating, or deleting new config elements.
364 * R-60106 The xNF **MUST** implement the protocol operation:
365   **get(filter)** - Retrieve (a filtered subset of) the running
366   configuration and device state information. This should include
367   the list of xNF supported schemas.
368 * R-29488 The xNF **MUST** implement the protocol operation:
369   **get-config(source, filter)** - Retrieve a (filtered subset of
370   a) configuration from the configuration datastore source.
371 * R-11235 The xNF **MUST** implement the protocol operation:
372   **kill-session(session)** - Force the termination of **session**.
373 * R-02597 The xNF **MUST** implement the protocol operation:
374   **lock(target)** - Lock the configuration datastore target.
375 * R-96554 The xNF **MUST** implement the protocol operation:
376   **unlock(target)** - Unlock the configuration datastore target.
377 * R-29324 The xNF **SHOULD** implement the protocol operation:
378   **copy-config(target, source) -** Copy the content of the
379   configuration datastore source to the configuration datastore target.
380 * R-88031 The xNF **SHOULD** implement the protocol operation:
381   **delete-config(target) -** Delete the named configuration
382   datastore target.
383 * R-97529 The xNF **SHOULD** implement the protocol operation:
384   **get-schema(identifier, version, format) -** Retrieve the YANG schema.
385 * R-62468 The xNF **MUST** allow all configuration data to be
386   edited through a NETCONF <edit-config> operation. Proprietary
387   NETCONF RPCs that make configuration changes are not sufficient.
388 * R-01382 The xNF **MUST** allow the entire configuration of the
389   xNF to be retrieved via NETCONF's <get-config> and <edit-config>,
390   independently of whether it was configured via NETCONF or other
391   mechanisms.
392 * R-28756 The xNF **MUST** support **:partial-lock** and
393   **:partial-unlock** capabilities, defined in RFC 5717. This
394   allows multiple independent clients to each write to a different
395   part of the <running> configuration at the same time.
396 * R-83873 The xNF **MUST** support **:rollback-on-error** value for
397   the <error-option> parameter to the <edit-config> operation. If any
398   error occurs during the requested edit operation, then the target
399   database (usually the running configuration) will be left unaffected.
400   This provides an 'all-or-nothing' edit mode for a single <edit-config>
401   request.
402 * R-68990 The xNF **MUST** support the **:startup** capability. It
403   will allow the running configuration to be copied to this special
404   database. It can also be locked and unlocked.
405 * R-68200 The xNF **MUST** support the **:url** value to specify
406   protocol operation source and target parameters. The capability URI
407   for this feature will indicate which schemes (e.g., file, https, sftp)
408   that the server supports within a particular URL value. The 'file'
409   scheme allows for editable local configuration databases. The other
410   schemes allow for remote storage of configuration databases.
411 * R-20353 The xNF **MUST** implement at least one of the capabilities
412   **:candidate** or **:writable-running**. If both **:candidate** and
413   **:writable-running** are provided then two locks should be supported.
414 * R-11499 The xNF **MUST** fully support the XPath 1.0 specification
415   for filtered retrieval of configuration and other database contents.
416   The 'type' attribute within the <filter> parameter for <get> and
417   <get-config> operations may be set to 'xpath'. The 'select' attribute
418   (which contains the XPath expression) will also be supported by the
419   server. A server may support partial XPath retrieval filtering, but
420   it cannot advertise the **:xpath** capability unless the entire XPath
421   1.0 specification is supported.
422 * R-83790 The xNF **MUST** implement the **:validate** capability
423 * R-49145 The xNF **MUST** implement **:confirmed-commit** If
424   **:candidate** is supported.
425 * R-58358 The xNF **MUST** implement the **:with-defaults** capability
426   [RFC6243].
427 * R-59610 The xNF **MUST** implement the data model discovery and
428   download as defined in [RFC6022].
429 * R-87662 The xNF **SHOULD** implement the NETCONF Event Notifications
430   [RFC5277].
431 * R-93443 The xNF **MUST** define all data models in YANG [RFC6020],
432   and the mapping to NETCONF shall follow the rules defined in this RFC.
433 * R-26115 The xNF **MUST** follow the data model upgrade rules defined
434   in [RFC6020] section 10. All deviations from section 10 rules shall
435   be handled by a built-in automatic upgrade mechanism.
436 * R-10716 The xNF **MUST** support parallel and simultaneous
437   configuration of separate objects within itself.
438 * R-29495 The xNF **MUST** support locking if a common object is
439   being manipulated by two simultaneous NETCONF configuration operations
440   on the same xNF within the context of the same writable running data
441   store (e.g., if an interface parameter is being configured then it
442   should be locked out for configuration by a simultaneous configuration
443   operation on that same interface parameter).
444 * R-53015 The xNF **MUST** apply locking based on the sequence of
445   NETCONF operations, with the first configuration operation locking
446   out all others until completed.
447 * R-02616 The xNF **MUST** permit locking at the finest granularity
448   if a xNF needs to lock an object for configuration to avoid blocking
449   simultaneous configuration operations on unrelated objects (e.g., BGP
450   configuration should not be locked out if an interface is being
451   configured or entire Interface configuration should not be locked out
452   if a non-overlapping parameter on the interface is being configured).
453 * R-41829 The xNF **MUST** be able to specify the granularity of the
454   lock via a restricted or full XPath expression.
455 * R-66793 The xNF **MUST** guarantee the xNF configuration integrity
456   for all simultaneous configuration operations (e.g., if a change is
457   attempted to the BUM filter rate from multiple interfaces on the same
458   EVC, then they need to be sequenced in the xNF without locking either
459   configuration method out).
460 * R-54190 The xNF **MUST** release locks to prevent permanent lock-outs
461   when/if a session applying the lock is terminated (e.g., SSH session
462   is terminated).
463 * R-03465 The xNF **MUST** release locks to prevent permanent lock-outs
464   when the corresponding <partial-unlock> operation succeeds.
465 * R-63935 The xNF **MUST** release locks to prevent permanent lock-outs
466   when a user configured timer has expired forcing the NETCONF SSH Session
467   termination (i.e., product must expose a configuration knob for a user
468   setting of a lock expiration timer)
469 * R-10173 The xNF **MUST** allow another NETCONF session to be able to
470   initiate the release of the lock by killing the session owning the lock,
471   using the <kill-session> operation to guard against hung NETCONF sessions.
472 * R-88899 The xNF **MUST** support simultaneous <commit> operations
473   within the context of this locking requirements framework.
474 * R-07545 The xNF **MUST** support all operations, administration and
475   management (OAM) functions available from the supplier for xNFs using
476   the supplied YANG code and associated NETCONF servers.
477 * R-60656 The xNF **MUST** support sub tree filtering.
478 * R-80898 The xNF **MUST** support heartbeat via a <get> with null filter.
479 * R-06617 The xNF **MUST** support get-schema (ietf-netconf-monitoring)
480   to pull YANG model over session.
481 * R-25238 The xNF PACKAGE **MUST** validated YANG code using the open
482   source pyang [1]_ program using the following commands:
483
484 .. code-block:: python
485
486  $ pyang --verbose --strict <YANG-file-name(s)>
487  $ echo $!
488
489 * R-63953 The xNF **MUST** have the echo command return a zero value
490   otherwise the validation has failed
491 * R-26508 The xNF **MUST** support NETCONF server that can be
492   mounted on OpenDaylight (client) and perform the following operations:
493
494 - Modify, update, change, rollback configurations using each
495   configuration data element.
496 - Query each state (non-configuration) data element.
497 - Execute each YANG RPC.
498 - Receive data through each notification statement.
499
500
501
502 The following requirements provides the Yang models that suppliers must
503 conform, and those where applicable, that suppliers need to use.
504
505 * R-28545 The xNF **MUST** conform its YANG model to RFC 6060,
506   “YANG - A Data Modeling Language for the Network Configuration
507   Protocol (NETCONF)”
508 * R-29967 The xNF **MUST** conform its YANG model to RFC 6022,
509   “YANG module for NETCONF monitoring”.
510 * R-22700 The xNF **MUST** conform its YANG model to RFC 6470,
511   “NETCONF Base Notifications”.
512 * R-10353 The xNF **MUST** conform its YANG model to RFC 6244,
513   “An Architecture for Network Management Using NETCONF and YANG”.
514 * R-53317 The xNF **MUST** conform its YANG model to RFC 6087,
515   “Guidelines for Authors and Reviewers of YANG Data Model Documents”.
516 * R-33955 The xNF **SHOULD** conform its YANG model to RFC 6991,
517   “Common YANG Data Types”.
518 * R-22946 The xNF **SHOULD** conform its YANG model to RFC 6536,
519   “NETCONF Access Control Model”.
520 * R-10129 The xNF **SHOULD** conform its YANG model to RFC 7223,
521   “A YANG Data Model for Interface Management”.
522 * R-12271 The xNF **SHOULD** conform its YANG model to RFC 7223,
523   “IANA Interface Type YANG Module”.
524 * R-49036 The xNF **SHOULD** conform its YANG model to RFC 7277,
525   “A YANG Data Model for IP Management”.
526 * R-87564 The xNF **SHOULD** conform its YANG model to RFC 7317,
527   “A YANG Data Model for System Management”.
528 * R-24269 The xNF **SHOULD** conform its YANG model to RFC 7407,
529   “A YANG Data Model for SNMP Configuration”.
530
531 The NETCONF server interface shall fully conform to the following
532 NETCONF RFCs.
533
534 * R-33946 The xNF **MUST** conform to the NETCONF RFC 4741,
535   “NETCONF Configuration Protocol”.
536 * R-04158 The xNF **MUST** conform to the NETCONF RFC 4742,
537   “Using the NETCONF Configuration Protocol over Secure Shell (SSH)”.
538 * R-13800 The xNF **MUST** conform to the NETCONF RFC 5277,
539   “NETCONF Event Notification”.
540 * R-01334 The xNF **MUST** conform to the NETCONF RFC 5717,
541   “Partial Lock Remote Procedure Call”.
542 * R-08134 The xNF **MUST** conform to the NETCONF RFC 6241,
543   “NETCONF Configuration Protocol”.
544 * R-78282 The xNF **MUST** conform to the NETCONF RFC 6242,
545   “Using the Network Configuration Protocol over Secure Shell”.
546
547 VNF REST APIs
548 ^^^^^^^^^^^^^^^
549
550 Healthcheck is a command for which no NETCONF support exists.
551 Therefore, this must be supported using a RESTful interface
552 (defined in this section) or with a Chef cookbook/Ansible playbook
553 (defined in sections `Chef Standards and Capabilities`_ and
554 `Ansible Standards and Capabilities`_).
555
556 HealthCheck Definition: The VNF level HealthCheck is a check over
557 the entire scope of the VNF. The VNF must be 100% healthy, ready
558 to take requests and provide services, with all VNF required
559 capabilities ready to provide services and with all active and
560 standby resources fully ready with no open MINOR, MAJOR or CRITICAL
561 alarms.  NOTE: A switch may need to be turned on, but the VNF should
562 be ready to take service requests or be already processing service
563 requests successfully.
564
565 The VNF must provide a REST formatted GET RPCs to support Healthcheck
566 queries via the GET method over HTTP(s).
567
568 The port number, url, and other authentication information is provided
569 by the VNF provider.
570
571 REST APIs
572 ~~~~~~~~~
573
574 * R-31809 The xNF **MUST** support the HealthCheck RPC. The HealthCheck
575   RPC executes a xNF Provider-defined xNF Healthcheck over the scope of
576   the entire xNF (e.g., if there are multiple VNFCs, then run a health check,
577   as appropriate, for all VNFCs). It returns a 200 OK if the test completes.
578   A JSON object is returned indicating state (healthy, unhealthy), scope
579   identifier, time-stamp and one or more blocks containing info and fault
580   information. If the xNF is unable to run the HealthCheck, return a
581   standard http error code and message.
582
583 Examples:
584
585 .. code-block:: java
586
587  200
588  {
589    "identifier": "scope represented",
590    "state": "healthy",
591    "time": "01-01-1000:0000"
592  }
593
594  200
595  {
596    "identifier": "scope represented",
597    "state": "unhealthy",
598     {[
599    "info": "System threshold exceeded details",
600    "fault":
601      {
602        "cpuOverall": 0.80,
603        "cpuThreshold": 0.45
604      }
605      ]},
606    "time": "01-01-1000:0000"
607  }
608
609
610 Chef Standards and Capabilities
611 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
612
613 ONAP will support configuration of VNFs via Chef subject to the
614 requirements and guidelines defined in this section.
615
616 The Chef configuration management mechanism follows a client-server
617 model. It requires the presence of a Chef-Client on the VNF that will be
618 directly managed by a Chef Server. The Chef-client will register with
619 the appropriate Chef Server and are managed via ‘cookbooks’ and
620 configuration attributes loaded on the Chef Server which contain all
621 necessary information to execute the appropriate actions on the VNF via
622 the Chef-client.
623
624 ONAP will utilize the open source Chef Server, invoke the documented
625 Chef REST APIs to manage the VNF and requires the use of open source
626 Chef-Client and Push Jobs Client on the VNF
627 (https://downloads.chef.io/).
628
629 VNF Configuration via Chef Requirements
630 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
631
632 Chef Client Requirements
633 +++++++++++++++++++++++++
634
635 * R-79224 The xNF **MUST** have the chef-client be preloaded with
636   validator keys and configuration to register with the designated
637   Chef Server as part of the installation process.
638 * R-72184 The xNF **MUST** have routable FQDNs for all the endpoints
639   (VMs) of a xNF that contain chef-clients which are used to register
640   with the Chef Server.  As part of invoking xNF actions, ONAP will
641   trigger push jobs against FQDNs of endpoints for a xNF, if required.
642 * R-47068 The xNF **MAY** expose a single endpoint that is
643   responsible for all functionality.
644 * R-67114 The xNF **MUST** be installed with:
645
646  -  Chef-Client >= 12.0
647  -  Chef push jobs client >= 2.0
648
649 Chef Roles/Requirements
650 ++++++++++++++++++++++++++
651
652 * R-27310 The xNF Package **MUST** include all relevant Chef artifacts
653   (roles/cookbooks/recipes) required to execute xNF actions requested by
654   ONAP for loading on appropriate Chef Server.
655 * R-26567 The xNF Package **MUST** include a run list of
656   roles/cookbooks/recipes, for each supported xNF action, that will
657   perform the desired xNF action in its entirety as specified by ONAP
658   (see Section 7.c, ONAP Controller APIs and Behavior, for list of xNF
659   actions and requirements), when triggered by a chef-client run list
660   in JSON file.
661 * R-98911 The xNF **MUST NOT** use any instance specific parameters
662   for the xNF in roles/cookbooks/recipes invoked for a xNF action.
663 * R-37929 The xNF **MUST** accept all necessary instance specific
664   data from the environment or node object attributes for the xNF
665   in roles/cookbooks/recipes invoked for a xNF action.
666 * R-62170 The xNF **MUST** over-ride any default values for
667   configurable parameters that can be set by ONAP in the roles,
668   cookbooks and recipes.
669 * R-78116 The xNF **MUST** update status on the Chef Server
670   appropriately (e.g., via a fail or raise an exception) if the
671   chef-client run encounters any critical errors/failures when
672   executing a xNF action.
673 * R-44013 The xNF **MUST** populate an attribute, defined as node
674   [‘PushJobOutput’] with the desired output on all nodes in the push job
675   that execute chef-client run if the xNF action requires the output of a
676   chef-client run be made available (e.g., get running configuration).
677 * R-30654 The xNF Package **MUST** have appropriate cookbooks that are
678   designed to automatically ‘rollback’ to the original state in case of
679   any errors for actions that change state of the xNF (e.g., configure).
680 * R-65755 The xNF **SHOULD** support callback URLs to return information
681   to ONAP upon completion of the chef-client run for any chef-client run
682   associated with a xNF action.
683
684 -  As part of the push job, ONAP will provide two parameters in the
685    environment of the push job JSON object:
686
687     -  ‘RequestId’ a unique Id to be used to identify the request,
688     -  ‘CallbackUrl’, the URL to post response back.
689
690 -  If the CallbackUrl field is empty or missing in the push job,then
691    the chef-client run need not post the results back via callback.
692
693 * R-15885 The xNF **MUST** Upon completion of the chef-client run,
694   POST back on the callback URL, a JSON object as described in Table
695   A2 if the chef-client run list includes a cookbook/recipe that is
696   callback capable. Failure to POST on the Callback Url should not be
697   considered a critical error. That is, if the chef-client successfully
698   completes the xNF action, it should reflect this status on the Chef
699   Server regardless of whether the Callback succeeded or not.
700
701 ONAP Chef API Usage
702 ~~~~~~~~~~~~~~~~~~~
703
704 This section outlines the workflow that ONAP invokes when it receives an
705 action request against a Chef managed VNF.
706
707 1. When ONAP receives a request for an action for a Chef Managed VNF, it
708    retrieves the corresponding template (based on **action** and
709    **VNF)** from its database and sets necessary values in the
710    “Environment”, “Node” and “NodeList” keys (if present) from either
711    the payload of the received action or internal data.
712
713 2. If “Environment” key is present in the updated template, it posts the
714    corresponding JSON dictionary to the appropriate Environment object
715    REST endpoint on the Chef Server thus updating the Environment
716    attributes on the Chef Server.
717
718 3. Next, it creates a Node Object from the “Node” JSON dictionary for
719    all elements listed in the NodeList (using the FQDN to construct the
720    endpoint) by replicating it  [2]_. As part of this process, it will
721    set the name field in each Node Object to the corresponding FQDN.
722    These node objects are then posted on the Chef Server to
723    corresponding Node Object REST endpoints to update the corresponding
724    node attributes.
725
726 4. If PushJobFlag is set to “True” in the template, ONAP requests a push
727    job against all the nodes in the NodeList to trigger
728    chef-client\ **.** It will not invoke any other command via the push
729    job. ONAP will include a callback URL in the push job request and a
730    unique Request Id. An example push job posted by ONAP is listed
731    below:
732
733 .. code-block:: java
734
735    {
736      "command": "chef-client",
737      "run\_timeout": 300,
738      "nodes”: [“node1.vnf\_a.onap.com”, “node2.vnf\_a.onap.com”],
739        "env": {
740                 “RequestId”:”8279-abcd-aksdj-19231”,
741                 “CallbackUrl”:”<callback>”
742               },
743    }
744
745 5. If CallbackCapable field in the template is not present or set to
746    “False” ONAP will poll the Chef Server to check completion status of
747    the push job.
748
749 6. If “GetOutputFlag” is set to “True” in the template and
750    CallbackCapable is not set to “True”, ONAP will retrieve any output
751    from each node where the push job has finished by accessing the Node
752    Object attribute node[‘PushJobOutput’].
753
754 Ansible Standards and Capabilities
755 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
756
757 ONAP will support configuration of VNFs via Ansible subject to the
758 requirements and guidelines defined in this section.
759
760 Ansible allows agentless management of VNFs/VMs/VNFCs via execution
761 of ‘playbooks’ over ssh. The ‘playbooks’ are a structured set of
762 tasks which contain all the necessary data and execution capabilities
763 to take the necessary action on one or more target VMs (and/or VNFCs)
764 of the VNF. ONAP will utilize the framework of an Ansible Server that
765 will host and run playbooks to manage VNFs that support Ansible.
766
767 VNF Configuration via Ansible Requirements
768 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
769
770 Ansible Client Requirements
771 +++++++++++++++++++++++++++++
772
773 * R-32217 The xNF **MUST** have routable FQDNs that are reachable via
774   the Ansible Server for the endpoints (VMs) of a xNF on which playbooks
775   will be executed. ONAP will initiate requests to the Ansible Server
776   for invocation of playbooks against these end points [3]_.
777 * R-54373 The xNF **MUST** have Python >= 2.7 on the endpoint VM(s)
778   of a xNF on which an Ansible playbook will be executed.
779 * R-35401 The xNF **MUST** support SSH and allow SSH access to the
780   Ansible server for the endpoint VM(s) and comply with the  Network
781   Cloud Service Provider guidelines for authentication and access.
782 * R-82018 The VNF **SHOULD** load the SSH key onto VNF VM(s) as part
783   of instantiation. This will allow the Ansible Server to authenticate
784   to perform post-instantiation configuration without manual intervention
785   and without requiring specific VNF login IDs and passwords.
786
787  CAUTION: For VNFs configured using Ansible, to eliminate the need
788  for manual steps, post-instantiation and pre-configuration, to upload
789  of SSH keys, SSH keys loaded during (heat) instantiation shall be
790  preserved and not removed by (heat) embedded scripts.
791
792 * R-92866 The VNF **MUST** include as part of post-instantiation
793   configuration done by Ansible Playbooks the removal/update of SSH
794   keys loaded through instantiation to support Ansible. This may
795   include download and install of new SSH keys.
796 * R-91745 The VNF **MUST** update the Ansible Server and other entities
797   storing and using the SSH key for authentication when the SSH key used
798   by Ansible is regenerated/updated.
799
800 Ansible Playbook Requirements
801 +++++++++++++++++++++++++++++++
802
803 An Ansible playbook is a collection of tasks that is executed on the
804 Ansible server (local host) and/or the target VM (s) in order to
805 complete the desired action.
806
807 * R-40293 The xNF **MUST** make available playbooks that conform
808   to the ONAP requirement.
809 * R-49396 The xNF **MUST** support each xNF action by invocation of
810   **one** playbook [4]_. The playbook will be responsible for executing
811   all necessary tasks (as well as calling other playbooks) to complete
812   the request.
813 * R-33280 The xNF **MUST NOT** use any instance specific parameters
814   in a playbook.
815 * R-48698 The xNF **MUST** utilize information from key value pairs
816   that will be provided by the Ansible Server as extra-vars during
817   invocation to execute the desired xNF action. If the playbook requires
818   files, they must also be supplied using the methodology detailed in
819   the Ansible Server API.
820
821 The Ansible Server will determine if a playbook invoked to execute a
822 xNF action finished successfully or not using the “PLAY_RECAP” summary
823 in Ansible log.  The playbook will be considered to successfully finish
824 only if the “PLAY RECAP” section at the end of playbook execution output
825 has no unreachable hosts and no failed tasks. Otherwise, the playbook
826 will be considered to have failed.
827
828 * R-43253 The xNF **MUST** use playbooks designed to allow Ansible
829   Server to infer failure or success based on the “PLAY_RECAP” capability.
830 * R-50252 The xNF **MUST** write to a specific set of text files that
831   will be retrieved and made available by the Ansible Server if, as part
832   of a xNF action (e.g., audit), a playbook is required to return any
833   xNF information. The text files must be written in the same directory as
834   the one from which the playbook is being executed. A text file must be
835   created for each host the playbook run targets/affects, with the name
836   ‘<hostname>_results.txt’ into which any desired output from each
837   respective VM/xNF must be written.
838 * R-51442 The xNF **SHOULD** use playbooks that are designed to
839   automatically ‘rollback’ to the original state in case of any errors
840   for actions that change state of the xNF (e.g., configure).
841
842  NOTE: In case rollback at the playbook level is not supported or possible,
843  the xNF provider shall provide alternative locking mechanism (e.g., for a
844  small xNF the rollback mechanism may rely on workflow to terminate and
845  re-instantiate VNF VMs and then re-run playbook(s)). Backing up updated
846  files also recommended to support rollback when soft rollback is feasible.
847
848 * R-58301 The VNF **SHOULD NOT** use playbooks that make requests to
849   Cloud resources e.g. Openstack (nova, neutron, glance, heat, etc.);
850   therefore, there is no use for Cloud specific variables like Openstack
851   UUIDs in Ansible Playbooks.
852
853  Rationale: Flows that require interactions with Cloud services
854  e.g. Openstack shall rely on workflows run by an Orchestrator or
855  other capability (such as a control loop or Operations GUI) outside
856  Ansible Server which can be executed by a Controller such as APPC.
857  There are policies, as part of Control Loop models, that send remediation
858  action requests to APPC; these are triggered as a response to an event
859  or correlated events published to Event Bus.
860
861 * R-02651 The VNF **SHOULD** use the Ansible backup feature to save a
862   copy of configuration files before implementing changes to support
863   operations such as backing out of software upgrades, configuration
864   changes or other work as this will help backing out of configuration
865   changes when needed.
866 * R-43353 The VNF **MUST** return control from Ansible Playbooks only
867   after tasks are fully complete, signaling that the playbook completed
868   all tasks. When starting services, return control only after all services
869   are up. This is critical for workflows where the next steps are dependent
870   on prior tasks being fully completed.
871
872  Detailed examples:
873
874  StopApplication Playbook – StopApplication Playbook shall return control
875  and a completion status only after VNF application is fully stopped, all
876  processes/services stopped.
877  StartApplication Playbook – StartApplication Playbook shall return control
878  and a completion status only after all VNF application services are fully up,
879  all processes/services started and ready to provide services. NOTE: Start
880  Playbook should not be declared complete/done after starting one or several
881  processes that start the other processes.
882
883  HealthCheck Playbook:
884
885  SUCCESS – HealthCheck success shall be returned (return code 0) by a
886  Playbook or Cookbook only when VNF is 100% healthy, ready to take requests
887  and provide services, with all VNF required capabilities ready to provide
888  services and with all active and standby resources fully ready with no
889  open MINOR, MAJOR or CRITICAL alarms.
890
891  NOTE: In some cases, a switch may need to be turned on, but a VNF
892  reported as healthy, should be ready to take service requests or be
893  already processing service requests successfully.
894
895  A successful execution of a health-check playbook shall also create one
896  file per VNF VM, named using IP address or VM name followed by
897  “_results.txt (<hostname>_results.txt) to indicate health-check was
898  executed and completed successfully, example: 1xx.2yy.zzz.105_results.txt,
899  with the following contents:
900
901  "status”:"healthy”
902
903  Example:
904
905  $ cat 1xx.2yy.zzz.105_results.txt
906
907  "status”:"healthy”
908
909  FAILURE – A health check playbook shall return a non-zero return code in
910  case VNF is not 100% healthy because one or more VNF application processes
911  are stopped or not ready to take service requests or because critical or
912  non-critical resources are not ready or because there are open MINOR, MAJOR
913  or CRITICAL traps/alarms or because there are issues with the VNF that
914  need attention even if they do not impact services provided by the VNF.
915
916  A failed health-check playbook shall also create one file per VNF VM,
917  named using Playbook Name plus IP address or VM name, followed by
918  “_results.txt to indicate health-check was executed and found issues
919  in the health of the VNF. This is to differentiate from failure to
920  run health-check playbook or tasks to verify the health of the VNF,
921  example: 1xx.2yy.zzz.105_results.txt, with the following contents:
922
923  "status”:"unhealthy”
924
925  Example:
926
927  $ cat 1xx.2yy.zzz.105_results.txt
928
929  "status”:"unhealthy”
930
931  See `VNF REST APIs`_ for additional details on HealthCheck.
932
933 ONAP Controller / Ansible API Usage
934 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
935
936 This section outlines the workflow that ONAP Controller invokes when
937 it receives an action request against an Ansible managed VNF.
938
939  #. When ONAP Controller receives a request for an action for an
940     AnsibleManaged VNF, it retrieves the corresponding template (based
941     on **action** and **VNF**) from its database and sets necessary
942     values (such as an Id, NodeList, and EnvParameters) from either
943     information in the request or data obtained from other sources.
944     This is referred to as the payload that is sent as a JSON object
945     to the Ansible server.
946  #. The ONAP Controller sends a request to the Ansible server to
947     execute the action.
948  #. The ONAP Controller polls the Ansible Server for result (success
949     or failure).  The ONAP Controllers has a timeout value which is
950     contained in the template.   If the result is not available when the
951     timeout is reached, the ONAP Controller stops polling and returns a
952     timeout error to the requester.   The Ansible Server continues to
953     process the request.
954
955
956 ONAP Controller APIs and Behavior
957 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
958
959 ONAP Controllers such as APPC expose a northbound API to clients
960 which offer a set of commands. The following commands are expected
961 to be supported on all VNF’s if applicable, either directly (via the
962 Netconf interface) or indirectly (via a Chef or Ansible server).
963 There are additional commands offered to northbound clients that are
964 not listed here, as these commands either act internally on the Controller
965 itself or depend upon network cloud components for implementation
966 (thus, these actions do not put any special requirement on the VNF provider).
967
968 The following table summarizes how the VNF must act in response to
969 commands from ONAP.
970
971 Table 8. ONAP Controller APIs and NETCONF Commands
972
973 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
974 | **Action**          | **Description**                                                                                                                                                                                                                                                                  | **NETCONF Commands**                                                                                                                                                                                                          |
975 +=====================+==================================================================================================================================================================================================================================================================================+===============================================================================================================================================================================================================================+
976 | Action              | Queries ONAP Controller for the current state of a previously submitted runtime LCM (Lifecycle Management) action.                                                                                                                                                               | There is currently no way to check the request status in NETCONF so action status is managed internally by the ONAP controller.                                                                                               |
977 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
978 | Status              |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
979 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
980 | Audit, Sync         | Compare active (uploaded) configuration against the current configuration in the ONAP controller. Audit returns failure if different. Sync considers the active (uploaded) configuration as the current configuration.                                                           | The <get-config> operation is used to retrieve the running configuration from the VNF.                                                                                                                                        |
981 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
982 | Lock,               | Returns true when the given VNF has been locked.                                                                                                                                                                                                                                 | There is currently no way to query lock state in NETCONF so VNF locking and unlocking is managed internally by the ONAP controller.                                                                                           |
983 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
984 | Unlock,             |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
985 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
986 | CheckLock           |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
987 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
988 | Configure,          | Configure applies a post-instantiation configuration the target VNF or VNFC. ConfigModify updates only a subset of the total configuration parameters of a VNF.                                                                                                                  | The <edit-config> operation loads all or part of a specified configuration data set to the specified target database. If there is no <candidate/> database, then the target is the <running/> database. A <commit> follows.   |
989 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
990 | ConfigModify        |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
991 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
992 | Health              | Executes a VNF health check and returns the result. A health check is VNF-specific.                                                                                                                                                                                              | This command has no existing NETCONF RPC action.  It must be supported either by REST (see `VNF REST APIs`_) or using Ansible or Chef.                                                                                        |
993 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
994 | Check               |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
995 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
996 | StartApplication,   | ONAP requests application to be started or stopped on the VNF. These actions do not need to be supported if (1) the application starts automatically after Configure or if the VM’s are started and (2) the application gracefully shuts down if the VM’s are stopped.           | These commands have no specific NETCONF RPC action.                                                                                                                                                                           |
997 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
998 | StopApplication     |                                                                                                                                                                                                                                                                                  | If applicable, these commands must be supported using Ansible or Chef (see Table 9 below).                                                                                                                                    |
999 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1000 | ConfigBackup,       | ONAP requests the VNF configuration parameters to be backed up or restored (replacing existing configuration parameters on the VNF).                                                                                                                                             | These commands have no specific NETCONF RPC action.                                                                                                                                                                           |
1001 |                     |                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                               |
1002 | ConfigRestore       |                                                                                                                                                                                                                                                                                  | They can be supported using Ansible or Chef (see Table 9 below).                                                                                                                                                              |
1003 +---------------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1004
1005 Table 9 lists the required Chef and Ansible support for commands from
1006 ONAP.
1007
1008 Table 9. ONAP Controller APIs and Chef/Ansible Support
1009
1010 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1011 | **Action**          | **Chef**                                                                                                                                                                                                                                                                                         | **Ansible**                                                                                                                                                                                                                                                                                 |
1012 +=====================+==================================================================================================================================================================================================================================================================================================+=============================================================================================================================================================================================================================================================================================+
1013 | Action              | Not needed. ActionStatus is managed internally by the ONAP controller.                                                                                                                                                                                                                           | Not needed. ActionStatus is managed internally by the ONAP controller.                                                                                                                                                                                                                      |
1014 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1015 | Status              |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1016 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1017 | Audit, Sync         | VNF provider must provide any necessary roles, cookbooks, recipes to retrieve the running configuration from a VNF and place it in the respective Node Objects ‘PushJobOutput’ attribute of all nodes in NodeList when triggered by a chef-client run.                                           | VNF provider must provide an Ansible playbook to retrieve the running configuration from a VNF and place the output on the Ansible server in a manner aligned with playbook requirements listed in this document.                                                                           |
1018 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1019 |                     | The JSON file for this VNF action is required to set “PushJobFlag” to “True” and “GetOutputFlag” to “True”. The “Node” JSON dictionary must have the run list populated with the necessary sequence of roles, cookbooks, recipes.                                                                | The PlaybookName must be provided in the JSON file.                                                                                                                                                                                                                                         |
1020 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1021 |                     | The Environment and Node values should contain all appropriate configuration attributes.                                                                                                                                                                                                         | NodeList must list FQDNs of an example VNF on which to execute playbook.                                                                                                                                                                                                                    |
1022 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1023 |                     | NodeList must list sample FQDNs that are required to conduct a chef-client run for this VNF Action.                                                                                                                                                                                              |                                                                                                                                                                                                                                                                                             |
1024 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1025 | Lock,               | Not needed. VNF locking and unlocking is managed internally by the ONAP controller.                                                                                                                                                                                                              | Not needed. VNF locking and unlocking is managed internally by the ONAP controller.                                                                                                                                                                                                         |
1026 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1027 | Unlock,             |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1028 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1029 | CheckLock           |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1030 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1031 | Configure,          | VNF provider must provide any necessary roles, cookbooks, recipes to apply configuration attributes to the VNF when triggered by a chef-client run. All configurable attributes must be obtained from the Environment and Node objects on the Chef Server.                                       | VNF provider must provide an Ansible playbook that can configure the VNF with parameters supplied by the Ansible Server.                                                                                                                                                                    |
1032 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1033 | ConfigModify        | The JSON file for this VNF action should include all configurable attributes in the Environment and/or Node JSON dictionary.                                                                                                                                                                     | The PlaybookName must be provided in the JSON file.                                                                                                                                                                                                                                         |
1034 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1035 |                     | The “PushJobFlag” must be set to “True”.                                                                                                                                                                                                                                                         | The “EnvParameters” and/or “FileParameters” field values should be provided and contain all configurable parameters for the VNF.                                                                                                                                                            |
1036 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1037 |                     | The “Node” JSON dictionary must have the run list populated with necessary sequence of roles, cookbooks, recipes. This action is not expected to return an output.                                                                                                                               | NodeList must list FQDNs of an example VNF on which to execute playbook.                                                                                                                                                                                                                    |
1038 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1039 |                     | “GetOutputFlag” must be set to “False”.                                                                                                                                                                                                                                                          |                                                                                                                                                                                                                                                                                             |
1040 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1041 |                     | NodeList must list sample FQDNs that are required to conduct a chef-client run for this VNF Action.                                                                                                                                                                                              |                                                                                                                                                                                                                                                                                             |
1042 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1043 | Health              | The VNF level HealthCheck run a check over the entire scope of the VNF (for more details, see `VNF REST APIs`_).  It can be supported either via a REST interface or with Chef roles, cookbooks, and recipes.                                                                                    | The VNF level HealthCheck run a check over the entire scope of the VNF (for more details, see `VNF REST APIs`_).  It can be supported either via a REST interface or with an Ansible playbook.                                                                                              |
1044 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1045 | Check               |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1046 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1047 | StartApplication,   | VNF provider must provide roles, cookbooks, recipes to start an application on the VNF when triggered by a chef-client run. If application does not start, the run must fail or raise an exception. If application is already started, or starts successfully, the run must finish successfully. | VNF provider must provide an Ansible playbook to start the application on the VNF. If application does not start, the playbook must indicate failure. If application is already started, or starts successfully, the playbook must finish successfully.                                     |
1048 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1049 | StopApplication     | For StopApplication, the application must be stopped gracefully (no loss of traffic).                                                                                                                                                                                                            | For StopApplication, the application must be stopped gracefully (no loss of traffic).                                                                                                                                                                                                       |
1050 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1051 | ConfigBackup,       | VNF provider must provide roles, cookbooks, recipes to backup or restore the configuration parameters on the VNF when triggered by an ECOMP request.                                                                                                                                             | VNF provider must provide an Ansible playbook to backup or restore the configuration parameters on the VNF when triggered by an ECOMP request.                                                                                                                                              |
1052 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1053 |                     | When the ConfigBackup command is executed, the current VNF configuration parameters are copied over to the Ansible or Chef server (if there is an existing set of backed up parameters, they are overwritten). When the ConfigRestore command is executed, the VNF configuration parameters      | When the ConfigBackup command is executed, the current VNF configuration parameters are copied over to the Ansible or Chef server (if there is an existing set of backed up parameters, they are overwritten). When the ConfigRestore command is executed, the VNF configuration parameters |
1054 | ConfigRestore       | which are backed up on the Ansible or Chef server are applied to the VNF (replacing existing parameters). It can be assumed that the VNF is not in service when a ConfigRestore command is executed.                                                                                             | which are backed up on the Ansible or Chef server are applied to the VNF (replacing existing parameters). It can be assumed that the VNF is not in service when a ConfigRestore command is executed.                                                                                        |
1055 |                     |                                                                                                                                                                                                                                                                                                  |                                                                                                                                                                                                                                                                                             |
1056 |                     | If either command fails, the run must fail or raise an exception.                                                                                                                                                                                                                                | If either command fails, the run must fail or raise an exception.                                                                                                                                                                                                                           |
1057 +---------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1058
1059 For information purposes, the following ONAP controller functions are
1060 planned in the future:
1061
1062 Table 10. Planned ONAP Controller Functions
1063
1064 +------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1065 | Action           | Description                                                                                                                                                                     |
1066 +==================+=================================================================================================================================================================================+
1067 | UpgradeSoftware  | Upgrades the target VNF to a new software version.                                                                                                                              |
1068 +------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1069 | QuiesceTraffic,  | Quiesces traffic (stops traffic gracefully) and resume traffic on the VNF.   These commands do not stop the application processes (which is done using StopApplication).        |
1070 | ResumeTraffic    |                                                                                                                                                                                 |
1071 +------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1072
1073
1074 Monitoring & Management
1075 --------------------------------------------------
1076
1077 This section addresses data collection and event processing
1078 functionality that is directly dependent on the interfaces
1079 provided by the VNFs’ APIs. These can be in the form of asynchronous
1080 interfaces for event, fault notifications, and autonomous data streams.
1081 They can also be synchronous interfaces for on-demand requests to
1082 retrieve various performance, usage, and other event information.
1083
1084 The target direction for VNF interfaces is to employ APIs that are
1085 implemented utilizing standardized messaging and modeling protocols
1086 over standardized transports. Migrating to a virtualized environment
1087 presents a tremendous opportunity to eliminate the need for proprietary
1088 interfaces for VNF provider equipment while removing the traditional
1089 boundaries between Network Management Systems and Element Management
1090 Systems. Additionally, VNFs provide the ability to instrument the
1091 networking applications by creating event records to test and monitor
1092 end-to-end data flow through the network, similar to what physical or
1093 virtual probes provide without the need to insert probes at various
1094 points in the network. The VNF providers must be able to provide the
1095 aforementioned set of required data directly to the ONAP collection
1096 layer using standardized interfaces.
1097
1098 Data Model for Event Records
1099 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1100
1101 This section describes the data model for the collection of telemetry
1102 data from VNFs by Service Providers (SPs) to manage VNF health and
1103 runtime lifecycle. This data model is referred to as the VNF Event
1104 Streaming (VES) specifications. While this document is focused on
1105 specifying some of the records from the ONAP perspective, there may
1106 be other external bodies using the same framework to specify additional
1107 records. For example, OPNFV has a VES project  that is looking to specify
1108 records for OpenStack’s internal telemetry to manage Application (VNFs),
1109 physical and virtual infrastructure (compute, storage, network devices),
1110 and virtual infrastructure managers (cloud controllers, SDN controllers).
1111 Note that any configurable parameters for these data records (e.g.,
1112 frequency, granularity, policy-based configuration) will be managed
1113 using the “Configuration” framework described in the prior sections
1114 of this document.
1115
1116 The Data Model consists of:
1117
1118 -  Common Header Record: This data structure precedes each of the
1119    Technology Independent and Technology Specific records sections of
1120    the data model.
1121
1122 -  Technology Independent Records: This version of the document
1123    specifies the model for Fault, Heartbeat, State Change, Syslog,
1124    Threshold Crossing Alerts, and VNF Scaling* (short for
1125    measurementForVfScalingFields – actual name used in JSON
1126    specification) records. In the future, these may be extended to
1127    support other types of technology independent records. Each of
1128    these records allows additional fields (name/ value pairs) for
1129    extensibility. The VNF provider can use these VNF Provider-specific
1130    additional fields to provide additional information that may be
1131    relevant to the managing systems.
1132
1133 -  Technology Specific Records: This version of the document specifies
1134    the model for Mobile Flow records, Signaling and Voice Quality records.
1135    In the future, these may be extended to support other types of records
1136    (e.g. Network Fabric, Security records, etc.). Each of these records
1137    allows additional fields (name/value pairs) for extensibility. The VNF
1138    providers can use these VNF-specific additional fields to provide
1139    additional information that may be relevant to the managing systems.
1140    A placeholder for additional technology specific areas of interest to
1141    be defined in the future documents has been depicted.
1142
1143 |image0|
1144
1145 Figure 1. Data Model for Event Records
1146
1147 Event Records - Data Structure Description
1148 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1149
1150 The data structure for event records consists of:
1151
1152 -  a Common Event Header block;
1153
1154 -  zero or more technology independent domain blocks; and
1155
1156    -  e.g., Fault domain, State Change domain, Syslog domain, etc.
1157
1158 -  zero or more technology specific domain blocks.
1159
1160    -  e.g., Mobile Flow domain, Signaling domain, Voice Quality domain,
1161       etc.
1162
1163 Common Event Header
1164 ~~~~~~~~~~~~~~~~~~~~~
1165
1166 The common header that precedes any of the domain-specific records contains
1167 information identifying the type of record to follow, information about
1168 the sender and other identifying characteristics related to timestamp,
1169 sequence number, etc.
1170
1171 Technology Independent Records – Fault Fields
1172 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1173
1174 The Fault Record, describing a condition in the Fault domain, contains
1175 information about the fault such as the entity under fault, the
1176 severity, resulting status, etc.
1177
1178 Technology Independent Records – Heartbeat Fields
1179 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1180
1181 The Heartbeat Record provides an optional structure for communicating
1182 information about heartbeat or watchdog signaling events.  It can
1183 contain information about service intervals, status information etc.
1184 as required by the heartbeat implementation.
1185
1186 Note: Heartbeat records would only have the Common Event Header block.
1187 An optional heartbeat domain is available if required by the heartbeat
1188 implementation.
1189
1190 Technology Independent Records – State Change Fields
1191 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1192
1193 The State Change Record provides a structure for communicating information
1194 about data flow through the VNF. It can contain information about state
1195 change related to physical device that is reported by VNF. As an example,
1196 when cards or port name of the entity that has changed state.
1197
1198 Technology Independent Records – Syslog Fields
1199 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1200
1201 The Syslog Record provides a structure for communicating any type of
1202 information that may be logged by the VNF. It can contain information
1203 about system internal events, status, errors, etc.
1204
1205 Technology Independent Records – Threshold Crossing Alert Fields
1206 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1207
1208 The Threshold Crossing Alert (TCA) Record provides a structure for
1209 communicating information about threshold crossing alerts. It can
1210 contain alert definitions and types, actions, events, timestamps
1211 and physical or logical details.
1212
1213 Technology Independent Records - VNF Scaling Fields
1214 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1215
1216 The VNF Scaling\* (short for measurementForVfScalingFields –
1217 actual name used in JSON specification) Record contains information
1218 about VNF and VNF resource structure and its condition to help in
1219 the management of the resources for purposes of elastic scaling.
1220
1221 Technology Independent Records – otherFields
1222 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1223
1224 The otherFields Record defines fields for events belonging to the
1225 otherFields domain of the Technology Independent domain enumeration.
1226 This record provides a mechanism to convey a complex set of fields
1227 (possibly nested or opaque) and is purely intended to address
1228 miscellaneous needs such as addressing time-to-market considerations
1229 or other proof-of-concept evaluations. Hence, use of this record
1230 type is discouraged and should be minimized.
1231
1232 Technology Specific Records – Mobile Flow Fields
1233 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1234
1235 The Mobile Flow Record provides a structure for communicating
1236 information about data flow through the VNF. It can contain
1237 information about connectivity and data flows between serving
1238 elements for mobile service, such as between LTE reference points, etc.
1239
1240 Technology Specific Records – Signaling Fields
1241 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1242
1243 The Signaling Record provides a structure for communicating information
1244 about signaling messages, parameters and signaling state.  It can
1245 contain information about data flows for signaling and controlling
1246 multimedia communication sessions such as voice and video calls.
1247
1248 Technology Specific Records – Voice Quality Fields
1249 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1250 The Voice Quality Record provides a structure for communicating information
1251 about voice quality statistics including media connection information,
1252 such as transmitted octet and packet counts, packet loss, packet delay
1253 variation, round-trip delay, QoS parameters and codec selection.
1254
1255 Technology Specific Records – Future Domains
1256 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1257
1258 The futureDomains Record is a placeholder for additional technology
1259 specific areas of interest that will be defined and described
1260 in the future documents.
1261
1262 Data Structure Specification of the Event Record
1263 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1264
1265 For additional information on the event record formats of the data
1266 structures mentioned above, please refer to `VES Event
1267 Listener <https://github.com/att/evel-test-collector/tree/master/docs/att_interface_definition>`__.
1268
1269 Transports and Protocols Supporting Resource Interfaces
1270 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1271
1272 Delivery of data from VNFs to ONAP must use the common transport
1273 mechanisms and protocols for all VNFs as defined in this document.
1274 Transport mechanisms and protocols have been selected to enable both
1275 high volume and moderate volume datasets, as well as asynchronous and
1276 synchronous communications over secure connections. The specified
1277 encoding provides self-documenting content, so data fields can be
1278 changed as needs evolve, while minimizing changes to data delivery.
1279
1280 The term ‘Event Record’ is used throughout this document to represent
1281 various forms of telemetry or instrumentation made available by the
1282 VNF including, faults, status events, various other types of VNF
1283 measurements and logs. Headers received by themselves must be used
1284 as heartbeat indicators. Common structures and delivery protocols for
1285 other types of data will be given in future versions of this document
1286 as we get more insight into data volumes and required processing.
1287
1288 In the following sections, we provide options for encoding, serialization
1289 and data delivery. Agreements between Service Providers and VNF providers
1290 shall determine which encoding, serialization and delivery method to use
1291 for particular data sets. The selected methods must be agreed to prior to
1292 the on-boarding of the VNF into ONAP design studio.
1293
1294 VNF Telemetry using VES/JSON Model
1295 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1296
1297 The preferred model for data delivery from a VNF to ONAP DCAE is
1298 the JSON driven model as depicted in Figure 2.
1299
1300 |image1|
1301
1302 Figure 2. VES/JSON Driven Model
1303
1304 VNF providers will provide a YAML artifact to the Service Provider
1305 that describes:
1306
1307 * standard VES/JSON model information elements (key/values) that
1308   the VNF provides
1309 * any additional non-standard (custom) VES/JSON model information
1310   elements (key/values) that the VNF provides
1311
1312 Using the semantics and syntax supported by YAML, VNF providers
1313 will indicate specific conditions that may arise, and recommend
1314 actions that should be taken at specific thresholds, or if specific
1315 conditions repeat within a specified time interval.
1316
1317 Based on the VNF provider's recommendations, the Service Provider may
1318 create additional YAML artifacts (using ONAP design Studio), which
1319 finalizes Service Provider engineering rules for the processing of
1320 the VNF events.  The Service Provider may alter the threshold levels
1321 recommended by the VNF providor, and may modify and more clearly
1322 specify actions that should be taken when specified conditions arise.
1323 The Service Provider-created version of the YAML artifact will be
1324 distributed to ONAP applications by the Design framework.
1325
1326 VNF Telemetry using YANG Model
1327 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1328
1329 In addition to the JSON driven model described above, a YANG
1330 driven model can also be supported, as depicted in Figure 3.
1331
1332 |image2|
1333
1334 Figure 3. YANG Driven Model
1335
1336 VNF providers will provide to the Service Provider the following
1337 YANG model artifacts:
1338
1339 * common IETF YANG modules that support the VNF
1340 * native (VNF provider-supplied) YANG modules that support the VNF
1341 * open (OpenConfig) YANG modules and the following
1342   configuration-related information, including:
1343
1344   * telemetry configuration and operational state data; such as:
1345
1346     * sensor paths
1347     * subscription bindings
1348     * path destinations
1349     * delivery frequency
1350     * transport mechanisms
1351     * data encodings
1352
1353 * a YAML artifact that provides all necessary mapping relationships
1354   between YANG model data types to VES/JSON information elements
1355 * YANG helper or decoder functions that automate the conversion between
1356   YANG model data types to VES/JSON information elements
1357 * OPTIONAL: YANG Telemetry modules in JSON format per RFC 7951
1358
1359 Using the semantics and syntax supported by YANG, VNF providers
1360 will indicate specific conditions that may arise, and recommend
1361 actions that should be taken at specific thresholds, or if specific
1362 conditions repeat within a specified time interval.
1363
1364 Based on the VNF provider's recommendations, the Service Provider may
1365 create additional YAML artifacts (using ONAP design Studio), which
1366 finalizes Service Provider engineering rules for the processing of the
1367 VNF events.  The Service Provider may alter the threshold levels recommended
1368 by the VNF provider, and may modify and more clearly specify actions that
1369 should be taken when specified conditions arise.  The Service
1370 Provided-created version of the YAML will be distributed to ONAP
1371 applications by the Design framework.
1372
1373 Note: While supporting the YANG model described above, we are still
1374 leveraging the VES JSON based model in DCAE.  The purpose of the
1375 diagram above is to illustrate the concept only and not to imply a
1376 specific implementation.
1377
1378 VNF Telemetry using Google Protocol Buffers
1379 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1380
1381 In addition to the data delivery models described above, support for
1382 delivery of VNF telemetry using Google Protocol Buffers (GPB) can
1383 also be supported, as depicted in Figure 4.
1384
1385 VNF providers will provide to the Service Provider the additional
1386 following artifacts to support the delivery of VNF telemetry to DCAE
1387 via the open-source gRPC mechanism using Google's Protocol Buffers:
1388
1389 * the YANG model artifacts described in support of the
1390   "VNF Telemetry using YANG Model"
1391 * valid definition file(s) for all GPB / KV-GPB encoded messages
1392 * valid definition file(s) for all gRPC services
1393 * gRPC method parameters and return types specified as Protocol
1394   Buffers messages
1395
1396 |image3|
1397
1398 Figure 4. Protocol Buffers Driven Model
1399
1400 Note: if Google Protocol Buffers are employed for delivery of VNF
1401 telemetry, Key-Value Google Protocol Buffers (KV-GPB) is the
1402 preferred serialization method.  Details of specifications and
1403 versioning corresponding to a release can be found at:
1404 `VES Event Listener <https://github.com/att/evel-test-collector/tree/master/docs/att_interface_definition>`__.
1405
1406 Note: While supporting the VNF telemetry delivery approach described above,
1407 we are still leveraging the VES JSON based model in DCAE.  The purpose of
1408 the diagram above is to illustrate the concept only and not to imply a
1409 specific implementation.
1410
1411 Monitoring & Management Requirements
1412 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1413
1414 VNF telemetry via standardized interface
1415 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1416
1417 * R-51910 The xNF **MUST** provide all telemetry (e.g., fault event
1418   records, syslog records, performance records etc.) to ONAP using the
1419   model, format and mechanisms described in this section.
1420
1421 Encoding and Serialization
1422 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
1423
1424 Content delivered from VNFs to ONAP is to be encoded and serialized using JSON:
1425
1426 JSON
1427 ~~~~~~~~~~~~~~~~~~
1428
1429 * R-19624 The xNF **MUST** encode and serialize content delivered to ONAP using JSON (RFC 7159) plain text format. High-volume data
1430   is to be encoded and serialized using `Avro <http://avro.apache.org/>`_, where the Avro [5]_ data format are described using JSON.
1431
1432  -  JSON plain text format is preferred for moderate volume data sets
1433     (option 1), as JSON has the advantage of having well-understood simple
1434     processing and being human-readable without additional decoding. Examples
1435     of moderate volume data sets include the fault alarms and performance
1436     alerts, heartbeat messages, measurements used for xNF scaling and syslogs.
1437  -  Binary format using Avro is preferred for high volume data sets
1438     (option 2) such as mobility flow measurements and other high-volume
1439     streaming events (such as mobility signaling events or SIP signaling)
1440     or bulk data, as this will significantly reduce the volume of data
1441     to be transmitted. As of the date of this document, all events are
1442     reported using plain text JSON and REST.
1443  -  Avro content is self-documented, using a JSON schema. The JSON schema is
1444     delivered along with the data content
1445     (http://avro.apache.org/docs/current/ ). This means the presence and
1446     position of data fields can be recognized automatically, as well as the
1447     data format, definition and other attributes. Avro content can be
1448     serialized as JSON tagged text or as binary. In binary format, the
1449     JSON schema is included as a separate data block, so the content is
1450     not tagged, further compressing the volume. For streaming data, Avro
1451     will read the schema when the stream is established and apply the
1452     schema to the received content.
1453
1454 In addition to the preferred method (JSON), content can be delivered
1455 from xNFs to ONAP can be encoded and serialized using Google Protocol
1456 Buffers (GPB).
1457
1458 KV-GPB/GPB
1459 ~~~~~~~~~~~~~~~~~~
1460
1461 Telemetry data delivered using Google Protocol Buffers v3 (proto3)
1462 can be serialized in one of the following methods:
1463
1464 * Key-value Google Protocol Buffers (KV-GPB) is also known as
1465   self-describing GPB:
1466
1467   * keys are strings that correspond to the path of the system
1468     resources for the VNF being monitored.
1469   * values correspond to integers or strings that identify the
1470     operational state of the VNF resource, such a statistics counters
1471     and the state of a VNF resource.
1472
1473 * VNF providers must supply valid KV-GPB definition file(s) to allow
1474   for the decoding of all KV-GPB encoded telemetry messages.
1475
1476 * Native Google Protocol Buffers (GPB) is also known as compact GPB:
1477
1478   * keys are represented as integers pointing to the system resources for
1479     the VNF being monitored.
1480   * values correspond to integers or strings that identify the operational
1481     state of the VNF resource, such a statistics counters and the state
1482     of a VNF resource.
1483
1484 * Google Protocol Buffers (GPB) requires metadata in the form of .proto
1485   files. VNF providers must supply the necessary GPB .proto files such that
1486   GPB telemetry messages can be encoded and decoded.
1487
1488 * In the future, we may consider support for other types of
1489   encoding & serialization methods based on industry demand.
1490
1491
1492 Reporting Frequency
1493 ~~~~~~~~~~~~~~~~~~~~~
1494
1495 * R-98191 The xNF **MUST** vary the frequency that asynchronous data
1496   is delivered based on the content and how data may be aggregated or
1497   grouped together. For example, alarms and alerts are expected to be
1498   delivered as soon as they appear. In contrast, other content, such as
1499   performance measurements, KPIs or reported network signaling may have
1500   various ways of packaging and delivering content. Some content should
1501   be streamed immediately; or content may be monitored over a time interval,
1502   then packaged as collection of records and delivered as block; or data
1503   may be collected until a package of a certain size has been collected;
1504   or content may be summarized statistically over a time interval, or
1505   computed as a KPI, with the summary or KPI being delivered.
1506
1507   -  We expect the reporting frequency to be configurable depending
1508      on the virtual network function’s needs for management. For example,
1509      Service Provider may choose to vary the frequency of collection between
1510      normal and trouble-shooting scenarios.
1511   -  Decisions about the frequency of data reporting will affect the
1512      size of delivered data sets, recommended delivery method, and how the
1513      data will be interpreted by ONAP. These considerations should not
1514      affect deserialization and decoding of the data, which will be guided
1515      by the accompanying JSON schema or GPB definition files.
1516
1517 Addressing and Delivery Protocol
1518 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1519
1520 ONAP destinations can be addressed by URLs for RESTful data PUT. Future
1521 data sets may also be addressed by host name and port number for TCP
1522 streaming, or by host name and landing zone directory for SFTP transfer
1523 of bulk files.
1524
1525 * R-88482 The xNF **SHOULD** use REST using HTTPS delivery of plain
1526   text JSON for moderate sized asynchronous data sets, and for high
1527   volume data sets when feasible.
1528 * R-84879 The xNF **MUST** have the capability of maintaining a primary
1529   and backup DNS name (URL) for connecting to ONAP collectors, with the
1530   ability to switch between addresses based on conditions defined by policy
1531   such as time-outs, and buffering to store messages until they can be
1532   delivered. At its discretion, the service provider may choose to populate
1533   only one collector address for a xNF. In this case, the network will
1534   promptly resolve connectivity problems caused by a collector or network
1535   failure transparently to the xNF.
1536 * R-81777 The VNF **MUST** be configured with initial address(es) to use
1537   at deployment time. Subsequently, address(es) may be changed through
1538   ONAP-defined policies delivered from ONAP to the VNF using PUTs to a
1539   RESTful API, in the same manner that other controls over data reporting
1540   will be controlled by policy.
1541 * R-08312 The xNF **MAY** use other options which are expected to include
1542
1543  -  REST delivery of binary encoded data sets.
1544  -  TCP for high volume streaming asynchronous data sets and for other
1545     high volume data sets. TCP delivery can be used for either
1546     JSON or binary encoded data sets.
1547  -  SFTP for asynchronous bulk files, such as bulk files that contain
1548     large volumes of data collected over a long time interval or data
1549     collected across many xNFs. This is not preferred. Preferred is to
1550     reorganize the data into more frequent or more focused data sets, and
1551     deliver these by REST or TCP as appropriate.
1552  -  REST for synchronous data, using RESTCONF (e.g., for xNF state polling).
1553
1554 * R-03070 The xNF **MUST**, by ONAP Policy, provide the ONAP addresses
1555   as data destinations for each xNF, and may be changed by Policy while
1556   the xNF is in operation. We expect the xNF to be capable of redirecting
1557   traffic to changed destinations with no loss of data, for example from
1558   one REST URL to another, or from one TCP host and port to another.
1559
1560 Asynchronous and Synchronous Data Delivery
1561 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1562
1563 * R-06924 The xNF **MUST** deliver asynchronous data as data becomes
1564   available, or according to the configured frequency.
1565 * R-73285 The xNF **MUST** must encode, address and deliver the data
1566   as described in the previous paragraphs.
1567 * R-42140 The xNF **MUST** respond to data requests from ONAP as soon
1568   as those requests are received, as a synchronous response.
1569 * R-34660 The xNF **MUST** use the RESTCONF/NETCONF framework used by
1570   the ONAP configuration subsystem for synchronous communication.
1571 * R-86585 The VNF **MUST** use the YANG configuration models and RESTCONF
1572   [RFC8040] (https://tools.ietf.org/html/rfc8040).
1573 * R-11240 The xNF **MUST** respond with content encoded in JSON, as
1574   described in the RESTCONF specification. This way the encoding of a
1575   synchronous communication will be consistent with Avro.
1576 * R-70266 The xNF **MUST** respond to an ONAP request to deliver the
1577   current data for any of the record types defined in
1578   `Event Records - Data Structure Description`_ by returning the requested
1579   record, populated with the current field values. (Currently the defined
1580   record types include fault fields, mobile flow fields, measurements for
1581   xNF scaling fields, and syslog fields. Other record types will be added
1582   in the future as they become standardized and are made available.)
1583 * R-46290 The xNF **MUST** respond to an ONAP request to deliver granular
1584   data on device or subsystem status or performance, referencing the YANG
1585   configuration model for the xNF by returning the requested data elements.
1586 * R-43327 The xNF **SHOULD** use `Modeling JSON text with YANG
1587   <https://tools.ietf.org/html/rfc7951>`_, If YANG models need to be
1588   translated to and from JSON{RFC7951]. YANG configuration and content can
1589   be represented via JSON, consistent with Avro, as described in “Encoding
1590   and Serialization” section.
1591
1592 Security
1593 ~~~~~~~~~~
1594
1595 * R-42366 The xNF **MUST** support secure connections and transports such as
1596   Transport Layer Security (TLS) protocol
1597   [`RFC5246 <https://tools.ietf.org/html/rfc5246>`_] and should adhere to
1598   the best current practices outlined in
1599   `RFC7525 <https://tools.ietf.org/html/rfc7525>`_.
1600 * R-44290 The xNF **MUST** control access to ONAP and to xNFs, and creation
1601   of connections, through secure credentials, log-on and exchange mechanisms.
1602 * R-47597 The xNF **MUST** carry data in motion only over secure connections.
1603 * R-68165 The xNF **MUST** encrypt any content containing Sensitive Personal
1604   Information (SPI) or certain proprietary data, in addition to applying the
1605   regular procedures for securing access and delivery.
1606
1607
1608 .. [1]
1609    https://github.com/mbj4668/pyang
1610
1611 .. [2]
1612    Recall that the Node Object **is required** to be identical across
1613    all VMs of a VNF invoked as part of the action except for the “name”.
1614
1615 .. [3]
1616    Upstream elements must provide the appropriate FQDN in the request to
1617    ONAP for the desired action.
1618
1619 .. [4]
1620    Multiple ONAP actions may map to one playbook.
1621
1622 .. [5]
1623    This option is not currently supported in ONAP and it is currently
1624    under consideration.
1625
1626 .. [6]
1627    https://wiki.opnfv.org/display/PROJ/VNF+Event+Stream
1628
1629 .. |image0| image:: Data_Model_For_Event_Records.png
1630       :width: 7in
1631       :height: 8in
1632
1633
1634 .. |image1| image:: VES_JSON_Driven_Model.png
1635       :width: 5in
1636       :height: 3in
1637
1638 .. |image2| image:: YANG_Driven_Model.png
1639       :width: 5in
1640       :height: 3in
1641
1642 .. |image3| image:: Protocol_Buffers_Driven_Model.png
1643       :width: 4.74in
1644       :height: 3.3in