Update the source files reference in SettingUp
[doc.git] / docs / guides / onap-developer / settingup / fullonap.rst
1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
2    http://creativecommons.org/licenses/by/4.0
3    Copyright 2017 ONAP
4
5
6 .. contents::
7    :depth: 2
8 ..
9
10 .. index:: Setting Up Full ONAP
11
12
13 ========================
14 **Setting Up Full ONAP**
15 ========================
16
17 .. _demo-installing-running-onap:
18
19 **Context**
20 ===========
21 ONAP may be deployed in different contexts depending on your requirements. The recommended installation for Amsterdam Release is currently based on OpenStack HEAT Template.
22
23 Using the Amsterdam HEAT Template installer, ONAP can be deployed in a single tenant or multiple tenants. One tenant for all the components except DCAE, and another tenant dedicated to the DCAE components.
24
25 The VNFs managed by ONAP may be deployed in different OpenStack tenants or based on top of VMware based infrastructure. For details, refer :ref:`to MultiCloud project<index-multicloud>`.
26
27 The current installation is based on the single tenant deployment (all the ONAP components will be hosted in a unique tenant) with DCAE components deployed in High Availability mode.
28
29 The installation requires some manual tasks to setup the DCAE components.
30
31 .. _demo-installing-running-onap-requirements:
32
33 **Requirements**
34 ================
35
36 OpenStack
37 ---------
38 ONAP installation is validated on `OpenStack Ocata <https://releases.openstack.org/ocata/>`_ or latter release.
39
40 You can use various Cloud providers offering OpenStack based solutions. A list of available Cloud providers on the `OpenStack marketplace <https://www.openstack.org/marketplace/public-clouds/>`_.
41
42 You can use your private Cloud infrastructure.
43
44 The following OpenStack components must be deployed in the infrastructure:
45  - *Cinder*
46  - *Designate*
47  - *Glance*
48  - *Heat*
49  - *Horizon*
50  - *Keystone*
51  - *Neutron*
52  - *Nova*
53
54 To deploy OpenStack, you can use various solutions:
55  - `OpenStack installation guide <https://docs.openstack.org/install-guide/>`_
56  - `OPNFV Cross Community Continuous Integration - XCI installer <http://docs.opnfv.org/en/latest/infrastructure/xci.html>`_
57  - `OpenStack Ocata installation guide <https://docs.openstack.org/ocata/install/>`_
58
59 .. tip::
60  - Notice the documentation version mentioned in the URL, e.g. ocata/, pike/, latest/ ...
61  - The installation is pretty huge, some automated scripts have been created by the community:
62
63   - `OpenStack installation with Ansible (All openstack services) <https://docs.openstack.org/openstack-ansible/latest/>`_
64   - `OpenStack Ocata installation scripts for testing environment (DO NOT install Heat, Designate and Cinder Volume services) <https://github.com/reachsrirams/openstack-scripts>`_
65
66 Use the procedure below to deploy and configure *Designate* manually
67
68 .. toctree::
69    :maxdepth:    1
70
71    install-designate.rst
72
73
74 The OpenStack infrastructure must enable internet access and you need to have an "External network" already configured properly.
75 The External network ID will have to be provided in the Heat environment file.
76
77 ONAP components
78 ---------------
79 The following table presents the mapping between the created VM and the ONAP components, and provides VM information (flavor and image):
80
81     ===================  =================   =======  ============
82     VM name              ONAP project(s)     Flavor   Image
83     ===================  =================   =======  ============
84     onap-aai-inst1       AAI                 xlarge   Ubuntu 14.04
85     onap-aai-inst2       AAI/UI              xlarge   Ubuntu 14.04
86     onap-appc            APPC, CCSDK         large    Ubuntu 14.04
87     onap-clamp           CLAMP               medium   Ubuntu 16.04
88     onap-dns-server      *Internal DNS*      small    Ubuntu 14.04
89     onap-message-router  DMAAP               large    Ubuntu 14.04
90     onap-multi-service   MSB, VF-C, VNFSDK   xxlarge  Ubuntu 16.04
91     onap-policy          Policy              xlarge   Ubuntu 14.04
92     onap-portal          Portal, CLI         large    Ubuntu 14.04
93     onap-robot           Integration         medium   Ubuntu 16.04
94     onap-sdc             SDC                 xlarge   Ubuntu 16.04
95     onap-sdnc            SDNC, CCSDK         large    Ubuntu 14.04
96     onap-so              SO                  large    Ubuntu 16.04
97     onap-vid             VID                 medium   Ubuntu 14.04
98     onap-dcae-bootstrap  DCAE, Holmes        small    Ubuntu 14.04
99     dcaeorcl00           DCAE/Orchestr.      medium   CentOS 7
100     dcaecnsl00           DCAE/Consul         medium   Ubuntu 16.04
101     dcaecnsl01           DCAE/Consul         medium   Ubuntu 16.04
102     dcaecnsl02           DCAE/Consul         medium   Ubuntu 16.04
103     dcaedokp00           DCAE/Policy Hand.   medium   Ubuntu 16.04
104     dcaedoks00           DCAE/VES, Holmes    medium   Ubuntu 16.04
105     dcaepgvm00           DCAE/Postrges       medium   Ubuntu 16.04
106     dcaecdap00           DCAE/CDAP           large    Ubuntu 16.04
107     dcaecdap01           DCAE/CDAP           large    Ubuntu 16.04
108     dcaecdap02           DCAE/CDAP           large    Ubuntu 16.04
109     dcaecdap03           DCAE/CDAP           large    Ubuntu 16.04
110     dcaecdap04           DCAE/CDAP           large    Ubuntu 16.04
111     dcaecdap05           DCAE/CDAP           large    Ubuntu 16.04
112     dcaecdap06           DCAE/CDAP           large    Ubuntu 16.04
113     ===================  =================   =======  ============
114
115 Footprint
116 ---------
117 The ONAP installation requires the following footprint:
118  - 29 VM
119  - 148 vCPU
120  - 336 GB RAM
121  - 3 TB Storage
122  - 29 floating IP addresses
123
124 .. Note: The default flavor size may be optimized. The ONAP community is working to update flavors of basic ONAP installation.
125
126 .. Note: You should also reserve some resources for the VNFs to be deployed.
127
128 Artifacts
129 ---------
130 The following artifacts must be deployed on the OpenStack infrastructure:
131  - a public SSH key to access the various VM
132  - private SSH key and public key SSH key for the DCAE VM
133  - Ubuntu 14.04 image (https://cloud-images.ubuntu.com/releases/14.04/14.04/)
134  - Ubuntu 16.04 image (https://cloud-images.ubuntu.com/releases/16.04/release/)
135  - CentOS 7 image (http://cloud.centos.org/centos/7/images/)
136  - Set of flavors: small, medium, large, medium, large, xlarge, xxlarge
137
138 .. Note: The floating IP may be private IP.
139
140 .. Note: Basic flavors can reuse the default flavors as defined by `OpenStack <https://docs.openstack.org/horizon/latest/admin/manage-flavors.html>`_
141    The xxlarge flavor should be configured using the following values: 12 vCPU, 64 GB RAM and 120 GB storage.
142
143 Security
144 --------
145 The default installation assumes that the Default security group is configured to enable full access between the ONAP components.
146 Depending on your environment, we may need to open some security groups (eg when using the portal from your desktop).
147
148 The list of various services and ports used can be found on the `ONAP wiki <https://wiki.onap.org/display/DW/ONAP+Services+List#ONAPServicesList-ONAPServices>`_.
149
150 **Deployment**
151 ==============
152
153 Source files
154 ------------
155
156 Both following files must be downloaded and configured to match your configuration:
157
158 - Template file: https://git.onap.org/demo/plain/heat/ONAP/onap_openstack.yaml?h=amsterdam
159 - Environment file: https://git.onap.org/demo/plain/heat/ONAP/onap_openstack.env?h=amsterdam
160
161 The environment file must be customized as described in the following sections.
162
163 .. Note Amsterdam release files
164
165 Description
166 -----------
167
168 The ONAP HEAT template spins up all the components expect the DCAE. The template,
169 onap_openstack.yaml, comes with an environment file,
170 onap_openstack.env, in which all the default values are defined.
171
172 The HEAT template is composed of two sections: (i) parameters, and (ii)
173 resources.
174 The parameter section contains the declaration and
175 description of the parameters that will be used to spin up ONAP, such as
176 public network identifier, URLs of code and artifacts repositories, etc.
177 The default values of these parameters can be found in the environment
178 file.
179
180 The resource section contains the definition of:
181
182 - ONAP Private Management Network, which ONAP components use to communicate with each other and with VNFs
183 - ONAP Virtual Machines (VMs)
184 - Public/private key pair used to access ONAP VMs
185 - Virtual interfaces towards the ONAP Private Management Network
186 - Disk volumes
187
188 Each VM specification includes Operating System image name, VM size
189 (i.e. flavor), VM name, etc. Each VM has two virtual network interfaces:
190 one towards the public network and one towards the ONAP Private
191 Management network, as described above. Furthermore, each VM runs a
192 post-instantiation script that downloads and installs software
193 dependencies (e.g. Java JDK, gcc, make, Python, ...) and ONAP software
194 packages and Docker containers from remote repositories.
195
196 When the HEAT template is executed, the OpenStack HEAT engine creates
197 the resources defined in the HEAT template, based on the parameters
198 values defined in the environment file.
199
200 Environment file
201 ----------------
202
203 Before running HEAT, it is necessary to customize the environment file.
204 Indeed, some parameters, namely public_net_id, pub_key,
205 openstack_tenant_id, openstack_username, and openstack_api_key,
206 need to be set depending on the user's environment:
207
208 **Global parameters**
209
210 ::
211
212  public_net_id:       PUT YOUR NETWORK ID/NAME HERE
213  pub_key:             PUT YOUR PUBLIC KEY HERE
214  openstack_tenant_id: PUT YOUR OPENSTACK PROJECT ID HERE
215  openstack_username:  PUT YOUR OPENSTACK USERNAME HERE
216  openstack_api_key:   PUT YOUR OPENSTACK PASSWORD HERE
217  horizon_url:         PUT THE HORIZON URL HERE
218  keystone_url:        PUT THE KEYSTONE URL HERE (do not include version number)
219
220 openstack_region parameter is set to RegionOne (OpenStack default). If
221 your OpenStack is using another Region, please modify this parameter.
222
223 public_net_id is the unique identifier (UUID) or name of the public
224 network of the cloud provider. To get the public_net_id, use the
225 following OpenStack CLI command (ext is the name of the external
226 network, change it with the name of the external network of your
227 installation)
228
229 ::
230
231  openstack network list  | grep ext |  awk '{print $2}'
232
233 pub_key is string value of the public key that will be installed in
234 each ONAP VM. To create a public/private key pair in Linux, please
235 execute the following instruction:
236
237 ::
238
239  user@ubuntu:~$ ssh-keygen -t rsa
240
241 The following operations create the public/private key pair:
242
243 ::
244
245  Generating public/private rsa key pair.
246  Enter file in which to save the key (/home/user/.ssh/id_rsa):
247  Created directory '/home/user/.ssh'.
248  Enter passphrase (empty for no passphrase):
249  Enter same passphrase again:
250  Your identification has been saved in /home/user/.ssh/id_rsa.
251  Your public key has been saved in /home/user/.ssh/id_rsa.pub.
252
253 openstack_username, openstack_tenant_id (password), and
254 openstack_api_key are user's credentials to access the
255 OpenStack-based cloud.
256
257 **Images and flavors parameters**
258
259 ::
260
261  ubuntu_1404_image: PUT THE UBUNTU 14.04 IMAGE NAME HERE
262  ubuntu_1604_image: PUT THE UBUNTU 16.04 IMAGE NAME HERE
263  flavor_small:       PUT THE SMALL FLAVOR NAME HERE
264  flavor_medium:      PUT THE MEDIUM FLAVOR NAME HERE
265  flavor_large:       PUT THE LARGE FLAVOR NAME HERE
266  flavor_xlarge:      PUT THE XLARGE FLAVOR NAME HERE
267  flavor_xxlarge:     PUT THE XXLARGE FLAVOR NAME HERE
268
269 To get the images in your OpenStack environment, use the following
270 OpenStack CLI command:
271
272 ::
273
274         openstack image list | grep 'ubuntu'
275
276 To get the flavor names used in your OpenStack environment, use the
277 following OpenStack CLI command:
278
279 ::
280
281         openstack flavor list
282
283 **Network parameters**
284
285 ::
286
287  dns_list: PUT THE ADDRESS OFTHE EXTERNAL DNS HERE (e.g. a comma-separated list of IP addresses in your /etc/resolv.conf in UNIX-based Operating Systems). THIS LIST MUST INCLUDE THE DNS SERVER THAT OFFERS DNS AS AS SERVICE (see DCAE section below for more details)
288  external_dns: PUT THE FIRST ADDRESS OF THE EXTERNAL DNS LIST HERE oam_network_cidr: 10.0.0.0/16
289  dns_forwarder: PUT THE IP OF DNS FORWARDER FOR ONAP DEPLOYMENT'S OWN DNS SERVER
290  oam_network_cidr: 10.0.0.0/16
291
292 You can use the Google Public DNS 8.8.8.8 and 4.4.4.4 address or your internal DNS servers.
293
294 ONAP installs a DNS server used to resolve IP addresses in the ONAP OAM private network.
295 ONAP Amsterdam Release also requires OpenStack Designate DNS support for the DCAE platform, so as to allow IP address discovery and communication among DCAE elements.
296 This is required because the ONAP HEAT template only installs the DCAE bootstrap container, which will in turn install the entire DCAE platform.
297 As such, at installation time, the IP addresses of the DCAE components are unknown.
298
299 The DNS server that ONAP installs needs to be connected to the Designate DNS to allow communication between the DCAE elements and the other ONAP components.
300 To this end, dns\_list, external\_dns, and dns\_forwarder should all have the IP address of the Designate DNS.
301 These three parameters are redundant, but still required for Amsterdam Release. Originally, dns\_list and external\_dns were both used to circumvent some limitations of older OpenStack versions.
302 In future releases, the DNS settings and parameters in HEAT will be consolidated.
303 The Designate DNS is configured to access the external DNS.
304 As such, the ONAP DNS will forward to the Designate DNS the queries from ONAP components to the external world.
305 The Designate DNS will then forward those queries to the external DNS.
306
307 **DCAE Parameters**
308
309 DCAE spins up ONAP's data collection and analytics system in two phases.
310
311 The first phase consists of launching a bootstrap VM that is specified in the ONAP HEAT template, as described above. This VM requires a number of deployment-specific configuration parameters being provided so that it can subsequently bring up the DCAE system.
312
313 There are two groups of parameters:
314
315 - The first group relates to the launching of DCAE VMs, including parameters such as the keystone URL and additional VM image IDs/names. Hence these parameters need to be provided to DCAE. Note that although DCAE VMs will be launched in the same tenant as the rest of ONAP, because DCAE may use MultiCloud node as the agent for interfacing with the underlying cloud, it needs a separate keystone URL (which points to MultiCloud node instead of the underlying cloud).
316
317
318 - The second group of configuration parameters relate to DNS As A Service support (DNSaaS). DCAE requires DNSaaS for registering its VMs into organization-wide DNS service. For OpenStack, DNSaaS is provided by Designate, as mentioned above. Designate support can be provided via an integrated service endpoint listed under the service catalog of the OpenStack installation; or proxyed by the ONAP MultiCloud service. For the latter case, a number of parameters are needed to configure MultiCloud to use the correct Designate service.
319
320 These parameters are described below:
321
322 ::
323
324  dcae_keystone_url: PUT THE MULTIVIM PROVIDED KEYSTONE API URL HERE
325  dcae_centos_7_image: PUT THE CENTOS7 VM IMAGE NAME HERE FOR DCAE LAUNCHED CENTOS7 VM
326  dcae_domain: PUT THE NAME OF DOMAIN THAT DCAE VMS REGISTER UNDER
327  dcae_public_key: PUT THE PUBLIC KEY OF A KEYPAIR HERE TO BE USED BETWEEN DCAE LAUNCHED VMS
328  dcae_private_key: PUT THE SECRET KEY OF A KEYPAIR HERE TO BE USED BETWEEN DCAE LAUNCHED VMS
329
330  dnsaas_config_enabled: PUT WHETHER TO USE PROXYED DESIGNATE
331  dnsaas_region: PUT THE DESIGNATE PROVIDING OPENSTACK'S REGION HERE
332  dnsaas_keystone_url: PUT THE DESIGNATE PROVIDING OPENSTACK'S KEYSTONE URL HERE
333  dnsaas_tenant_name: PUT THE TENANT NAME IN THE DESIGNATE PROVIDING OPENSTACK HERE (FOR R1 USE THE SAME AS openstack_tenant_name)
334  dnsaas_username: PUT THE DESIGNATE PROVIDING OPENSTACK'S USERNAME HERE
335  dnsaas_password: PUT THE DESIGNATE PROVIDING OPENSTACK'S PASSWORD HERE
336
337 Instantiation
338 -------------
339
340 The ONAP platform can be instantiated via Horizon (OpenStack dashboard)
341 or Command Line.
342
343 **Instantiation via Horizon:**
344
345 - Login to Horizon URL with your personal credentials
346 - Click "Stacks" from the "Orchestration" menu
347 - Click "Launch Stack"
348 - Paste or manually upload the HEAT template file (onap_openstack.yaml) in the "Template Source" form
349 - Paste or manually upload the HEAT environment file (onap_openstack.env) in the "Environment Source" form
350 - Click "Next" - Specify a name in the "Stack Name" form
351 - Provide the password in the "Password" form
352 - Click "Launch"
353
354 **Instantiation via Command Line:**
355
356 - You need to have the OpenStack Heat service installed:
357
358 - Create a file (named i.e. ~/openstack/openrc) that sets all the
359   environmental variables required to access your OpenStack tenant:
360
361 ::
362
363  export OS_AUTH_URL=INSERT THE AUTH URL HERE
364  export OS_USERNAME=INSERT YOUR USERNAME HERE
365  export OS_TENANT_ID=INSERT YOUR TENANT ID HERE
366  export OS_REGION_NAME=INSERT THE REGION HERE
367  export OS_PASSWORD=INSERT YOUR PASSWORD HERE
368  export OS_USER_DOMAIN_NAME=INSERT YOUR DOMAIN HERE
369  export OS_PROJECT_NAME=INSERT YOUR PROJECT NAME HERE
370
371 -  Run the script from command line:
372
373 ::
374
375  source ~/openstack/openrc
376
377 -  In order to install the ONAP platform, type:
378
379 ::
380
381  # Old HEAT client
382  heat stack-create STACK_NAME -f PATH_TO_HEAT_TEMPLATE(YAML FILE) -e PATH_TO_ENV_FILE
383
384  OR
385
386  # New OpenStack client
387  openstack stack create -t PATH_TO_HEAT_TEMPLATE(YAML FILE) -e PATH_TO_ENV_FILE STACK_NAME
388
389
390 .. Note The HEAT template deployment may take time (up to one hour) depending on your hardware environment.
391
392 Deploy DCAE
393 -----------
394 The HEAT template deployed the onap-dcae-bootstrap virtual machine.
395
396 .. Note To provide the manual tasks to configure the local environment
397
398
399 Test the installation
400 ---------------------
401 Every ONAP component offers a HealthCheck REST API. The Robot Virtual Machine (*onap-robot*) can be used to test that every components run smoothly.
402 Run the following command to perform the HealthCheck:
403
404 .. code-block:: bash
405
406   docker exec -it openecompete_container /var/opt/OpenECOMP_ETE/runTags.sh -i health h -d ./html -V /share/config/integration_robot_properties.py -V /share/config/integration_preload_parameters.py -V /share/config/vm_properties.py
407
408 This test suite will execute 30 tests towards the various ONAP components.
409
410 After the installation, it is possible to deploy the various use-cases described in `ONAP wiki <https://wiki.onap.org/display/DW/Running+the+ONAP+Demos>`_.
411
412 Detect problems
413 ---------------
414 If all the tests are not OK, many causes are possible.
415 Here is a simple procedure to detect where the problem occurs:
416
417 * Check the OpenStack Virtual Machine logs
418 * Connect to the Virtual Machine and check that the various containers are running.
419
420 The list of containers are described on the `ONAP wiki <https://wiki.onap.org/display/DW/ONAP+Services+List#ONAPServicesList-ONAPServices>`_
421 . In case some containers are missing, check the Docker logs using the following command:
422
423 .. code-block:: bash
424
425  sudo docker ps -a
426  sudo docker logs <containerid>
427
428 **Portal configuration**
429 ========================
430 The current ONAP installation is using the *onap.org* domain.
431 To use the portal on your desktop, you must configure the following information in your *host* file (located in /etc/host for Linux or /windows/system32/drivers/etc/hosts for Windows):
432
433 .. code-block:: bash
434
435  <onap-policy_ip>      policy.api.simpledemo.onap.org
436  <onap-portal_ip>      portal.api.simpledemo.onap.org
437  <onap-sdc_ip>         sdc.api.simpledemo.onap.org
438  <onap-vid_ip>         vid.api.simpledemo.onap.org
439  <onap-aai-inst1_ip>   aai.api.simpledemo.onap.org
440  <onap-aai-inst2_ip>   aai.ui.simpledemo.onap.org
441
442
443 You can use the Horizon dashboard to get the IP addresses associated with the Virtual Machines or use the following command line:
444
445 .. code-block:: bash
446
447  openstack server list
448
449 Launch the portal on the http://portal.api.simpledemo.onap.org:8989/ONAPPORTAL/login.htm
450
451 Various users are predefined as presented in the following table:
452
453   .. csv-table::
454    :header: Role, Login
455    :widths: 20, 20
456
457     Superuser,demo
458     Designer,cs0008
459     Tester,jm0007
460     Governor,gv0001
461     Ops,op0001
462
463 The password is *demo123456!*
464
465 Go to the `Portal component user guide <http://onap.readthedocs.io/en/latest/submodules/portal.git/docs/index.html>`_
466
467 Other UI documentation:
468  - `CLAMP  <http://onap.readthedocs.io/en/latest/submodules/clamp.git/docs/index.html>`_
469  - `SDC <http://onap.readthedocs.io/en/latest/submodules/sdc.git/docs/index.html>`_
470  - `UI Use-Case <http://onap.readthedocs.io/en/latest/submodules/usecase-ui.git/docs/index.html>`_
471
472
473 **Components**
474 ==============
475
476 The list of various services and ports used can be found on the `ONAP wiki <https://wiki.onap.org/display/DW/ONAP+Services+List#ONAPServicesList-ONAPServices>`_
477
478 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
479    http://creativecommons.org/licenses/by/4.0
480    Copyright 2017 ONAP
481
482
483 .. contents::