Remove policy parent swagger generation profile
[policy/parent.git] / docs / development / devtools / devtools.rst
1 .. This work is licensed under a
2 .. Creative Commons Attribution 4.0 International License.
3 .. http://creativecommons.org/licenses/by/4.0
4
5 .. _policy-development-tools-label:
6
7 Policy Platform Development Tools
8 #################################
9
10 .. contents::
11     :depth: 3
12
13
14 This article explains how to build the ONAP Policy Framework for development purposes and how to run stability/performance tests for a variety of components. To start, the developer should consult the latest ONAP Wiki to familiarize themselves with developer best practices and how-tos to setup their environment, see `https://wiki.onap.org/display/DW/Developer+Best+Practices`.
15
16 This article assumes that:
17
18 * You are using a *\*nix* operating system such as linux or macOS.
19 * You are using a directory called *git* off your home directory *(~/git)* for your git repositories
20 * Your local maven repository is in the location *~/.m2/repository*
21 * You have copied the settings.xml from oparent to *~/.m2/* directory
22 * You have added settings to access the ONAP Nexus to your M2 configuration, see `Maven Settings Example <https://wiki.onap.org/display/DW/Setting+Up+Your+Development+Environment>`_ (bottom of the linked page)
23
24 The procedure documented in this article has been verified to work on a MacBook laptop running macOS Mojave Version 10.14.6 and an Ubuntu 18.06 VM.
25
26 Cloning All The Policy Repositories
27 ***********************************
28
29 Run a script such as the script below to clone the required modules from the `ONAP git repository <https://gerrit.onap.org/r/admin/repos/q/filter:policy>`_. This script clones all the ONAP Policy Framework repositories.
30
31 ONAP Policy Framework has dependencies to the ONAP Parent *oparent* module, the ONAP ECOMP SDK *ecompsdkos* module, and the A&AI Schema module.
32
33
34 .. code-block:: bash
35    :caption: Typical ONAP Policy Framework Clone Script
36    :linenos:
37
38     #!/usr/bin/env bash
39
40     ## script name for output
41     MOD_SCRIPT_NAME=`basename $0`
42
43     ## the ONAP clone directory, defaults to "onap"
44     clone_dir="onap"
45
46     ## the ONAP repos to clone
47     onap_repos="\
48     policy/parent \
49     policy/common \
50     policy/models \
51     policy/docker \
52     policy/api \
53     policy/pap \
54     policy/apex-pdp \
55     policy/drools-pdp \
56     policy/drools-applications \
57     policy/xacml-pdp \
58     policy/distribution \
59     policy/gui \
60     policy/clamp "
61
62     ##
63     ## Help screen and exit condition (i.e. too few arguments)
64     ##
65     Help()
66     {
67         echo ""
68         echo "$MOD_SCRIPT_NAME - clones all required ONAP git repositories"
69         echo ""
70         echo "       Usage:  $MOD_SCRIPT_NAME [-options]"
71         echo ""
72         echo "       Options"
73         echo "         -d          - the ONAP clone directory, defaults to '.'"
74         echo "         -h          - this help screen"
75         echo ""
76         exit 255;
77     }
78
79     ##
80     ## read command line
81     ##
82     while [ $# -gt 0 ]
83     do
84         case $1 in
85             #-d ONAP clone directory
86             -d)
87                 shift
88                 if [ -z "$1" ]; then
89                     echo "$MOD_SCRIPT_NAME: no clone directory"
90                     exit 1
91                 fi
92                 clone_dir=$1
93                 shift
94             ;;
95
96             #-h prints help and exists
97             -h)
98                 Help;exit 0;;
99
100             *)    echo "$MOD_SCRIPT_NAME: undefined CLI option - $1"; exit 255;;
101         esac
102     done
103
104     if [ -f "$clone_dir" ]; then
105         echo "$MOD_SCRIPT_NAME: requested clone directory '$clone_dir' exists as file"
106         exit 2
107     fi
108     if [ -d "$clone_dir" ]; then
109         echo "$MOD_SCRIPT_NAME: requested clone directory '$clone_dir' exists as directory"
110         exit 2
111     fi
112
113     mkdir $clone_dir
114     if [ $? != 0 ]
115     then
116         echo cannot clone ONAP repositories, could not create directory '"'$clone_dir'"'
117         exit 3
118     fi
119
120     for repo in $onap_repos
121     do
122         repoDir=`dirname "$repo"`
123         repoName=`basename "$repo"`
124
125         if [ ! -z $dirName ]
126         then
127             mkdir "$clone_dir/$repoDir"
128             if [ $? != 0 ]
129             then
130                 echo cannot clone ONAP repositories, could not create directory '"'$clone_dir/repoDir'"'
131                 exit 4
132             fi
133         fi
134
135         git clone https://gerrit.onap.org/r/${repo} $clone_dir/$repo
136     done
137
138     echo ONAP has been cloned into '"'$clone_dir'"'
139
140
141 Execution of the script above results in the following directory hierarchy in your *~/git* directory:
142
143     *  ~/git/onap
144     *  ~/git/onap/policy
145     *  ~/git/onap/policy/parent
146     *  ~/git/onap/policy/common
147     *  ~/git/onap/policy/models
148     *  ~/git/onap/policy/api
149     *  ~/git/onap/policy/pap
150     *  ~/git/onap/policy/gui
151     *  ~/git/onap/policy/docker
152     *  ~/git/onap/policy/drools-applications
153     *  ~/git/onap/policy/drools-pdp
154     *  ~/git/onap/policy/clamp
155     *  ~/git/onap/policy/apex-pdp
156     *  ~/git/onap/policy/xacml-pdp
157     *  ~/git/onap/policy/distribution
158
159
160 Building ONAP Policy Framework Components
161 *****************************************
162
163 **Step 1:** Optionally, for a completely clean build, remove the ONAP built modules from your local repository.
164
165     .. code-block:: bash
166
167         rm -fr ~/.m2/repository/org/onap
168
169
170 **Step 2:**  A pom such as the one below can be used to build the ONAP Policy Framework modules. Create the *pom.xml* file in the directory *~/git/onap/policy*.
171
172 .. code-block:: xml
173    :caption: Typical pom.xml to build the ONAP Policy Framework
174    :linenos:
175
176     <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
177         <modelVersion>4.0.0</modelVersion>
178         <groupId>org.onap</groupId>
179         <artifactId>onap-policy</artifactId>
180         <version>1.0.0-SNAPSHOT</version>
181         <packaging>pom</packaging>
182         <name>${project.artifactId}</name>
183         <inceptionYear>2017</inceptionYear>
184         <organization>
185             <name>ONAP</name>
186         </organization>
187
188         <modules>
189             <module>parent</module>
190             <module>common</module>
191             <module>models</module>
192             <module>api</module>
193             <module>pap</module>
194             <module>apex-pdp</module>
195             <module>xacml-pdp</module>
196             <module>drools-pdp</module>
197             <module>drools-applications</module>
198             <module>distribution</module>
199             <module>gui</module>
200             <module>clamp</module>
201         </modules>
202     </project>
203
204 **Policy Architecture/API Transition**
205
206 In Dublin, a new Policy Architecture was introduced. The legacy architecture runs in parallel with the new architecture. It will be deprecated after Frankfurt release.
207 If the developer is only interested in working with the new architecture components, the engine sub-module can be ommitted.
208
209
210 **Step 3:** You can now build the Policy framework.
211
212 Java artifacts only:
213
214     .. code-block:: bash
215
216        cd ~/git/onap
217        mvn clean install
218
219 With docker images:
220
221     .. code-block:: bash
222
223        cd ~/git/onap
224        mvn clean install -P docker
225
226 Developing and Debugging each Policy Component
227 **********************************************
228
229 Running a MariaDb Instance
230 ++++++++++++++++++++++++++
231
232 The Policy Framework requires a MariaDb instance running. The easiest way to do this is to run a docker image locally.
233
234 One example on how to do this is to use the scripts used by the policy/api S3P tests.
235
236 `Simulator Setup Script Example <https://gerrit.onap.org/r/gitweb?p=policy/api.git;a=tree;f=testsuites/stability/src/main/resources/simulatorsetup;h=9038413f67cff2e2a79d6345f198f96ee0c57de1;hb=refs/heads/master>`_
237
238     .. code-block:: bash
239
240        cd ~/git/onap/api/testsuites/stability/src/main/resources/simulatorsetup
241        ./setup_components.sh
242
243 Another example on how to run the MariaDb is using the docker compose file used by the Policy API CSITs:
244
245 `Example Compose Script to run MariaDB <https://gerrit.onap.org/r/gitweb?p=integration/csit.git;a=blob;f=scripts/policy/docker-compose-api.yml;h=e32190f1e6cb6d9b64ddf53a2db2c746723a0c6a;hb=refs/heads/master>`_
246
247 Running the API component standalone
248 ++++++++++++++++++++++++++++++++++++
249
250 Assuming you have successfully built the codebase using the instructions above. The only requirement for the API component to run is a
251 running MariaDb database instance. The easiest way to do this is to run the docker image, please see the mariadb documentation for the latest
252 information on doing so. Once the mariadb is up and running, a configuration file must be provided to the api in order for it to know how to
253 connect to the mariadb. You can locate the default configuration file in the packaging of the api component:
254
255 `Default Policy API Configuration <https://gerrit.onap.org/r/gitweb?p=policy/api.git;a=blob;f=packages/policy-api-tarball/src/main/resources/etc/apiParameters.yaml;h=2c19199a8a889cb0ab203334182662fe15e1635e;hb=refs/heads/master>`_
256
257 You will want to change the fields pertaining to "host", "port" and "databaseUrl" to your local environment settings and start the
258 policy-api springboot application either using your IDE of choice or using the run goal from Spring Boot Maven plugin: *mvn spring-boot:run*.
259
260 Running the API component using Docker Compose
261 ++++++++++++++++++++++++++++++++++++++++++++++
262
263 An example of running the api using a docker compose script is located in the Policy Integration CSIT test repository.
264
265 `Policy CSIT API Docker Compose <https://gerrit.onap.org/r/gitweb?p=integration/csit.git;a=blob;f=scripts/policy/docker-compose-api.yml;h=e32190f1e6cb6d9b64ddf53a2db2c746723a0c6a;hb=refs/heads/master>`_
266
267 Running the PAP component standalone
268 ++++++++++++++++++++++++++++++++++++
269
270 Once you have successfully built the PAP codebase, a running MariaDb database and DMaaP instance will also be required to start up the application.
271 For MariaDb instance, the easiest way is to run the docker image, please see the mariadb documentation for the latest
272 information on doing so. For DMaaP, the easiest way during development is to run the DMaaP simulator which is explained in the below sections.
273 Once the mariadb and DMaaP are running, a configuration file must be provided to the PAP component in order for it to know how to
274 connect to the mariadb and DMaaP along with other relevant configuration details. You can locate the default configuration file in the packaging of the PAP component:
275
276 `Default PAP Configuration <https://gerrit.onap.org/r/gitweb?p=policy/pap.git;a=blob;f=packages/policy-pap-tarball/src/main/resources/etc/papParameters.yaml;h=06dd45f4946fd0a11ed8ef859f8fc5bcf409a3f0;hb=HEAD>`_
277
278 Update the fields related to MariaDB, DMaaP and the RestServer for the application as per your local environment settings.
279 Then to start the application, just run the Spring Boot application using IDE or command line.
280
281 Running the Smoke Tests
282 ***********************
283
284 The following links contain instructions on how to run the smoke tests. These may be helpful to developers to become
285 familiar with the Policy Framework components and test any local changes.
286
287 .. toctree::
288    :maxdepth: 1
289
290    policy-gui-acm-smoke.rst
291    db-migrator-smoke.rst
292    acm-participants-smoke.rst
293    clamp-smoke.rst
294    clamp-cl-participant-protocol-smoke.rst
295    policy-participant-smoke.rst
296    api-smoke.rst
297    pap-smoke.rst
298    apex-smoke.rst
299    drools-smoke.rst
300    xacml-smoke.rst
301    distribution-smoke.rst
302
303
304 Running the Stability/Performance Tests
305 ***************************************
306
307 The following links contain instructions on how to run the S3P Stability and Performance tests. These may be helpful to developers to become
308 familiar with the Policy Framework components and test any local changes.
309
310 .. toctree::
311    :maxdepth: 1
312
313    api-s3p.rst
314    pap-s3p.rst
315    apex-s3p.rst
316    drools-s3p.rst
317    xacml-s3p.rst
318    distribution-s3p.rst
319    clamp-s3p.rst
320
321 Running the Pairwise Tests
322 **************************
323
324 The following links contain instructions on how to run the pairwise tests. These may be helpful to developers check that
325 the Policy Framework works in a full ONAP deployment.
326
327 .. toctree::
328    :maxdepth: 1
329
330    clamp-policy.rst
331
332    clamp-dcae.rst
333
334    policy-cds.rst
335
336    clamp-sdc.rst
337
338 ..
339    api-pairwise.rst
340
341 ..
342    pap-pairwise.rst
343
344 ..
345    apex-pairwise.rst
346
347 ..
348    drools-pairwise.rst
349
350 ..
351    xacml-pairwise.rst
352
353 ..
354    distribution-pairwise.rst
355
356
357 Testing OpenSuse docker images
358 ******************************
359
360 Policy Framework offers docker images in two flavors: Alpine and OpenSuse.
361 Alpine images are used in OOM for ONAP deployments.
362 The OpenSuse images are built manually if needed, by running Maven with the -Pdockersuse profile.
363 To test these images, CSITs will be run.
364
365 1. Build the OpenSuse image you want by running Maven with -Pdockersuse:
366
367     .. code-block:: bash
368
369         cd policy/apex-pdp
370         mvn clean install -Pdockersuse
371
372     The image onap/policy-apex-pdp:latest will be produced.
373
374 2. To avoid ambiguity, tag the image as opensuse:
375
376     .. code-block:: bash
377
378         docker tag onap/policy-apex-pdp:latest onap/policy-apex-pdp:opensuse
379
380 3. Clone policy/docker repo.
381
382 4. Modify docker/csit/docker-compose-all.yml to use the tagged OpenSuse image.
383
384     Replace:
385
386     .. code-block:: yaml
387
388         apex-pdp:
389           image: nexus3.onap.org:10001/onap/policy-apex-pdp:${POLICY_APEX_PDP_VERSION}
390
391     with:
392
393     .. code-block:: yaml
394
395         apex-pdp:
396           image: onap/policy-apex-pdp:opensuse
397
398 5. Run the project CSIT. For apex-pdp:
399
400     .. code-block:: bash
401
402         cd docker/csit
403         ./run-project-csit.sh apex-pdp
404
405     Automated tests will be run, and log files displayed.
406
407
408 Generating Swagger Documentation
409 ********************************
410
411 1. Accessing Swagger documentation for springboot based policy applications
412 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
413
414 Springfox Swagger2 maven dependency aids with auto-generation of Swagger documentation.
415
416 Using the Swagger-UI maven dependency Swagger HTML documentation can be accessed at the root url.
417
418 - The generated swagger.json can be accessed at: *https://service_IP:service_port/v2/api-docs*
419 - Swagger UI can be accessed at: *https://service_IP:service_port/swagger-ui/index.html*
420
421 Running the DMaaP Simulator during Development
422 **********************************************
423 It is sometimes convenient to run the DMaaP simulator during development. You can run it from the command line using Maven or from within your IDE.
424
425 Running on the Command Line
426 +++++++++++++++++++++++++++
427 1. Check out the policy models repository
428 2. Go to the *models-sim/policy-models-simulators* subdirectory in the policy-models repo
429 3. Run the following Maven command:
430
431    .. code-block:: bash
432
433       mvn exec:java  -Dexec.mainClass=org.onap.policy.models.simulators.Main -Dexec.args="src/test/resources/simParameters.json"
434
435 Running in Eclipse
436 ++++++++++++++++++
437 1. Check out the policy models repository
438 2. Go to the *models-sim/policy-models-simulators* module in the policy-models repo
439 3. Specify a run configuration using the class *org.onap.policy.models.simulators.Main* as the main class
440 4. Specify an argument of *src/test/resources/simParameters.json* to the run configuration
441 5. Run the configuration
442
443 Specifying a local configuration file
444 +++++++++++++++++++++++++++++++++++++
445
446 You may specify a local configuration file instead of *src/test/resources/simParameters.json* on the command line or as an argument in the run configuration in eclipse:
447
448 .. code-block:: json
449
450    {
451      "dmaapProvider": {
452        "name": "DMaaP simulator",
453        "topicSweepSec": 900
454      },
455      "restServers": [
456        {
457          "name": "DMaaP simulator",
458          "providerClass": "org.onap.policy.models.sim.dmaap.rest.DmaapSimRestControllerV1",
459          "host": "localhost",
460          "port": 3904,
461          "https": false
462        }
463      ]
464    }
465
466 Bringing up Strimzi-Kafka Deploment with Policy Framework
467 *********************************************************
468
469 This page will explain how to setup a local Kubernetes cluster and minimal helm setup to run and deploy Policy Framework on a single host.
470
471 This is meant for a development purpose only as we are going to use microk8s in this page
472
473 .. toctree::
474    :maxdepth: 1
475
476    strimzi-policy.rst