optimize size and time using "--no-cache-dir" 68/108868/1
authorPratik Raj <rajpratik71@gmail.com>
Sat, 6 Jun 2020 16:29:50 +0000 (21:59 +0530)
committerPratik Raj <rajpratik71@gmail.com>
Sat, 6 Jun 2020 16:29:50 +0000 (21:59 +0530)
Using "--no-cache-dir" flag in pip install ,make sure dowloaded packages
by pip don't cached on system . This is a best practise which make sure
to fetch ftom repo instead of using local cached one . Further , in case
of Docker Containers , by restricing caching , we can reduce image size.
In term of stats , it depends upon the number of python packages
multiplied by their respective size . e.g for heavy packages with a lot
of dependencies it reduce a lot by don't caching pip packages.

Further , more detail information can be found at

https://medium.com/sciforce/strategies-of-docker-images-optimization-2ca9cc5719b6

Issue-ID: DCAEGEN2-2294

Signed-off-by: Pratik Raj <rajpratik71@gmail.com>
Change-Id: Ifeda4876507f89279c550e15ec76508277098ca6

docs/sections/services/heartbeat-ms/testprocedure.rst
docs/sections/services/snmptrap/installation.rst
mvn-phase-lib.sh
mvn-phase-script.sh

index 03bcbab..a7c6f79 100644 (file)
@@ -203,7 +203,7 @@ The postgres DB also have a CL_flag set indicating control loop event with ONSET
 \r
                ubuntu@r3-aai-inst2:~/heartbeat12Dec/heartbeat$ sudo Docker run -d --name hb1 --env-file env.list heartbeat.test1:latest102413e8af4ab754e008cee43a01bf3d5439820aa91cfb4e099a140a7931fd71\r
                ubuntu@r3-aai-inst2:~/heartbeat12Dec/heartbeat$ sudo Docker logs -f hb1\r
-               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
+               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install --no-cache-dir psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
                  """)\r
                2018-12-12 12:39:58,968 | __main__ | misshtbtd | main | 309 |  INFO | MSHBD:Execution Started\r
                2018-12-12 12:39:58,970 | __main__ | misshtbtd | main | 314 |  INFO | ('MSHBT:HB Properties -', '10.0.4.1', '5432', 'postgres', 'abc', 'hb_vnf', True, 300)\r
@@ -235,16 +235,16 @@ The postgres DB also have a CL_flag set indicating control loop event with ONSET
                2018-12-12 12:39:59,139 | __main__ | misshtbtd | main | 386 |  INFO | ('MSHBD: Creating HB and DBM threads. The param pssed %d and %s', '../etc/config.json', 7)\r
                2018-12-12 12:39:59,142 | __main__ | misshtbtd | create_process | 301 |  INFO | ('MSHBD:jobs list is', [<Process(Process-2, started)>, <Process(Process-3, started)>])\r
                2018-12-12 12:39:59,221 | __main__ | misshtbtd | create_update_hb_common | 143 |  INFO | MSHBT:Updated  hb_common DB with new values\r
-               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
+               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install --no-cache-dir psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
                  """)\r
                2018-12-12 12:39:59,815 | __main__ | htbtworker | <module> | 243 |  INFO | HBT:HeartBeat thread Created\r
                2018-12-12 12:39:59,815 | __main__ | htbtworker | <module> | 245 |  INFO | ('HBT:The config file name passed is -%s', '../etc/config.json')\r
-               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
+               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install --no-cache-dir psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
                  """)\r
                2018-12-12 12:39:59,931 | __main__ | cbs_polling | pollCBS | 39 |  INFO | ('CBSP:Main process ID in hb_common is %d', 7)\r
                2018-12-12 12:39:59,931 | __main__ | cbs_polling | pollCBS | 41 |  INFO | ('CBSP:My parent process ID is %d', '7')\r
                2018-12-12 12:39:59,931 | __main__ | cbs_polling | pollCBS | 43 |  INFO | ('CBSP:CBS Polling interval is %d', 300)\r
-               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
+               /usr/local/lib/python3.6/site-packages/psycopg2/__init__.py:144: UserWarning: The psycopg2 wheel package will be renamed from release 2.8; in order to keep installing from binary please use "pip install --no-cache-dir psycopg2-binary" instead. For details see: <http://initd.org/psycopg/docs/install.html#binary-install-from-pypi>.\r
                  """)\r
                2018-12-12 12:39:59,937 | __main__ | db_monitoring | <module> | 231 |  INFO | DBM: DBM Process started\r
                2018-12-12 12:39:59,939 | __main__ | db_monitoring | <module> | 236 |  INFO | ('DBM:Parent process ID and json file name', '7', '../etc/config.json')\r
index ab523ef..602730d 100644 (file)
@@ -61,9 +61,9 @@ To install prerequisites:
 
     ``export PATH=<path to Python 3.6 binary>:$PATH``
 
-    ``pip3 install requests==2.18.3``
+    ``pip3 install --no-cache-dir requests==2.18.3``
 
-    ``pip3 install pysnmp==4.4.5``
+    ``pip3 install --no-cache-dir pysnmp==4.4.5``
 
 Download latest trapd version from Gerrit
 """""""""""""""""""""""""""""""""""""""""
index 66d5bbc..4f0c304 100755 (executable)
@@ -176,8 +176,8 @@ run_tox_test()
     rm -rf ./venv-tox ./.tox
     virtualenv ./venv-tox
     source ./venv-tox/bin/activate
-    pip install --upgrade pip
-    pip install --upgrade tox argparse
+    pip install --no-cache-dir --upgrade pip
+    pip install --no-cache-dir --upgrade tox argparse
     pip freeze
     tox
     deactivate
@@ -199,8 +199,8 @@ build_wagons()
 
     virtualenv ./venv-pkg
     source ./venv-pkg/bin/activate
-    pip install --upgrade pip
-    pip install wagon
+    pip install --no-cache-dir --upgrade pip
+    pip install --no-cache-dir wagon
     wagon create --format tar.gz "$PLUGIN_DIR"
     deactivate
     rm -rf venv-pkg
index 6bc987f..ebb609f 100755 (executable)
@@ -75,8 +75,8 @@ deploy)
     CURDIR=$(pwd)
     virtualenv ./venv-doc
     source ./venv-doc/bin/activate
-    pip install --upgrade pip
-    pip install --upgrade 'mkdocs==0.16.3' mkdocs-material
+    pip install --no-cache-dir --upgrade pip
+    pip install --no-cache-dir --upgrade 'mkdocs==0.16.3' mkdocs-material
     pip freeze
 
     mkdocs build