]> git.apps.os.sepia.ceph.com Git - ceph-build.git/commit
scripts: lower concurrency for many-core machines 2159/head
authorLaura Flores <lflores@ibm.com>
Wed, 16 Aug 2023 20:42:50 +0000 (15:42 -0500)
committerLaura Flores <lflores@ibm.com>
Wed, 16 Aug 2023 20:45:16 +0000 (15:45 -0500)
commitf074f1ce7fc05a5ac69e06fa9fa7ae45858b0110
treef7165429f97fdddaab0a67b61fb37ad5bcde2550
parentdd34193c68933450eec1a3e257958b307980e162
scripts: lower concurrency for many-core machines

adami nodes have 96 processing units (nproc). Based on the old script
logic, we were compiling 90 build jobs with 96 processing units. This
combination (96/90) ends up causing many instances of memory
overconsumption on adami nodes.

With this new logic, we take into account that jobs take up more memory
than we expect. This will make it so adami nodes will compile 67 build
jobs on 96 processing units, which will hopefully avoid so many instances
of memory overconsumption. (Total memory on adami nodes is generally
~270036 MiB, so 270036 / 4000 = 67)

braggi nodes do not have this problem; they have 48 processing units.
It has been working so far to compile 48 build jobs with 48 processing
units on the braggi nodes, and this new logic will not change that or
any other node with nproc <= 50.

Fixes: https://tracker.ceph.com/issues/57296
Signed-off-by: Laura Flores <lflores@ibm.com>
scripts/build_utils.sh