build/lmake

   1 #!/bin/sh
   2
   3 # option variables
   4 DESTDIR=
   5 KERNELDIR=
   6 TARGET=
   7 # Not sure what to put here
   8 # TARGET_ARCH=$(shell uname -m | sed -e s/i.86/i386/ -e s/sun4u/sparc64/ -e s/arm.*/arm/ -e s/sa110/arm/)
   9 TARGET_ARCH=
  10 TARGET_CONFIG=
  11 JOBS=1
  12 CONFIGURE_FLAGS=
  13
  14 # commands to run
  15 BUILD_LUSTRE=0
  16 BUILD_KERNEL=0
  17 DEPEND_KERNEL=0
  18 INSTALL_LUSTRE=0
  19 INSTALL_KERNEL=0
  20 SAVE_HEADERS=0
  21 UNPACK_KERNEL=0
  22
  23 # provided by target file
  24 KERNEL=
  25 SERIES=
  26 CONFIG=
  27 VERSION=
  28 EXTRA_VERSION=
  29
  30 BASE_ARCHS=
  31 BIGMEM_ARCHS=
  32 BOOT_ARCHS=
  33 JENSEN_ARCHS=
  34 SMP_ARCHS=
  35 BIGSMP_ARCHS=
  36 UP_ARCHS=
  37
  38 RHBUILD=0
  39 SUSEBUILD=0
  40
  41 # flat-out globals
  42 TOPDIR=
  43 TARGET_FILE=
  44 KERNEL_FILE=
  45 SERIES_FILE=
  46 CONFIG_FILE=
  47
  48 canon()
  49 {
  50     pushd $1 >/dev/null
  51     echo $PWD
  52     popd >/dev/null
  53 }
  54 TOPDIR=$(canon "${0%%${0##*/}}/..")
  55
  56 cleanup()
  57 {
  58     true
  59 }
  60
  61 fatal()
  62 {
  63     cleanup
  64     [ "$2" ] && echo
  65     [ "$2" ] && echo "${0##*/}: $2"
  66     exit $1
  67 }
  68
  69 list_targets()
  70 {
  71     echo -n "Available targets:"
  72     for target in $TOPDIR/lustre/kernel_patches/targets/*.target ; do
  73         target_file=${target##*/}
  74         echo -n " ${target_file%%.target}"
  75     done
  76     echo
  77 }
  78
  79
  80 usage()
  81 {
  82     cat <<EOF
  83 Usage: ${0##*/} [OPTION]... [-- <lustre configure options>]
  84
  85 Options:
  86
  87   --build
  88     same as --build-kernel --build-lustre --unpack-kernel
  89
  90   --build-lustre
  91     configure and compile lustre.  Requires that --build-kernel was
  92     already run.
  93
  94   --build-kernel
  95     configure and compile a kernel.  Implies --depend-kernel.
  96     Requires that --unpack-kernel was already run.
  97
  98   --depend-kernel)
  99     Prepares a kernel tree for building (similar to make mrproper
 100     oldconfig dep).  Requires that --unpack-kernel was already run.
 101
 102   --destdir=DESTDIR
 103     Root directory to install into (like DESTDIR with auto*).
 104
 105   --extraversion=EXTRAVERSION
 106     Overrides the target kernel\'s EXTRAVERSION text.
 107
 108   -h, --help
 109     Display this message.
 110
 111   --install
 112     same as --install-kernel --install-lustre
 113
 114   --install-lustre
 115     run make install in the Lustre tree.
 116
 117   --install-kernel
 118     install the kernel image and modules.
 119
 120   -j jobs
 121     This works just like the -j option to make, and is passed to make
 122     when building.
 123
 124   --kerneldir=KERNELDIR
 125     Directory containing linux source tarballs.
 126
 127   --target=TARGET
 128     Name of the configuration to use.  The available targets are
 129     listed below.
 130
 131   --target-arch=ARCH
 132     Specifies an architecture to use when choosing a kernel config
 133     file.  Default is i386.
 134
 135   --target-config=CONFIG
 136     Specifies a special option (such as smp, bigsmp, bigmem, or BOOT)
 137     to use when choosing a kernel config file.  This also modifies the
 138     kernel version and modules directory.
 139
 140   --unpack-kernel
 141     Untars and patches the kernel source.
 142
 143   The order that commands (--build-lustre, --unpack-kernel) are
 144   specified on the command line is ignored; ${0##*/} will always
 145   execute them in the correct order (unpack, then build, then install
 146   etc.).
 147
 148 EOF
 149     list_targets
 150
 151     fatal "$1" "$2"
 152 }
 153
 154 check_options()
 155 {
 156     (( $BUILD_LUSTRE || $BUILD_KERNEL || $DEPEND_KERNEL || \
 157             $INSTALL_LUSTRE || $INSTALL_KERNEL || $SAVE_HEADERS || \
 158             $UNPACK_KERNEL )) || \
 159                 fatal 1 "No commands specified."
 160
 161     if (( $UNPACK_KERNEL )) ; then
 162         [ "$KERNELDIR" ] || \
 163             fatal 1 "A kernel directory must be specified with --kerneldir."
 164         [ -d "$KERNELDIR" ] || \
 165             fatal 1 "$KERNELDIR is not a directory."
 166     fi
 167
 168     if (( $INSTALL_LUSTRE || $INSTALL_KERNEL || $SAVE_HEADERS )) ; then
 169         [ -z "$DESTDIR" -o -d "$DESTDIR" ] || \
 170             fatal 1 "$DESTDIR is not a directory."
 171     fi
 172
 173     [ "$TARGET" ] || usage 1 "A target must be specified with --target."
 174     TARGET_FILE="$TOPDIR/lustre/kernel_patches/targets/$TARGET.target"
 175     [ -r "$TARGET_FILE" ] || \
 176         fatal 1 "Target '$TARGET' was not found.  Try --list-targets."
 177
 178     if [ -z "$JOBS" -o "$JOBS" -lt "1" ] ; then
 179         JOBS=1
 180     fi
 181 }
 182
 183 get_lustre_version()
 184 {
 185     lustre_patch=$(grep lustre_version "$SERIES_FILE" 2>/dev/null)
 186     [ "$lustre_patch" ] || \
 187         fatal 1 "Could not determine Lustre version from $SERIES series."
 188
 189     awk '/^\+#define LUSTRE_KERNEL_VERSION /{ print $3 }' \
 190         "$TOPDIR/lustre/kernel_patches/patches/$lustre_patch" 2>/dev/null
 191 }
 192
 193 load_target()
 194 {
 195     EXTRA_VERSION_save="$EXTRA_VERSION"
 196
 197     . "$TARGET_FILE"
 198
 199     [ "$KERNEL" ] || fatal 1 "Target $TARGET did not specify a kernel."
 200 # Suse 2.6 has our patches in already
 201 #    [ "$SERIES" ] || fatal 1 "Target $TARGET did not specify a patch series."
 202 #    [ "$CONFIG" ] || fatal 1 "Target $TARGET did not specify a kernel config."
 203     [ "$VERSION" ] || fatal 1 "Target $TARGET did not specify the kernel version."
 204
 205     if [ "$KERNELDIR" ] ; then
 206         KERNEL_FILE="$KERNELDIR/$KERNEL"
 207         [ -r "$KERNELDIR/$KERNEL" ] || \
 208             fatal 1 "Target $TARGET's kernel file $KERNEL not found in kernel directory $KERNELDIR."
 209     fi
 210
 211     if [ "$SERIES" ]; then
 212         SERIES_FILE="$TOPDIR/lustre/kernel_patches/series/$SERIES"
 213         [ -r "$SERIES_FILE" ] || \
 214             fatal 1 "Target $TARGET's series $SERIES missing from $TOPDIR/lustre/kernel_patches/series."
 215     fi
 216
 217     TARGET_ARCH=${TARGET_ARCH:-$BASE_ARCHS}
 218     CONFIG_TARGET="$TARGET-${TARGET_ARCH}${TARGET_CONFIG:+-$TARGET_CONFIG}"
 219     CONFIG_FILE="$TOPDIR/lustre/kernel_patches/kernel_configs/kernel-$VERSION-$CONFIG_TARGET.config"
 220     [ -r "$CONFIG_FILE" ] ||
 221         fatal 1 "Target $TARGET's config file $CONFIG_FILE missing from $TOPDIR/lustre/kernel_patches/configs."
 222
 223     if [ "$EXTRA_VERSION_save" ] ; then
 224         EXTRA_VERSION="$EXTRA_VERSION_save"
 225     else
 226         EXTRA_VERSION="${EXTRA_VERSION}_lustre.$(get_lustre_version)"
 227     fi
 228 }
 229
 230 tarflags()
 231 {
 232     case "$1" in
 233         '')
 234             fatal 1 "tarflags(): File name argument missing."
 235             ;;
 236         *.tar.gz)
 237             echo 'zxf'
 238             ;;
 239         *.tar.bz2)
 240             echo 'jxf'
 241             ;;
 242         *)
 243             fatal 1 "tarflags(): Unrecognized tar extension in file: $1"
 244             ;;
 245     esac
 246 }
 247
 248 untar()
 249 {
 250     echo "Untarring ${1##*/}..."
 251     tar $(tarflags $1) $1
 252 }
 253
 254
 255 extract_kernel()
 256 {
 257     (( $UNPACK_KERNEL )) || return 0
 258     pushd "$TOPDIR" >/dev/null
 259     if [ -d linux ] ; then
 260         [ -L linux ] && rm -rf $(readlink linux)
 261         rm -rf linux
 262     fi
 263     untar "$KERNEL_FILE"
 264     [ -d linux ] || ln -sf linux* linux
 265     popd >/dev/null
 266 }
 267
 268 patch_kernel()
 269 {
 270     (( $UNPACK_KERNEL )) || return 0
 271     [ "$SERIES" ] || return 0
 272     pushd "$TOPDIR/linux" >/dev/null
 273     echo -n "Applying patch"
 274     for patch in $(<"$SERIES_FILE") ; do
 275         PATCH_FILE="$TOPDIR/lustre/kernel_patches/patches/$patch"
 276         [ -r "$PATCH_FILE" ] || \
 277             fatal 1 "Patch file not found: $patch"
 278         echo -n " $patch"
 279         patch -s -p1 < "$PATCH_FILE" || fatal 1 "Error applying patch $patch."
 280     done
 281     echo
 282     popd >/dev/null
 283 }
 284
 285 set_make()
 286 {
 287     MAKE="make -s"
 288     if [ "$CC" ] ; then
 289         MAKE="$MAKE CC=$CC"
 290     fi
 291     if [ "$ARCH" ] ; then
 292         MAKE_ARCH="$MAKE ARCH=$ARCH"
 293     else
 294         case $TARGET_ARCH in
 295             i?86)
 296                 ;;
 297             *)
 298                 MAKE_ARCH="$MAKE ARCH=$TARGET_ARCH"
 299                 ;;
 300         esac
 301     fi
 302     MAKE_J="$MAKE -j $JOBS"
 303 }
 304
 305 depend_kernel()
 306 {
 307     (( $DEPEND_KERNEL )) || return 0
 308     # we need to override $CC at make time, since there is no
 309     # configure
 310     set_make
 311     pushd "$TOPDIR/linux" >/dev/null
 312     echo "Overriding EXTRAVERSION in kernel..."
 313     perl -p -i -e "s/^EXTRAVERSION.*/EXTRAVERSION = -${EXTRA_VERSION}${TARGET_CONFIG}/" Makefile
 314     echo "Making depend in $PWD..."
 315     $MAKE mrproper || fatal 1 "Error running make mrproper"
 316     cp "$CONFIG_FILE" .config
 317     for oc in oldconfig_nonint silentoldconfig oldconfig ; do
 318         if grep -q "$oc" Makefile ; then
 319             OLDCONFIG="$oc"
 320             break
 321         fi
 322     done
 323     $MAKE $OLDCONFIG || fatal 1 "Error running make oldconfig"
 324     case "$VERSION" in
 325         2.6*)
 326             SYMLINKS="include/asm"
 327             ;;
 328         2.4*)
 329             SYMLINKS="symlinks"
 330             ;;
 331     esac
 332     $MAKE $SYMLINKS
 333     $MAKE_J dep || fatal 1 "Error running make dep"
 334     $MAKE include/linux/version.h || fatal 1 "Error making include/linux/version.h"
 335 }
 336
 337 build_kernel()
 338 {
 339     (( $BUILD_KERNEL )) || return 0
 340     set_make
 341     echo "Building kernel in $PWD..."
 342     case "$TARGET_ARCH" in
 343         i386 | i586 | i686 | athlon | x86_64)
 344             $MAKE_J bzImage || fatal 1 "Error making bzImage."
 345             ;;
 346         ppc | ppc64)
 347             $MAKE_J vmlinux || fatal 1 "Error making vmlinux."
 348             ;;
 349         *)
 350             $MAKE_J boot || fatal 1 "Error making boot."
 351             ;;
 352     esac
 353     $MAKE_J modules || fatal 1 "Error building modules."
 354
 355     popd >/dev/null
 356 }
 357
 358 configure_lustre()
 359 {
 360     (( $BUILD_LUSTRE )) || return 0
 361     pushd "$TOPDIR" >/dev/null
 362     [ -f Makefile ] && make -s clean
 363     [ -f configure ] || sh ./autogen.sh
 364     ./configure --with-linux=$PWD/linux $CONFIGURE_FLAGS || \
 365         fatal 1 "Error configuring Lustre."
 366     popd >/dev/null
 367 }
 368
 369 build_lustre()
 370 {
 371     (( $BUILD_LUSTRE )) || return 0
 372     set_make
 373     pushd "$TOPDIR" >/dev/null
 374     $MAKE_J || fatal 1 "Error building Lustre."
 375     popd >/dev/null
 376 }
 377
 378 install_kernel()
 379 {
 380     (( $INSTALL_KERNEL )) || return 0
 381     set_make
 382     FULL_VERSION="${VERSION}-${EXTRA_VERSION}${TARGET_CONFIG}"
 383     pushd "$TOPDIR/linux" >/dev/null
 384     mkdir -p "$DESTDIR/boot"
 385
 386     install -m 644 System.map "$DESTDIR/boot/System.map-${FULL_VERSION}"
 387     # install -m 644 module-info ...
 388     install -m 644 "$CONFIG_FILE" "$DESTDIR/boot/config-${FULL_VERSION}"
 389
 390     mkdir -p "$DESTDIR/dev/shm"
 391     mkdir -p "$DESTDIR/lib/modules/${FULL_VERSION}"
 392
 393     $MAKE INSTALL_MOD_PATH="$DESTDIR" KERNELRELEASE="$FULL_VERSION" \
 394         -s modules_install || \
 395         fatal 1 "Error installing modules."
 396
 397     case "$TARGET_ARCH" in
 398         i386 | i586 | i686 | athlon)
 399             cp arch/i386/boot/bzImage "$DESTDIR/boot/vmlinuz-${FULL_VERSION}"
 400             cp vmlinux "$DESTDIR/lib/modules/${FULL_VERSION}/"
 401             ln -sf "../lib/modules/${FULL_VERSION}/vmlinux" "$DESTDIR/boot/vmlinux-${FULL_VERSION}"
 402             ;;
 403         x86_64)
 404             cp arch/x86_64/boot/bzImage "$DESTDIR/boot/vmlinuz-${FULL_VERSION}"
 405             cp vmlinux "$DESTDIR/lib/modules/${FULL_VERSION}/"
 406             ln -sf "../lib/modules/${FULL_VERSION}/vmlinux" "$DESTDIR/boot/vmlinux-${FULL_VERSION}"
 407             ;;
 408         ppc | ppc64)
 409             cp vmlinux "$DESTDIR/boot/vmlinux-${FULL_VERSION}"
 410             ln -sf "$DESTDIR/boot/vmlinux-${FULL_VERSION}" "../lib/modules/${FULL_VERSION}/vmlinux"
 411             ;;
 412         ia64)
 413             gzip -cfv vmlinux > vmlinuz
 414             mkdir -p "$DESTDIR/boot/efi/redhat"
 415             install -m 755 vmlinux "$DESTDIR/lib/modules/${FULL_VERSION}/"
 416             install -m 755 vmlinuz "$DESTDIR/boot/efi/redhat/vmlinuz-${FULL_VERSION}"
 417             ln -sf "../../../lib/modules/${FULL_VERSION}/vmlinux" "$DESTDIR/boot/efi/redhat/vmlinux-${FULL_VERSION}"
 418             ln -sf "efi/redhat/vmlinux-${FULL_VERSION}" "$DESTDIR/boot/vmlinux-${FULL_VERSION}"
 419             ln -sf "efi/redhat/vmlinuz-${FULL_VERSION}" "$DESTDIR/boot/vmlinuz-${FULL_VERSION}"
 420             ;;
 421         *)
 422             cp vmlinuz "$DESTDIR/boot/vmlinuz-${FULL_VERSION}"
 423             cp vmlinux "$DESTDIR/lib/modules/${FULL_VERSION}/vmlinux-${FULL_VERSION}"
 424             ln -sf "../lib/modules/${FULL_VERSION}/vmlinux-${FULL_VERSION}" "$DESTDIR/boot/vmlinux-${FULL_VERSION}"
 425
 426             ;;
 427     esac
 428     if [ -e init/kerntypes.o ] ; then
 429         cp init/kerntypes.o "$DESTDIR/boot/Kerntypes-${FULL_VERSION}"
 430     fi
 431
 432     popd >/dev/null
 433 }
 434
 435 install_lustre()
 436 {
 437     (( $INSTALL_LUSTRE )) || return 0
 438     set_make
 439     FULL_VERSION="${VERSION}-${EXTRA_VERSION}${TARGET_CONFIG}"
 440     pushd "$TOPDIR" >/dev/null
 441     $MAKE -s install "DESTDIR=$DESTDIR" KERNELRELEASE="$FULL_VERSION" || fatal 1 "Error installing Lustre."
 442     popd >/dev/null
 443 }
 444
 445 build_kms()
 446 {
 447     (( $BUILD_KERNEL )) || return 0
 448     (( $SUSEBUILD )) || return 0
 449     set_make
 450     FULL_VERSION="${VERSION}-${EXTRA_VERSION}${TARGET_CONFIG}"
 451     mkdir -p "${TOPDIR}/modules-${FULL_VERSION}"
 452     for dir in /usr/src/kernel-modules/* ; do
 453         # we are replacing lustre-lite, so don't include it
 454         if [ ${dir##*/} != "lustre-lite" -a -e $dir/Makefile ]; then
 455             build_dir="${TOPDIR}/modules-${FULL_VERSION}/${dir##*/}"
 456             cp -a $dir $build_dir
 457             # these modules are terrible, and don't all build
 458             $MAKE_J -C $build_dir modules KERNEL_SOURCE="${TOPDIR}/linux"
 459         fi
 460     done
 461 }
 462
 463 symver()
 464 {
 465     local file=$1 name=${1%.ko}
 466     nm $file \
 467     | sed -ne 's,^0*\([0-9a-f]\{8\}\) A __crc_\(.*\),0x\1\t\2\t'"$name"',p'
 468 }
 469
 470 install_kms()
 471 {
 472     (( $INSTALL_KERNEL )) || return 0
 473     (( $SUSEBUILD )) || return 0
 474     set_make
 475     FULL_VERSION="${VERSION}-${EXTRA_VERSION}${TARGET_CONFIG}"
 476     for build_dir in "${TOPDIR}/modules-${FULL_VERSION}/*" ; do
 477         [ -d $build_dir ] || continue
 478         # these modules are terrible, and don't all build
 479         $MAKE -C $build_dir KERNEL_SOURCE="${TOPDIR}/linux" INSTALL_MOD_PATH="$DESTDIR"
 480     done
 481     (   symver vmlinux
 482         moddir="${DESTDIR}/lib/modules/${FULL_VERSION}"
 483         cd $moddir/kernel
 484         for module in $(find * -name '*.ko'); do
 485             symver $module
 486         done
 487         cd $moddir
 488         for module in $(find * -path 'kernel/*' -prune -o \
 489                            -name '*.ko' -print); do
 490             symver $module
 491         done
 492     ) | sort -u -k2 \
 493         | gzip -c9 > "${DESTDIR}/boot/symvers-${VERSION}-${EXTRA_VERSION}-${TARGET_ARCH}${TARGET_CONFIG}.gz"
 494 }
 495
 496 save_headers()
 497 {
 498     echo "Saving headers for $1 $2..."
 499     pushd linux >/dev/null
 500
 501     KVERREL="${VERSION}-${EXTRA_VERSION}"
 502     # deal with the kernel headers that are version specific
 503
 504     saveddir="$RPM_BUILD_ROOT/usr/src/linux-${KVERREL}/savedheaders/$2/$1"
 505     mkdir -p "$saveddir"
 506     install -m 644 include/linux/autoconf.h "$saveddir/autoconf.h"
 507     install -m 644 include/linux/version.h  "$saveddir/version.h"
 508     mv include/linux/modules "$saveddir/"
 509     echo $2 $1 ../../savedheaders/$2/$1/ >>  $RPM_BUILD_ROOT/usr/src/linux-${KVERREL}/savedheaders/list
 510     popd >/dev/null
 511 }
 512
 513 save_all_headers()
 514 {
 515     (( $SAVE_HEADERS )) || return 0
 516
 517     for arch in $BIGMEM_ARCHS ; do
 518         save_headers bigmem $arch
 519     done
 520
 521     for arch in $BOOT_ARCHS ; do
 522         save_headers BOOT $arch
 523     done
 524
 525     for arch in $JENSEN_ARCHS ; do
 526         save_headers jensen $arch
 527     done
 528
 529     for arch in $SMP_ARCHS ; do
 530         save_headers smp $arch
 531     done
 532
 533     for arch in $BIGSMP_ARCHS ; do
 534         save_headers bigsmp $arch
 535     done
 536     for arch in $UP_ARCHS ; do
 537         save_headers up $arch
 538     done
 539 }
 540
 541 longopts="build,build-lustre,build-kernel,depend-kernel,destdir:,extraversion:"
 542 longopts="$longopts,help,install,install-lustre,install-kernel,kerneldir:"
 543 longopts="$longopts,save-headers,target:,target-arch:,target-config:,unpack-kernel"
 544
 545 options=$(getopt -o hj: -l "$longopts" -- "$@")
 546
 547 eval set -- "$options"
 548
 549 while [ "$1" ] ; do
 550     case "$1" in
 551         '')
 552             usage 1
 553             ;;
 554         --build)
 555             BUILD_LUSTRE=1
 556             BUILD_KERNEL=1
 557             DEPEND_KERNEL=1
 558             UNPACK_KERNEL=1
 559             shift
 560             ;;
 561         --build-lustre)
 562             BUILD_LUSTRE=1
 563             shift
 564             ;;
 565         --build-kernel)
 566             BUILD_KERNEL=1
 567             DEPEND_KERNEL=1
 568             shift
 569             ;;
 570         --depend-kernel)
 571             DEPEND_KERNEL=1
 572             shift
 573             ;;
 574         --destdir)
 575             DESTDIR=$2
 576             shift 2
 577             ;;
 578         --extraversion)
 579             EXTRA_VERSION=$2
 580             shift 2
 581             ;;
 582         --help | -h)
 583             usage 0
 584             ;;
 585         --install)
 586             INSTALL_LUSTRE=1
 587             INSTALL_KERNEL=1
 588             shift
 589             ;;
 590         --install-lustre)
 591             INSTALL_LUSTRE=1
 592             shift
 593             ;;
 594         --install-kernel)
 595             INSTALL_KERNEL=1
 596             shift
 597             ;;
 598         -j)
 599             JOBS=$2
 600             shift 2
 601             ;;
 602         --kerneldir)
 603             KERNELDIR=$2
 604             shift 2
 605             ;;
 606         --save-headers)
 607             SAVE_HEADERS=1
 608             shift
 609             ;;
 610         --target)
 611             TARGET=$2
 612             shift 2
 613             ;;
 614         --target-arch)
 615             TARGET_ARCH=$2
 616             shift 2
 617             ;;
 618         --target-config)
 619             TARGET_CONFIG=$2
 620             shift 2
 621             ;;
 622         --unpack-kernel)
 623             UNPACK_KERNEL=1
 624             shift
 625             ;;
 626         --)
 627             shift
 628             CONFIGURE_FLAGS=$@
 629             break
 630             ;;
 631         *)
 632             usage 1 "Unrecognized option: $1"
 633             ;;
 634     esac
 635 done
 636
 637 check_options
 638 load_target
 639
 640 extract_kernel
 641 patch_kernel
 642
 643 depend_kernel
 644 build_kernel
 645
 646 configure_lustre
 647 build_lustre
 648
 649 build_kms
 650
 651 install_kernel
 652 install_lustre
 653
 654 install_kms
 655
 656 save_all_headers
 657
 658 exit 0