bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2013  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.04';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full = qr/
  42     (?:[a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?-)?
  43     $cc_regex
  44     /x;
  45 # Regex to check if a line contains a compiler command.
  46 my $cc_regex_normal = qr/
  47     \b$cc_regex(?:\s|\\)
  48     /x;
  49 # Regex to catch (GCC) compiler warnings.
  50 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  51 # Regex to catch libtool commands and not lines which show commands executed
  52 # by libtool (e.g. libtool: link: ...).
  53 my $libtool_regex = qr/\blibtool\s.*--mode=/;
  54
  55 # List of source file extensions which require preprocessing.
  56 my @source_preprocess_compile_cpp = (
  57     # C++
  58     qw( cc cp cxx cpp CPP c++ C ),
  59     # Objective-C++
  60     qw( mm M ),
  61 );
  62 my @source_preprocess_compile = (
  63     # C
  64     qw( c ),
  65     # Objective-C
  66     qw( m ),
  67     # (Objective-)C++
  68     @source_preprocess_compile_cpp,
  69     # Fortran
  70     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  71 );
  72 my @source_preprocess_no_compile = (
  73     # Assembly
  74     qw( S sx ),
  75 );
  76 my @source_preprocess = (
  77     @source_preprocess_compile,
  78     @source_preprocess_no_compile,
  79 );
  80 # List of source file extensions which don't require preprocessing.
  81 my @source_no_preprocess_compile_cpp = (
  82     # C++
  83     qw( ii ),
  84     # Objective-C++
  85     qw( mii ),
  86 );
  87 my @source_no_preprocess_compile_ada = (
  88     # Ada body
  89     qw( adb ),
  90     # If you add another file, fix use of @source_no_preprocess_compile_ada
  91     # below (search for $compile_ada).
  92 );
  93 my @source_no_preprocess_compile = (
  94     # C
  95     qw( i ),
  96     # (Objective-)C++
  97     @source_no_preprocess_compile_cpp,
  98     # Objective-C
  99     qw( mi ),
 100     # Fortran
 101     qw( f for ftn f90 f95 f03 f08 ),
 102     # Ada
 103     @source_no_preprocess_compile_ada,
 104 );
 105 my @source_no_preprocess_no_compile = (
 106     # Assembly
 107     qw( s ),
 108     # Ada specification
 109     qw( ads ),
 110 );
 111 my @source_no_preprocess = (
 112     @source_no_preprocess_compile,
 113     @source_no_preprocess_no_compile,
 114 );
 115 # List of header file extensions which require preprocessing.
 116 my @header_preprocess = (
 117     # C, C++, Objective-C, Objective-C++
 118     qw( h ),
 119     # C++
 120     qw( hh H hp hxx hpp HPP h++ tcc ),
 121 );
 122 # Object files.
 123 my @object = (
 124     # Normal object files.
 125     qw ( o ),
 126     # Libtool object files.
 127     qw ( lo la ),
 128     # Dynamic libraries. bzip2 uses .sho.
 129     qw ( so sho ),
 130     # Static libraries.
 131     qw ( a ),
 132 );
 133
 134 # Hashes for fast extensions lookup to check if a file falls in one of these
 135 # categories.
 136 my %extensions_no_preprocess = map { $_ => 1 } (
 137     # There's no @header_no_preprocess.
 138     @source_no_preprocess,
 139 );
 140 my %extensions_preprocess = map { $_ => 1 } (
 141     @header_preprocess,
 142     @source_preprocess,
 143 );
 144 my %extensions_compile_link = map { $_ => 1 } (
 145     @source_preprocess,
 146     @source_no_preprocess,
 147 );
 148 my %extensions_compile = map { $_ => 1 } (
 149     @source_preprocess_compile,
 150     @source_no_preprocess_compile,
 151 );
 152 my %extensions_no_compile = map { $_ => 1 } (
 153     @source_preprocess_no_compile,
 154     @source_no_preprocess_no_compile,
 155 );
 156 my %extensions_compile_cpp = map { $_ => 1 } (
 157     @source_preprocess_compile_cpp,
 158     @source_no_preprocess_compile_cpp,
 159 );
 160 my %extensions_object = map { $_ => 1 } (
 161     @object,
 162 );
 163 my %extension = map { $_ => 1 } (
 164     @source_no_preprocess,
 165     @header_preprocess,
 166     @source_preprocess,
 167     @object,
 168 );
 169
 170 # Regexp to match file extensions.
 171 my $file_extension_regex = qr/
 172     \s
 173     \S+             # Filename without extension.
 174     \.
 175     ([^\/\\.,;:\s]+)# File extension.
 176     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 177                     # word characters at the end and because \b matches double
 178                     # extensions (like .cpp.o). Works always as all lines are
 179                     # terminated with "\n".
 180     /x;
 181
 182 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 183 # real regexps below for better execution speed).
 184 my @def_cflags = (
 185     '-g',
 186     '-O(?:2|3)',
 187 );
 188 my @def_cflags_format = (
 189     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 190     '-Werror=format-security', # implies -Wformat-security
 191 );
 192 my @def_cflags_fortify = (
 193     # fortify needs at least -O1, but -O2 is recommended anyway
 194 );
 195 my @def_cflags_stack = (
 196     '-fstack-protector',
 197     '--param[= ]ssp-buffer-size=4',
 198 );
 199 my @def_cflags_pie = (
 200     '-fPIE',
 201 );
 202 my @def_cxxflags = (
 203     @def_cflags,
 204 );
 205 # @def_cxxflags_* is the same as @def_cflags_*.
 206 my @def_cppflags = ();
 207 my @def_cppflags_fortify = (
 208     '-D_FORTIFY_SOURCE=2', # must be first, see cppflags_fortify_broken()
 209     # If you add another flag fix hack below (search for "Hack to fix").
 210 );
 211 my @def_cppflags_fortify_bad = (
 212     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 213     '-U_FORTIFY_SOURCE',
 214     '-D_FORTIFY_SOURCE=0',
 215     '-D_FORTIFY_SOURCE=1',
 216 );
 217 my @def_ldflags = ();
 218 my @def_ldflags_relro = (
 219     '-Wl,(?:-z,)?relro',
 220 );
 221 my @def_ldflags_bindnow = (
 222     '-Wl,(?:-z,)?now',
 223 );
 224 my @def_ldflags_pie = (
 225     '-fPIE',
 226     '-pie',
 227 );
 228 my @def_ldflags_pic = (
 229     '-fPIC',
 230     '-fpic',
 231     '-shared',
 232 );
 233 # References to all flags checked by the flag checker.
 234 my @flag_refs = (
 235     \@def_cflags,
 236     \@def_cflags_format,
 237     \@def_cflags_fortify,
 238     \@def_cflags_stack,
 239     \@def_cflags_pie,
 240     \@def_cxxflags,
 241     \@def_cppflags,
 242     \@def_cppflags_fortify,
 243     \@def_ldflags,
 244     \@def_ldflags_relro,
 245     \@def_ldflags_bindnow,
 246     \@def_ldflags_pie,
 247 );
 248 # References to all used flags.
 249 my @flag_refs_all = (
 250     @flag_refs,
 251     \@def_cppflags_fortify_bad,
 252     \@def_ldflags_pic,
 253 );
 254 # Renaming rules for the output so the regex parts are not visible. Also
 255 # stores string values of flag regexps above, see compile_flag_regexp().
 256 my %flag_renames = (
 257     '-O(?:2|3)'                    => '-O2',
 258     '-Wformat(?:=2)?'              => '-Wformat',
 259     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 260     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 261     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 262 );
 263
 264 my %exit_code = (
 265     no_compiler_commands => 1 << 0,
 266     # used by POD::Usage => 1 << 1,
 267     non_verbose_build    => 1 << 2,
 268     flags_missing        => 1 << 3,
 269     hardening_wrapper    => 1 << 4,
 270     invalid_cmake        => 1 << 5,
 271 );
 272
 273 my %buildd_tag = (
 274     no_compiler_commands => 'I-no-compiler-commands',
 275     non_verbose_build    => 'W-compiler-flags-hidden',
 276     flags_missing        => 'W-dpkg-buildflags-missing',
 277     hardening_wrapper    => 'I-hardening-wrapper-used',
 278     invalid_cmake        => 'I-invalid-cmake-used',
 279 );
 280
 281 # Statistics of missing flags and non-verbose build commands. Used for
 282 # $option_buildd.
 283 my %statistics = (
 284     preprocess          => 0,
 285     preprocess_missing  => 0,
 286     compile             => 0,
 287     compile_missing     => 0,
 288     compile_cpp         => 0,
 289     compile_cpp_missing => 0,
 290     link                => 0,
 291     link_missing        => 0,
 292     commands            => 0,
 293     commands_nonverbose => 0,
 294 );
 295
 296 # Use colored (ANSI) output?
 297 my $option_color;
 298
 299
 300 # FUNCTIONS
 301
 302 # Only works for single-level arrays with no undef values. Thanks to perlfaq4.
 303 sub array_equal {
 304     my ($first_ref, $second_ref) = @_;
 305
 306     return 0 if scalar @{$first_ref} != scalar @{$second_ref};
 307
 308     my $length = scalar @{$first_ref};
 309     for (my $i = 0; $i < $length; $i++) {
 310         return 0 if $first_ref->[$i] ne $second_ref->[$i];
 311     }
 312
 313     return 1;
 314 }
 315
 316 sub error_flags {
 317     my ($message, $missing_flags_ref, $flag_renames_ref, $line) = @_;
 318
 319     # Get string value of qr//-escaped regexps and if requested rename them.
 320     my @missing_flags = map {
 321             $flag_renames_ref->{$_}
 322         } @{$missing_flags_ref};
 323
 324     my $flags = join ' ', @missing_flags;
 325     printf '%s (%s)%s %s',
 326            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 327            $line;
 328
 329     return;
 330 }
 331 sub error_non_verbose_build {
 332     my ($line) = @_;
 333
 334     printf '%s%s %s',
 335            error_color('NONVERBOSE BUILD', 'red'),
 336            error_color(':', 'yellow'),
 337            $line;
 338
 339     return;
 340 }
 341 sub error_invalid_cmake {
 342     my ($version) = @_;
 343
 344     printf "%s%s %s\n",
 345             error_color('INVALID CMAKE', 'red'),
 346             error_color(':', 'yellow'),
 347             $version;
 348
 349     return;
 350 }
 351 sub error_hardening_wrapper {
 352     printf "%s%s %s\n",
 353             error_color('HARDENING WRAPPER', 'red'),
 354             error_color(':', 'yellow'),
 355             'no checks possible, aborting';
 356
 357     return;
 358 }
 359 sub error_color {
 360     my ($message, $color) = @_;
 361
 362     if ($option_color) {
 363         return Term::ANSIColor::colored($message, $color);
 364     } else {
 365         return $message;
 366     }
 367 }
 368
 369 sub any_flags_used {
 370     my ($line, @flags) = @_;
 371
 372     foreach my $flag (@flags) {
 373         return 1 if $line =~ /$flag/;
 374     }
 375
 376     return 0;
 377 }
 378 sub all_flags_used {
 379     my ($line, $missing_flags_ref, @flags) = @_;
 380
 381     my @missing_flags = ();
 382     foreach my $flag (@flags) {
 383         if (not $line =~ /$flag/) {
 384             push @missing_flags, $flag;
 385         }
 386     }
 387
 388     return 1 if scalar @missing_flags == 0;
 389
 390     @{$missing_flags_ref} = @missing_flags;
 391     return 0;
 392 }
 393
 394 sub cppflags_fortify_broken {
 395     my ($line, $missing_flags) = @_;
 396
 397     # This doesn't take the position into account, but is a simple solution.
 398     # And if the build system tries to force -D_FORTIFY_SOURCE=0/1, something
 399     # is wrong anyway.
 400
 401     if (any_flags_used($line, @def_cppflags_fortify_bad)) {
 402         # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 403         push @{$missing_flags}, $def_cppflags_fortify[0];
 404         return 1;
 405     }
 406
 407     return 0;
 408 }
 409
 410 # Modifies $missing_flags_ref array.
 411 sub pic_pie_conflict {
 412     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 413
 414     return 0 if not $pie;
 415     return 0 if not any_flags_used($line, @def_ldflags_pic);
 416
 417     my %flags = map { $_ => 1 } @flags_pie;
 418
 419     # Remove all PIE flags from @missing_flags as they are not required with
 420     # -fPIC.
 421     my @result = grep {
 422         not exists $flags{$_}
 423     } @{$missing_flags_ref};
 424     @{$missing_flags_ref} = @result;
 425
 426     # We got a conflict when no flags are left, thus only PIE flags were
 427     # missing. If other flags were missing abort because the conflict is not
 428     # the problem.
 429     return scalar @result == 0;
 430 }
 431
 432 sub is_non_verbose_build {
 433     my ($line, $next_line, $skip_ref) = @_;
 434
 435     if ($line =~ /$libtool_regex/o) {
 436         # libtool's --silent hides the real compiler flags.
 437         if ($line =~ /\s--silent/) {
 438             return 1;
 439         # If --silent is not present, skip this line as some compiler flags
 440         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 441         # internally. libtool displays the real compiler command on the next
 442         # line, so the flags are checked as usual.
 443         } else {
 444             ${$skip_ref} = 1;
 445             return 0;
 446         }
 447     }
 448
 449     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 450                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 451                 or $line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 452                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 453                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 454         return 0;
 455     }
 456
 457     # False positives.
 458     #
 459     # C++ compiler setting.
 460     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 461     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 462     # "Compiling" non binary files.
 463     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|el)['"]?(?:\.\.\.)?$/;
 464     # "Compiling" with no file name.
 465     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 466         # $file_extension_regex may need spaces around the filename.
 467         return 0 if not " $1 " =~ /$file_extension_regex/o;
 468     }
 469
 470     my $file = $1;
 471
 472     # On the first pass we only check if this line is verbose or not.
 473     return 1 if not defined $next_line;
 474
 475     # Second pass, we have access to the next line.
 476     ${$skip_ref} = 0;
 477
 478     # CMake and other build systems print the non-verbose messages also when
 479     # building verbose. If a compiler and the file name occurs in the next
 480     # line, treat it as verbose build.
 481     if (defined $file) {
 482         # Get filename, we can't use the complete path as only parts of it are
 483         # used in the real compiler command.
 484         $file =~ m{/([^/\s]+)$};
 485         $file = $1;
 486
 487         if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 488             # Not a non-verbose line, but we still have to skip the current line
 489             # as it doesn't contain any compiler commands.
 490             ${$skip_ref} = 1;
 491             return 0;
 492         }
 493     }
 494
 495     return 1;
 496 }
 497
 498 # Remove @flags from $flag_refs_ref, and $flag_renames_ref.
 499 sub remove_flags {
 500     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 501
 502     my %removes = map { $_ => 1 } @flags;
 503     foreach my $flags (@{$flag_refs_ref}) {
 504         @{$flags} = grep {
 505             # Flag found as string.
 506             not exists $removes{$_}
 507             # Flag found as string representation of regexp.
 508                 and (not defined $flag_renames_ref->{$_}
 509                         or not exists $removes{$flag_renames_ref->{$_}})
 510         } @{$flags};
 511     }
 512
 513     return;
 514 }
 515
 516 # Modifies $flag_renames_ref hash.
 517 sub compile_flag_regexp {
 518     my ($flag_renames_ref, @flags) = @_;
 519
 520     my @result = ();
 521     foreach my $flag (@flags) {
 522         # Compile flag regexp for faster execution.
 523         my $regex = qr/\s$flag(?:\s|\\)/;
 524
 525         # Store flag name in replacement string for correct flags in messages
 526         # with qr//ed flag regexps.
 527         $flag_renames_ref->{$regex}
 528             = (exists $flag_renames_ref->{$flag})
 529                 ? $flag_renames_ref->{$flag}
 530                 : $flag;
 531
 532         push @result, $regex;
 533     }
 534     return @result;
 535 }
 536
 537 # Does any extension in @extensions exist in %{$extensions_ref}?
 538 sub extension_found {
 539     my ($extensions_ref, @extensions) = @_;
 540
 541     foreach my $extension (@extensions) {
 542         if (exists $extensions_ref->{$extension}) {
 543             return 1;
 544         }
 545     }
 546     return 0;
 547 }
 548
 549
 550 # MAIN
 551
 552 # Parse command line arguments.
 553 my $option_help             = 0;
 554 my $option_version          = 0;
 555 my $option_pie              = 0;
 556 my $option_bindnow          = 0;
 557 my @option_ignore_arch      = ();
 558 my @option_ignore_flag      = ();
 559 my @option_ignore_arch_flag = ();
 560 my @option_ignore_line      = ();
 561 my @option_ignore_arch_line = ();
 562 my $option_all              = 0;
 563 my $option_arch             = undef;
 564 my $option_buildd           = 0;
 565    $option_color            = 0;
 566 if (not Getopt::Long::GetOptions(
 567             'help|h|?'           => \$option_help,
 568             'version'            => \$option_version,
 569             # Hardening options.
 570             'pie'                => \$option_pie,
 571             'bindnow'            => \$option_bindnow,
 572             'all'                => \$option_all,
 573             # Ignore.
 574             'ignore-arch=s'      => \@option_ignore_arch,
 575             'ignore-flag=s'      => \@option_ignore_flag,
 576             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 577             'ignore-line=s'      => \@option_ignore_line,
 578             'ignore-arch-line=s' => \@option_ignore_arch_line,
 579             # Misc.
 580             'color'              => \$option_color,
 581             'arch=s'             => \$option_arch,
 582             'buildd'             => \$option_buildd,
 583         )) {
 584     require Pod::Usage;
 585     Pod::Usage::pod2usage(2);
 586 }
 587 if ($option_help) {
 588     require Pod::Usage;
 589     Pod::Usage::pod2usage(1);
 590 }
 591 if ($option_version) {
 592     print <<"EOF";
 593 blhc $VERSION  Copyright (C) 2012-2013  Simon Ruderich
 594
 595 This program is free software: you can redistribute it and/or modify
 596 it under the terms of the GNU General Public License as published by
 597 the Free Software Foundation, either version 3 of the License, or
 598 (at your option) any later version.
 599
 600 This program is distributed in the hope that it will be useful,
 601 but WITHOUT ANY WARRANTY; without even the implied warranty of
 602 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 603 GNU General Public License for more details.
 604
 605 You should have received a copy of the GNU General Public License
 606 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 607 EOF
 608     exit 0;
 609 }
 610
 611 # Arguments missing.
 612 if (scalar @ARGV == 0) {
 613     require Pod::Usage;
 614     Pod::Usage::pod2usage(2);
 615 }
 616
 617 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 618 # installed on Debian's buildds.
 619 if (not $option_buildd) {
 620     require Term::ANSIColor;
 621 }
 622
 623 if ($option_all) {
 624     $option_pie     = 1;
 625     $option_bindnow = 1;
 626 }
 627
 628 # Precompiled ignores for faster lookup.
 629 my %option_ignore_arch_flag = ();
 630 my %option_ignore_arch_line = ();
 631
 632 # Strip flags which should be ignored.
 633 if (scalar @option_ignore_flag > 0) {
 634     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 635 }
 636 # Same for arch specific ignore flags, but only prepare here.
 637 if (scalar @option_ignore_arch_flag > 0) {
 638     foreach my $ignore (@option_ignore_arch_flag) {
 639         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 640
 641         if (not $ignore_arch or not $ignore_flag) {
 642             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 643                         . '("arch:flag" expected)' . "\n", $ignore;
 644             require Pod::Usage;
 645             Pod::Usage::pod2usage(2);
 646         }
 647
 648         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 649     }
 650 }
 651
 652 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 653 # faster with this.
 654 foreach my $flags (@flag_refs_all) {
 655     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 656 }
 657
 658 # Precompile ignore line regexps, also anchor at beginning and end of line.
 659 foreach my $ignore (@option_ignore_line) {
 660     $ignore = qr/^$ignore$/;
 661 }
 662 # Same for arch specific ignore lines.
 663 if (scalar @option_ignore_arch_line > 0) {
 664     foreach my $ignore (@option_ignore_arch_line) {
 665         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 666
 667         if (not $ignore_arch or not $ignore_line) {
 668             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 669                         . '("arch:line" expected)' . "\n", $ignore;
 670             require Pod::Usage;
 671             Pod::Usage::pod2usage(2);
 672         }
 673
 674         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 675     }
 676 }
 677
 678 # Final exit code.
 679 my $exit = 0;
 680
 681 FILE:
 682 foreach my $file (@ARGV) {
 683     print "checking '$file'...\n" if scalar @ARGV > 1;
 684
 685     -f $file or die "No such file: $file";
 686
 687     open my $fh, '<', $file or die $!;
 688
 689     # Architecture of this file.
 690     my $arch = $option_arch;
 691
 692     # Hardening options. Not all architectures support all hardening options.
 693     my $harden_format  = 1;
 694     my $harden_fortify = 1;
 695     my $harden_stack   = 1;
 696     my $harden_relro   = 1;
 697     my $harden_bindnow = $option_bindnow; # defaults to 0
 698     my $harden_pie     = $option_pie;     # defaults to 0
 699
 700     # Does this build log use ada? Ada also uses gcc as compiler but uses
 701     # different CFLAGS. But only perform ada checks if an ada compiler used
 702     # for performance reasons.
 703     my $ada = 0;
 704
 705     while (my $line = <$fh>) {
 706         # Detect architecture automatically unless overridden. For buildd logs
 707         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 708         # build logs which aren't built (wrong architecture, build error,
 709         # etc.).
 710         if (not $arch) {
 711             if (index($line, 'Build Architecture: ') == 0) {
 712                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 713             # For old logs (sbuild << 0.63.0-1).
 714             } elsif (index($line, 'Architecture: ') == 0) {
 715                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 716             }
 717         }
 718
 719         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 720         # check for hardening flags in buildd mode if an older dpkg-dev is
 721         # used. Default flags (-g -O2) are still checked.
 722         #
 723         # Packages which were built before 1.16.1 but used their own hardening
 724         # flags are not checked.
 725         if ($option_buildd
 726                 and index($line, 'Toolchain package versions: ') == 0) {
 727             require Dpkg::Version;
 728             if (not $line =~ /\bdpkg-dev_(\S+)/
 729                     or Dpkg::Version::version_compare($1, '1.16.1') < 0) {
 730                 $harden_format  = 0;
 731                 $harden_fortify = 0;
 732                 $harden_stack   = 0;
 733                 $harden_relro   = 0;
 734                 $harden_bindnow = 0;
 735                 $harden_pie     = 0;
 736             }
 737         }
 738
 739         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 740         # this was later dropped because upstream rejected the patch. Thus
 741         # build logs with these versions will have fortify hardening flags
 742         # enabled, even though they may be not correctly set and are missing
 743         # when build with later CMake versions. Thanks to Aron Xu for letting
 744         # me know.
 745         if (index($line, 'Package versions: ') == 0
 746                 and $line =~ /\bcmake_(\S+)/
 747                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 748             if (not $option_buildd) {
 749                 error_invalid_cmake($1);
 750                 $exit |= $exit_code{invalid_cmake};
 751             } else {
 752                 print "$buildd_tag{invalid_cmake}|$1|\n";
 753             }
 754         }
 755
 756         # Debian's build daemons use "Filtered Build-Depends:" (or just
 757         # "Build-Depends:" in older versions) for the build dependencies, but
 758         # pbuilder uses "Depends:"; support both.
 759         if (index($line, 'Filtered Build-Depends: ') == 0
 760                 or index($line, 'Build-Depends: ') == 0
 761                 or index($line, 'Depends: ') == 0) {
 762             # If hardening wrapper is used (wraps calls to gcc and adds
 763             # hardening flags automatically) we can't perform any checks,
 764             # abort.
 765             if ($line =~ /\bhardening-wrapper\b/) {
 766                 if (not $option_buildd) {
 767                     error_hardening_wrapper();
 768                     $exit |= $exit_code{hardening_wrapper};
 769                 } else {
 770                     print "$buildd_tag{hardening_wrapper}||\n";
 771                 }
 772                 next FILE;
 773             }
 774
 775             # Ada compiler.
 776             if ($line =~ /\bgnat\b/) {
 777                 $ada = 1;
 778             }
 779         }
 780
 781         # We skip over unimportant lines at the beginning of the log to
 782         # prevent false positives.
 783         last if index($line, 'dpkg-buildpackage: ') == 0;
 784     }
 785
 786     # Input lines, contain only the lines with compiler commands.
 787     my @input = ();
 788     # Non-verbose lines in the input. Used to reduce calls to
 789     # is_non_verbose_build() (which is quite slow) in the second loop when
 790     # it's already clear if a line is non-verbose or not.
 791     my @input_nonverbose = ();
 792
 793     my $continuation = 0;
 794     my $complete_line = undef;
 795     my $non_verbose;
 796     while (my $line = <$fh>) {
 797         # And stop at the end of the build log. Package details (reported by
 798         # the buildd logs) are not important for us. This also prevents false
 799         # positives.
 800         last if index($line, 'Build finished at ') == 0
 801                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 802
 803         if (not $continuation) {
 804             $non_verbose = 0;
 805         }
 806
 807         # Detect architecture automatically unless overridden.
 808         if (not $arch
 809                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 810             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 811
 812             # Old buildd logs use e.g. "host architecture is alpha", remove
 813             # the "is", otherwise debarch_to_debtriplet() will not detect the
 814             # architecture.
 815             if (index($arch, 'is ') == 0) {
 816                 $arch = substr $arch, 3;
 817             }
 818         }
 819
 820         # Ignore compiler warnings for now.
 821         next if $line =~ /$warning_regex/o;
 822
 823         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 824             # Remove all ANSI color sequences which are sometimes used in
 825             # non-verbose builds.
 826             $line = Term::ANSIColor::colorstrip($line);
 827             # Also strip '\0xf' (delete previous character), used by Elinks'
 828             # build system.
 829             $line =~ s/\x0f//g;
 830             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 831             # what it does).
 832             $line =~ s/\033\(B//g;
 833         }
 834
 835         # Check if this line indicates a non verbose build.
 836         my $skip = 0;
 837         $non_verbose |= is_non_verbose_build($line, undef, \$skip);
 838         next if $skip;
 839
 840         # One line may contain multiple commands (";"). Treat each one as
 841         # single line. parse_line() is slow, only use it when necessary.
 842         my @line = (index($line, ';') == -1)
 843                  ? ($line)
 844                  : map {
 845                        # Ensure newline at the line end - necessary for
 846                        # correct parsing later.
 847                        $_ =~ s/\s+$//;
 848                        $_ .= "\n";
 849                    } Text::ParseWords::parse_line(';', 1, $line);
 850         foreach my $line (@line) {
 851             if ($continuation) {
 852                 $continuation = 0;
 853
 854                 # Join lines, but leave the "\" in place so it's clear where
 855                 # the original line break was.
 856                 chomp $complete_line;
 857                 $complete_line .= ' ' . $line;
 858             }
 859             # Line continuation, line ends with "\".
 860             if ($line =~ /\\$/) {
 861                 $continuation = 1;
 862                 # Start line continuation.
 863                 if (not defined $complete_line) {
 864                     $complete_line = $line;
 865                 }
 866                 next;
 867             }
 868
 869             # Use the complete line if a line continuation occurred.
 870             if (defined $complete_line) {
 871                 $line = $complete_line;
 872                 $complete_line = undef;
 873             }
 874
 875             # Ignore lines with no compiler commands.
 876             next if not $non_verbose
 877                     and not $line =~ /$cc_regex_normal/o;
 878             # Ignore lines with no filenames with extensions. May miss some
 879             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
 880             # a problem as the log will most likely contain other non-verbose
 881             # commands which are detected.
 882             next if not $non_verbose
 883                     and not $line =~ /$file_extension_regex/o;
 884
 885             # Ignore false positives.
 886             #
 887             # `./configure` output.
 888             next if not $non_verbose
 889                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
 890             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
 891                                 [Cc]ompiler[\s.]*:?\s+
 892                                 /x;
 893             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
 894                                 \s*=\s*$cc_regex_full
 895                                 # optional compiler options, don't allow
 896                                 # "everything" here to prevent false negatives
 897                                 \s*(?:\s-\S+)*\s*$}xo;
 898             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
 899             # line (or similar for other architectures) which gets recognized
 900             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
 901             # C++ files. No hardening flags are relevant during this step,
 902             # thus ignore `moc-qt*` lines. The resulting files will be
 903             # compiled in a separate step (and therefore checked).
 904             next if $line =~ m{^\S+/bin/moc(?:-qt[45])?
 905                                \s.+\s
 906                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
 907                                \s}x;
 908             # Ignore false positives when the line contains only CC=gcc but no
 909             # other gcc command.
 910             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
 911                 my $before = $1;
 912                 my $after  = $2;
 913                 next if     not $before =~ /$cc_regex_normal/o
 914                         and not $after  =~ /$cc_regex_normal/o;
 915             }
 916
 917             # Check if additional hardening options were used. Used to ensure
 918             # they are used for the complete build.
 919             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
 920                                                          @def_ldflags_pie);
 921             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
 922
 923             push @input, $line;
 924             push @input_nonverbose, $non_verbose;
 925         }
 926     }
 927
 928     close $fh or die $!;
 929
 930     # Ignore arch if requested.
 931     if (scalar @option_ignore_arch > 0 and $arch) {
 932         foreach my $ignore (@option_ignore_arch) {
 933             if ($arch eq $ignore) {
 934                 print "ignoring architecture '$arch'\n";
 935                 next FILE;
 936             }
 937         }
 938     }
 939
 940     if (scalar @input == 0) {
 941         if (not $option_buildd) {
 942             print "No compiler commands!\n";
 943             $exit |= $exit_code{no_compiler_commands};
 944         } else {
 945             print "$buildd_tag{no_compiler_commands}||\n";
 946         }
 947         next FILE;
 948     }
 949
 950     if ($option_buildd) {
 951         $statistics{commands} += scalar @input;
 952     }
 953
 954     # Option or auto detected.
 955     if ($arch) {
 956         # The following was partially copied from dpkg-dev 1.17.1
 957         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, add_hardening_flags()),
 958         # copyright Raphaël Hertzog <hertzog@debian.org>, Kees Cook
 959         # <kees@debian.org>, Canonical, Ltd. licensed under GPL version 2 or
 960         # later. Keep it in sync.
 961
 962         require Dpkg::Arch;
 963         my ($abi, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
 964
 965         # Disable unsupported hardening options.
 966         if ($os !~ /^(?:linux|knetbsd|hurd)$/ or
 967                 $cpu =~ /^(?:hppa|mips|mipsel|avr32)$/) {
 968             $harden_pie = 0;
 969         }
 970         if ($cpu =~ /^(?:ia64|alpha|mips|mipsel|hppa|arm64)$/
 971                 or $arch eq 'arm') {
 972             $harden_stack = 0;
 973         }
 974         if ($cpu =~ /^(?:ia64|hppa|avr32)$/) {
 975             $harden_relro   = 0;
 976             $harden_bindnow = 0;
 977         }
 978     }
 979
 980     # Default values.
 981     my @cflags   = @def_cflags;
 982     my @cxxflags = @def_cxxflags;
 983     my @cppflags = @def_cppflags;
 984     my @ldflags  = @def_ldflags;
 985     # Check the specified hardening options, same order as dpkg-buildflags.
 986     if ($harden_pie) {
 987         @cflags   = (@cflags,   @def_cflags_pie);
 988         @cxxflags = (@cxxflags, @def_cflags_pie);
 989         @ldflags  = (@ldflags,  @def_ldflags_pie);
 990     }
 991     if ($harden_stack) {
 992         @cflags   = (@cflags,   @def_cflags_stack);
 993         @cxxflags = (@cxxflags, @def_cflags_stack);
 994     }
 995     if ($harden_fortify) {
 996         @cflags   = (@cflags,   @def_cflags_fortify);
 997         @cxxflags = (@cxxflags, @def_cflags_fortify);
 998         @cppflags = (@cppflags, @def_cppflags_fortify);
 999     }
1000     if ($harden_format) {
1001         @cflags   = (@cflags,   @def_cflags_format);
1002         @cxxflags = (@cxxflags, @def_cflags_format);
1003     }
1004     if ($harden_relro) {
1005         @ldflags = (@ldflags, @def_ldflags_relro);
1006     }
1007     if ($harden_bindnow) {
1008         @ldflags = (@ldflags, @def_ldflags_bindnow);
1009     }
1010
1011     # Stores normal CFLAGS when @cflags_ada are temporarily used.
1012     my @cflags_backup;
1013     # Ada CFLAGS, only set if ada is used.
1014     my @cflags_ada;
1015     # Ada doesn't support format hardening flags, see #680117 for more
1016     # information. Filter them out if ada is used.
1017     if ($ada and $harden_format) {
1018         @cflags_ada = grep {
1019             my $ok = 1;
1020             foreach my $flag (@def_cflags_format) {
1021                 $ok = 0 if $_ eq $flag;
1022             }
1023             $ok;
1024         } @cflags;
1025     }
1026
1027     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1028     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1029     # as long as @def_cppflags_fortify contains only one variable.
1030     if (scalar @def_cppflags_fortify == 0) {
1031         $harden_fortify = 0;
1032     }
1033
1034     # Ignore flags for this arch if requested.
1035     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1036         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1037
1038         remove_flags(\@local_flag_refs,
1039                      \%flag_renames,
1040                      @{$option_ignore_arch_flag{$arch}});
1041     }
1042
1043     my @ignore_line = @option_ignore_line;
1044     # Ignore lines for this arch if requested.
1045     if ($arch and exists $option_ignore_arch_line{$arch}) {
1046         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1047     }
1048
1049 LINE:
1050     for (my $i = 0; $i < scalar @input; $i++) {
1051         my $line = $input[$i];
1052
1053         # Ignore line if requested.
1054         foreach my $ignore (@ignore_line) {
1055             next LINE if $line =~ /$ignore/;
1056         }
1057
1058         my $skip = 0;
1059         if ($input_nonverbose[$i]
1060                 and is_non_verbose_build($line, $input[$i + 1], \$skip)) {
1061             if (not $option_buildd) {
1062                 error_non_verbose_build($line);
1063                 $exit |= $exit_code{non_verbose_build};
1064             } else {
1065                 $statistics{commands_nonverbose}++;
1066             }
1067             next;
1068         }
1069         # Even if it's a verbose build, we might have to skip this line (see
1070         # is_non_verbose_build()).
1071         next if $skip;
1072
1073         # Remove everything until and including the compiler command. Makes
1074         # checks easier and faster.
1075         $line =~ s/^.*?$cc_regex//o;
1076         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1077         # the brace and similar characters at the line end.
1078         $line =~ s/['")]+$//;
1079
1080         # Skip unnecessary tests when only preprocessing.
1081         my $flag_preprocess = 0;
1082
1083         my $dependency = 0;
1084         my $preprocess = 0;
1085         my $compile    = 0;
1086         my $link       = 0;
1087
1088         # Preprocess, compile, assemble.
1089         if ($line =~ /\s(-E|-S|-c)\b/) {
1090             $preprocess      = 1;
1091             $flag_preprocess = 1 if $1 eq '-E';
1092             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1093         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1094         # -MT -MQ) are always used with -M/-MM.
1095         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1096             $dependency = 1;
1097         # Otherwise assume we are linking.
1098         } else {
1099             $link = 1;
1100         }
1101
1102         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1103         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1104             $dependency      = 0;
1105             $flag_preprocess = 0;
1106         }
1107
1108         # Dependency generation for Makefiles, no preprocessing or other flags
1109         # needed.
1110         next if $dependency;
1111
1112         # Get all file extensions on this line.
1113         my @extensions = $line =~ /$file_extension_regex/go;
1114         # Ignore all unknown extensions to speedup the search below.
1115         @extensions = grep { exists $extension{$_} } @extensions;
1116
1117         # These file types don't require preprocessing.
1118         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1119             $preprocess = 0;
1120         }
1121         # These file types require preprocessing.
1122         if (extension_found(\%extensions_preprocess, @extensions)) {
1123             $preprocess = 1;
1124         }
1125
1126         if (not $flag_preprocess) {
1127             # If there are source files then it's compiling/linking in one
1128             # step and we must check both. We only check for source files
1129             # here, because header files cause too many false positives.
1130             if (extension_found(\%extensions_compile_link, @extensions)) {
1131                 # Assembly files don't need CFLAGS.
1132                 if (not extension_found(\%extensions_compile, @extensions)
1133                         and extension_found(\%extensions_no_compile, @extensions)) {
1134                     $compile = 0;
1135                 # But the rest does.
1136                 } else {
1137                     $compile = 1;
1138                 }
1139             # No compilable extensions found, either linking or compiling
1140             # header flags.
1141             #
1142             # If there are also no object files we are just compiling headers
1143             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1144             # to our liberal checks for compiler lines, this also reduces the
1145             # number of false positives considerably.
1146             } elsif ($link
1147                     and not extension_found(\%extensions_object, @extensions)) {
1148                 $link = 0;
1149             }
1150         }
1151
1152         my $compile_cpp = 0;
1153         my $compile_ada = 0;
1154         # Assume CXXFLAGS are required when a C++ file is specified in the
1155         # compiler line.
1156         if ($compile
1157                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1158             $compile     = 0;
1159             $compile_cpp = 1;
1160         # Ada needs special CFLAGS, use them if only ada files are compiled.
1161         } elsif ($ada
1162                     and $compile
1163                     and array_equal(\@extensions,
1164                                     \@source_no_preprocess_compile_ada)) {
1165             $compile_ada = 1;
1166             @cflags_backup = @cflags;
1167             @cflags        = @cflags_ada;
1168         }
1169
1170         if ($option_buildd) {
1171             $statistics{preprocess}++  if $preprocess;
1172             $statistics{compile}++     if $compile;
1173             $statistics{compile_cpp}++ if $compile_cpp;
1174             $statistics{link}++        if $link;
1175         }
1176
1177         # Check hardening flags.
1178         my @missing;
1179         if ($compile and not all_flags_used($line, \@missing, @cflags)
1180                 # Libraries linked with -fPIC don't have to (and can't) be
1181                 # linked with -fPIE as well. It's no error if only PIE flags
1182                 # are missing.
1183                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1184                 # Assume dpkg-buildflags returns the correct flags.
1185                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1186             if (not $option_buildd) {
1187                 error_flags('CFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1188                 $exit |= $exit_code{flags_missing};
1189             } else {
1190                 $statistics{compile_missing}++;
1191             }
1192         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1193                 # Libraries linked with -fPIC don't have to (and can't) be
1194                 # linked with -fPIE as well. It's no error if only PIE flags
1195                 # are missing.
1196                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1197                 # Assume dpkg-buildflags returns the correct flags.
1198                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1199             if (not $option_buildd) {
1200                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1201                 $exit |= $exit_code{flags_missing};
1202             } else {
1203                 $statistics{compile_cpp_missing}++;
1204             }
1205         }
1206         if ($preprocess
1207                 and (not all_flags_used($line, \@missing, @cppflags)
1208                     # The fortify flag might be overwritten, detect that.
1209                      or ($harden_fortify
1210                          and cppflags_fortify_broken($line, \@missing)))
1211                 # Assume dpkg-buildflags returns the correct flags.
1212                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1213             if (not $option_buildd) {
1214                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1215                 $exit |= $exit_code{flags_missing};
1216             } else {
1217                 $statistics{preprocess_missing}++;
1218             }
1219         }
1220         if ($link and not all_flags_used($line, \@missing, @ldflags)
1221                 # Same here, -fPIC conflicts with -fPIE.
1222                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1223                 # Assume dpkg-buildflags returns the correct flags.
1224                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1225             if (not $option_buildd) {
1226                 error_flags('LDFLAGS missing', \@missing, \%flag_renames, $input[$i]);
1227                 $exit |= $exit_code{flags_missing};
1228             } else {
1229                 $statistics{link_missing}++;
1230             }
1231         }
1232
1233         # Restore normal CFLAGS.
1234         if ($compile_ada) {
1235             @cflags = @cflags_backup;
1236         }
1237     }
1238 }
1239
1240 # Print statistics for buildd mode, only output in this mode.
1241 if ($option_buildd) {
1242     my @warning;
1243
1244     if ($statistics{preprocess_missing}) {
1245         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1246                                $statistics{preprocess_missing},
1247                                $statistics{preprocess};
1248     }
1249     if ($statistics{compile_missing}) {
1250         push @warning, sprintf 'CFLAGS %d (of %d)',
1251                                $statistics{compile_missing},
1252                                $statistics{compile};
1253     }
1254     if ($statistics{compile_cpp_missing}) {
1255         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1256                                $statistics{compile_cpp_missing},
1257                                $statistics{compile_cpp};
1258     }
1259     if ($statistics{link_missing}) {
1260         push @warning, sprintf 'LDFLAGS %d (of %d)',
1261                                $statistics{link_missing},
1262                                $statistics{link};
1263     }
1264     if (scalar @warning) {
1265         local $" = ', '; # array join string
1266         print "$buildd_tag{flags_missing}|@warning missing|\n";
1267     }
1268
1269     if ($statistics{commands_nonverbose}) {
1270         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1271                $statistics{commands_nonverbose},
1272                $statistics{commands},
1273     }
1274 }
1275
1276
1277 exit $exit;
1278
1279
1280 __END__
1281
1282 =head1 NAME
1283
1284 blhc - build log hardening check, checks build logs for missing hardening flags
1285
1286 =head1 SYNOPSIS
1287
1288 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1289
1290 =head1 DESCRIPTION
1291
1292 blhc is a small tool which checks build logs for missing hardening flags. It's
1293 licensed under the GPL 3 or later.
1294
1295 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1296 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1297 official buildd build logs)) to help maintainers detect missing hardening
1298 flags in their packages.
1299
1300 Only gcc is detected as compiler at the moment. If other compilers support
1301 hardening flags as well, please report them.
1302
1303 If there's no output, no flags are missing and the build log is fine.
1304
1305 See F<README> for details about performed checks, auto-detection and
1306 limitations.
1307
1308 =head1 OPTIONS
1309
1310 =over 8
1311
1312 =item B<--all>
1313
1314 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1315 auto detected.
1316
1317 =item B<--arch> I<architecture>
1318
1319 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1320 disables hardening flags not available on this architecture. Is detected
1321 automatically if dpkg-buildpackage is used.
1322
1323 =item B<--bindnow>
1324
1325 Force check for all +bindnow hardening flags. By default it's auto detected.
1326
1327 =item B<--buildd>
1328
1329 Special mode for buildds when automatically parsing log files. The following
1330 changes are in effect:
1331
1332 =over 2
1333
1334 =item *
1335
1336 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1337 possible tags.
1338
1339 =item *
1340
1341 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1342 detected).
1343
1344 =item *
1345
1346 Don't require Term::ANSIColor.
1347
1348 =item *
1349
1350 Return exit code 0, unless there was a error (-I, -W messages don't count as
1351 error).
1352
1353 =back
1354
1355 =item B<--color>
1356
1357 Use colored (ANSI) output for warning messages.
1358
1359 =item B<--ignore-arch> I<arch>
1360
1361 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1362
1363 Used to prevent false positives. This option can be specified multiple times.
1364
1365 =item B<--ignore-arch-flag> I<arch>:I<flag>
1366
1367 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1368
1369 =item B<--ignore-arch-line> I<arch>:I<line>
1370
1371 Like B<--ignore-line>, but only ignore line on I<arch>.
1372
1373 =item B<--ignore-flag> I<flag>
1374
1375 Don't print an error when the specific flag is missing in a compiler line.
1376 I<flag> is a string.
1377
1378 Used to prevent false positives. This option can be specified multiple times.
1379
1380 =item B<--ignore-line> I<regex>
1381
1382 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1383 at the beginning and end of the line to prevent false negatives.
1384
1385 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1386 warnings (which have line continuation resolved).
1387
1388 Used to prevent false positives. This option can be specified multiple times.
1389
1390 =item B<--pie>
1391
1392 Force check for all +pie hardening flags. By default it's auto detected.
1393
1394 =item B<-h -? --help>
1395
1396 Print available options.
1397
1398 =item B<--version>
1399
1400 Print version number and license.
1401
1402 =back
1403
1404 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1405 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1406 all other commands as well.
1407
1408 =head1 EXAMPLES
1409
1410 Normal usage, parse a single log file.
1411
1412     blhc path/to/log/file
1413
1414 If there's no output, no flags are missing and the build log is fine.
1415
1416 Parse multiple log files. The exit code is ORed over all files.
1417
1418     blhc path/to/directory/with/log/files/*
1419
1420 Don't treat missing C<-g> as error:
1421
1422     blhc --ignore-flag -g path/to/log/file
1423
1424 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1425
1426     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1427
1428 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1429 false positive.
1430
1431     blhc --ignore-line '\./script gcc file' path/to/log/file
1432
1433 Ignore lines matching C<./script gcc file> somewhere in the line.
1434
1435     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1436
1437 Use blhc with pbuilder.
1438
1439     pbuilder path/to/package.dsc | tee path/log/file
1440     blhc path/to/file || echo flags missing
1441
1442 =head1 BUILDD TAGS
1443
1444 The following tags are used in I<--buildd> mode. In braces the additional data
1445 which is displayed.
1446
1447 =over 2
1448
1449 =item B<I-hardening-wrapper-used>
1450
1451 The package uses hardening-wrapper which intercepts calls to gcc and adds
1452 hardening flags. The build log doesn't contain any hardening flags and thus
1453 can't be checked by blhc.
1454
1455 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1456
1457 Build log contains lines which hide the real compiler flags. For example:
1458
1459     CC test-a.c
1460     CC test-b.c
1461     CC test-c.c
1462     LD test
1463
1464 Most of the time either C<export V=1> or C<export verbose=1> in
1465 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1466 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1467 patched to remove the C<@>s hiding the real compiler commands.
1468
1469 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1470
1471 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1472
1473 =item B<I-invalid-cmake-used> (version)
1474
1475 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1476 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1477 patch was rejected by upstream and later reverted in Debian. Thus those two
1478 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1479 handle them (for example by passing them to CFLAGS). To prevent false
1480 negatives just blacklist those two versions.
1481
1482 =item B<I-no-compiler-commands>
1483
1484 No compiler commands were detected. Either the log contains none or they were
1485 not correctly detected by blhc (please report the bug in this case).
1486
1487 =back
1488
1489 =head1 EXIT STATUS
1490
1491 The exit status is a "bit mask", each listed status is ORed when the error
1492 condition occurs to get the result.
1493
1494 =over 4
1495
1496 =item B<0>
1497
1498 Success.
1499
1500 =item B<1>
1501
1502 No compiler commands were found.
1503
1504 =item B<2>
1505
1506 Invalid arguments/options given to blhc.
1507
1508 =item B<4>
1509
1510 Non verbose build.
1511
1512 =item B<8>
1513
1514 Missing hardening flags.
1515
1516 =item B<16>
1517
1518 Hardening wrapper detected, no tests performed.
1519
1520 =item B<32>
1521
1522 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1523 TAGS"> for a detailed explanation.
1524
1525 =back
1526
1527 =head1 AUTHOR
1528
1529 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1530
1531 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1532 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1533
1534 =head1 LICENSE AND COPYRIGHT
1535
1536 Copyright (C) 2012-2013 by Simon Ruderich
1537
1538 This program is free software: you can redistribute it and/or modify
1539 it under the terms of the GNU General Public License as published by
1540 the Free Software Foundation, either version 3 of the License, or
1541 (at your option) any later version.
1542
1543 This program is distributed in the hope that it will be useful,
1544 but WITHOUT ANY WARRANTY; without even the implied warranty of
1545 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1546 GNU General Public License for more details.
1547
1548 You should have received a copy of the GNU General Public License
1549 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1550
1551 =head1 SEE ALSO
1552
1553 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1554
1555 =cut