bin/blhc

   1 #!/usr/bin/perl
   2
   3 # Build log hardening check, checks build logs for missing hardening flags.
   4
   5 # Copyright (C) 2012-2024  Simon Ruderich
   6 #
   7 # This program is free software: you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation, either version 3 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19
  20
  21 use strict;
  22 use warnings;
  23
  24 use Getopt::Long ();
  25 use Text::ParseWords ();
  26
  27 our $VERSION = '0.13';
  28
  29
  30 # CONSTANTS/VARIABLES
  31
  32 # Regex to catch compiler commands.
  33 my $cc_regex = qr/
  34     (?<!\s-)               # ignore options, e.g. "-c++" [sic!] (used by swig)
  35     (?<!\.)                # ignore file names, e.g. "test.gcc"
  36     (?:cc|gcc|g\+\+|c\+\+|gfortran|mpicc|mpicxx|mpifort)
  37     (?:-[\d.]+)?           # version suffix, e.g. "gcc-4.6"
  38     /x;
  39 # Full regex which matches the complete compiler name. Used in a few places to
  40 # prevent false negatives.
  41 my $cc_regex_full_prefix = qr/
  42     [a-z0-9_]+-(?:linux-|kfreebsd-)?gnu(?:eabi|eabihf)?
  43     /x;
  44 my $cc_regex_full = qr/
  45     (?:$cc_regex_full_prefix-)?
  46     $cc_regex
  47     /x;
  48 # Regex to check if a line contains a compiler command.
  49 my $cc_regex_normal = qr/
  50     \b$cc_regex(?:\s|\\)
  51     /x;
  52 my $rustc_regex = qr/
  53     \brustc\b
  54     /x;
  55 # Regex to catch (GCC) compiler warnings.
  56 my $warning_regex = qr/^(.+?):(\d+):\d+: warning: (.+?) \[(.+?)\]$/;
  57 # Regex to catch libtool commands and not lines which show commands executed
  58 # by libtool (e.g. libtool: link: ...).
  59 my $libtool_regex = qr/\blibtool["']?\s.*--mode=/;
  60 my $libtool_link_regex = qr/\blibtool: link: /;
  61
  62 # List of source file extensions which require preprocessing.
  63 my @source_preprocess_compile_cpp = (
  64     # C++
  65     qw( cc cp cxx cpp CPP c++ C ),
  66     # Objective-C++
  67     qw( mm M ),
  68 );
  69 my @source_preprocess_compile_fortran = (
  70     # Fortran
  71     qw( F FOR fpp FPP FTN F90 F95 F03 F08 ),
  72 );
  73 my @source_preprocess_compile = (
  74     # C
  75     qw( c ),
  76     # Objective-C
  77     qw( m ),
  78     # (Objective-)C++
  79     @source_preprocess_compile_cpp,
  80     # Fortran
  81     @source_preprocess_compile_fortran,
  82 );
  83 my @source_preprocess_no_compile = (
  84     # Assembly
  85     qw( S sx ),
  86 );
  87 my @source_preprocess = (
  88     @source_preprocess_compile,
  89     @source_preprocess_no_compile,
  90 );
  91 # List of source file extensions which don't require preprocessing.
  92 my @source_no_preprocess_compile_cpp = (
  93     # C++
  94     qw( ii ),
  95     # Objective-C++
  96     qw( mii ),
  97 );
  98 my @source_no_preprocess_compile_ada = (
  99     # Ada source
 100     qw( ada ),
 101     # Ada body
 102     qw( adb ),
 103 );
 104 my @source_no_preprocess_compile_fortran = (
 105     # Fortran
 106     qw( f for ftn f90 f95 f03 f08 ),
 107 );
 108 my @source_no_preprocess_compile = (
 109     # C
 110     qw( i ),
 111     # (Objective-)C++
 112     @source_no_preprocess_compile_cpp,
 113     # Objective-C
 114     qw( mi ),
 115     # Fortran
 116     @source_no_preprocess_compile_fortran,
 117     # Ada
 118     @source_no_preprocess_compile_ada,
 119 );
 120 my @source_no_preprocess_no_compile_ada = (
 121     # Ada specification
 122     qw( ads ),
 123 );
 124 my @source_no_preprocess_no_compile = (
 125     # Assembly
 126     qw( s ),
 127     # Ada
 128     @source_no_preprocess_no_compile_ada,
 129 );
 130 my @source_no_preprocess = (
 131     @source_no_preprocess_compile,
 132     @source_no_preprocess_no_compile,
 133 );
 134 # List of header file extensions which require preprocessing.
 135 my @header_preprocess = (
 136     # C, C++, Objective-C, Objective-C++
 137     qw( h ),
 138     # C++
 139     qw( hh H hp hxx hpp HPP h++ tcc ),
 140 );
 141 # Object files.
 142 my @object = (
 143     # Normal object files.
 144     qw ( o ),
 145     # Libtool object files.
 146     qw ( lo la ),
 147     # Dynamic libraries. bzip2 uses .sho.
 148     qw ( so sho ),
 149     # Static libraries.
 150     qw ( a ),
 151 );
 152
 153 # Hashes for fast extensions lookup to check if a file falls in one of these
 154 # categories.
 155 my %extensions_no_preprocess = map { $_ => 1 } (
 156     # There's no @header_no_preprocess.
 157     @source_no_preprocess,
 158 );
 159 my %extensions_preprocess = map { $_ => 1 } (
 160     @header_preprocess,
 161     @source_preprocess,
 162 );
 163 my %extensions_compile_link = map { $_ => 1 } (
 164     @source_preprocess,
 165     @source_no_preprocess,
 166 );
 167 my %extensions_compile = map { $_ => 1 } (
 168     @source_preprocess_compile,
 169     @source_no_preprocess_compile,
 170 );
 171 my %extensions_no_compile = map { $_ => 1 } (
 172     @source_preprocess_no_compile,
 173     @source_no_preprocess_no_compile,
 174 );
 175 my %extensions_compile_cpp = map { $_ => 1 } (
 176     @source_preprocess_compile_cpp,
 177     @source_no_preprocess_compile_cpp,
 178 );
 179 my %extensions_ada = map { $_ => 1 } (
 180     @source_no_preprocess_compile_ada,
 181     @source_no_preprocess_no_compile_ada,
 182 );
 183 my %extensions_fortran = map { $_ => 1 } (
 184     @source_no_preprocess_compile_fortran,
 185     @source_preprocess_compile_fortran,
 186 );
 187 my %extensions_object = map { $_ => 1 } (
 188     @object,
 189 );
 190 my %extension = map { $_ => 1 } (
 191     @source_no_preprocess,
 192     @header_preprocess,
 193     @source_preprocess,
 194     @object,
 195 );
 196
 197 # Regexp to match file extensions.
 198 my $file_extension_regex = qr/
 199     \s
 200     \S+             # Filename without extension.
 201     \.
 202     ([^\/\\.,;:\s]+)# File extension.
 203     (?=\s|\\)       # At end of word. Can't use \b because some files have non
 204                     # word characters at the end and because \b matches double
 205                     # extensions (like .cpp.o). Works always as all lines are
 206                     # terminated with "\n".
 207     /x;
 208
 209 # Expected (hardening) flags. All flags are used as regexps (and compiled to
 210 # real regexps below for better execution speed).
 211 my @def_cflags = (
 212     '-g3?',
 213     '-O(?:2|3)', # keep at index 1, search for @def_cflags_debug to change it
 214 );
 215 my @def_cflags_debug = (
 216     # These flags indicate a debug build which disables checks for -O2.
 217     '-O0',
 218     '-Og',
 219 );
 220 my @def_cflags_format = (
 221     '-Wformat(?:=2)?', # -Wformat=2 implies -Wformat, accept it too
 222     '-Werror=format-security', # implies -Wformat-security
 223 );
 224 my @def_cflags_fortify = (
 225     # fortify needs at least -O1, but -O2 is recommended anyway
 226 );
 227 my @def_cflags_stack = (
 228     '-fstack-protector', # keep first, used by cflags_stack_broken()
 229     '--param[= ]ssp-buffer-size=4',
 230 );
 231 my @def_cflags_stack_strong = (
 232     '-fstack-protector-strong', # keep first, used by cflags_stack_broken()
 233 );
 234 my @def_cflags_stack_bad = (
 235     # Blacklist all stack protector options for simplicity.
 236     '-fno-stack-protector',
 237     '-fno-stack-protector-all',
 238     '-fno-stack-protector-strong',
 239 );
 240 my @def_cflags_pie = (
 241     '-fPIE',
 242 );
 243 my @def_cxxflags = (
 244     @def_cflags,
 245 );
 246 # @def_cxxflags_* is the same as @def_cflags_*.
 247 my @def_cppflags = ();
 248 my @def_cppflags_fortify = (
 249     '-D_FORTIFY_SOURCE=[23]', # must be first, see cppflags_fortify_broken()
 250     # If you add another flag fix hack below (search for "Hack to fix") and
 251     # $def_cppflags_fortify[0].
 252 );
 253 my @def_cppflags_fortify_bad = (
 254     # These flags may overwrite -D_FORTIFY_SOURCE=2.
 255     '-U_FORTIFY_SOURCE',
 256     '-D_FORTIFY_SOURCE=0',
 257     '-D_FORTIFY_SOURCE=1',
 258 );
 259 my @def_ldflags = ();
 260 my @def_ldflags_relro = (
 261     '-Wl,(?:-z,)?relro',
 262 );
 263 my @def_ldflags_bindnow = (
 264     '-Wl,(?:-z,)?now',
 265 );
 266 my @def_ldflags_pie = (
 267     '-fPIE',
 268     '-pie',
 269 );
 270 my @def_ldflags_pic = (
 271     '-fPIC',
 272     '-fpic',
 273     '-shared',
 274 );
 275 # References to all flags checked by the flag checker.
 276 my @flag_refs = (
 277     \@def_cflags,
 278     \@def_cflags_format,
 279     \@def_cflags_fortify,
 280     \@def_cflags_stack,
 281     \@def_cflags_stack_strong,
 282     \@def_cflags_stack_bad,
 283     \@def_cflags_pie,
 284     \@def_cxxflags,
 285     \@def_cppflags,
 286     \@def_cppflags_fortify,
 287     \@def_ldflags,
 288     \@def_ldflags_relro,
 289     \@def_ldflags_bindnow,
 290     \@def_ldflags_pie,
 291 );
 292 # References to all used flags.
 293 my @flag_refs_all = (
 294     @flag_refs,
 295     \@def_cflags_debug,
 296     \@def_cppflags_fortify_bad,
 297     \@def_ldflags_pic,
 298 );
 299 # Renaming rules for the output so the regex parts are not visible. Also
 300 # stores string values of flag regexps above, see compile_flag_regexp().
 301 my %flag_renames = (
 302     '-g3?'                         => '-g',
 303     '-O(?:2|3)'                    => '-O2',
 304     '-Wformat(?:=2)?'              => '-Wformat',
 305     '--param[= ]ssp-buffer-size=4' => '--param=ssp-buffer-size=4',
 306     '-D_FORTIFY_SOURCE=[23]'       => '-D_FORTIFY_SOURCE=2',
 307     '-Wl,(?:-z,)?relro'            => '-Wl,-z,relro',
 308     '-Wl,(?:-z,)?now'              => '-Wl,-z,now',
 309 );
 310
 311 my %exit_code = (
 312     no_compiler_commands => 1 << 0,
 313     # used by POD::Usage => 1 << 1,
 314     non_verbose_build    => 1 << 2,
 315     flags_missing        => 1 << 3,
 316     hardening_wrapper    => 1 << 4,
 317     invalid_cmake        => 1 << 5,
 318 );
 319
 320 my %buildd_tag = (
 321     no_compiler_commands => 'I-no-compiler-commands',
 322     non_verbose_build    => 'W-compiler-flags-hidden',
 323     flags_missing        => 'W-dpkg-buildflags-missing',
 324     hardening_wrapper    => 'I-hardening-wrapper-used',
 325     invalid_cmake        => 'I-invalid-cmake-used',
 326 );
 327
 328 # Statistics of missing flags and non-verbose build commands. Used for
 329 # $option_buildd.
 330 my %statistics = (
 331     preprocess          => 0,
 332     preprocess_missing  => 0,
 333     compile             => 0,
 334     compile_missing     => 0,
 335     compile_cpp         => 0,
 336     compile_cpp_missing => 0,
 337     link                => 0,
 338     link_missing        => 0,
 339     commands            => 0,
 340     commands_nonverbose => 0,
 341 );
 342
 343 # Use colored (ANSI) output?
 344 my $option_color;
 345
 346
 347 # FUNCTIONS
 348
 349 sub split_line {
 350     my ($line) = @_;
 351
 352     my @work = ($line);
 353     foreach my $delim (';', '&&', '||') {
 354         my @x;
 355         foreach (@work) {
 356             push @x, Text::ParseWords::parse_line(qr/\Q$delim\E/, 1, $_);
 357         }
 358         @work = @x;
 359     }
 360
 361     return map {
 362         # Ensure newline at the line end - necessary for
 363         # correct parsing later.
 364         $_ =~ s/\s+$//;
 365         $_ .= "\n";
 366     } @work;
 367 }
 368
 369 sub error_flags {
 370     my ($message, $missing_flags_ref, $flag_renames_ref, $line, $number) = @_;
 371
 372     # Get string value of qr//-escaped regexps and if requested rename them.
 373     my @missing_flags = map {
 374             $flag_renames_ref->{$_}
 375         } @{$missing_flags_ref};
 376
 377     my $flags = join ' ', @missing_flags;
 378     printf '%d:', $number if defined $number;
 379     printf '%s (%s)%s %s',
 380            error_color($message, 'red'), $flags, error_color(':', 'yellow'),
 381            $line;
 382
 383     return;
 384 }
 385 sub error_non_verbose_build {
 386     my ($line, $number) = @_;
 387
 388     printf '%d:', $number if defined $number;
 389     printf '%s%s %s',
 390            error_color('NONVERBOSE BUILD', 'red'),
 391            error_color(':', 'yellow'),
 392            $line;
 393
 394     return;
 395 }
 396 sub error_invalid_cmake {
 397     my ($version) = @_;
 398
 399     printf "%s%s %s\n",
 400             error_color('INVALID CMAKE', 'red'),
 401             error_color(':', 'yellow'),
 402             $version;
 403
 404     return;
 405 }
 406 sub error_hardening_wrapper {
 407     printf "%s%s %s\n",
 408             error_color('HARDENING WRAPPER', 'red'),
 409             error_color(':', 'yellow'),
 410             'no checks possible, aborting';
 411
 412     return;
 413 }
 414 sub error_color {
 415     my ($message, $color) = @_;
 416
 417     if ($option_color) {
 418         return Term::ANSIColor::colored($message, $color);
 419     } else {
 420         return $message;
 421     }
 422 }
 423
 424 sub any_flags_used {
 425     my ($line, @flags) = @_;
 426
 427     foreach my $flag (@flags) {
 428         return 1 if $line =~ /$flag/;
 429     }
 430
 431     return 0;
 432 }
 433 sub all_flags_used {
 434     my ($line, $missing_flags_ref, @flags) = @_;
 435
 436     my @missing_flags = ();
 437     foreach my $flag (@flags) {
 438         if (not $line =~ /$flag/) {
 439             push @missing_flags, $flag;
 440         }
 441     }
 442
 443     return 1 if scalar @missing_flags == 0;
 444
 445     @{$missing_flags_ref} = @missing_flags;
 446     return 0;
 447 }
 448 # Check if any of \@bad_flags occurs after $good_flag. Doesn't check if
 449 # $good_flag is present.
 450 sub flag_overwritten {
 451     my ($line, $good_flag, $bad_flags) = @_;
 452
 453     if (not any_flags_used($line, @{$bad_flags})) {
 454         return 0;
 455     }
 456
 457     my $bad_pos = 0;
 458     foreach my $flag (@{$bad_flags}) {
 459         while ($line =~ /$flag/g) {
 460             if ($bad_pos < $+[0]) {
 461                 $bad_pos = $+[0];
 462             }
 463         }
 464     }
 465     my $good_pos = 0;
 466     while ($line =~ /$good_flag/g) {
 467         $good_pos = $+[0];
 468     }
 469     if ($good_pos > $bad_pos) {
 470         return 0;
 471     }
 472     return 1;
 473 }
 474
 475 sub cppflags_fortify_broken {
 476     my ($line, $missing_flags) = @_;
 477
 478     # $def_cppflags_fortify[0] must be -D_FORTIFY_SOURCE=2!
 479     my $fortify_source = $def_cppflags_fortify[0];
 480
 481     # Some build systems enable/disable fortify source multiple times, check
 482     # the final result.
 483     if (not flag_overwritten($line,
 484                              $fortify_source,
 485                              \@def_cppflags_fortify_bad)) {
 486         return 0;
 487     }
 488     push @{$missing_flags}, $fortify_source;
 489     return 1;
 490 }
 491
 492 sub cflags_stack_broken {
 493     my ($line, $missing_flags, $strong) = @_;
 494
 495     my $flag = $strong ? $def_cflags_stack_strong[0]
 496                        : $def_cflags_stack[0];
 497
 498     if (not flag_overwritten($line, $flag, \@def_cflags_stack_bad)) {
 499         return 0;
 500     }
 501     push @{$missing_flags}, $flag;
 502     return 1;
 503 }
 504
 505 # Modifies $missing_flags_ref array.
 506 sub pic_pie_conflict {
 507     my ($line, $pie, $missing_flags_ref, @flags_pie) = @_;
 508
 509     return 0 if not $pie;
 510     return 0 if not any_flags_used($line, @def_ldflags_pic);
 511
 512     my %flags = map { $_ => 1 } @flags_pie;
 513
 514     # Remove all PIE flags from @missing_flags as they are not required with
 515     # -fPIC.
 516     my @result = grep {
 517         not exists $flags{$_}
 518     } @{$missing_flags_ref};
 519     @{$missing_flags_ref} = @result;
 520
 521     # We got a conflict when no flags are left, thus only PIE flags were
 522     # missing. If other flags were missing abort because the conflict is not
 523     # the problem.
 524     return scalar @result == 0;
 525 }
 526
 527 sub is_non_verbose_build {
 528     my ($line, $cargo, $skip_ref, $input_ref, $line_offset, $line_count) = @_;
 529
 530     if ($line =~ /$libtool_regex/o) {
 531         # libtool's --silent hides the real compiler flags.
 532         if ($line =~ /\s--silent/) {
 533             return 1;
 534         # If --silent is not present, skip this line as some compiler flags
 535         # might be missing (e.g. -fPIE) which are handled correctly by libtool
 536         # internally. libtool displays the real compiler command on the next
 537         # line, so the flags are checked as usual.
 538         } else {
 539             ${$skip_ref} = 1;
 540             return 0;
 541         }
 542     }
 543
 544     if (not (index($line, 'checking if you want to see long compiling messages... no') == 0
 545                 or $line =~ /^\s*\[?(?:CC|CCLD|C\+\+|CXX|CXXLD|LD|LINK)\]?\s+(.+?)$/
 546                 or $line =~ /^\s*[][\/0-9 ]*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/
 547                 or $line =~ /^\s*[Bb]uilding (?:program|shared library)\s+(.+?)$/
 548                 or $line =~ /^\s*\[[\d ]+%\] Building (?:C|CXX) object (.+?)$/)) {
 549         return 0;
 550     }
 551
 552     # False positives.
 553     #
 554     # C++ compiler setting.
 555     return 0 if $line =~ /^\s*C\+\+.+?:\s+(?:yes|no)\s*$/;
 556     return 0 if $line =~ /^\s*C\+\+ Library: stdc\+\+$/;
 557     # "Compiling" non binary files.
 558     return 0 if $line =~ /^\s*Compiling \S+\.(?:py|pyx|el)['"]?\s*(?:\.\.\.|because it changed\.)?$/;
 559     return 0 if $line =~ /^\s*[Cc]ompiling catalog \S+\.po\b/;
 560     # cargo build
 561     return 0 if $cargo and $line =~ m{^\s*Compiling\s+\S+\s+v\S+(?:\s+\(/<<PKGBUILDDIR>>\))?$};
 562     # "Compiling" with no file name.
 563     if ($line =~ /^\s*[Cc]ompiling\s+(.+?)(?:\.\.\.)?$/) {
 564         # $file_extension_regex may need spaces around the filename.
 565         return 0 if not " $1 " =~ /$file_extension_regex/o;
 566     }
 567
 568     my $file = $1;
 569
 570     # On the first pass we only check if this line is verbose or not.
 571     return 1 if not defined $input_ref;
 572
 573     # Second pass, we have access to the next lines.
 574     ${$skip_ref} = 0;
 575
 576     # CMake and other build systems print the non-verbose messages also when
 577     # building verbose. If a compiler and the file name occurs in the next
 578     # lines, treat it as verbose build.
 579     if (defined $file) {
 580         # Get filename, we can't use the complete path as only parts of it are
 581         # used in the real compiler command.
 582         $file =~ m{/([^/\s]+)$};
 583         $file = $1;
 584
 585         for (my $i = 1; $i <= $line_count; $i++) {
 586             my $next_line = $input_ref->[$line_offset + $i];
 587             last unless defined $next_line;
 588
 589             if (index($next_line, $file) != -1 and $next_line =~ /$cc_regex/o) {
 590                 # Not a non-verbose line, but we still have to skip the
 591                 # current line as it doesn't contain any compiler commands.
 592                 ${$skip_ref} = 1;
 593                 return 0;
 594             }
 595         }
 596     }
 597
 598     return 1;
 599 }
 600
 601 # Remove @flags from $flag_refs_ref, uses $flag_renames_ref as reference.
 602 sub remove_flags {
 603     my ($flag_refs_ref, $flag_renames_ref, @flags) = @_;
 604
 605     my %removes = map { $_ => 1 } @flags;
 606     foreach my $flags (@{$flag_refs_ref}) {
 607         @{$flags} = grep {
 608             # Flag found as string.
 609             not exists $removes{$_}
 610             # Flag found as string representation of regexp.
 611                 and (not defined $flag_renames_ref->{$_}
 612                         or not exists $removes{$flag_renames_ref->{$_}})
 613         } @{$flags};
 614     }
 615
 616     return;
 617 }
 618
 619 # Modifies $flag_renames_ref hash.
 620 sub compile_flag_regexp {
 621     my ($flag_renames_ref, @flags) = @_;
 622
 623     my @result = ();
 624     foreach my $flag (@flags) {
 625         # Compile flag regexp for faster execution.
 626         my $regex = qr/\s(['"]?)$flag\1(?:\s|\\)/;
 627
 628         # Store flag name in replacement string for correct flags in messages
 629         # with qr//ed flag regexps.
 630         $flag_renames_ref->{$regex}
 631             = (exists $flag_renames_ref->{$flag})
 632                 ? $flag_renames_ref->{$flag}
 633                 : $flag;
 634
 635         push @result, $regex;
 636     }
 637     return @result;
 638 }
 639
 640 # Does any extension in @extensions exist in %{$extensions_ref}?
 641 sub extension_found {
 642     my ($extensions_ref, @extensions) = @_;
 643
 644     foreach my $extension (@extensions) {
 645         if (exists $extensions_ref->{$extension}) {
 646             return 1;
 647         }
 648     }
 649     return 0;
 650 }
 651
 652
 653 # MAIN
 654
 655 # Parse command line arguments.
 656 my $option_help             = 0;
 657 my $option_version          = 0;
 658 my $option_pie              = 0;
 659 my $option_bindnow          = 0;
 660 my @option_ignore_arch      = ();
 661 my @option_ignore_flag      = ();
 662 my @option_ignore_arch_flag = ();
 663 my @option_ignore_line      = ();
 664 my @option_ignore_arch_line = ();
 665 my $option_all              = 0;
 666 my $option_arch             = undef;
 667 my $option_buildd           = 0;
 668 my $option_debian           = 0;
 669    $option_color            = 0;
 670 my $option_line_numbers     = 0;
 671 if (not Getopt::Long::GetOptions(
 672             'help|h|?'           => \$option_help,
 673             'version'            => \$option_version,
 674             # Hardening options.
 675             'pie'                => \$option_pie,
 676             'bindnow'            => \$option_bindnow,
 677             'all'                => \$option_all,
 678             # Ignore.
 679             'ignore-arch=s'      => \@option_ignore_arch,
 680             'ignore-flag=s'      => \@option_ignore_flag,
 681             'ignore-arch-flag=s' => \@option_ignore_arch_flag,
 682             'ignore-line=s'      => \@option_ignore_line,
 683             'ignore-arch-line=s' => \@option_ignore_arch_line,
 684             # Misc.
 685             'color'              => \$option_color,
 686             'arch=s'             => \$option_arch,
 687             'buildd'             => \$option_buildd,
 688             'debian'             => \$option_debian,
 689             'line-numbers'       => \$option_line_numbers,
 690         )) {
 691     require Pod::Usage;
 692     Pod::Usage::pod2usage(2);
 693 }
 694 if ($option_help) {
 695     require Pod::Usage;
 696     Pod::Usage::pod2usage(1);
 697 }
 698 if ($option_version) {
 699     print <<"EOF";
 700 blhc $VERSION  Copyright (C) 2012-2024  Simon Ruderich
 701
 702 This program is free software: you can redistribute it and/or modify
 703 it under the terms of the GNU General Public License as published by
 704 the Free Software Foundation, either version 3 of the License, or
 705 (at your option) any later version.
 706
 707 This program is distributed in the hope that it will be useful,
 708 but WITHOUT ANY WARRANTY; without even the implied warranty of
 709 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 710 GNU General Public License for more details.
 711
 712 You should have received a copy of the GNU General Public License
 713 along with this program.  If not, see <http://www.gnu.org/licenses/>.
 714 EOF
 715     exit 0;
 716 }
 717
 718 # Arguments missing.
 719 if (scalar @ARGV == 0) {
 720     require Pod::Usage;
 721     Pod::Usage::pod2usage(2);
 722 }
 723
 724 # Don't load Term::ANSIColor in buildd mode because Term::ANSIColor is not
 725 # installed on Debian's buildds.
 726 if (not $option_buildd) {
 727     require Term::ANSIColor;
 728 }
 729
 730 if ($option_all) {
 731     $option_pie     = 1;
 732     $option_bindnow = 1;
 733 }
 734
 735 # Precompiled ignores for faster lookup.
 736 my %option_ignore_arch_flag = ();
 737 my %option_ignore_arch_line = ();
 738
 739 # Strip flags which should be ignored.
 740 if (scalar @option_ignore_flag > 0) {
 741     remove_flags(\@flag_refs, \%flag_renames, @option_ignore_flag);
 742 }
 743 # Same for arch specific ignore flags, but only prepare here.
 744 if (scalar @option_ignore_arch_flag > 0) {
 745     foreach my $ignore (@option_ignore_arch_flag) {
 746         my ($ignore_arch, $ignore_flag) = split /:/, $ignore, 2;
 747
 748         if (not $ignore_arch or not $ignore_flag) {
 749             printf STDERR 'Value "%s" invalid for option ignore-arch-flag '
 750                         . '("arch:flag" expected)' . "\n", $ignore;
 751             require Pod::Usage;
 752             Pod::Usage::pod2usage(2);
 753         }
 754
 755         push @{$option_ignore_arch_flag{$ignore_arch}}, $ignore_flag;
 756     }
 757 }
 758
 759 # Precompile all flag regexps. any_flags_used(), all_flags_used() get a lot
 760 # faster with this.
 761 foreach my $flags (@flag_refs_all) {
 762     @{$flags} = compile_flag_regexp(\%flag_renames, @{$flags});
 763 }
 764
 765 # Precompile ignore line regexps, also anchor at beginning and end of line.
 766 # Additional entries are also extracted from the build log, see below.
 767 foreach my $ignore (@option_ignore_line) {
 768     $ignore = qr/^$ignore$/;
 769 }
 770 # Same for arch specific ignore lines.
 771 if (scalar @option_ignore_arch_line > 0) {
 772     foreach my $ignore (@option_ignore_arch_line) {
 773         my ($ignore_arch, $ignore_line) = split /:/, $ignore, 2;
 774
 775         if (not $ignore_arch or not $ignore_line) {
 776             printf STDERR 'Value "%s" invalid for option ignore-arch-line '
 777                         . '("arch:line" expected)' . "\n", $ignore;
 778             require Pod::Usage;
 779             Pod::Usage::pod2usage(2);
 780         }
 781
 782         push @{$option_ignore_arch_line{$ignore_arch}}, qr/^$ignore_line$/;
 783     }
 784 }
 785
 786 # Final exit code.
 787 my $exit = 0;
 788
 789 FILE:
 790 foreach my $file (@ARGV) {
 791     print "checking '$file'...\n" if scalar @ARGV > 1;
 792
 793     -f $file or die "No such file: $file";
 794
 795     open my $fh, '<', $file or die $!;
 796
 797     # Architecture of this file.
 798     my $arch = $option_arch;
 799
 800     # Hardening options. Not all architectures support all hardening options.
 801     my $harden_format  = 1;
 802     my $harden_fortify = 1;
 803     my $harden_stack   = 1;
 804     my $harden_stack_strong = 1;
 805     my $harden_relro   = 1;
 806     my $harden_bindnow = $option_bindnow; # defaults to 0
 807     my $harden_pie     = $option_pie;     # defaults to 0
 808
 809     # Number of parallel jobs to prevent false positives when detecting
 810     # non-verbose builds. As not all jobs declare the number of parallel jobs
 811     # use a large enough default.
 812     my $parallel = 10;
 813
 814     # Don't check for PIE flags if automatically applied by the compiler. Only
 815     # used in buildd and Debian mode.
 816     my $disable_harden_pie = 0;
 817     if ($option_debian) {
 818         $disable_harden_pie = 1;
 819     }
 820
 821     # Ignore additional false positives if cargo/rust is used
 822     my $cargo = 0;
 823
 824     my $number = 0;
 825     while (my $line = <$fh>) {
 826         $number++;
 827
 828         # Detect architecture automatically unless overridden. For buildd logs
 829         # only, doesn't use the dpkg-buildpackage header. Necessary to ignore
 830         # build logs which aren't built (wrong architecture, build error,
 831         # etc.).
 832         if (not $arch) {
 833             if (index($line, 'Build Architecture: ') == 0) {
 834                 $arch = substr $line, 20, -1; # -1 to ignore '\n' at the end
 835             # For old logs (sbuild << 0.63.0-1).
 836             } elsif (index($line, 'Architecture: ') == 0) {
 837                 $arch = substr $line, 14, -1; # -1 to ignore '\n' at the end
 838             }
 839         }
 840
 841         # dpkg-buildflags only provides hardening flags since 1.16.1, don't
 842         # check for hardening flags in buildd mode if an older dpkg-dev is
 843         # used. Default flags (-g -O2) are still checked.
 844         #
 845         # Packages which were built before 1.16.1 but used their own hardening
 846         # flags are not checked.
 847         #
 848         # Strong stack protector is used since dpkg 1.17.11.
 849         #
 850         # Recent GCC versions automatically use PIE (only on supported
 851         # architectures) and dpkg respects this properly since 1.18.15 and
 852         # doesn't pass PIE flags manually.
 853         if ($option_buildd
 854                 and index($line, 'Toolchain package versions: ') == 0) {
 855             require Dpkg::Version;
 856
 857             my $disable = 1;
 858             my $disable_strong = 1;
 859
 860             if ($line =~ /\bdpkg-dev_(\S+)/) {
 861                 if (Dpkg::Version::version_compare($1, '1.16.1') >= 0) {
 862                     $disable = 0;
 863                 }
 864                 if (Dpkg::Version::version_compare($1, '1.17.11') >= 0) {
 865                     $disable_strong = 0;
 866                 }
 867                 if (Dpkg::Version::version_compare($1, '1.18.15') >= 0) {
 868                     $disable_harden_pie = 1;
 869                 }
 870             }
 871
 872             if ($disable) {
 873                 $harden_format  = 0;
 874                 $harden_fortify = 0;
 875                 $harden_stack   = 0;
 876                 $harden_relro   = 0;
 877                 $harden_bindnow = 0;
 878                 $harden_pie     = 0;
 879             }
 880             if ($disable_strong) {
 881                 $harden_stack_strong = 0;
 882             }
 883         }
 884
 885         # The following two versions of CMake in Debian obeyed CPPFLAGS, but
 886         # this was later dropped because upstream rejected the patch. Thus
 887         # build logs with these versions will have fortify hardening flags
 888         # enabled, even though they may be not correctly set and are missing
 889         # when build with later CMake versions. Thanks to Aron Xu for letting
 890         # me know.
 891         if (index($line, 'Package versions: ') == 0
 892                 and $line =~ /\bcmake_(\S+)/
 893                 and ($1 eq '2.8.7-1' or $1 eq '2.8.7-2')) {
 894             if (not $option_buildd) {
 895                 error_invalid_cmake($1);
 896                 $exit |= $exit_code{invalid_cmake};
 897             } else {
 898                 print "$buildd_tag{invalid_cmake}|$1|\n";
 899             }
 900         }
 901
 902         # Debian's build daemons use "Filtered Build-Depends:" (or just
 903         # "Build-Depends:" in older versions) for the build dependencies, but
 904         # pbuilder uses "Depends:"; support both.
 905         if (index($line, 'Filtered Build-Depends: ') == 0
 906                 or index($line, 'Build-Depends: ') == 0
 907                 or index($line, 'Depends: ') == 0) {
 908             # If hardening wrapper is used (wraps calls to gcc and adds
 909             # hardening flags automatically) we can't perform any checks,
 910             # abort.
 911             if ($line =~ /\bhardening-wrapper\b/) {
 912                 if (not $option_buildd) {
 913                     error_hardening_wrapper();
 914                     $exit |= $exit_code{hardening_wrapper};
 915                 } else {
 916                     print "$buildd_tag{hardening_wrapper}||\n";
 917                 }
 918                 next FILE;
 919             }
 920
 921             if ($line =~ /\bcargo\b/) {
 922                 $cargo = 1;
 923             }
 924         }
 925
 926         # This flags is not always available, but if it is use it.
 927         if ($line =~ /^DEB_BUILD_OPTIONS=.*\bparallel=(\d+)/) {
 928             $parallel = $1 * 2;
 929         }
 930
 931         # We skip over unimportant lines at the beginning of the log to
 932         # prevent false positives.
 933         last if index($line, 'dpkg-buildpackage: ') == 0;
 934     }
 935
 936     # Input lines, contain only the lines with compiler commands.
 937     my @input = ();
 938     # Non-verbose lines in the input. Used to reduce calls to
 939     # is_non_verbose_build() (which is quite slow) in the second loop when
 940     # it's already clear if a line is non-verbose or not.
 941     my @input_nonverbose = ();
 942     # Input line number.
 943     my @input_number = ();
 944
 945     my $continuation = 0;
 946     my $complete_line = undef;
 947     my $non_verbose;
 948     while (my $line = <$fh>) {
 949         $number++;
 950
 951         # And stop at the end of the build log. Package details (reported by
 952         # the buildd logs) are not important for us. This also prevents false
 953         # positives.
 954         last if index($line, 'Build finished at ') == 0
 955                 and $line =~ /^Build finished at \d{8}-\d{4}$/;
 956
 957         if (not $continuation) {
 958             $non_verbose = 0;
 959         }
 960
 961         # Detect architecture automatically unless overridden.
 962         if (not $arch
 963                 and index($line, 'dpkg-buildpackage: info: host architecture ') == 0) {
 964             $arch = substr $line, 43, -1; # -1 to ignore '\n' at the end
 965         # Older versions of dpkg-buildpackage
 966         } elsif (not $arch
 967                 and index($line, 'dpkg-buildpackage: host architecture ') == 0) {
 968             $arch = substr $line, 37, -1; # -1 to ignore '\n' at the end
 969
 970             # Old buildd logs use e.g. "host architecture is alpha", remove
 971             # the "is", otherwise debarch_to_debtriplet() will not detect the
 972             # architecture.
 973             if (index($arch, 'is ') == 0) {
 974                 $arch = substr $arch, 3;
 975             }
 976         }
 977
 978         # Permit dynamic excludes from within the build log to ignore false
 979         # positives. Cannot use a separate config file as we often only have
 980         # the build log itself.
 981         if (index($line, 'blhc: ignore-line-regexp: ') == 0) {
 982             my $ignore = substr $line, 26, -1; # -1 to ignore '\n' at the end
 983             push @option_ignore_line, qr/^$ignore$/;
 984             next;
 985         }
 986
 987         next if $line =~ /^\s*#/;
 988         # Ignore compiler warnings for now.
 989         next if $line =~ /$warning_regex/o;
 990
 991         if (not $option_buildd and index($line, "\033") != -1) { # \033 = esc
 992             # Remove all ANSI color sequences which are sometimes used in
 993             # non-verbose builds.
 994             $line = Term::ANSIColor::colorstrip($line);
 995             # Also strip '\0xf' (delete previous character), used by Elinks'
 996             # build system.
 997             $line =~ s/\x0f//g;
 998             # And "ESC(B" which seems to be used on armhf and hurd (not sure
 999             # what it does).
1000             $line =~ s/\033\(B//g;
1001         }
1002
1003         # Check if this line indicates a non verbose build.
1004         my $skip = 0;
1005         $non_verbose |= is_non_verbose_build($line, $cargo, \$skip);
1006         next if $skip;
1007
1008         # Treat each command as a single line so we don't ignore valid
1009         # commands when handling false positives. split_line() is slow, only
1010         # use it when necessary.
1011         my @line = ($line !~ /(?:;|&&|\|\|)/)
1012                  ? ($line)
1013                  : split_line($line);
1014         foreach my $line (@line) {
1015             if ($continuation) {
1016                 $continuation = 0;
1017
1018                 # Join lines, but leave the "\" in place so it's clear where
1019                 # the original line break was.
1020                 chomp $complete_line;
1021                 $complete_line .= ' ' . $line;
1022             }
1023             # Line continuation, line ends with "\".
1024             if ($line =~ /\\$/) {
1025                 $continuation = 1;
1026                 # Start line continuation.
1027                 if (not defined $complete_line) {
1028                     $complete_line = $line;
1029                 }
1030                 next;
1031             }
1032
1033             # Use the complete line if a line continuation occurred.
1034             if (defined $complete_line) {
1035                 $line = $complete_line;
1036                 $complete_line = undef;
1037             }
1038
1039             my $noenv = $line;
1040             # Strip (basic) environment variables for compiler detection. This
1041             # prevents false positives when environment variables contain
1042             # compiler binaries. Nested quotes, command substitution, etc. is
1043             # not supported.
1044             $noenv =~ s/^
1045                 \s*
1046                 (?:
1047                     [a-zA-Z_]+          # environment variable name
1048                     =
1049                     (?:
1050                         [^\s"'\$`\\]+   # non-quoted string
1051                         |
1052                         '[^"'\$`\\]*'   # single-quoted string
1053                         |
1054                         "[^"'\$`\\]*"   # double-quoted string
1055                     )
1056                     \s+
1057                 )*
1058             //x;
1059             # Ignore lines with no compiler commands.
1060             next if not $non_verbose
1061                     and not $noenv =~ /$cc_regex_normal/o;
1062             # Ignore lines with no filenames with extensions. May miss some
1063             # non-verbose builds (e.g. "gcc -o test" [sic!]), but shouldn't be
1064             # a problem as the log will most likely contain other non-verbose
1065             # commands which are detected.
1066             next if not $non_verbose
1067                     and not $line =~ /$file_extension_regex/o;
1068
1069             # Ignore false positives.
1070             #
1071             # `./configure` output.
1072             next if not $non_verbose
1073                     and $line =~ /^(?:checking|[Cc]onfigure:) /;
1074             next if $line =~ /^\s*(?:Host\s+)?(?:C(?:\+\+)?\s+)?
1075                                 [Cc]ompiler[\s.]*:?\s+
1076                                 /x;
1077             next if $line =~ m{^\s*(?:-\s)?(?:HOST_)?(?:CC|CXX)
1078                                 \s*=\s*$cc_regex_full
1079                                 # optional compiler options, don't allow
1080                                 # "everything" here to prevent false negatives
1081                                 \s*(?:\s-\S+)*\s*$}xo;
1082             # `echo` is never a compiler command
1083             next if $line =~ /^\s*echo\s/;
1084             # Ignore calls to `make` because they can contain environment
1085             # variables which look like compiler commands, e.g. CC=).
1086             next if $line =~ /^\s*make\s/;
1087             # `moc-qt4`/`moc-qt5` contain '-I.../linux-g++' in their command
1088             # line (or similar for other architectures) which gets recognized
1089             # as a compiler line, but `moc-qt*` is only a preprocessor for Qt
1090             # C++ files. No hardening flags are relevant during this step,
1091             # thus ignore `moc-qt*` lines. The resulting files will be
1092             # compiled in a separate step (and therefore checked).
1093             next if $line =~ m{^\S+(?:/bin/moc(?:-qt[45])?|/lib/qt6/libexec/moc)
1094                                \s.+\s
1095                                -I\S+/mkspecs/[a-z]+-g\++(?:-64)?
1096                                \s}x;
1097             # nvcc is not a regular C compiler
1098             next if $line =~ m{^\S+/bin/nvcc\s};
1099             # Ignore false positives when the line contains only CC=gcc but no
1100             # other gcc command.
1101             if ($line =~ /(.*)CC=$cc_regex_full(.*)/o) {
1102                 my $before = $1;
1103                 my $after  = $2;
1104                 next if     not $before =~ /$cc_regex_normal/o
1105                         and not $after  =~ /$cc_regex_normal/o;
1106             }
1107             # Ignore false positives caused by gcc -v. It outputs a line
1108             # looking like a normal compiler line but which is sometimes
1109             # missing hardening flags, although the normal compiler line
1110             # contains them.
1111             next if $line =~ m{^\s+/usr/lib/gcc/$cc_regex_full_prefix/
1112                                    [0-9.]+/cc1(?:plus)?}xo;
1113             # Ignore false positive with `rm` which may remove files which
1114             # look like a compiler executable thus causing the line to be
1115             # treated as a normal compiler line.
1116             next if $line =~ m{^\s*rm\s+};
1117             next if $line =~ m{^\s*dwz\s+};
1118             # Some build systems emit "gcc > file".
1119             next if $line =~ m{$cc_regex_normal\s*>\s*\S+}o;
1120             # Hex output may contain "cc".
1121             next if $line =~ m#(?:\b[0-9a-fA-F]{2,}\b\s*){5}#;
1122             # Meson build output
1123             next if $line =~ /^C\+\+ linker for the host machine: /;
1124             # Embedded `gcc -print-*` commands
1125             next if $line =~ /`$cc_regex_normal\s*[^`]*-print-\S+`/;
1126             # cmake checking for compiler flags without setting CPPFLAGS
1127             next if $line =~ m{^\s*/usr/(bin|lib)/(ccache/)?c\+\+ (?:-std=\S+ )?-dM -E -c /usr/share/cmake-\S+/Modules/CMakeCXXCompilerABI\.cpp};
1128             # Some rustc lines look like linker commands
1129             next if $cargo and $line =~ /$rustc_regex/o;
1130
1131             # Check if additional hardening options were used. Used to ensure
1132             # they are used for the complete build.
1133             $harden_pie     = 1 if any_flags_used($line, @def_cflags_pie,
1134                                                          @def_ldflags_pie);
1135             $harden_bindnow = 1 if any_flags_used($line, @def_ldflags_bindnow);
1136
1137             push @input, $line;
1138             push @input_nonverbose, $non_verbose;
1139             push @input_number, $number if $option_line_numbers;
1140         }
1141     }
1142
1143     close $fh or die $!;
1144
1145     # Ignore arch if requested.
1146     if (scalar @option_ignore_arch > 0 and $arch) {
1147         foreach my $ignore (@option_ignore_arch) {
1148             if ($arch eq $ignore) {
1149                 print "ignoring architecture '$arch'\n";
1150                 next FILE;
1151             }
1152         }
1153     }
1154
1155     if (scalar @input == 0) {
1156         if (not $option_buildd) {
1157             print "No compiler commands!\n";
1158             $exit |= $exit_code{no_compiler_commands};
1159         } else {
1160             print "$buildd_tag{no_compiler_commands}||\n";
1161         }
1162         next FILE;
1163     }
1164
1165     if ($option_buildd) {
1166         $statistics{commands} += scalar @input;
1167     }
1168
1169     # Option or auto detected.
1170     if ($arch) {
1171         # The following was partially copied from dpkg-dev 1.22.0
1172         # (/usr/share/perl5/Dpkg/Vendor/Debian.pm, set_build_features and
1173         # _add_build_flags()), copyright Raphaël Hertzog <hertzog@debian.org>,
1174         # Guillem Jover <guillem@debian.org>, Kees Cook <kees@debian.org>,
1175         # Canonical, Ltd. licensed under GPL version 2 or later. Keep it in
1176         # sync.
1177
1178         require Dpkg::Arch;
1179         my ($os, $cpu);
1180         # Recent dpkg versions use a quadruplet for arch. Support both.
1181         eval {
1182             (undef, undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtuple($arch);
1183         };
1184         if ($@) {
1185             (undef, $os, $cpu) = Dpkg::Arch::debarch_to_debtriplet($arch);
1186         }
1187
1188         my %builtin_pie_arch = map { $_ => 1 } qw(
1189             amd64
1190             arm64
1191             armel
1192             armhf
1193             hurd-amd64
1194             hurd-i386
1195             i386
1196             kfreebsd-amd64
1197             kfreebsd-i386
1198             mips
1199             mips64
1200             mips64el
1201             mips64r6
1202             mips64r6el
1203             mipsel
1204             mipsn32
1205             mipsn32el
1206             mipsn32r6
1207             mipsn32r6el
1208             mipsr6
1209             mipsr6el
1210             powerpc
1211             ppc64
1212             ppc64el
1213             riscv64
1214             s390x
1215             sparc
1216             sparc64
1217         );
1218
1219         # Disable unsupported hardening options.
1220         if ($os !~ /^(?:linux|kfreebsd|knetbsd|hurd)$/ or $cpu eq 'hppa') {
1221             $harden_pie = 0;
1222         }
1223         if ($cpu =~ /^(?:ia64|alpha|hppa|nios2)$/ or $arch eq 'arm') {
1224             $harden_stack = 0;
1225             $harden_stack_strong = 0;
1226         }
1227         if ($cpu =~ /^(?:ia64|hppa)$/) {
1228             $harden_relro   = 0;
1229             $harden_bindnow = 0;
1230         }
1231
1232         if ($disable_harden_pie and exists $builtin_pie_arch{$arch}) {
1233             $harden_pie = 0;
1234         }
1235     }
1236
1237     # Default values.
1238     my @cflags   = @def_cflags;
1239     my @cxxflags = @def_cxxflags;
1240     my @cppflags = @def_cppflags;
1241     my @ldflags  = @def_ldflags;
1242     # Check the specified hardening options, same order as dpkg-buildflags.
1243     if ($harden_pie) {
1244         @cflags   = (@cflags,   @def_cflags_pie);
1245         @cxxflags = (@cxxflags, @def_cflags_pie);
1246         @ldflags  = (@ldflags,  @def_ldflags_pie);
1247     }
1248     if ($harden_stack_strong) {
1249         @cflags   = (@cflags,   @def_cflags_stack_strong);
1250         @cxxflags = (@cxxflags, @def_cflags_stack_strong);
1251     } elsif ($harden_stack) {
1252         @cflags   = (@cflags,   @def_cflags_stack);
1253         @cxxflags = (@cxxflags, @def_cflags_stack);
1254     }
1255     if ($harden_fortify) {
1256         @cflags   = (@cflags,   @def_cflags_fortify);
1257         @cxxflags = (@cxxflags, @def_cflags_fortify);
1258         @cppflags = (@cppflags, @def_cppflags_fortify);
1259     }
1260     if ($harden_format) {
1261         @cflags   = (@cflags,   @def_cflags_format);
1262         @cxxflags = (@cxxflags, @def_cflags_format);
1263     }
1264     if ($harden_relro) {
1265         @ldflags = (@ldflags, @def_ldflags_relro);
1266     }
1267     if ($harden_bindnow) {
1268         @ldflags = (@ldflags, @def_ldflags_bindnow);
1269     }
1270
1271     # Ada doesn't support format hardening flags, see #680117 for more
1272     # information. Same for fortran.
1273     my @cflags_backup;
1274     my @cflags_noformat = grep {
1275         my $ok = 1;
1276         foreach my $flag (@def_cflags_format) {
1277             $ok = 0 if $_ eq $flag;
1278         }
1279         $ok;
1280     } @cflags;
1281
1282     # Hack to fix cppflags_fortify_broken() if --ignore-flag
1283     # -D_FORTIFY_SOURCE=2 is used to ignore missing fortification. Only works
1284     # as long as @def_cppflags_fortify contains only one variable.
1285     if (scalar @def_cppflags_fortify == 0) {
1286         $harden_fortify = 0;
1287     }
1288
1289     # Ignore flags for this arch if requested.
1290     if ($arch and exists $option_ignore_arch_flag{$arch}) {
1291         my @local_flag_refs = (\@cflags, \@cxxflags, \@cppflags, \@ldflags);
1292
1293         remove_flags(\@local_flag_refs,
1294                      \%flag_renames,
1295                      @{$option_ignore_arch_flag{$arch}});
1296     }
1297
1298     my @ignore_line = @option_ignore_line;
1299     # Ignore lines for this arch if requested.
1300     if ($arch and exists $option_ignore_arch_line{$arch}) {
1301         @ignore_line = (@ignore_line, @{$option_ignore_arch_line{$arch}});
1302     }
1303
1304 LINE:
1305     for (my $i = 0; $i < scalar @input; $i++) {
1306         my $line = $input[$i];
1307
1308         # Ignore line if requested.
1309         foreach my $ignore (@ignore_line) {
1310             next LINE if $line =~ /$ignore/;
1311         }
1312
1313         my $skip = 0;
1314         if ($input_nonverbose[$i]
1315                 and is_non_verbose_build($line, $cargo, \$skip,
1316                                          \@input, $i, $parallel)) {
1317             if (not $option_buildd) {
1318                 error_non_verbose_build($line, $input_number[$i]);
1319                 $exit |= $exit_code{non_verbose_build};
1320             } else {
1321                 $statistics{commands_nonverbose}++;
1322             }
1323             next;
1324         }
1325         # Even if it's a verbose build, we might have to skip this line (see
1326         # is_non_verbose_build()).
1327         next if $skip;
1328
1329         my $orig_line = $line;
1330
1331         # Remove everything until and including the compiler command. Makes
1332         # checks easier and faster.
1333         $line =~ s/^.*?$cc_regex//o;
1334         # "([...] test.c)" is not detected as 'test.c' - fix this by removing
1335         # the brace and similar characters at the line end.
1336         $line =~ s/['")]+$//;
1337
1338         # Skip unnecessary tests when only preprocessing.
1339         my $flag_preprocess = 0;
1340
1341         my $dependency = 0;
1342         my $preprocess = 0;
1343         my $compile    = 0;
1344         my $link       = 0;
1345
1346         # Preprocess, compile, assemble.
1347         if ($line =~ /\s(-E|-S|-c)\b/) {
1348             $preprocess      = 1;
1349             $flag_preprocess = 1 if $1 eq '-E';
1350             $compile         = 1 if $1 eq '-S' or $1 eq '-c';
1351         # Dependency generation for Makefiles. The other flags (-MF -MG -MP
1352         # -MT -MQ) are always used with -M/-MM.
1353         } elsif ($line =~ /\s(?:-M|-MM)\b/) {
1354             $dependency = 1;
1355         # Otherwise assume we are linking.
1356         } else {
1357             $link = 1;
1358         }
1359
1360         # -MD/-MMD also cause dependency generation, but they don't imply -E!
1361         if ($line =~ /\s(?:-MD|-MMD)\b/) {
1362             $dependency      = 0;
1363             $flag_preprocess = 0;
1364         }
1365
1366         # Dependency generation for Makefiles, no preprocessing or other flags
1367         # needed.
1368         next if $dependency;
1369
1370         # Get all file extensions on this line.
1371         my @extensions = $line =~ /$file_extension_regex/go;
1372         # Ignore all unknown extensions to speedup the search below.
1373         @extensions = grep { exists $extension{$_} } @extensions;
1374
1375         # These file types don't require preprocessing.
1376         if (extension_found(\%extensions_no_preprocess, @extensions)) {
1377             $preprocess = 0;
1378         }
1379         # These file types require preprocessing.
1380         if (extension_found(\%extensions_preprocess, @extensions)) {
1381             # Prevent false positives with "libtool: link: g++ -include test.h
1382             # .." compiler lines.
1383             if ($orig_line !~ /$libtool_link_regex/o) {
1384                 $preprocess = 1;
1385             }
1386         }
1387
1388         if (not $flag_preprocess) {
1389             # If there are source files then it's compiling/linking in one
1390             # step and we must check both. We only check for source files
1391             # here, because header files cause too many false positives.
1392             if (extension_found(\%extensions_compile_link, @extensions)) {
1393                 # Assembly files don't need CFLAGS.
1394                 if (not extension_found(\%extensions_compile, @extensions)
1395                         and extension_found(\%extensions_no_compile, @extensions)) {
1396                     $compile = 0;
1397                 # But the rest does.
1398                 } else {
1399                     $compile = 1;
1400                 }
1401             # No compilable extensions found, either linking or compiling
1402             # header flags.
1403             #
1404             # If there are also no object files we are just compiling headers
1405             # (.h -> .h.gch). Don't check for linker flags in this case. Due
1406             # to our liberal checks for compiler lines, this also reduces the
1407             # number of false positives considerably.
1408             } elsif ($link
1409                     and not extension_found(\%extensions_object, @extensions)) {
1410                 $link = 0;
1411             }
1412         }
1413
1414         my $compile_cpp = 0;
1415         my $restore_cflags = 0;
1416         # Assume CXXFLAGS are required when a C++ file is specified in the
1417         # compiler line.
1418         if ($compile
1419                 and extension_found(\%extensions_compile_cpp, @extensions)) {
1420             $compile     = 0;
1421             $compile_cpp = 1;
1422         # Ada needs special CFLAGS
1423         } elsif (extension_found(\%extensions_ada, @extensions)) {
1424             $restore_cflags = 1;
1425             $preprocess = 0; # Ada uses no CPPFLAGS
1426             @cflags_backup = @cflags;
1427             @cflags        = @cflags_noformat;
1428         # Same for fortran
1429         } elsif (extension_found(\%extensions_fortran, @extensions)) {
1430             $restore_cflags = 1;
1431             @cflags_backup = @cflags;
1432             @cflags        = @cflags_noformat;
1433         }
1434
1435         if ($option_buildd) {
1436             $statistics{preprocess}++  if $preprocess;
1437             $statistics{compile}++     if $compile;
1438             $statistics{compile_cpp}++ if $compile_cpp;
1439             $statistics{link}++        if $link;
1440         }
1441
1442         # Check if there are flags indicating a debug build. If that's true,
1443         # skip the check for -O2. This prevents fortification, but that's fine
1444         # for a debug build.
1445         if (any_flags_used($line, @def_cflags_debug)) {
1446             remove_flags([\@cflags], \%flag_renames, $def_cflags[1]);
1447             remove_flags([\@cppflags], \%flag_renames, $def_cppflags_fortify[0]);
1448         }
1449
1450         # Check hardening flags.
1451         my @missing;
1452         if ($compile and (not all_flags_used($line, \@missing, @cflags)
1453                     or (($harden_stack or $harden_stack_strong)
1454                         and cflags_stack_broken($line, \@missing,
1455                                                 $harden_stack_strong)))
1456                 # Libraries linked with -fPIC don't have to (and can't) be
1457                 # linked with -fPIE as well. It's no error if only PIE flags
1458                 # are missing.
1459                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1460                 # Assume dpkg-buildflags returns the correct flags.
1461                 and index($line, '`dpkg-buildflags --get CFLAGS`') == -1) {
1462             if (not $option_buildd) {
1463                 error_flags('CFLAGS missing', \@missing, \%flag_renames,
1464                             $input[$i], $input_number[$i]);
1465                 $exit |= $exit_code{flags_missing};
1466             } else {
1467                 $statistics{compile_missing}++;
1468             }
1469         } elsif ($compile_cpp and not all_flags_used($line, \@missing, @cflags)
1470                 # Libraries linked with -fPIC don't have to (and can't) be
1471                 # linked with -fPIE as well. It's no error if only PIE flags
1472                 # are missing.
1473                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_cflags_pie)
1474                 # Assume dpkg-buildflags returns the correct flags.
1475                 and index($line, '`dpkg-buildflags --get CXXFLAGS`') == -1) {
1476             if (not $option_buildd) {
1477                 error_flags('CXXFLAGS missing', \@missing, \%flag_renames,
1478                             $input[$i], $input_number[$i]);
1479                 $exit |= $exit_code{flags_missing};
1480             } else {
1481                 $statistics{compile_cpp_missing}++;
1482             }
1483         }
1484         if ($preprocess
1485                 and (not all_flags_used($line, \@missing, @cppflags)
1486                     # The fortify flag might be overwritten, detect that.
1487                      or ($harden_fortify
1488                          and cppflags_fortify_broken($line, \@missing)))
1489                 # Assume dpkg-buildflags returns the correct flags.
1490                 and index($line, '`dpkg-buildflags --get CPPFLAGS`') == -1) {
1491             if (not $option_buildd) {
1492                 error_flags('CPPFLAGS missing', \@missing, \%flag_renames,
1493                             $input[$i], $input_number[$i]);
1494                 $exit |= $exit_code{flags_missing};
1495             } else {
1496                 $statistics{preprocess_missing}++;
1497             }
1498         }
1499         if ($link and not all_flags_used($line, \@missing, @ldflags)
1500                 # Same here, -fPIC conflicts with -fPIE.
1501                 and not pic_pie_conflict($line, $harden_pie, \@missing, @def_ldflags_pie)
1502                 # Assume dpkg-buildflags returns the correct flags.
1503                 and index($line, '`dpkg-buildflags --get LDFLAGS`') == -1) {
1504             if (not $option_buildd) {
1505                 error_flags('LDFLAGS missing', \@missing, \%flag_renames,
1506                             $input[$i], $input_number[$i]);
1507                 $exit |= $exit_code{flags_missing};
1508             } else {
1509                 $statistics{link_missing}++;
1510             }
1511         }
1512
1513         # Restore normal CFLAGS.
1514         if ($restore_cflags) {
1515             @cflags = @cflags_backup;
1516         }
1517     }
1518 }
1519
1520 # Print statistics for buildd mode, only output in this mode.
1521 if ($option_buildd) {
1522     my @warning;
1523
1524     if ($statistics{preprocess_missing}) {
1525         push @warning, sprintf 'CPPFLAGS %d (of %d)',
1526                                $statistics{preprocess_missing},
1527                                $statistics{preprocess};
1528     }
1529     if ($statistics{compile_missing}) {
1530         push @warning, sprintf 'CFLAGS %d (of %d)',
1531                                $statistics{compile_missing},
1532                                $statistics{compile};
1533     }
1534     if ($statistics{compile_cpp_missing}) {
1535         push @warning, sprintf 'CXXFLAGS %d (of %d)',
1536                                $statistics{compile_cpp_missing},
1537                                $statistics{compile_cpp};
1538     }
1539     if ($statistics{link_missing}) {
1540         push @warning, sprintf 'LDFLAGS %d (of %d)',
1541                                $statistics{link_missing},
1542                                $statistics{link};
1543     }
1544     if (scalar @warning) {
1545         local $" = ', '; # array join string
1546         print "$buildd_tag{flags_missing}|@warning missing|\n";
1547     }
1548
1549     if ($statistics{commands_nonverbose}) {
1550         printf "$buildd_tag{non_verbose_build}|%d (of %d) hidden|\n",
1551                $statistics{commands_nonverbose},
1552                $statistics{commands},
1553     }
1554 }
1555
1556
1557 exit $exit;
1558
1559
1560 __END__
1561
1562 =head1 NAME
1563
1564 blhc - build log hardening check, checks build logs for missing hardening flags
1565
1566 =head1 SYNOPSIS
1567
1568 B<blhc> [I<options>] I<< <dpkg-buildpackage build log file>.. >>
1569
1570 =head1 DESCRIPTION
1571
1572 blhc is a small tool which checks build logs for missing hardening flags. It's
1573 licensed under the GPL 3 or later.
1574
1575 It's designed to check build logs generated by Debian's dpkg-buildpackage (or
1576 tools using dpkg-buildpackage like pbuilder or sbuild (which is used for the
1577 official buildd build logs)) to help maintainers detect missing hardening
1578 flags in their packages.
1579
1580 Only gcc is detected as compiler at the moment. If other compilers support
1581 hardening flags as well, please report them.
1582
1583 If there's no output, no flags are missing and the build log is fine.
1584
1585 See F<README> for details about performed checks, auto-detection and
1586 limitations.
1587
1588 =head1 FALSE POSITIVES
1589
1590 To suppress false positives you can embed the following string in the build
1591 log:
1592
1593     blhc: ignore-line-regexp: REGEXP
1594
1595 All lines fully matching REGEXP (see B<--ignore-line> for details) will be
1596 ignored. The string can be embedded multiple times to ignore different
1597 regexps.
1598
1599 Please use this feature sparingly so that missing flags are not overlooked. If
1600 you find false positives which affect more packages please report a bug.
1601
1602 To generate this string simply use echo in C<debian/rules>; make sure to use @
1603 to suppress the echo command itself as it could also trigger a false positive.
1604 If the build process takes a long time edit the C<.build> file in place and
1605 tweak the ignore string until B<blhc --all --debian package.build> no longer
1606 reports any false positives.
1607
1608 =head1 OPTIONS
1609
1610 =over 8
1611
1612 =item B<--all>
1613
1614 Force check for all +all (+pie, +bindnow) hardening flags. By default it's
1615 auto detected.
1616
1617 =item B<--arch> I<architecture>
1618
1619 Set the specific architecture (e.g. amd64, armel, etc.), automatically
1620 disables hardening flags not available on this architecture. Is detected
1621 automatically if dpkg-buildpackage is used.
1622
1623 =item B<--bindnow>
1624
1625 Force check for all +bindnow hardening flags. By default it's auto detected.
1626
1627 =item B<--buildd>
1628
1629 Special mode for buildds when automatically parsing log files. The following
1630 changes are in effect:
1631
1632 =over 2
1633
1634 =item *
1635
1636 Print tags instead of normal warnings, see L</"BUILDD TAGS"> for a list of
1637 possible tags.
1638
1639 =item *
1640
1641 Don't check hardening flags in old log files (if dpkg-dev << 1.16.1 is
1642 detected).
1643
1644 =item *
1645
1646 Don't require Term::ANSIColor.
1647
1648 =item *
1649
1650 Return exit code 0, unless there was a error (-I, -W messages don't count as
1651 error).
1652
1653 =back
1654
1655 =item B<--debian>
1656
1657 Apply Debian-specific settings. At the moment this only disables checking for
1658 PIE which is automatically applied by Debian's GCC and no longer requires a
1659 compiler command line argument.
1660
1661 =item B<--color>
1662
1663 Use colored (ANSI) output for warning messages.
1664
1665 =item B<--line-numbers>
1666
1667 Display line numbers.
1668
1669 =item B<--ignore-arch> I<arch>
1670
1671 Ignore build logs from architectures matching I<arch>. I<arch> is a string.
1672
1673 Used to prevent false positives. This option can be specified multiple times.
1674
1675 =item B<--ignore-arch-flag> I<arch>:I<flag>
1676
1677 Like B<--ignore-flag>, but only ignore flag on I<arch>.
1678
1679 =item B<--ignore-arch-line> I<arch>:I<line>
1680
1681 Like B<--ignore-line>, but only ignore line on I<arch>.
1682
1683 =item B<--ignore-flag> I<flag>
1684
1685 Don't print an error when the specific flag is missing in a compiler line.
1686 I<flag> is a string.
1687
1688 Used to prevent false positives. This option can be specified multiple times.
1689
1690 =item B<--ignore-line> I<regex>
1691
1692 Ignore lines matching the given Perl regex. I<regex> is automatically anchored
1693 at the beginning and end of the line to prevent false negatives.
1694
1695 B<NOTE>: Not the input lines are checked, but the lines which are displayed in
1696 warnings (which have line continuation resolved).
1697
1698 Used to prevent false positives. This option can be specified multiple times.
1699
1700 =item B<--pie>
1701
1702 Force check for all +pie hardening flags. By default it's auto detected.
1703
1704 =item B<-h -? --help>
1705
1706 Print available options.
1707
1708 =item B<--version>
1709
1710 Print version number and license.
1711
1712 =back
1713
1714 Auto detection for B<--pie> and B<--bindnow> only works if at least one
1715 command uses the required hardening flag (e.g. -fPIE). Then it's required for
1716 all other commands as well.
1717
1718 =head1 EXAMPLES
1719
1720 Normal usage, parse a single log file.
1721
1722     blhc path/to/log/file
1723
1724 If there's no output, no flags are missing and the build log is fine.
1725
1726 Parse multiple log files. The exit code is ORed over all files.
1727
1728     blhc path/to/directory/with/log/files/*
1729
1730 Don't treat missing C<-g> as error:
1731
1732     blhc --ignore-flag -g path/to/log/file
1733
1734 Don't treat missing C<-pie> on kfreebsd-amd64 as error:
1735
1736     blhc --ignore-arch-flag kfreebsd-amd64:-pie path/to/log/file
1737
1738 Ignore lines consisting exactly of C<./script gcc file> which would cause a
1739 false positive.
1740
1741     blhc --ignore-line '\./script gcc file' path/to/log/file
1742
1743 Ignore lines matching C<./script gcc file> somewhere in the line.
1744
1745     blhc --ignore-line '.*\./script gcc file.*' path/to/log/file
1746
1747 Use blhc with pbuilder.
1748
1749     pbuilder path/to/package.dsc | tee path/log/file
1750     blhc path/to/file || echo flags missing
1751
1752 Assume this build log was created on a Debian system and thus don't warn about
1753 missing PIE flags if the current architecture injects them automatically (this
1754 is enabled in buildd mode per default). C<--arch> is necessary if the build
1755 log contains no architecture information as written by dpkg-buildpackage.
1756
1757     blhc --debian --all --arch=amd64 path/to/log/file
1758
1759 =head1 BUILDD TAGS
1760
1761 The following tags are used in I<--buildd> mode. In braces the additional data
1762 which is displayed.
1763
1764 =over 2
1765
1766 =item B<I-hardening-wrapper-used>
1767
1768 The package uses hardening-wrapper which intercepts calls to gcc and adds
1769 hardening flags. The build log doesn't contain any hardening flags and thus
1770 can't be checked by blhc.
1771
1772 =item B<W-compiler-flags-hidden> (summary of hidden lines)
1773
1774 Build log contains lines which hide the real compiler flags. For example:
1775
1776     CC test-a.c
1777     CC test-b.c
1778     CC test-c.c
1779     LD test
1780
1781 Most of the time either C<export V=1> or C<export verbose=1> in
1782 F<debian/rules> fixes builds with hidden compiler flags. Sometimes C<.SILENT>
1783 in a F<Makefile> must be removed. And as last resort the F<Makefile> must be
1784 patched to remove the C<@>s hiding the real compiler commands.
1785
1786 =item B<W-dpkg-buildflags-missing> (summary of missing flags)
1787
1788 CPPFLAGS, CFLAGS, CXXFLAGS, LDFLAGS missing.
1789
1790 =item B<I-invalid-cmake-used> (version)
1791
1792 By default CMake ignores CPPFLAGS thus missing those hardening flags. Debian
1793 patched CMake in versions 2.8.7-1 and 2.8.7-2 to respect CPPFLAGS, but this
1794 patch was rejected by upstream and later reverted in Debian. Thus those two
1795 versions show correct usage of CPPFLAGS even if the package doesn't correctly
1796 handle them (for example by passing them to CFLAGS). To prevent false
1797 negatives just blacklist those two versions.
1798
1799 =item B<I-no-compiler-commands>
1800
1801 No compiler commands were detected. Either the log contains none or they were
1802 not correctly detected by blhc (please report the bug in this case).
1803
1804 =back
1805
1806 =head1 EXIT STATUS
1807
1808 The exit status is a "bit mask", each listed status is ORed when the error
1809 condition occurs to get the result.
1810
1811 =over 4
1812
1813 =item B<0>
1814
1815 Success.
1816
1817 =item B<1>
1818
1819 No compiler commands were found.
1820
1821 =item B<2>
1822
1823 Invalid arguments/options given to blhc.
1824
1825 =item B<4>
1826
1827 Non verbose build.
1828
1829 =item B<8>
1830
1831 Missing hardening flags.
1832
1833 =item B<16>
1834
1835 Hardening wrapper detected, no tests performed.
1836
1837 =item B<32>
1838
1839 Invalid CMake version used. See B<I-invalid-cmake-used> under L</"BUILDD
1840 TAGS"> for a detailed explanation.
1841
1842 =back
1843
1844 =head1 AUTHOR
1845
1846 Simon Ruderich, E<lt>simon@ruderich.orgE<gt>
1847
1848 Thanks to to Bernhard R. Link E<lt>brlink@debian.orgE<gt> and Jaria Alto
1849 E<lt>jari.aalto@cante.netE<gt> for their valuable input and suggestions.
1850
1851 =head1 LICENSE AND COPYRIGHT
1852
1853 Copyright (C) 2012-2024 by Simon Ruderich
1854
1855 This program is free software: you can redistribute it and/or modify
1856 it under the terms of the GNU General Public License as published by
1857 the Free Software Foundation, either version 3 of the License, or
1858 (at your option) any later version.
1859
1860 This program is distributed in the hope that it will be useful,
1861 but WITHOUT ANY WARRANTY; without even the implied warranty of
1862 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
1863 GNU General Public License for more details.
1864
1865 You should have received a copy of the GNU General Public License
1866 along with this program.  If not, see <http://www.gnu.org/licenses/>.
1867
1868 =head1 SEE ALSO
1869
1870 L<hardening-check(1)>, L<dpkg-buildflags(1)>
1871
1872 =cut