「Web構築」カテゴリーアーカイブ

技術メモ, Web構築

facebookexternalhit

コメントする

facebookexternalhitとは

facebookexternalhit は、Metaファミリー（Facebook、Instagram、Messengerなど）のアプリで共有されたリンクに関する情報を収集するためのクローラーです。
このクローラーは、共有されたアプリやウェブサイトのコンテンツをクロールし、リンクプレビューを生成します。

主な目的

facebookexternalhit の主な目的は次の通りです:

  • Facebook、Instagram、Messenger などで共有されたリンクをクロール
  • アプリやウェブサイトの情報（タイトル、説明、サムネイル画像など）を収集
  • 収集したデータをキャッシュに保存し、プレビューとして表示

動作の仕組み

  1. ユーザーがリンクをFacebookやMetaのソーシャルプラグインを使って共有
  2. facebookexternalhitクローラーがリンク先のウェブページにアクセス
  3. ページ内のメタデータ（例: Open Graph タグ）を解析
  4. タイトル、説明、画像などを取得してプレビューを生成

収集する情報

以下の情報が主に収集されます:

  • タイトル（<title>タグやog:title）
  • 説明文（og:description）
  • 画像（og:image）
  • URL（og:url）

リンク共有の方法

facebookexternalhitクローラーが動作するリンク共有の主な方法は次の通りです:

  • リンクをコピー＆ペーストして共有
  • Facebookのソーシャルプラグインを使用して共有

最適化のための設定

以下の設定を行うことで、リンクプレビューの表示を最適化できます:

  • Open Graph メタタグを使用して、プレビュー内容を明示的に指定する
  • メタデータに適切なタイトル、説明、画像を設定する
  • Facebookデバッガーツールを使ってプレビューを確認する

サーバのアクセスログ例

2024-01-22 18:31:23 - 69.171.250.250 - fwdproxy-ldc-000.fbsv.net - facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

拒否したい場合、robots.txtの設定

facebookexternalhit

  • robots.txt ファイルに `facebookexternalhit` のアクセスを拒否する記述がないことを確認します。
  • デフォルトでは、`facebookexternalhit` はアクセスが許可されていますが、特定のディレクトリやページをブロックしていないか確認が必要です。

例: robots.txtで許可する設定

以下は、`facebookexternalhit`を許可する基本的な設定例です:

User-agent: *
Disallow:

この設定はすべてのクローラーのアクセスを許可します。

特定のクローラーのみ許可したい場合は、次のように指定します:

User-agent: facebookexternalhit
Disallow:

Facebookデバッガーの使用

Facebookはリンクプレビューを生成する際にキャッシュを使用します。そのため、ページ内容を更新した場合、新しい情報が正しく反映されないことがあります。

キャッシュをクリアし、最新のデータを反映するには、Facebook Debugger を使用してください。

Facebook Debuggerの使い方:

  1. 以下のリンクからデバッガーツールにアクセスします: Facebook Debugger
  2. 更新したいリンクを入力して「Debug」ボタンをクリックします。
  3. 「Scrape Again」を選択すると、キャッシュがクリアされ、新しいデータが取得されます。

公式ドキュメント

詳しい情報は、Meta公式のドキュメントをご参照ください:

Facebook Crawler – Developer Documentation

技術メモ, Web構築

Zabbix のサーバ設定エラー

コメントする

Zabbix のサーバ設定エラー

Zabbix server is not running: the information displayed may not be current. というエラーが出た時の
対応。
DBがZabbixが動いているサーバである場合の設定。

２つのファイル変更

# vi /etc/zabbix/web/zabbix.conf.php
$DB[‘SERVER’] = ‘127.0.0.1’;

# vi /etc/zabbix/zabbix_server.conf
DBHost=127.0.0.1

zabbixのサーバ再起動

systemctl restart zabbix-server

技術メモ, Web構築

メールのパスワードの設定プログラム

コメントする

メールのパスワード設定一覧を作るときに半角英数で、メールアドレスが有効で、メールアドレスとは別にアカウントがあります。

いろんなチェックをして、生成して、配らないといけません。結構面倒ですし、エラーも多いので、こちらでプログラムを書いてみました。

追加仕様：（２名様のニーズを反映）
１.必ず英字大文字小文字数字記号の組み合わせを入れる。
２.１０桁から１２桁までランダム

サンプルプログラムは下記になります。CSV形式等は自分で行なってください。

https://abundcore.net/program-library/email-password/

 

<?php

function generateRandomPassword() {
    // パスワードの長さを10から12桁の間でランダムに決定
    $length = rand(10, 12);
    // 各カテゴリの文字
    $lowercaseLetters = 'abcdefghijklmnopqrstuvwxyz';
    $uppercaseLetters = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ';
    $numbers = '0123456789';
    $symbols = '#%=-+:?_<>[]{}()^!,.';

    // 各カテゴリから最低1文字を確実に含める
    $password = $lowercaseLetters[rand(0, strlen($lowercaseLetters) - 1)];
    $password .= $uppercaseLetters[rand(0, strlen($uppercaseLetters) - 1)];
    $password .= $numbers[rand(0, strlen($numbers) - 1)];
    $password .= $symbols[rand(0, strlen($symbols) - 1)];

    // 全ての文字を結合して残りの部分をランダムに選択
    $allCharacters = $lowercaseLetters . $uppercaseLetters . $numbers . $symbols;
    for ($i = strlen($password); $i < $length; $i++) {
        $password .= $allCharacters[rand(0, strlen($allCharacters) - 1)];
    }

    // パスワードをシャッフルして各カテゴリの文字が最初に来ないようにする
    $password = str_shuffle($password);

    return $password;
}

function isValidUsername($username) {
    // ユーザーネームが半角英数とピリオド、ハイフンのみを含むかチェック
    return $username !== '' && preg_match('/^[a-zA-Z0-9\.\-]+$/', $username);
}

function isValidEmail($email) {
    return $email !== '' && filter_var($email, FILTER_VALIDATE_EMAIL);
}

$userData = [];
$errors = [];

if ($_SERVER["REQUEST_METHOD"] == "POST") {
    for ($i = 1; $i <= 5; $i++) {
        $username = $_POST["username$i"] ?? '';
        $email = $_POST["email$i"] ?? '';
        if ($username !== '' || $email !== '') {
            if (!isValidUsername($username)) {
                $errors[] = "ユーザーアカウント {$i} は無効です。半角英数とピリオド、ハイフンのみ使用可能です。";
                continue;
            }
            if (!isValidEmail($email)) {
                $errors[] = "メールアドレス {$i} は無効です。";
                continue;
            }
            $password = generateRandomPassword();
            $userData[] = [
                'username' => $username,
                'email' => $email,
                'password' => $password
            ];
        }
    }
}
?>

<!DOCTYPE html>
<html lang="ja">
<head>
    <meta charset="UTF-8">
    <title>パスワードフォーム</title>
</head>
<body>
    <h1>パスワードフォーム</h1>
    <form method="post">
        <?php for ($i = 1; $i <= 5; $i++): ?>
            <div>
                <label for="username<?= $i ?>">ユーザーアカウント <?= $i ?>:</label>
                <input type="text" id="username<?= $i ?>" name="username<?= $i ?>">
                <label for="email<?= $i ?>">メールアドレス:</label>
                <input type="email" id="email<?= $i ?>" name="email<?= $i ?>">
            </div>
        <?php endfor; ?>
        <button type="submit">送信</button>
    </form>
    
    <?php if (!empty($errors)): ?>
        <div style="color: red;">
            <?php foreach ($errors as $error): ?>
                <p><?= $error ?></p>
            <?php endforeach; ?>
        </div>
    <?php endif; ?>

    <?php if (!empty($userData)): ?>
        <h2>生成されたパスワード一覧</h2>
        <table border="1">
            <tr>
                <th>ユーザーアカウント</th>
                <th>メールアドレス</th>
                <th>新しいパスワード</th>
            </tr>
            <?php foreach ($userData as $user): ?>
                <tr>
                    <td><?= htmlspecialchars($user['username'], ENT_QUOTES) ?></td>
                    <td><?= htmlspecialchars($user['email'], ENT_QUOTES) ?></td>
                    <td><?= $user['password'] ?></td>
                </tr>
            <?php endforeach; ?>
        </table>
    <?php endif; ?>
</body>
</html>
技術メモ, Web構築

ns_binding_aborted とは

コメントする

サイトスピードの調整をしている時に「ns_binding_aborted」という表示がブラウザの解析に出ました。
ns_binding_aborted とは

NS_BINDING_ABORTED は、ウェブブラウザにおけるエラーコードの一つで、通常、ユーザーがページの読み込みをキャンセルした場合に発生します。これは、ユーザーがページの読み込みを途中で止めるか、別のページに移動することによって引き起こされる可能性があります。このエラーは、特にページの読み込みが遅い場合や、ユーザーが素早く複数のリンクをクリックした場合によく見られます。

このエラーコードは、主にブラウザの内部で使用され、開発者がブラウザやウェブページの動作を分析する際に表示されるもので、一般のユーザーはこのエラーを見ることはほぼありません。

NS_BINDING_ABORTED は、ウェブページが正常に機能していないことを示すエラーではなく、ユーザーの行動によって発生する自然なプロセスの一部です。したがって、このエラーが発生しても特に心配する必要はありません。

気になる方はブラウザをリロードして、同じエラーができるか？を確認してください。

AI, 技術メモ, Web構築

AI系のライブラリーのmakeで謎のエラーのとき

コメントする

AI系のライブラリーのmakeで謎のエラーのとき・・・
ファイルがあるのに、ファイルがないとか、ライブラリのバージョンが違うとか・・・
実際にはあっているのに、エラーになることがあります。
リソース不足でのエラーが多いと思うので、makeする前に
やっておきましょう。

stack sizeを制限なしにしておく。
# ulimit -a

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 13907
max locked memory       (kbytes, -l) 65536
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 13907
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

# ulimit -s unlimited
aoki@ai-desktop:~$ ulimit -a

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 13907
max locked memory       (kbytes, -l) 65536
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) unlimited
cpu time               (seconds, -t) unlimited
max user processes              (-u) 13907
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

無限値の設定
https://www.ibm.com/docs/ja/wca/3.5.0?topic=tasks-setting-ulimit-values

AI, Web構築

linuxでCUDA変更12から10へupdate-alternatives

コメントする

jetson_releaseでみると12シリーズになっている。
しかし、環境パスは10シリーズで統一したのに・・・
とおもっている方、多いと思います。

システムで使われるプログラムのバージョン管理を行うための
update-alternatives
を使います。

$ sudo update-alternatives –config cuda

alternative cuda (/usr/local/cuda を提供) には 2 個の選択肢があります。

  選択肢    パス                優先度  状態
------------------------------------------------------------
* 0            /usr/local/cuda-12.1   121       自動モード
  1            /usr/local/cuda-10.2   102       手動モード
  2            /usr/local/cuda-12.1   121       手動モード

現在の選択 [*] を保持するには <Enter>、さもなければ選択肢の番号のキーを押してく ださい: 1
update-alternatives: /usr/local/cuda (cuda) を提供するためにマニュアルモードで /usr/local/cuda-10.2 を使います
aoki@ai-desktop:~$ sudo update-alternatives --config cuda
alternative cuda (/usr/local/cuda を提供) には 2 個の選択肢があります。

1を選びます。

  選択肢    パス                優先度  状態
------------------------------------------------------------
  0            /usr/local/cuda-12.1   121       自動モード
* 1            /usr/local/cuda-10.2   102       手動モード
  2            /usr/local/cuda-12.1   121       手動モード

現在の選択 [*] を保持するには <Enter>、さもなければ選択肢の番号のキーを押してく ださい:

jetson_releaseを実行すると、
Libraries: – CUDA: 10.*.*
になっていると思います。

技術メモ, Web構築

mysqldumpでのエラー

コメントする

一番単純に下記のコマンドを叩くとエラーになります。

コマンド：
mysqldump -h ホスト名 -u ユーザー名 -p テーブル名 >ファイル名
エラー：
mysqldump: Error: ‘Access denied; you need (at least one of) the PROCESS privilege(s) for this operation’ when trying to dump tablespaces

テーブルスペース情報をダンプしなくてもよい場合、–no-tablespacesを付けると、エラーがでなくなります。
mysqldump –no-tablespaces -h ホスト名 -u ユーザー名 -p テーブル名 >ファイル名

ちなみに下記のオプションでもエラーがでるようになったので、サーバによっては外した方がいい。
–single-transaction

Wordpress, 技術メモ, Web構築

WordPressで400万ページ投稿するには

コメントする

会社情報のサイト　https://awb.jp/
当初はまじめに記事をガンガンアップでしていた。
数万ページくらいでカップラーメンができるくらい遅いページ表示。
ページ投稿もどんどん重くなり、投稿にもカップラーメンできそうでした。
あきらめて、全部消して、ページ投稿の見直し。

■ページ投稿
いろいろなCSVアップツールでやってみたが、タイムアウト等でほぼ無理。
直接投稿のプログラムをたたきます。
データも最小限にします。

wp_insert_postで投稿ページ登録。
https://wpdocs.osdn.jp/%E9%96%A2%E6%95%B0%E3%83%AA%E3%83%95%E3%82%A1%E3%83%AC%E3%83%B3%E3%82%B9/wp_insert_post

-プログラム例：実際はもう少し複雑—————————————————-

        $post_id = wp_insert_post(array(
            'post_type' => 'post',
            'post_title' => $item[0],
            'post_content' => $item[2],
            'post_status' => 'publish',
            'post_category'  => $item[3],
            'tags_input' =>  $item[4],
            'comment_status' => 'closed',
            'ping_status' => 'closed',
            ));

——————————————————
他のデータとリンクしたい部分をカスタムフィールドに入れておきます。
add post meta
https://wpdocs.osdn.jp/%E9%96%A2%E6%95%B0%E3%83%AA%E3%83%95%E3%82%A1%E3%83%AC%E3%83%B3%E3%82%B9/add_post_meta
——————————————————

add_post_meta($post_id, 'hogehoge_number', $item[7])

——————————————————
ひたすら、1ページごとにサーバに投げます。

ページは最小限のデータにして、カスタムフィールド(上記の例だとhogehoge_number）にキーをいれておき、
wpの標準のテーブルと付加価値的データのテーブルを作り、カスタムフィールドで連携して、ページを生成します。

■不具合がでる。
プラグインによってはエラーになります。
サイトマップを作るプラグイン等は特に注意です。

技術メモ, Web構築

WP「GDPR Cookie Consent」 で「設定を更新できません。」の対応方法

コメントする

WordPressのコンテンツでの「GDPR（General Data Protection Regulation：一般データ保護規則）」用プラグイン
CookieYes | GDPR Cookie Consent & Compliance Notice (CCPA Ready)

このプラグインは設定が簡単ですが、「「設定を更新できません。」と出て、更新されないことがある。
WAF（Web Application Firewall）でブロックされている可能性があるので、
WAFのログを確認してください。
「＊＊＊＊＊/edit.php?post_type=cookielawinfo&page=cookie-law-info」というエラーログが出ていたら、
設定の時だけ、WAFをオフにしてください。設定が終わったら、オンにしてください。

技術メモ, Apache, Web構築

CSS & JavaScript Toolbox で不具合？

コメントする

CSS & JavaScript Toolbox とはWordpressで使うプラグインです。HTMLやCSSやJAVAスクリプトなどを組み込む時に
非常に便利な機能があるプラグインです。

CSS & JavaScript Toolbox

JAVAスクリプトで＜script＞と書いて「SAVE」ボタンを押しても、反応になし。
バグ？echo “＜script＞”と書いても「SAVE」ボタンを押しても、反応になし。
いろいろ調べてみて、バージョンをダウングレートしても同じ反応。
CSS & JavaScript Toolbox が原因ではないのでは・・・・

そうです、サーバ側の「WAF」（Web Application Firewall）が原因です。
Webアプリケーションからの攻撃からサイトを守るセキュリティ対策です。

WAFのログを見ると
****/wp-admin/admin-ajax.php?action=cjtoolbox_api&controller=blocks-ajax&CJTAjaxAction=save_blocks
xss-tag-1　
「xss-tag-1」でアクセスを排除したログが出ているのがわかります。
WAFを無効にすると、「SAVE」ができるようになります。

.htaccess でこのルールを許可できますが、セキュリティ上問題が発生する可能性があるので
慎重に設置してください。
SiteGuard_User_ExcludeSig xss-tag-1