AI で拡張された安全なソフトウェア開発における批判的思考の回復

この記事のバージョンが掲載されました サイバーセキュリティインサイダー. ここで更新され、シンジケートされました。

‍

大規模言語モデル（LLM）コード作成者から高度なエージェントAIエージェントに至るまで、人工知能アシスタントの採用は、ソフトウェア開発者に豊富なメリットをもたらします。しかし、MITの新しい調査で明らかになった最近の発見は、「AIへの依存度が高すぎると、ユーザーは批判的思考能力を失う可能性がある」という警告を発しています。

AIの導入に伴ってAI関連のセキュリティリスクが高まっているソフトウェア環境を考えると、この認知機能の低下は確かに壊滅的な結果につながる可能性があります。開発者や組織にとって、ソフトウェア開発ライフサイクル (SDLC) の早い段階でセキュリティの脆弱性を積極的に特定、理解、軽減することは倫理的に不可欠です。今日の多くの組織で言えることですが、この義務を怠ると、潜在的なセキュリティ脅威も同様に急激に増加しています。その中には AI に直接起因するものもあります。

生産性と効率性のメリットは無視できないため、議論の的になっているのはAIを使用するかどうかではありません。むしろ、本当の問題は、いかにしてAIを最も効果的に適用するか、つまり、生産量の増加を最大化しながら安全保障を守ることだ。そのためには、コードの出所を問わず、コードを深く理解している、セキュリティに精通した開発者が行うのが一番です。

AIへの過度の依存は認知機能の低下を招く

ザの MITのメディアラボによる調査6月上旬に公開され、ボストン地域の5つの大学の54人の学生がエッセイを書いている間に認知機能をテストしました。学生は、大規模言語モデル (LLM) を使用するグループ、検索エンジンを使用するグループ、外部からの支援を受けずにオールドスクールに通う学生の3つのグループに分けられました。研究チームは脳波記録（EEG）を用いて参加者の脳活動を記録し、認知的関与と認知的負荷を評価しました。研究チームは、昔ながらの「脳のみ」のグループが最も強力で最も広範囲の神経活動を示したのに対し、検索エンジンを使用するグループは中程度の活動を示し、LLM（この場合はOpenAIのChatGPT-4）を使用するグループが最も少ないことを発見しました。

これは特に驚くべきことではないかもしれません。結局のところ、思考を代行してくれるツールを使用すると、考えることが少なくなります。しかし、この調査では、LLMユーザーは論文とのつながりが弱いことも明らかになりました。83% の学生は、修了後わずか数分でエッセイの内容を思い出すのに苦労し、参加者の誰も正確な引用をすることができませんでした。他のグループと比べると、著者の当事者意識が欠けていました。脳のみの参加者は、当事者意識が最も高く、最も幅広い脳活動を示しただけでなく、最も独創的な論文も作成しました。LLMグループの結果はより均質的で、実際、審査員はAIの成果と容易に判断できました。

開発者の観点から見ると、主な結果はAIの使用に起因する批判的思考の低下です。もちろん、AI に頼る例が 1 回あっても、本質的な思考スキルが失われることはないかもしれませんが、時間をかけて使い続けると、そうしたスキルが萎縮する可能性があります。この調査は、ユーザーがAIを助けるのではなく、AIがユーザーを助けることで、批判的思考をAIを使い続けさせる方法を提案しています。しかし、真の重点は、開発者が安全なソフトウェアを構築するために必要なセキュリティスキルを身に付け、それらのスキルを日常的で不可欠な仕事の一部として使用できるようにすることです。

開発者教育:AI 主導のエコシステムに不可欠

MITのような調査でも、あらゆる分野で進められているAIの採用が止まることはありません。スタンフォード大学の 2025 人工知能インデックスレポート その結果、2024年には78％の組織がAIの使用を報告しましたが、2023年には55％でした。このような成長は今後も続くと予想されます。しかし、利用の増加はリスクの増大にも反映されています。レポートによると、AI 関連のサイバーセキュリティインシデントは同時期に 56% 増加しています。

スタンフォード大学の報告書は、以下のことが極めて重要であることを強調しています AI ガバナンスの向上また、組織がセキュリティ保護措置を実施するのが緩いことも判明したためです。事実上すべての組織がAIのリスクを認識していますが、AIに対して何かをしている組織は3分の2未満であり、多くのサイバーセキュリティの脅威に対して脆弱であり、ますます厳しくなる規制遵守要件に違反する可能性があります。

答えがAIの使用をやめることではなく（誰もやらないでしょう）、AIをより安全かつ確実に使用することです。MITの調査は、その方法について役立つ手がかりを1つ提供しています。この研究の4番目のセッションでは、研究者はLLMユーザーを2つのグループに分けました。1つは、ChatGPTに助けを求める前に自分でエッセイを始めたグループ（この研究では「Brain-to-LLM」グループと呼ばれる）で、もう1つは、ChatGPTに個人的な注意を払う前に最初の草稿を作成してもらったグループ（LLM-to-Brainグループと呼ばれる）です。Brain-to-LLMグループは、すでに下書きしたエッセイをAIツールを使って書き直したグループでは、検索エンジンのユーザーと同様の領域もあり、想起率と脳活動が高かった。AIによるエッセイの開始を許可したLLM-to-Brainグループでは、神経活動の協調性が低く、LLMボキャブラリーの利用に偏っていました。

ブレイン・トゥ・LLMアプローチはユーザーの頭脳を少し研ぎ澄ませるのに役立つかもしれませんが、開発者はソフトウェアを安全に記述し、AIが生成したコードのエラーやセキュリティリスクを批判的に評価するための特定の知識も必要とします。開発者は、AI に脆弱性などのセキュリティ上の欠陥がもたらされる傾向を含め、AI の限界を理解する必要があります。 プロンプト注入 攻撃。

そのためには、企業セキュリティプログラムを全面的に見直して、人間中心のSDLCを実現する必要があります。このSDLCでは、開発者が企業全体のセキュリティファースト文化の一環として、効果的で柔軟性があり、実践的かつ継続的なスキルアップを受けることができます。開発者は、急速に進化する高度な脅威、特にソフトウェア開発におけるAIの果たす重要な役割によって引き起こされた脅威に遅れずについていくために、継続的にスキルを磨く必要があります。これにより、たとえば、ますます一般的になりつつあるプロンプトインジェクション攻撃などを防ぐことができます。しかし、その保護が機能するためには、組織は安全な設計パターンと脅威モデリングに焦点を当てた開発者主導の取り組みが必要です。

結論

LLMやエージェントが面倒な作業を行うと、ユーザーは受動的な傍観者になります。この研究の著者らは、「批判的思考能力の低下、教材に対する理解の深さ、長期記憶形成の低下」につながる可能性があると述べています。認知的関与のレベルが低いと、意思決定能力が低下する可能性もある。

サイバーセキュリティに関しては、組織が批判的思考を欠くわけにはいきません。また、高度に分散されたクラウドベースの環境におけるソフトウェアの欠陥がサイバー攻撃者の最大の標的となっているため、サイバーセキュリティは、開発者、AIアシスタント、エージェントのいずれによって作成されたものであっても、安全なコードを確保することから始まります。AI が持つすべての力にもかかわらず、組織はこれまで以上に高度に磨き上げられた問題解決能力と批判的思考能力を必要としています。そして、それをAIにアウトソーシングすることはできません。

SCW Trust Agent の新しい AI 機能により、セキュリティを犠牲にすることなく SDLC での AI 導入を確実に管理するために必要な詳細なオブザーバビリティと制御が可能になります。 さらに詳しく。