דילוג לתוכן
New

DeepSeek V4.1 Flash free for 7 days: 10M tokens a day after a top-up of $10 or more. Until Nov 30.

How it works
aeondave/testing-reliabilityדוחות ותאימות

testing-reliability

⁨Diagnose flaky tests, misleading mocks or fakes, sleep-based waits, brittle fixtures, test-only production hooks, weak assertions, and mutation-testing gaps. Use when CI behavior differs, tests hide defects, or coverage creates false confidence.⁩

v2026.11.13-21cd5683 התקנות⁦+3⁩ ב-7 ימים39 כוכביםMITסונכרן לפני 10 שעות

התקנה

עדיין אין לכם את ה-CLI של NotHoly? התקינו אותו קודם.

$ curl -fsSL https://notholy.com/install.sh | sh
$ notholy skills install aeondave/testing-reliability

נכתב אל ⁦~/.notholy/skills⁩ אחרי בדיקת החתימה וה-SHA-256.

חתימהחתום, ed25519
2ma6M6hEPa…KEp+iICg==ה-CLI בודק את ה-SHA-256 ואת החתימה לפני שהוא כותב קובץ כלשהו.
חבילהeffdd81c…2f090bb3
effdd81ca97c…9e0d2f090bb33 קבצים · ⁦5.5 KB⁩
סריקהבינוני3 ממצאים
  • injection.no_confirmationSKILL.md:35
  • סקריפט הרצה שמגיע עם הסקילscripts/find_polluter.py
  • קישורים לדומיינים חיצוניים
לסריקה המלאה
מקורgithub.com/AeonDave/malskill/tree/main/coding-behaviours/testing-reliability@21cd568

הפריט הזה עדיין לא נכתב בעברית, ולכן הוא מוצג בשפה אחרת: English.

Make tests detect the behavior they claim to cover and make failures attributable. Use this skill to repair the test signal; test-driven-development owns the test-first implementation loop.

When to activate

  • Flaky, timing-sensitive, or order-dependent tests.
  • Heavy mocks, unclear patch targets, or fakes that do not match real behavior.
  • Production code changed only to make tests easier.
  • Coverage increased without stronger assertions.
  • Surviving or uncovered mutants in behavior that matters.
  • CI failures that cannot be reproduced locally.

Reliability workflow

  1. Identify the claimed behavior and the misleading result. Preserve the failure evidence or demonstrate a missed defect with the smallest relevant test selection; a local pass does not invalidate a CI failure.
  2. Investigate the relevant source of uncertainty: assertions, test doubles, fixture lifecycle, time, randomness, filesystem/network state, locale, order, or concurrency. Use systematic-debugging when failure attribution or the product defect remains unclear.
  3. Correct that cause. Strengthen an assertion, isolate/reset owned state, repair synchronization, or replace an inaccurate double as needed; do not apply every technique to every test.
  4. Check sensitivity to the defect and preservation of valid behavior. For a double, check the part of the collaborator's contract that matters; choose a real dependency, fake, stub, or mock according to the test's scope and control needs.
  5. Run focused checks and relevant broader tests. Repeat or vary order/schedules when investigating a flake, with a bounded diagnostic purpose; do not rerun until a convenient green result hides failures. Use verification-before-completion for final coverage and freshness.

Anti-patterns to remove

  • Testing incidental internal calls instead of the required behavior or interaction contract.
  • Partial mocks that silently omit important side effects.
  • Sleeping for async behavior instead of waiting on a condition.
  • Shared mutable fixtures that couple tests by order.
  • Golden outputs updated without reviewing semantic changes.
  • Coverage-only tests that assert nothing meaningful.

Offensive testing focus

  • Exploit harnesses must prove primitives, not just crash/no-crash.
  • Fuzz reproducer tests must pin seed/input and minimized artifact.
  • Network tooling tests should use captured transcripts, local test servers, or protocol fakes.
  • Evasion tests must distinguish telemetry absence from collection failure.

Resources

Load on demand:

  • references/testing-anti-patterns.md — load when diagnosing mock/timing failures, coverage without useful assertions, or mutation results.

Scripts:

  • scripts/find_polluter.py — runs matching test files separately and reports the first that leaves a watched filesystem path present. It does not detect in-memory state, changes to existing files, or interactions requiring a sequence of test files; inspect command failures before interpreting a clean result.

הקבצים בגרסה הזו

הרשאות

הרשאההוצהרנמצא בסריקה
קורא קבציםכןכן
כותב קבציםכןכן
מריץ פקודות shellכןכן
משתמש ברשתכןכן
משתמש במחבריםלאלא
שולט בדפדפןלאלא

ממצאי הסריקה

נבדק ב-13 בנוב׳ 2026

  1. בינוניתPrompt injection · injection.no_confirmationSKILL.md:35
  2. בינוניתקובץ · סקריפט הרצה שמגיע עם הסקילscripts/find_polluter.py
  3. מידעקישור · קישורים לדומיינים חיצוניים

סריקה נקייה מורידה את הסיכון, אבל לא מוכיחה שהחבילה בטוחה. כדאי לקרוא מה מתקינים.

גרסהפורסמהCommitSHA-256חתימהשינוי בהרשאות
v2026.11.13-21cd56813 בנוב׳ 202621cd568effdd81cחתומה–

שאלו כל מה שהסקופ מאפשר.

יוצרים חשבון, מוסיפים קרדיטים ושואלים את השאלה הראשונה בצ׳אט או בטרמינל.

  1. 1/3

    יצירת חשבון

    פרטי או חברה. אפשר לעבור לחשבון חברה אחר כך בלי לאבד יתרה או מפתחות.

    פרטיחברה
  2. 2/3

    הוספת קרדיטים

    בכרטיס אשראי. תשלום לפי טוקן, בלי מנוי.

    $5.00טעינה מינימלית
  3. 3/3

    שאלה ראשונה

    בצ׳אט, או להתקין את ה-CLI ולהריץ notholy login בטרמינל.

    $ notholy login