testing-reliability
Diagnose flaky tests, misleading mocks or fakes, sleep-based waits, brittle fixtures, test-only production hooks, weak assertions, and mutation-testing gaps. Use when CI behavior differs, tests hide defects, or coverage creates false confidence.
v2026.11.13-21cd5683 התקנות+3 ב-7 ימים39 כוכביםMITסונכרן לפני 10 שעות
התקנה
עדיין אין לכם את ה-CLI של NotHoly? התקינו אותו קודם.
$ curl -fsSL https://notholy.com/install.sh | sh$ notholy skills install aeondave/testing-reliabilityנכתב אל ~/.notholy/skills אחרי בדיקת החתימה וה-SHA-256.
חתימהחתום, ed25519
חבילהeffdd81c…2f090bb3
effdd81ca97c…9e0d2f090bb33 קבצים · 5.5 KBסריקהבינוני3 ממצאים
- injection.no_confirmationSKILL.md:35
- סקריפט הרצה שמגיע עם הסקילscripts/find_polluter.py
- קישורים לדומיינים חיצוניים
מקורgithub.com/AeonDave/malskill/tree/main/coding-behaviours/testing-reliability@21cd568
הפריט הזה עדיין לא נכתב בעברית, ולכן הוא מוצג בשפה אחרת: English.
בעמוד הזה
Make tests detect the behavior they claim to cover and make failures attributable. Use this skill to repair the test signal; test-driven-development owns the test-first implementation loop.
When to activate
- Flaky, timing-sensitive, or order-dependent tests.
- Heavy mocks, unclear patch targets, or fakes that do not match real behavior.
- Production code changed only to make tests easier.
- Coverage increased without stronger assertions.
- Surviving or uncovered mutants in behavior that matters.
- CI failures that cannot be reproduced locally.
Reliability workflow
- Identify the claimed behavior and the misleading result. Preserve the failure evidence or demonstrate a missed defect with the smallest relevant test selection; a local pass does not invalidate a CI failure.
- Investigate the relevant source of uncertainty: assertions, test doubles, fixture lifecycle, time, randomness, filesystem/network state, locale, order, or concurrency. Use
systematic-debuggingwhen failure attribution or the product defect remains unclear. - Correct that cause. Strengthen an assertion, isolate/reset owned state, repair synchronization, or replace an inaccurate double as needed; do not apply every technique to every test.
- Check sensitivity to the defect and preservation of valid behavior. For a double, check the part of the collaborator's contract that matters; choose a real dependency, fake, stub, or mock according to the test's scope and control needs.
- Run focused checks and relevant broader tests. Repeat or vary order/schedules when investigating a flake, with a bounded diagnostic purpose; do not rerun until a convenient green result hides failures. Use
verification-before-completionfor final coverage and freshness.
Anti-patterns to remove
- Testing incidental internal calls instead of the required behavior or interaction contract.
- Partial mocks that silently omit important side effects.
- Sleeping for async behavior instead of waiting on a condition.
- Shared mutable fixtures that couple tests by order.
- Golden outputs updated without reviewing semantic changes.
- Coverage-only tests that assert nothing meaningful.
Offensive testing focus
- Exploit harnesses must prove primitives, not just crash/no-crash.
- Fuzz reproducer tests must pin seed/input and minimized artifact.
- Network tooling tests should use captured transcripts, local test servers, or protocol fakes.
- Evasion tests must distinguish telemetry absence from collection failure.
Resources
Load on demand:
- references/testing-anti-patterns.md — load when diagnosing mock/timing failures, coverage without useful assertions, or mutation results.
Scripts:
scripts/find_polluter.py— runs matching test files separately and reports the first that leaves a watched filesystem path present. It does not detect in-memory state, changes to existing files, or interactions requiring a sequence of test files; inspect command failures before interpreting a clean result.
הקבצים בגרסה הזו
references/14.8 KB
- testing-anti-patterns.md4.8 KB
scripts/15.4 KB
- find_polluter.py5.4 KB
- SKILL.md3.5 KB
הרשאות
| הרשאה | הוצהר | נמצא בסריקה |
|---|---|---|
| קורא קבצים | כן | כן |
| כותב קבצים | כן | כן |
| מריץ פקודות shell | כן | כן |
| משתמש ברשת | כן | כן |
| משתמש במחברים | לא | לא |
| שולט בדפדפן | לא | לא |
ממצאי הסריקה
נבדק ב-13 בנוב׳ 2026
- בינוניתPrompt injection · injection.no_confirmationSKILL.md:35
- בינוניתקובץ · סקריפט הרצה שמגיע עם הסקילscripts/find_polluter.py
- מידעקישור · קישורים לדומיינים חיצוניים
סריקה נקייה מורידה את הסיכון, אבל לא מוכיחה שהחבילה בטוחה. כדאי לקרוא מה מתקינים.
| גרסה | פורסמה | Commit | SHA-256 | חתימה | שינוי בהרשאות |
|---|---|---|---|---|---|
| v2026.11.13-21cd568 | 13 בנוב׳ 2026 | 21cd568 | effdd81c | חתומה | – |
עוד מ-AeonDave
הכול מהמפרסם הזהעוד בקטגוריה דוחות ותאימות
לקטגוריה- skillduty1g/skill5
- rea-ci-tests-auditmorluto/rea-ci-tests-audit4
- tracking-threat-actor-infrastructuremukul975/tracking-threat-actor-infrastructure4
- performing-authenticated-scan-with-openvasmukul975/performing-authenticated-scan-with-openvas4
- slicing-code-contexttrailofbits/slicing-code-context4
- 1337aeondave/13374
שאלו כל מה שהסקופ מאפשר.
יוצרים חשבון, מוסיפים קרדיטים ושואלים את השאלה הראשונה בצ׳אט או בטרמינל.
- 1/3
יצירת חשבון
פרטי או חברה. אפשר לעבור לחשבון חברה אחר כך בלי לאבד יתרה או מפתחות.
פרטיחברה - 2/3
הוספת קרדיטים
בכרטיס אשראי. תשלום לפי טוקן, בלי מנוי.
$5.00טעינה מינימלית - 3/3
שאלה ראשונה
בצ׳אט, או להתקין את ה-CLI ולהריץ notholy login בטרמינל.
$ notholy login